Ⅰ. 서론

1. 연구의 배경과 필요성

뿌리산업은 소재를 부품으로 부품을 완성제품으로 만드는 필수적인 공정산업이다. 국내 뿌리산업 진흥 법 상관련 공정기술은 주조, 금형, 소성가공, 용접, 표면처리, 열처리 6대 분야로 구성되어 있다. 이중 열처리는 금속재료의 특성 변화와 개량에 있어 가장 필수적인 공정 기술이다[1]. 전방산업인 기계, 자동차, 플랜트 등을 수요업종으로 하고 수출 비중 또한 15.3%일 정도로 시장경쟁력을 가진 공정산업이다. 열처리 공정은 에너지 의존적 공정기술 산업이다. 승온, 템퍼링, 퀜칭 등 각 공정마다 열을 활용하기 때문에 에너지 사용량도 상당하다. 따라서 주요 공정이 전력 비용이 저렴한 야간에 이루어지는 경우가 많다. 특히 열처리 장비를 재가동 하는데 손실되는 에너지를 줄이기 위해서 24시간 설비를 가동하고 있는 기업도 상당수다. 무엇보다 열처리 과정에서 가스, 고열, 야간 근무 등 근로 조건도 다른 업종에 비해 과중한 부분이 있다. 이러한 환경은 신규 종사자 유입 부족과 이직률 등으로 업계 전체 활력을 저해하는 요소가 되고 있다. 이를 해결하기 위해 열처리 산업에도 정보기술을 활용한 스마트공장이 도입되고 있다. 정부의 지원도 장비, 인력, 기술까지 지속 증대하는 편이다. 그러나 생산성에 초점을 맞추다 보니 혁신적 기술을 현장에서 실증하거나 근로자의 안전을 우선하는 시스템을 도입하기에는 어려움이 있다. 본 논문은 열처리 공정 스마트화의 추세속에서 신정보기술을 활용하여 열처리 장비 가동 시 근로자 안전을 강화할 수 있는 영상인식 기반 열화상 활용 장비 안전운영시스템을 제안하고자 한다. 특히 원격 제어를 기반으로 언택트 형 현장 모니터링을 용이하게 하고 열화상 비전 시스템을 활용해 상호 분석 응답 할 수 있는 시스템을 제안하였다. 이를 통해 기존 열처리 공정관리 효율화를 위한 플랫폼 구축 관련 연구의 향후과제인 영상 인식 기 반 현장 분석 시스템을 구현할 수 있었다. 본 논문 구성은 1장에서 제안시스템을 설명하기 위한 연구 배경과 필요성에 대해 논하며 2장에서는 관련 선행연구 및 동향을 조사하였다. 이어 3장에서는 원격제어 기반 열화상 비전인식을 상호 활용한 열처리 장비 언택트 운영 시스템을 설계하였다. 4장에서는 3장의 설계를 바탕으로 구동 및 테스트를 통해 이론을 검증하였다. 마지막으로 5장에서는 결론 및 향후 연구방향에 대해 서술하였다.

Ⅱ. 선행연구 및 연구동향

열처리 산업은 최저임금 상승, 법정 노동시간 제약 등으로 인해 사물인터넷과 결합한 자동화 공정이 속속들이 도입되고 있다. 특히 중소 열처리 기업에 특화된 핵심기술 개발과 효율적 공정관리가 주요 이슈로 대두되고 있다. 열처리는 스마트 엔지니어링 소프트웨어와 해석도 구가 지속적으로 개발되는 분야다. 주로 열처리에 따른 매질의 환경변화, 조직 변화 등에 대한 데이터베이스 기반 모델링 소프트웨어가 개발되어 있다.[2] 근래 기계학습의 열풍에 힘입어 비지도형 연구방법을 포함한 지능형 공관리가 현장에서 실험적 운영되고 있다. 다만 대부분의 연구와 스마트공장 방향은 연구분석과 생산성 향상에만 초점이 맞추어져 있어 현장 근로자의 편의와 안정성을 고려한 언택트 방식 운영은 미진한 편이다.

사물인터넷 역시 지능형 기반 학습형 머신러닝 시스템이 주를 이루고 있다. 기존에 반복적 데이터를 저장하고 특정 값을 추출하는데 머물렀던 구조에서 데이터 처리의 자율성까지 담보한 지능형 시스템으로 발전하고 있다. CNN, DNN ,LSTM 등 기계학습을 응용한 ERP 소프트웨어 및 COAP][7][8]를 활용한 IOT 연동도 지속 확산되고 있다. 하지만 이론적 기계학습으로는 현장의 공정사항, 용어, 상호인식, 위험인지에 모두 대처하기에는 부족함이 있다. 센서와 데이터에서 많은 데이터를 수집해도 그것이 빅데이터가 되기 위해서는 회귀적 연결이 있어야 한다. 이런 연결을 비지도적으로 학습시켜 현장에 바로 적용하는 것은 아직 무리가 따른다. 따라서 제한된 영역에서 일정 부분 지도학습으로 지능형 시스템을 강화시키고 이를 발전시켜 객체인식[3] 및 통신모듈과 보안이 접목된[4][5] IOT 운영시스템을[6] 개발하는 단계적 개발방향이 요구되고 있다.

열화상 영상인식은 물체 표면으로부터 적외선이 반사되는 것에 기반해 표면온도를 2차원 픽셀화 하여 표시하는 기술이다. 건물 표면의 비파괴적 검사에서부터 인체발열 상황 조사까지 산업, 보건, 건설 분야 등에 다양하게 사용하고 있다. 특히 근래 Covid 19로 인한 인체 감지형 열화상 인식은 그 정확도와 지능형 인식을 통해 활용도가 지속 증가하고 있다. 신뢰성 역시 열화상 인식 해상도의 증가에 따라 점진적으로 향상되고 있다. 특히 영상관련 비전 인식기술의 발달과 인공지능의 결합으로 비지도 학습상에서 특정 이상 현황을 판단하고 예지하는데 적합한 센서 중에 하나이다. 다만 열화상 영상인식 자체의 독립적 운용보다는 상호 연계할 수 있는 다양한 센서의 연계와 통합 운용 프로그램이 필요한 상황이다.

Ⅲ. 열화상 기반 영상인식 시스템

1. 열화상 기반 영상인식 시스템 구조 및 흐름

본 논문은 열처리로 주변에 열화상 카메라를 설치하고 실시간으로 열화상 감시 영역별 데이터를 분석하여 이상상황 또는 위험지역 근로자 접근유무를 감시할 수 있도록 설계되었다. 이를 위해 그림 1과 같이 원격 명령상황에서 열처리로 제어 유닛 프로세스 사이에 열화상 비전 분석처리 모듈을 구성하여 명령 작업자의 공정을 모니터링하고 보조할 수 있도록 구성되었다.

그림 1. 제안시스템 구성도

Fig. 1. Structure of System

작업자가 원격으로 작동명령을 지시할 때 예측하지 못 한 이상상황에 대처하기 위해서 열화상 영상에 대한 비전분석을 진행하고 미들웨어와 통신함으로서 제어유닛을 통한 최종 판단을 지능형으로 판단할 수 있도록 시스템이 구성되어 있다.

<>전체적인 처리 흐름은 열처리로 가동에 대한 원격 명령을 통신 상태로 미들웨어 프로세서에 전달하며 이때 열화상 비전분석을 통해 미들웨어는 작업 진행 여부를 스스로 판단하여 작업흐름을 설계한다. 만약 열화상 센서상 위험 판단요소가 발생한다면 공정 위험사항에 대한 발생을 작업자에게 통보하고 작동명령을 보류한다. 반면 위험판단이 없다고 최종 판단되면 사용자 명령에 따라 열처리로 작동 명령을 실행하고 작동공정 사항을 다시 작업자에게 통보한다. 그림 2는 제안 시스템의 흐름도를 개략적으로 표현한 것이다.

그림 2. 제안시스템 흐름도

Fig. 2. Flow of System

열화상 원격제어 미들웨어는 최초 프로그래밍의 논리적 구조에 국한되어 실제 현장 환경에 유연한 처리를 하기가 어렵다. 하지만 본 논문에서 제안되는 영상인식 제어모듈을 활용하여 처리 시 동작결정이나 위험탐지 등의 판단을 영상인식 모듈의 업데이트를 통해 강화할 수 있으며 처리 연산도 분리되어 정확하고 효율적인 공정운영을 지원할 수 있다, 그림 3은 제안시스템을 통해 분산운영 가능한 처리 차별성을 도식화한 것이다.

그림 3. 제안시스템 차별성

Fig. 3. Specification of System

2. 분할 영역기반 열화상 센서 감시

열화상 비전을 픽셀별로 인식하는 방법은 연산속도에 많은 비용이 드는 작업이다. 특히 픽셀이 커질수록, 영역이 넓을수록, 감시해야 할 대상이 많을수록 연산의 정확성은 감소하고 시간은 증가한다. 따라서 본 논문에서는 이러한 열화상 분석 시간을 단축시키기 위해 감시 영역을 설정하고 영역 별로 세부 감시망을 구성해서 병렬로 열화상 분석을 할 수 있도록 구성하였다. 이러한 방법으로 320×480 해상도를 가지는 열화상 비전분석을 통해 작업자의 접근영역을 파악하고 영역에 대한 평균 온도 측정을 통해 작업자 여부를 확인하는 방법을 구상하였다. 일반적인 열처리 공정 시설의 경우, 중점 감시구역이 한정됨으로 전체 영역을 다 분석하는 것보다 주요 지점에 대해 분할된 영역으로 감시하는 것이 더욱 효율적이다. 분할 영역감시를 활용할 경우, 기존 픽셀 기반 연산처리 대비 월등한 감소 효과를 예상할 수 있다.

다만, 분할영역을 나눈다 하여도 각 영역에서 발생하는 열화상 분석 연산과 통신 속도 지연은 피할 수 없다. 따라서 본 논문에서는 DNN 영상인식을 활용해 열처리로 장비 주변 영역을 추출하고 이 영역에 대한 측정을 통해 열화상 데이터의 전체 비교에 소요되는 시간을 줄이며 감시영역과 감시점을 활용해 제어판단을 할 수 있도록 설계하였다. 이렇게 함으로써 원격지 명령을 비교적 빠른 시간 안에 대응, 보조할 수 있으며 효율적인 감시체계로서 활용할 수 있도록 개발하였다. 표1과 그림 4는 본 논문에서 제안한 영역분할 감시점 분석을 지능 탐색열화상 비전 검사로 개선할 경우 처리시간 감소를 도식화한 개념이다.

표 1. 열화상 센서 해석방법 비교 분석

Table 1. Thermal sensor analysis method comparison analysis

그림 4. 고정 영역 열화상 검사 vs 딥러닝 기반 열화상 검사

Fig. 4. Fixed area testing vs. deep learning based testing

고정된 감시점으로 열화상 분석을 할 경우, 감시점의 간격에 따라 인체 노출영역의 체온을 놓칠 수 있다. 하지만 딥러닝을 통해 전처리 인식 후 열화상 분석영역을 지정한 후 영역의 최댓값을 가져오는 경우, 적정한 체온값을 측정할 수 있어 열처리 장비에 인력이 접근한 것을 파악할 수 있었다.

또한, 본 논문에서는 열화상과 일반 영상을 동시 지원하는 하드웨어를 활용(Flir Ax8)해서 일반 영상을 리사이징해서 얼굴인식 모델이 있는 딥러닝 네트워크 처리를 하고 열화상 해상도에 맞는 좌표를 열화상 영상 내 위상으로 재설정하여 해당 영역의 열화상 온도의 최댓값을 처리하는 프로세스로 구성하였다. 아래 그림 5는 DNN처리를 활용한 열화상 영역 감지를 통해 열처리 장비에 대한 Safety 지원 모델의 프로세스를 도식화한 시스템 프로세스 구성도이다.

그림 5. 딥러닝 연계 열처리 Safety 지원 시스템

Fig. 5. Using Deep Learning Heat Treatment Safety System

3. 시스템 구성환경과 개발도구

본 논문에서 제시된 시스템을 구현하기 위해 센서 제어와 미들웨어 플랫폼으로 나누어 개발을 진행하였다. 전기회로와 연동해 작동명령 시퀀스를 제어하는 방식은 펌웨어 기반 MCU를 활용하였다. PLC보다 통신적 확장성이 높고 다양한 작업이 가능한 펌웨어 프로그램을 통해 가변적 상황에 빠르게 적용하기 위해서 웹서버 기능이 내장된 PHPoC 보드를 활용하였다. 특히 TCP/UDP, ICMP, DHCP, HTTP, SSH, SMTP, ESMTP, DNS, DDNS, MySQL) 등 보안 프로토콜 및 암호화 알고리즘 (AES, SEED, RC4, 3DES)이 제공됨으로 원격 처리를 기반으로 하는 본 시스템의 보안강화에 적합했다. 열화상 센서와 통신하는 프로토콜은 Modubus를 활용하였고 영상 데이터는 RTSP로 압축된 스트림형 데이터를 수신하는 방법으로 처리하였다. 열화상 센서는 FLIR 사의 스마트공장용 열화상 감시 센서 모듈인 AX/8 기종을 사용하였다. 서버 플랫폼은 구글 Cloud 서비스를 활용해 개발되었고 AJAX 기반 Http 프로토록을 활용해서 사용자의 유연한 요구를 빠르게 응답할 수 있도록 개발하였다. 특 히, 용자 프로그램은 마이크로소프트사의 비쥬얼 스튜디오를 활용해 WPF 기반 윈도우 어플리케이션으로 개발하였다. 스트림형 영상은 오픈 소스인 FFMPeg 기반 영상처리 알고리즘을 활용해 디코딩 하여 화면에 보여질 수 있도록 구성하였다.

4. 성능검증

본 논문에서 원격 명령에 따른 제어 이벤트에 대한 프로세스를 기반으로 열화상 인식과 영상 송수신 모듈을 개발하여 시스템 운영에 대한 확인을 진행하였다. 본 논문에서 중점으로 성능검증을 할 부분은 열화상 인식에 대한 이상사항으로 설정하였다. 우선 기존의 열화상 전체 픽셀에 대한 이미지 대응 분석을 할 경우 FFMPEG을 통해 송출된 영상 스트림을 버퍼에 저장하고 Open CV를 활용해 이전 버퍼와 비교하는 방식으로 처리 시간과 감지 정확도를 기록하였다. 특히, 열처리 화상처리 영역을 확정하기 위해, 매 순간 분할영역 상 해당 영역의 평균 열화상 값을 분석하고 온도차이의 유효성을 검사한 후 딥러닝을 활용한 인식 처리를 기반한 영상인식을 진행함으로서 계산속도와 정확성을 확대했다. 본 논문에서 활용한 모델은 텐서플로의 카페모델(caffemodel)을 활용하였다. 매 프레임 간 열화상 정보에 매칭할 수 있도록 딥러닝을 통한 영역인식을 하고, 해당 영역의 값을 열화상 장비에 MODBUS 프로토콜로 요청한다. 열화상 카메라는 영역 내 평균값을 반환하며 반환된 값을 통해, 감지한 정보의 변화 유무를 확인해 유효한 값인지를 파악한다. 검출된 값은 열화상 값으로 재확인하면서 인체정보 유무인지를 확인하고 만약 인체정보에 가까운 값을 가지고 있다면 그 값을 리턴하는 방식으로 설계되었다. 매순간 열화상 정보만 의존하거나 전체 영역에 대한 픽셀비교를 하는 것보단 딥러닝 영상처리 활용하는 전처리 방식을 활용했다. 이러한 전처리 과정을 거친 정보를 기반으로 유효한 값을 추출하고 딥러닝이 필요한 연산과 작동계산을 하기 때문에 본 논문에서 제안하는 분할 영역을 통해 분산된 처리 시간과 감지 정확도를 계산하기에 유리했다. 다만, 사물인식의 경우, 학습을 통한 사물인식에 대한 전처리 인식 과정에서 발행하는 시간적 소요도 존재하기 때문에 여기에 따른 실험결과 편차와 오차범위가 있을 수도 있지만 전반적으로는 안정된 결과를 보여주었다.

다음 그림 6은 감지 방법에 따른 처리시간과 정확도 상관관계에 대한 개념 코드와 처리 결과이다.

그림 6. 감지방법에 따른 상관관계

Fig. 6. Correlation according to detection method

실험결과에 나타났듯이 딥러닝을 활용한 인체(얼굴)영역 인식 후 해당 지점의 열화상을 분석하는 프로세스의 경우, 고정 스팟별 열화상 지점 비교 방법보다 처리시간이 빠르고 정확도에 있어서도 감시점의 온도변화의 차이에 따른 비지도 학습을 통해 정확도를 계속 증가시킬 수 있는 확장성이 있었다. 특히, DNN 학습으로 다양한 객체를 추가하여 처리할수 있다는 장점도 있었다. 따라서 열처리 공정시설의 Safety를 위한 감시 시스템 처럼 빠른 분석이 필요한 경우 제안된 딥러닝 기반 분할영역감시 방법을 통한 이상사항 인지가 빠른 처리가 가능하다는 것을 유추할 수 있었다. 물론 앞서 말했듯이 DNN과정의 학습과 정확도 부분에 있어 아직은 오차가 존재함으로 이를 좀 더 효율적으로 진행하는 부분에 대한 연구가 필요할 것이라 사료된다.

Ⅴ. 결론

본 논문에서는 열화상 영역 평균온도와 감시점을 활용한 열처리기기 언택트 운영 시스템을 제안하였다, 뿌리산업 열처리 현장은 긴 노동시간, 전문 인력 부족, 근로자 위험지대 접근 감시 등 다양한 현장의 요구사항이 있다. 공정 자동화 중심의 생산성 향상을 위한 IOT 프로세서로는 이상예지, 위험예방 등 근무환경 스마트화를 보장하기 어려웠다. 반면 본 논문에서 제안된 방식을 통해 전체 근로환경까지 고려한 언택트 공정운영 시스템은 효율적 운영환경 제공 및 모니터링 등에 다양한 응용 시스템으로 발전 가능하다. 특히, 카메라 영상과 열화상 스펙트럼을 통한 비전인식은 인공지능 기반 스마트 공정 지원시스템 개발에 다양한 방식으로 활용 가능할 것이다. 다만, 본 논문에서는 감시영역과 감시점 이외의 영역에 대한 예외사항을 분석은 지속 연구되어야 할 것으로 보인다. 특히, 장비 주변 장치 등에 대한 객체 영상인식을 위한 훈련을 통해 좀 더 세분화된 DNN 기반 열화상 기반 객 체검출을 통해 시스템이 처리할 수 있는 범위가 증가될 수 있을 것이다. 본 논문에서는 다루지 않았지만 자연어 처리기반 대화형 플랫폼과 연동한 종합 언택트 지원시스템도 향후 가능할 것으로 보인다. 무엇보다 제조업의 근간이자 소재부품산업에 토대인 뿌리산업, 그 중 열처리 현장에서 활용하기 쉬운 열화상 지원시스템 확장에 유용한 제안이 될 것으로 기대한다.