I. 서론

범죄, 재난, 테러의 빈번한 발생으로 공항, 기차역, 항만, 공공기관 등과 같이 보안이 요구되는 지역에서의 감시 시스템에 대한 관심 및 요구가 증가하고 있다. 이에, 세계 각국은 개인 및 공공의 안전을 위하여 감시카메라 환경에 유용한 원거리 휴먼인식 기술을 연구하고 있다[1]. 사람의 생리학적 또는 행동적 특성을 이용하는 휴먼인식은 기술의 발전에 따라 얼굴, 지문, 망막, 음성, 걸음걸이 등을 이용하고 있다. 이중 얼굴은 지문, 망막 등에 비해 상대적으로 인식률이 낮다는 단점을 갖고 있지만 비접촉 및 비협조에도 인식이 가능하고, 비교적 원거리에서도 인식이 가능하다는 장점으로 얼굴을 이용한 원거리 휴먼인식에 대한 연구가 진행 중이다[2,3]. 그러나, 얼굴인식은 얼굴의 포즈 및 표정의 변화, 얼굴 가려짐, 조명의 변화 및 원거리에서 획득된 저해상도 영상으로 인한 인식률의 저하와 같은 문제가 있다. 이중, 저해상도 영상의 획득은 고해상도 카메라가 아닌 일반 카메라의 경우 공통적으로 발생하는 문제로 기존 일반 감시카메라의 활용성을 높이기 위해 저해상도 영상을 개선해야만 한다[4].

얼굴인식 방법은 얼굴의 구성 요소인 눈, 코, 입 등의 크기 및 위치 등의 기하학적 특징으로 인식하는 방법과 주성분 분석 기법(PCA : Principal Component Analysis), 선형 판별 분석 기법(LDA : Linear Discriminant Analysis)와 같은 얼굴 전체의 통계적인 값을 특징으로 인식하는 방법이 있다. 최근에는 3차 텐서기반 MPCA(Multilinear Ptrincipal Componet Analysis) 방법을 이용한 얼굴인식 방법도 연구되고 있다[5]. 주성분 분석 기법은 패턴인식, 통계학, 신호처리 분야 등에서 많이 쓰이는 패턴 분류 방법으로, 고차원의 입력 데이터를 분산을 고려한 선택적인 몇 개의 축으로 투영(Projection)시켜서 저차원의 데이터로 줄이는 방법이다[6]. 주성분 분석 기법을 사용한 얼굴인식은 영상데이터를 저차원으로 줄임으로서 수행시간을 줄이고 높은 인식률을 보임으로서 얼굴인식 분야에서 가장 많이 사용되고 있는 방법 중 하나이다.

일반적으로 원거리 영상의 경우 근거리에 촬영된 영상보다 원거리에서 촬영된 영상의 데이터 크기가 작다. 주성분 분석 기법을 이용하여 얼굴인식을 할 경우 인식 대상영상에 대해 고유얼굴을 빼주는 과정을 거치기 위해 고유얼굴의 데이터 크기에 맞게 인식 대상영상의 크기를 정규화 해주어야 한다. 이때 영상크기를 조절하기 위해 일반적으로 보간법을 사용한다. 영상보간법은 디지털 영상 처리에서 영상을 확대하거나 축소하기위해 사용된다[7]. 보간법은 크게 비적응적 보간법과 적응적 보간법으로 나뉜다. 비적응적 보간법은 모든 화소에 대해서 고정된 패턴으로 보간하는 방법으로 수행이 쉽고, 계산 양이 적은 장점이 있다. 적응적 보간법은 잃어버린 화소의 값을 찾기 위해 가장 효과적인 이웃 화소들의 특성을 이용하여 추정하는 방법으로 계산양은 많지만 비적응적 방법에 비해 더 나은 영상을 얻을 수 있다[8].

본 논문에서는 주성분 분석을 이용한 원거리 얼굴인식 시 발생하는 영상크기 정규화 과정에 다양한 보간법을 적용한다. 그리고 보간법에 의해 정규화된 테스트 얼굴영상을 이용해 주성분 분석기반 거리별 얼굴인식률의 변화를 분석하고자 한다. 본 논문의 구성은 다음과 같다. Ⅱ장에서는 얼굴인식에 사용되는 주성분 분석 기법과 얼굴영상 크기의 정규화에 사용될 보간법을 소개한다. Ⅲ장에서는 실험방법 및 보간법에 따른 거리별 얼굴 인식률의 변화를 분석하고, Ⅳ장에서 결론을 맺는다.

II. 배경이론

얼굴인식 기술은 통제된 환경에서의 정지 영상기반 얼굴인식부터, 혼잡한 환경에서의 비디오 영상기반 얼굴인식까지 다양하게 연구되고 있다. 현재 주로 사용되고 있는 대표적인 방법으로는 템플릿 매칭방법이 사용되고 있고, 대표적으로 주성분 분석 방법을 이용한 얼굴인식 기술이 있다. 하지만 주성분 분석 기법을 이용한 얼굴인식의 경우 대부분 동일한 조건의 근거리에서 촬영된 얼굴영상을 이용해 학습을 하고, 검증을 하는 과정을 거쳤다. 하지만 주성분 분석 기법기반 얼굴인식의 경우 원거리에서 촬영된 얼굴영상을 검증해야 할 경우 원거리 얼굴영상의 크기를 학습 얼굴영상에 맞게 크기를 조절해야 한다. 이때, 영상 크기를 조절하는 기술에는 대표적으로 보간법을 이용하는 방법이 있다.

2.1 주성분 분석 기법

얼굴인식 기술은 크게 기하학적 특징정합(feature matching)방법과 탬플릿 패턴 정합(template matching)방법으로 분류될 수 있다[9]. 최근 대부분의 얼굴인식 시스템에서 사용되고 있는 템플릿 패턴 정합 방법은 패턴의 전역적인 특성을 고려하는 방법으로 주성분 분석 기법, 2차원 주성분 분석 기법, 선형 판별 분석 기법 등이 있다. 이 중 주성분 분석 기법은 고차원의 데이터를 저차원으로 줄임으로써 수행 시간과 데이터 저장 공간을 절약하고 노이즈가 제거되는 장점으로 인해 얼굴인식 분야에서 가장 많이 사용되고 있는 방법 중 하나이다. [표 1]은 주성분 분석 기법의 학습 과정을 간단히 나타낸 것이다. [표 2]는 주성분 분석 기법의 검증 과정을 간략하게 나타낸 것이다. 여기서 구해진 검증영상의 특징 벡터와 학습영상의 특징 벡터들 간의 유사도를 측정하여 가장 유사한 특징벡터영상은 인식 결과영상으로 사용된다.

[표 1] 주성분 분석 기법의 학습 과정

[표 2] 주성분 분석 기법의 검증 과정

2.2 보간법

영상보간법은 디지털 영상 처리에서 영상을 확대하거나 축소하기위해 사용된다. 기존에 일반적으로 사용되는 영상 보간법으로는 최근접 이웃 보간법, 양선형 보간법, 3차회선 보간법 등이 있다. 또한 지역적 특성을 반영한 적응적 선형보간법이나 적응적 3차회선보간법 등 적응적 보간법들이 연구되었다. 이외에도 영상 윤곽선의 방향성을 이용하는 방법이나 영상의 곡률을 이용하는 방법 등 주관적인 화질을 향상시키고, 계산량을 줄이기 위해 다양한 영상 보간법이 연구되고 있다[10].

최근접 이웃 보간법은 출력 픽셀이 생성될 위치에서 가장 가까운 원시 픽셀을 할당하는 방법이다. 이 방법은 간단하기 때문에 처리속도 및 하드웨어 구현이 쉽지만 가장 가까운 픽셀을 할당함으로써 원래의 화상이 크게 변하는 결과를 가져올 수 있다. 선형 보간법은 단순히 두 점에 의하여 이루어지는 직선을 이용하여 그 사이 값들을 얻어내는 방식이다. 선형 보간법은 적용 가능 범위내의 값들이 선형적으로 변하는 경우에만 좋은 결과를 얻을 수 있으며 그 외의 대부분의 경우는 왜곡된 결과 값을 가질 수 있다. 하지만 구현이 쉽고, 처리시간이 빨라 다양한 분야에서 많이 활용되고 있는 보간법이다. 3차회선 보간법은 고차 보간법의 하나이다. 일반적으로 3차회선 보간법은 인접하는 화소 16개를 이용한다. 3차회선 보간법은 선형 보간법보다 더 많은 화소를 참조하므로 보간된 영상의 품질도 더 좋고, 가중치를 양방향으로 줄 수 있어 오차가 다른 보간법보다 줄어들어 영상의 화질이 좋다. 하지만 이웃 화소를 16개 참조하므로 계산 시간이 더 소요된다는 단점이 있다[11].

III. 얼굴인식 실험 방법 및 결과

[그림 1]은 주성분 분석 기법을 이용한 얼굴인식의 순서도이다. 얼굴인식 과정은 크게 학습영역과 검증영역으로 나뉜다. 먼저 학습영역에서 고유얼굴을 생성시키고 각 학습영상을 이 고유얼굴에 투영시켜 각 사람마다 고유의 특징점을 추출한다. 검증영역에서는 원하는 테스트 영상과 고유얼굴에 의해 추출된 특징점을 학습영역의 특징점 과 비교해서 가장 유사한 값을 찾는다. 주성분 분석 기법을 이용하여 얼굴검증을 할 경우 인식 대상영상에 대해 고유얼굴을 빼주는 과정을 거치기 위해 고유얼굴의 데이터 크기에 맞게 테스트 영상의 크기를 정규화 한다. 근거리(1m∼2m)영상에서 추출된 얼굴영상의 경우 원거리(3m∼5m)영상에서 추출된 얼굴영상의 크기보다 약 2∼4배 크기 때문에 근거리 영상에서 추출한 얼굴을 학습에 사용할 경우 근거리 얼굴영상의 크기에 맞게 조절을 해야 한다. 이때 영상크기를 조절하기 위해 일반적으로 보간법을 사용한다.

[그림 1] 주성분 분석 기법을 이용한 얼굴인식 순서도

본 논문에서 실험한 얼굴인식의 경우 거리별 얼굴영상이 필요하기 때문에, 기존에 주로 사용되었던 ORL, Yale, FERET 등의 얼굴 데이터베이스는 적합하지 않다[5]. 따라서 본 논문에서는 얼굴영상이 거리별로 구성된 ETRI 얼굴 데이터베이스를 사용한다. 인식률 분석을 위해 매트랩(MATLAB R2010b) 프로그램을 이용하였고, 얼굴인식에는 템플릿기반 통계적 기법인 주성분 분석 기법을 사용하였다. 검증 얼굴영상의 크기 정규화를 위해 사용된 보간법은 최근접(Nearest) 보간법, 양선형(Bilinear) 보간법, 양3차회선(Bicubic) 보간법, Lanczos3 보간법이다[11].

3.1 얼굴 데이터베이스

ETRI 얼굴 데이터베이스는 다양한 조명 환경과 거리변화를 고려하여 한 사람당 500장(1m∼5m: 각 100장)의 얼굴영상을 총 10명으로부터 취득하였다. 취득된 얼굴영상은 다양한 조명 환경과 1m∼5m의 거리변화를 통하여 얼굴영상을 획득하였다. 얼굴검출 방법은 1m∼2m의 경우는 Adaboost에 기반을 두었으며, 3m∼5m의 경우 수동적인 방법을 통해 얼굴을 검출하였다. [그림 2]는 사람 1의 1m∼5m의 거리변화에 따라 추출된 본래 얼굴영상이다. 추출된 얼굴영상의 크기는 1m∼5m까지 각각 50×50, 30×30, 20×20, 16×16, 12×12이다.

[그림 2] 거리별 추출된 얼굴영상의 예

3.2 실험조건에 따른 결과 분석

실험은 다음과 같이 거리별 얼굴영상의 학습 데이터의 수와 검증 데이터 수, 고유벡터의 수 및 검증영상의 정규화시 사용한 보간법을 달리하여 실험하였다. 50×50 이하의 검증영상의 경우 검증을 위해 위에서 제시된 4가지 보간법을 이용하여 [그림 3]과 같이 정규화를 거친다.

[그림 3] 보간법에 의해 정규화된 거리별(좌:1m∼우:5m) 얼굴영상의 예

본 실험은 보간법과 학습영상에 따른 거리별 얼굴인식률의 변화를 분석하기 위해 [표 3]과 같은 조건으로 진행하였다. CASE 1의 경우 1m에서 촬영된 영상만을 학습영상으로 구성하였고, CASE 2는 1m에서 촬영된 영상과 2m에서 촬영된 영상을 학습영상으로 사용하였다. 마지막으로 CASE 3는 1m∼5m까지의 영상을 학습영상으로 사용하였다.

[표 3] 보간법과 학습영상에 따른 거리별 얼굴인식 실험 방법

[표 4]는 CASE 1, 2, 3에 대한 얼굴인식률 나타낸다. [표 4]의 결과와 [그림 4]에서 나타내듯이 보간법에 따른 인식률은 대체적으로 비슷함을 확인할 수 있다. 이는 주성분 분석 기법기반 얼굴인식 시스템에서는 기존의 보간법을 이용한 영상크기 정규화가 인식률에 미치는 영향이 적다는 것을 알 수 있다. [그림 4]는 CASE별 인식률의 변화를 그래프로 나타낸 것으로 [그림 4(a)]는 최근접 이웃 보간법을 사용했을 때이고, (b)는 양선형 보간법, (c)는 양3차회선 보간법, (d)는 Lanczos3 보간법을 사용한 경우이다. 그림을 보면 CASE 3이 CASE 1이나 CASE 2보다 원거리(3m∼5m)에서의 인식률이 향상됨을 확인할 수 있다. 이는 거리별 촬영된 영상을 학습영상에 포함시켰기 때문에 원거리에서 인식률이 향상되었다고 생각한다. 이는 보간법에 의한 영상크기 정규화 보다는 적절한 학습영상의 선택이 주성분 분석기반 얼굴인식기의 인식률을 향상 시킨다고 판단한다.

[표 4] CASE 1, 2, 3의 얼굴인식률 비교(%)

[그림 4] 학습영상에 따른 CASE별 인식률의 변화

[표 5]는 보간법과 고유벡터 수에 따른 얼굴인식률 변화를 분석하기 위해 진행한 실험 조건이다. 학습영상은 1m에서 촬영된 영상만을 사용하였고, 고유벡터의 수를 변화시키면서 실험을 진행하였다.

[표 5] 보간법과 고유벡터 수에 따른 거리별 얼굴인식 실험 방법

[표 6]은 CASE 4에 대한 실험 결과로 고유벡터의 수에 따라 근거리의 경우 1.6%∼2.3%까지 인식률이 향상됨을 확인하였고, 원거리의 경우 1.9%∼5.2%까지 향상됨을 확인하였다. 하지만 동일한 조건에서 보간법에 따른 인식률의 변화는 크지 않았다.

[표 6] CASE 4의 얼굴인식률 비교(%)

IV. 결론

최근 사건 사고의 발생이 빈번해지면서 감시카메라의 증가와 함께 원거리 휴먼인식 기술에 대한 관심이 증가하고 있다. 이에 본 논문에서는 기존의 얼굴인식 기술에 주로 사용되는 주성분 분석 기법과 영상 보간법을 통해 거리별 얼굴인식률의 변화를 분석하였다.

일반적으로 원거리 영상의 경우 근거리보다 원거리 영상의 데이터 크기가 작다. 이는 주성분 분석 기법을 이용하여 얼굴인식을 할 경우 근거리 영상에 맞게 원거리 영상의 크기를 확대해야 한다. 이때 발생할 수 있는 데이터의 손실을 최소화하기 위해 다양한 보간법을 통해 영상을 확대하고, 이에 따른 거리별 얼굴인식률 변화를 분석하였다. 주성분 분석과 같은 템플릿 패턴 정합 방법은 패턴의 전역적인 특성을 고려하기 때문에 영상에서 가장 기본적인 특성이라 할 수 있는 에지(edge)에 영향을 덜 받는다. 또한, 전통적인 보간법의 경우 최근접 이웃 보간법을 제외한 보간법들 간의 결과영상의 차이가 크지 않았다. 때문에 동일한 조건에서 보간법에 따라 작은 인식률의 변화는 있었지만, 보간법이 주성분 분석기반 얼굴인식의 인식률에 미치는 영향은 적었다고 생각한다. 하지만 근거리 영상만을 학습영상으로 사용하는 것보다 각 거리별 영상을 모두 학습영상으로 사용하면 인식률이 향상됨을 확인할 수 있었다.

향후에는 영상의 기존 보간법보다 화질을 향상시키고 계산량을 줄일 수 있는 보간법의 개발을 통해 원거리 얼굴인식에 적용하고, 보간법을 통해 획득된 고해상도 영상의 국부적 특징이나 기하학적 특징을 이용한 얼굴인식 방법을 통해 원거리 얼굴인식률의 변화 및 성능을 확인할 계획이다.