Ⅰ. 서 론

디지털 영상 기기로 영상 촬영 시 노출 시간에 따른 움직임에 의한 블러가 발생한다. 특정 노출시간 동안 움직임에 의해 발생하는 블러 현상은 영상의 화질을 열화시켜 깨끗한 영상을 획득하기 어렵게 만든다. 이러한 움직임 블러에는 주로 회전 운동이 직선 이동에 비해 더 큰 영향을 끼치고, 불균일한 경향을 보이는 것으로 알려져 왔다. 본 논문은 다양한 블러 현상들 중에 회전움직임에 의해 발생하는 비균일 블러 현상 제거에 초점을 맞춘다.

대부분의 디블러 알고리즘은 간단한 계산을 위해 균일한 블러 커널을 가정하고 문제를 해결하였다[1,2,6,9,10]. 하지만 실제 촬영 환경에서는 카메라의 회전움직임으로 인해 불균일한 블러가 발생한다. 이러한 불균일한 블러 현상을 해결하기 위해, 여러 접근 방법이 고안되었다[3,4,5,11]. 예를 들어 Tai 등은 유한개의 호모그래피 (homography) 사용을 통해 삼차원 움직임을 이차원으로 투영하는 방식으로 블러 커널을 생성한다[4]. 하지만 Tai 등이 제안한 방법은 비은닉(non-blind) 디블러 방식으로 움직임 추정을 통한 디블러가 불가능하다. 이러한 문제를 해결하기 위해 Whyte 등은 불균일하게 발생되는 블러 현상을 카메라의 회전 움직임에 기인하는 것으로 가정한다[5]. 이들은 영상 정보만을 이용한 호모그래피 계산을 통해 카메라의 회전 움직임으로 인해 발생하는 블러 커널을 추정한다. 그러나 이들 방법은 넓은 범위의 카메라 움직임을 포함하지 못한다. Cho 등은 두 장의 블러 영상을 이용하는 호모그래피 기반 알고리즘을 제안하였다[3]. 그들은 Lucas-Kanade기반의 호모그래피를 계산을 통해 블러 커널을 추정하여 디콘볼루션 과정에 사용한다[7]. 그러나 반복적으로 호모그래피 계산이 이루어져 안정성이 낮고 블러 커널 추정과정의 정확도가 떨어진다.

종래 불균일 디블러 알고리즘의 단점을 해결하기 위해 우리는 IMU (Inertial Measurement Unit) 센서와 노출 시간이 다른 두 장의 영상을 이용한 디블러 알고리즘을 제안한다. 먼저, 자이로 센서로부터 카메라의 회전 정보를 획득하여 안정성을 개선하고 초기 호모그래피를 계산한다. 다음으로 노출 시간이 다른 두 영상정보에 Lucas-Kanade 알고리즘을 적용하여 초기 블러 커널을 개선한다[7]. 마지막으로, 앞선 과정에서 추정된 불균일 블러 커널 및 잔여 디콘볼루션 과정을 이용하여 최종 디블러 영상을 획득한다. 실험 결과를 통해 제안 기법이 기존 기법 대비 에지가 더 선명하고 링형 현상 또한 적어지는 것을 확인할 수 있다. 또한 제안 기법이 Xu 등의 기법 [6] 대비 평균 PSNR이 2.67dB 정도 높다.

Ⅱ. 관련 연구

디블러 기법은 블러 커널에 따라 균일 디블러과 불균일 디블러로 구분된다. 또한 디블러 과정에서 블러 커널 추정과정이나 디콘볼루션 과정에서 복수 영상을 사용한 방법과 단일 영상을 사용한 방법으로 구분된다.

Krishnan 등은 단일 영상에 대해 주어진 균일한 블러 커널을 사용하는 비은닉 디블러 방식을 제안하였다. 그들은 디콘볼루션 과정을 주파수 영역에서 데이터 항과 정규화 항을 두 개의 하위 문제로 분할하여 데이터 항을 주파수 영역에서 계산한다[9]. 또한 hyper- Laplacian prior를 이용한 정규화 항을 룩업 테이블을 사용하여 계산하는 방식으로 디블러 과정에서의 속도를 빠르게 하는 방법을 제안하였다. 그러나 블러 커널 추정 과정이 제외되어 있고 주파수 영역에서 블러 커널의 크기가 증가할수록 영상에 링형 현상으로 인한 영상 열화가 악화되는 문제점이 있다.

Chen 등은 두 개의 블러된 영상을 이용하는 복수영상 디블러 방법을 제안하였다[10]. 먼저 두 영상에 대해 각각의 커널을 추정하고 피드백 과정을 통해 블러 커널을 개선한 이후 복수 영상 디콘볼루션 과정을 적용한다. 하지만 두 영상의 블러 커널이 서로 수직하게 형성되지 않은 경우 피드백을 이용한 블러 커널 개선 과정에서의 정확도가 현저하게 떨어지게 된다. 따라서 부정확한 커널로 인해 블러가 완벽하게 제거되지 않거나 영상 열화가 발생하게 된다.

Yuan 등은 노출 시간이 짧은 영상을 이용하여 블러가 발생한 노출 시간이 긴 영상의 블러 커널을 추정한다[2]. 그들은 노출 시간이 짧은 영상정보를 블러 커널 추정과정에 사용하여 정확도를 향상시키고 잔여 디콘볼루션을 통해서 디블러 영상에 발생하는 링형 현상을 억제한다. 하지만 이러한 방법의 경우 블러 커널 추정 과정의 정확도가 노출 시간이 짧은 영상에 상태에 따라 크게 변하게 된다.

Xu 등은 디블러 과정에서 가장 중요한 커널 추정 과정을 두 단계로 나누어 실행한다[6]. 초기 커널 추정은 가우시안 필터링형 처리를 통해 영상을 블러시키고 쇼크필터 적용을 통해 계단 에지를 복원한다. 이를 통해 선명한 에지가 커널 추정 과정에서 정확도를 떨어뜨리는 현상을 방지한다. 다음으로 ISD (iterative support detection) 적용을 통한 커널 개선 과정이 적용된다. 단계별로 추정되는 커널의 큰 값을 유지시켜 빠르게 수렴하고 잡음이 섞인 영상에서도 정확도 있는 커널이 획득 가능하다. 하지만 블러가 일어난 영상은 잡음이 거의 없고 영상 정보만을 활용한 커널 추정은 정확도가 떨어진다.

Whyte 등은 대부분의 촬영 환경에서 카메라 흔들림이 회전 움직임이 평행 이동에 비해 작은 이동에도 큰 영향을 끼친다고 주장한다[5]. 아래의 그림은 Whyte 등이 제시한 평행이동과 회전 이동에 의해 발생한 동일한 크기의 블러를 보여준다. 아래의 그림과 같이 동일한 δ크기의 블러가 평행 이동보다 작은 회전 이동에 의해 발생한다. 이에 따라 회전 이동에 의한 기하 모델을 설정하여 3차원 회전 움직임을 2차원으로 투영하는 방식으로 블러 커널을 추정한다.

그림 1.카메라의 평행 이동과 회전 이동에 따른 블러[5]. (a) 카메라 평행 이동, (b) 카메라 회전 이동 Fig. 1. Blur phenomenon according to translation or rotation of the camera. (a) Camera translation, (b) Camera rotation

그림 2.제안하는 복수 영상 디블러 기법의 블록도 Fig. 2. The block diagram of the proposed multi-image deblur

마지막으로 단일영상 디블러를 수행하여 영상의 블러를 제거한다. 이러한 방식의 경우 단일 영상정보만 사용하여 블러 커널을 추정하여 정확도가 떨어지고 많은 연산량을 필요로 한다.

Joshi 등은 IMU 센서를 활용하여 카메라의 움직임을 추정한다[11]. 우선 자이로 센서와 가속도 센서를 이용하여 초기 블러 커널을 추정한다. 다음으로 영상 정보를 이용한 드리프트 보정을 통해 개선된 블러 커널을 이용한 단일 영상 디블러 과정이 수행된다. 하지만 IMU 센서는 주변 환경에 민감한 성질로 인해 데이터에 많은 잡음이 포함되어 커널 추정 과정에서 정확도가 떨어진다. 특히 평행 이동 성분 추정 과정에 사용되는 가속도정보는 이중 적분 계산과정에서 잡음이 누적된다. 그 결과 정확하지 않은 블러 커널로 인한 영상 열화가 발생한다.

Ⅲ. 제안 기법

제안 기법은 다음과 같은 단계로 이루어져 있다. 첫 번째, 자이로 센서로부터 얻어진 정보를 통해 카메라의 회전 움직임 각도를 계산한다. 두 번째, 회전각과 카메라 고유 행렬을 사용한 초기 호모그래피 세트를 계산한다. 세 번째, 호모그래피 세트로부터 초기 블러 커널을 추정한다. 네 번째, 노출 시간이 다른 두 영상을 이용하여 초기 블러 커널을 개선한다. 마지막으로, 입력 블러 영상과 개선된 블러 커널에 불균일 잔여 디콘볼루션 과정을 적용하여 영상의 블러를 제거한다.

제안기법의 차별화 포인트는 크게 두 가지로 다음과 같다. 첫 번째로 IMU 센서를 이용해 추정된 초기 카메라 움직임을 복수 영상을 이용한 개선 과정을 통해 더욱 정확한 블러 커널을 추정했다. 두 번째는 영상 분할을 사용하지 않고, 소위 잔여 디콘볼루션 기법을 불균일 블러를 제거하는데 사용하여 디블러 과정에서 생기는 영상열화를 효과적으로 제거한 점이다. 기존의 IMU센서를 이용한 블러커널 예측 방법 대비 제안 기법은 영상을 이용한 추가개선 과정을 사용한 점에 차이가 있다.

1. 불균일 블러 모델

일반적인 불균일 블러 모델은 카메라의 움직임을 평행 이동만 있다는 가정 하에 식 (1)과 같이 블러 영상 b를 블러 커널 k와 잠재 영상 I간의 콘볼루션 모델로 블러 영상을 나타낸다.

여기서 ⊗은 콘볼루션 기호이다. 하지만 짧은 시간의 노출환경에서도 카메라 움직임은 평행 이동과 회전이동이 모두 발생한다. 촬영 상황에서 빈번하게 발생하는 블러 현상은 카메라의 평행 이동보다는 회전 이동에 의한 영향을 많이 받는다. 또한 회전 이동에 의한 블러 커널은 불균일하게 형성되고 평행 이동에 의한 블러 커널은 회전 이동으로 근사화가 가능하다. 따라서 실제 블러 현상을 완전히 제거하기 위해서 불균일 블러 모델에 기반한 디블러 방법이 필요하다.

카메라의 회전 움직임으로 인해 위치에 따라 다르게 나타나는 블러 모델은 수식 (2)와 같이 정의한다.

여기서 Pi는 i번째 호모그래피의 변환 행렬이다. 이를 수식 (3)과 같이 한정된 개수의 샘플링형된 호모그래피로 나타낼 수 있다.

wi는 가중치로 샘플링형 된 각각의 호모그래피의 특성을 보완하기 위한 변수이다. wi는 IMU 센서 데이터가 시간축에서 균일하게 샘플링형 되므로 1/N으로 설정된다.

2. IMU 센서와 카메라 움직임

IMU 센서는 가속도와 자이로 센서를 이용해 물체의 움직임을 측정하는 도구이다. 스마트 폰과 같은 첨단 디지털카메라는 기본적 IMU 센서를 포함하고 있고 우리는 IMU 센서를 활용하여 촬영 시간 동안 발생하는 카메라의 움직임 예측이 가능하다.

자이로 센서를 사용한 회전 움직임 추정은 각속도 정보를 사용한 회전각 계산을 통해 해결된다. 원운동에서 회전각도 θ는 θ = ∫ ω(t)dt로 표현된다. 여기서 ω는 각속도를 나타낸다. 이산 신호 형태에서 회전각도는 θ = ω(t)Δt로 표현된다. 또한 가속도 센서의 정보를 이용해 평행이동거리 T를 계산 가능하다. T = ∬ a(t)dt2으로 나타낼 수 있고 여기서 a(t)는 가속도를 나타낸다. 이상 신호 형태에서는 T=a(t)Δt2로 표현된다. 하지만, 만약 a(t)가 크게 변하는 경우, 제한된 샘플링형 주기에 의해 측정 오차가 증가한다. 또한 블러 현상은 동일한 크기의 이동이 발생하는 상황에서 회전 이동에 의해 큰 영향을 받는다. 따라서 본 논문에서는 오직 카메라의 회전 이동만을 다룬다.

3. 자이로 데이터를 이용한 초기 커널 생성

첫 번째로, 회전 행렬 R은 회전각 θ를 이용하여 계산된다. 회전각 θ는 일반적으로 {θx, θy, θz}로 표시되고 회전각은 샘플링형된 데이터를 획득하는 위치마다 계산이 이루어지므로 θi(i = 1,......,N)과 같이 나타낼 수 있다. 그 결과 Ri는 θi로부터 도출되고 그 과정은 아래의 수식 (4) 같다.

여기서

여기서 마이너스 기호는 카메라의 x, y방향 움직임은 실제 움직임과 픽셀 운동이 반대방향으로 나타나는 것을 표현하기 위해 사용된다.

두 번째로, Ri와 카메라 고유 행렬 K로부터 움직임 행렬 Hi가 아래수식 (5)와 같이 계산된다.

여기서 구해진 Hi를 변환 행렬 형태로 나타낸 것을 Pi라 할 수 있다.

4. 커널 개선

위 단계어서 얻어진 Pi는 샘플링형 된 각속도 데이터에 기반하고 있어 잡음이 포함되거나 측정 과정에서 균일하게 데이터가 획득되지 않는 경우 오차가 발생한다. 호모그래피의 오차는 디콘볼루션 과정에서 링형 현상과 같은 화질 열화를 발생시키는 원인이 된다. 따라서 우리는 초기 블러 커널을 노출 시간이 다른 두 장의 영상정보를 추가적으로 활용하여 개선한다.

먼저 주어진 노출 시간이 짧은 영상에 대한 전처리 과정이 적용된다. 노출 시간이 긴 영상에 맞추어 노출 시간이 짧은 영상의 밝기 값을 보정하고 잡을 제거 알고리즘을 적용한다. 본 논문에서 잡음 제거는 최신 기법인 BM3D를 적용하여 수행되었다[8]. 이렇게 전처리 과정이 적용된 영상을 Is라 한다.

다음으로, 우리는 수식 (3)에 Cho 등이 제안한 방법을 적용한다[3]. Cho 등은 영상 정합에 기반해 위의 수식 (3)을 수식 (6)과 같이 변형한다.

위의 수식 (6)에서 좌변의 잔여 영상을 ei로 나타내면 이 식을이용해 Pi에 대한 문제 수식(7)과 같은 형태로 정리된다.

위의 비선형 문제는 Lucas-Kanade기반의 영상 정합 문제로 해결할 수 있다[7]. 반복적으로 위의 수식을 해결하는 Lucas-Kanade 알고리즘에서 초기 Pi는 수렴 값과 속도를 결정하는데 매우 중요하다. 따라서 우리는 앞선 1.3절을 통해 센서 정보를 바탕으로 신뢰할만한 정확도를 갖는 초기 변환행렬 Pi를 획득하여 수식 (7)의 초기 값으로 사용하였다. 또한 초기 I의 경우 Is를 이용한다. 이러한 과정을 통해 Pi가 갱신되면 수식 (3)으로부터 개선된 블러 커널을 획득한다.

그림 3은 커널 개선 결과를 보여준다. 먼저 그림 3(a)는 실제 블러 커널로 두 개의 박스를 보면 공간적으로 블러 커널이 다른 것을 보여준다. 그림 3(b)는 초기 블러 커널로 정확도가 떨어진다. 그림 3(c)는 블러 커널 개선 결과로 실제 블러 커널과 매우 유사한 것을 확인할 수 있다.

그림 3.커널 개선 결과. (a) 실제 블러 커널, (b) 샘플링형 된 자이로데이터를 바탕으로 구성한 블러 커널, (c) 개선된 블러 커널 Fig. 3. The result from kernel refinement. (a) Ground truth, (b) an initial blur kernel using gyro data only, (c) the refined blur kernel

5. 디콘볼루션

최종적으로 디블러된 영상 I는 아래의 수식 (8)을 이용하여 구해진다.

여기서 블러 영상 b는 노출시간이 긴 영상을 나타낸다. Tai등은 기존의 Richardson-Lucy기법에 투영 움직임 개념을 적용하여 위의 문제를 해결 하였다[4]. 하지만 Richardson – Lucy기법에 기반한 디콘볼루션 결과 영상에 링형 현상과 같은 영상 열화가 발생하는 문제점이 있다. 따라서 본 논문에서는 Yuan 등이 제안한 잔여 디콘볼루션을 적용한다[2]. 이에 따라 위의 수식 (8)은 아래의 수식(9)와 같이 변형한다.

여기서 잔여 영상 Δb는 로 정의되고 α는 상수로 Levin등이 제안한 sparse prior 적용을 위해 0.8로 사용하였다[12]. 위의 수식을 Tai 등이 제안한 기법으로 풀 수 있다[4]. 이를 통해 ΔI가 획득되고 최종적으로 디블러된 영상 I는 ΔI와 Is를 더하여 구해진다.

아래의 그림 4은 잔여 디콘볼루션의 긍정적인 효과를 입증한다. 그림 4(a)는 기존 Richardson-Lucy 디콘볼루션 결과이다. 이를 통해 영상의 에지주변에서 발생하는 링형 현상을 확인할 수 있다. 반면에 그림 4(b)는 제안 하는 잔여 디콘볼루션 결과이다. 결과 영상을 통해 기존의 디콘볼루션 적용 시 발생하는 영상 열화가 효과적으로 제거되었다. 특히 영상의 에지부분의 선명함은 유지되었고 동시에 평탄한 영역에서의 링형 현상이 제거되었다.

그림 4.디콘볼루션 결과 비교. (a) 기존 Richardson-Lucy 디콘볼루션 (b) 제안 잔여 디콘볼루션 Fig. 4. The comparison of deconvolution results. (a) Convolutional Richardson-Lucy deconvolution, (b) the proposed residual deconvolution

Ⅳ. 실험 결과

제안하는 기법의 성능을 검증하기 위해 블러 연상을 합성한 영상과 실제 촬영 영상 각각 두 가지를 사용하였다. 하나는 합성영상으로 800X450 해상도의 선명한 영상의 밝기를 임으로 낮춘 후 매트랩 내장 함수를 이용해 노이즈를 섞어 짧은 노출시간에 대응하는 영상을 만들었다. 긴 노출시간에 대응하는 영상의 경우 연속된 자이로센서 데이터를 가정하고 1/10s간 노출을 가정하여 선명한 영상을 블러시켰다. 사용한 자이로센서 데이터는 합성에 사용한 자이로 데이터를 샘플링형하여 100Hz수준의 개수를 이용하였다. 또 다른 실험 영상은 실제 촬영 영상으로 2448X1376 해상도의 영상을 중심 1280X720 영역을 잘라서 사용한 것이다. 이 실험에 사용된 자이로센서는 Ruva tech RTxQ IMU 센서에 부가된 자이로센서를 사용하였고 샘플링형은 100Hz 간격으로 되었다. 긴 노출시간 영상의 노출시간은 1/8s로 촬영하였고, 짧은 노출시간 영상은 1/40s 노출시간을 갖게 촬영하였다. 두 영상 모두 ISO는 100으로 설정하였다.

우리는 제안기법을 균일 디블러 기법인 Xu기법[6]과 불균일 디블러 기법인 Whyte기법[5]과 비교하였다. 또한 합성영상에서의 결과 PSNR 측정을 통해 제안 기법의 성능을 정량적으로 평가하였다. Xu 등의 알고리즘은 균일한 블러를 제거하기 위한 우수한 알고리즘이며, Whyte 기법은 불균일 디블러의 최신의 알고리즘이다. 그림 4와 그림 5는 강제 블러시킨 영상세트에 대한 결과를 나타낸다. 그림 5(a)와 그림 6(a)는 블러 영상과 그 일부를 확대한 것이다. 그림 5(b)와 그림 6(b)는 Whyte 기법의 결과이다. Whyte 기법의 경우 회전 움직임을 작은 범위로 가정하고 있기 때문에 큰 움직임이 있는 영상에 대해서는 디블러 효과가 적절하게 나타나지 않게 된다. 그림 5(c)와 그림 6(c)는 Xu 기법의 결과이다. 균일 디블러 사용으로 인해 영상 외각으로 갈수록 블러가 적절히 제거되지 못한 것을 확인 할 수 있다. 그림 5(d)와 그림 6(d)는 큰 움직임에도 잘 대응하고 영상의 외각 또한 타 기법에 비해 불균일 디블러 성능이 우수한 것을 확인 할 수 있다. 표 1은 제안기법의 PSNR이 Xu 기법과 Whyte 기법 대비 우수한 것을 보여준다.

그림 5.합성 블러 영상세트1에 대한 결과. (a) 입력 블러 영상, (b) Xu 기법 결과, (c) Whyte 기법 결과 (d) 제안 알고리즘 결과 Fig. 5. The result for the artificially blurred image set 1. (a) Input blurred image, (b) Xu et al.‘s, (c) Whyte te al.’s, (d) the proposed algorithm

그림 6.합성 블러 영상세트2에 대한 결과. (a) 입력 블러 영상, (b) Xu 기법 결과, (c) Whyte 기법 결과 (d) 제안 알고리즘 결과 Fig. 6. The result for the artificially blurred image set 2. (a) Input blurred image, (b) Xu et al.‘s, (c) Whyte te al.’s, (d) the proposed algorithm

표 1.PSNR 비교 [dB] Table 1. The PSNR comparison [dB]

그림 7과 8은 실제 촬영된 블러 영상에서의 비교기법과 제안기법의 실험 결과로 초록색 박스는 영역별로 추정된 블러 커널을 나타낸다. 그림 7(b)과 8(b)의 경우 블러가 많이 남아있고 그림 7 (c)와 그림 8(c)는 영상 에지 주변에 링형 현상과 블러가 적절히 제거되지 못한 것을 확인 할 수 있다. 반면에 제안기법의 경우 에지의 선명함을 보존하면서 링형 현상으로 인한 영상 열화가 완화되었다.

그림 7.촬영 블러 영상 세트1에 대한 결과. (a) 입력 블러 영상, (b) Xu 기법 결과, (c) Whyte 기법 결과 (d) 제안 알고리즘 결과 Fig. 7. The result for the real blurred image set 1. (a) Input blurred image, (b) Xu et al.‘s, (c) Whyte te al.’s, (d) the proposed algorithm

그림 8.촬영 블러 영상세트2에 대한 결과. (a) 입력 블러 영상, (b) Xu 기법 결과, (c) Whyte 기법 결과 (d) 제안 알고리즘 결과 Fig. 8. The result for the real blurred image set 2. (a) Input blurred image, (b) Xu et al.‘s, (c) Whyte te al.’s, (d) the proposed algorithm

Ⅴ. 결 론

본 논문은 자이로센서와 노출시간이 다른 두 영상을 이용한 디블러 알고리즘을 제안한다. 첫 번째로, 제안하는 알고리즘은 자이로센서만을 이용할 때 정확도가 낮아지는 문제를 노출시간이 다른 두 영상을 이용하여 극복했다. 두 번째로, 제안하는 불균일 잔여 디콘볼루션을 적용하여 디블러 된 영상의 에지가 선명해지고 링형 현상으로 인한 영상 열화를 줄일 수 있다. 합성 영상에 대한 실험 결과를 통해 제안하는 알고리즘이 균일 디블러 기법인 Xu 기법[5] 대비 2.67dB, 불균일 디블러기법인 Whyte기법[6] 대비 10.6dB 높다. 또한 촬영 영상에 대한 실험 결과를 통해 효과적으로 블러가 제거되고 Xu 기법과 Whyte 기법 대비 영상의 선명도가 우수하고 화질 열화 또한 적은 것을 확인 할 수 있다. 이를 통해 제안 기법의 성능이 정량적, 정성적으로 우수함을 볼 수 있다.