1. 서 론

밝기의 동적 범위(dynamic range)는 영상에서의 가장 어두운/밝은 부분의 비로 표현 할 수 있다. HDR영상은 실세계의 장면이 가지는 밝기의 넓은 동적 범위를 포함하고 있다. HDR 영상은 일반적으로 노출 시간을 달리하여 촬영한 여러 영상을 통해 래디언스 맵(radiance map)을 획득할 수 있으며 최근 래디언스 맵을 만들지 않고도 두 개의 입력 영상을 기반으로 HDR 영상을 융합하는 기법이 제안되었다[1]. 우리가 사용하는 일반적인 디스플레이 장치에서 표현할 수 있는 동적 범위는 한정적이기 때문에 HDR 영상의 동적 범위를 압축하기 위하여 톤 매핑(tone mapping) 기법이 필요하다[2]. 동적 범위를 압축함과 동시에 인간이 실세계 장면에서 인지하는 느낌을 디스플레이 장치에서 표현되는 느낌과 최대한 유사하게 표현하기 위하여 수많은 톤 매핑 기법들이 제안되었다[3]. 톤 매핑은 일반적으로 전역적인 방법(global tone mapping)과 지역적인 방법(local tone mapping)으로 구분할 수 있다. 전역적인 톤 매핑 방법은 HDR영상의 모든 화소에 동일한 함수를 적용하여 동적 범위를 압축하는 기술이다. 지역적인 톤 매핑 방법은 대부분 처리하는 화소의 주변영역을 고려하여 각각의 화소에 대한 다른 함수를 적용하여 동적범위를 압축하는 기법이다[4]. 지역적인 방법은 전역적인 방법에 비해 영상의 밝기 및 디테일(detail)을 보존하기 때문에 실세계의 장면이 가진 방대한 정보를 효과적으로 표현하는 면에서는 좋은 성능을 보이지만 영상의 전체적인 느낌의 표현과 계산상의 복잡성, 그리고 처리 시간이 길어진다는 단점을 가지고 있다[5].

최근 HDR영상의 채도 및 대비를 향상시키기 위하여 지역적 감마 보정(gamma correction)을 이용한 톤 매핑 알고리즘이 제안되었다[6]. 이 방법은 처리하는 화소와 주변영역의 휘도 차이를 고려하여 배경휘도에 따른 가중치 맵(weight map)을 계산하여 톤매핑의 감마보정에 적용하였다. 기존에 제안된 알고리즘을 통해 톤 매핑된 결과영상을 지역적 채도 및 대비가 향상되지만 개선되는 영역이 휘도의 차이가 큰 경계부분에만 한정된다는 한계점이 존재한다. 또한 기존의 방법에서 제안한 가중치 맵은 영상의 매우 어두운/밝은 영역에서 과도한 밝기 변화로 인한 과포화현상(over-enhancement)에 따른 후광효과(halo artifacts)가 나타나는 단점이 존재한다.

이러한 문제점을 해결하기 위하여 본 논문에서는 영상의 개선되는 영역과 정도를 결정하기 위하여 양방향 필터(bilateral filter)을 사용하여 입력 휘도 채널로부터 분리한 베이스층(base layer)의 휘도 값을 고려하였다. 제안한 알고리즘은 베이스층의 휘도 값에 따라 구별 된 어두운/밝은 영역에 대한 감마 가중치를 조정하는 함수를 기존의 가중치 맵에 적용하여 영상의 지역적인 밝기를 개선시켰다. 또한 어두운/밝은 배경에서 큰 휘도 값의 변화로 인하여 나타나는 후광효과를 감소시켜 영상의 자연스러움을 향상시키기 위하여 배경 휘도 값을 고려한 수정 계수(scaling factor)을 제안하였다. 제안한 알고리즘을 톤 매핑의 감마 보정에 적용함으로써 최종 HDR 영상의 톤 매핑된 결과영상을 기존의 방법들과 비교하여 주관적인 선호도를 평가한 결과 제안한 방법을 통해 얻은 결과영상의 밝기 및 대비적 성능이 개선됨을 확인할 수 있었다.

본 논문의 구성은 다음과 같다. 2장에서 일반적인 HDR영상의 톤 매핑 방법과 영상에서의 감마 보정을 설명한 다음, 3장에서 제안한 HDR 영상의 지역적 밝기 및 디테일 보존을 위한 알고리즘을 설명한다. 4장에서는 제안한 알고리즘으로 실험한 결과영상을 기존의 알고리즘들과 비교하여 성능을 평가하고 5장에서 결론을 맺는다.

2. 이 론

2.1 HDR 영상에서의 톤 매핑

동적 범위를 압축하기 위하여 먼저 입력 HDR 라디언스 맵(radiance map)의 R, G, B 값으로부터 입력 휘도 값을 계산해야 한다. HDR 영상의 입력 휘도값은 식 (1)로부터 계산될 수 있다.

여기서 Rhigh(i), Ghigh(i), 그리고 Bhigh(i)는 입력 HDR 영상의 R, G, B 채널 i 위치에서의 휘도 값이며 Lhigh(i)는 입력영상 i 위치에서의 출력 휘도 값을 나타낸다. 입력 휘도의 동적 범위는 다양한 방법을 통해 압축할 수 있으며 일반적으로 로그 도메인에서 처리된다. 로그 도메인에서 동적 범위가 압축된 출력 휘도 채널은 다음과 같이 정의될 수 있다.

여기서 Llow는 동적 범위가 압축된 출력 휘도 값을 나타낸다. 동적 범위를 압축한 HDR 출력영상의 R, G, B채널은 입력영상의 컬러채널과 휘도채널의 비에 출력 휘도채널을 곱한 값으로 정의되며 다음과 같이 표현할 수 있다.

여기서 Rout(i), Gout(i), Bout(i)는 i 위치에서의 동적 범위를 압축한 HDR 영상의 출력 R, G, B채널을 나타낸다.

2.2 HDR영상 톤 매핑에서의 감마 보정

일반적으로 영상에서의 감마 보정은 입력 영상에 대한 γ의 지수 승으로 정의되며 다음과 같이 표현할 수 있다.

여기서 Lout과 L∈ 은 각각 감마 보정된 출력 휘도채널 및 입력 영상의 휘도채널을 나타내며 γ 은 보정하는 감마값이다. 감마 보정을 통하여 영상의 대비를 조정가능하며 γ ≻ 1인 경우 영상의 대비는 증가하며 γ ≺ 1인 경우 대비는 감소하게 된다. Fig. 1은 여러 감마값에 따른 입력 휘도 대비 출력 휘도를 나타내며 여기서 입력 및 출력의 휘도 값은 0~255 사이의 픽셀 값을 정규화 해서 나타내었다.

Fig. 1.Gamma correction curves of input intensity versus output intensity.

HDR 영상의 톤 매핑에서 감마 보정은 아래와 같이 나타낼 수 있다.

여기서 s 및 γ은 각각 채도 및 대비를 조정하는 감마 인자이며 s는 주로 1보다 작은 값을, γ은 1보다 큰 값을 사용한다. 일반적으로 s 값이 감소하면 영상의 채도(color saturation)은 감소하며 s 값이 증가하면 채도가 증가하게 된다.

2.3 가중치 맵을 사용한 기존의 방법

최근 대비와 채도에 대한 인간 시각특성을 고려한 HDR영상의 지역적 감마 보정 알고리즘이 제안 되었다[6]. 인간의 시각은 밝은 배경 휘도 하에서는 채도에 민감하며 어두운 배경 휘도에서는 대비에 민감한 특성을 가지고 있다[7]. 이러한 특성을 바탕으로 기존의 방법은 밝은 배경에서는 어두운 배경보다 채도를, 어두운 배경에서는 밝은 배경보다 대비를 향상시킬 수 있는 알고리즘을 제안하였다. 이 알고리즘은 주변 휘도 값에 따라 i 위치의 감마 가중치 값을 보정하는 가중치 맵을 제안하였다. 가중치 맵에서 i 위치의 가중치 값은 주변 휘도 값에 대한 평균 그리고 중간 값과 i 위치에서의 처리하려는 화소 값의 비에 최대값으로 정의되며 다음과 같이 나타낼 수 있다.

여기서 w(i)는 가중치 맵을 나타내며, r은 커널의 크기를 나타낸다. median 과 mean은 각각 중간값과 평균값을 의미한다. i 위치의 휘도 값이 주변 휘도값의 평균 및 중간값과 유사하다면 가중치는 1로 유지되며 만약 차이가 존재한다면 이에 따른 가중치값이 조정되어 영상을 개선시킨다. Fig. 2는 식 (6)으로부터 계산한 가중치 맵을 시각화 한 결과이다.

Fig. 2.Enhancement regions of the weight map.

식 (6)의 가중치 맵을 HDR영상 톤 매핑의 감마보정에 적용하여 출력되는 R, G, B채널을 다음과 같이 나타낼 수 있다.

여기서 α 및 β는 채도 및 대비 조정에 사용되는 상수이다. Fig. 3은 고정된 감마보정 값을 사용하여 얻은 톤 매핑한 결과 영상 (a)와 가중치 맵을 사용하여 식(7)을 사용하여 톤 매핑한 결과 영상 (b)을 비교하였다. 두 영상의 인자 α 및 β는 각각 1.2와 0.6을 사용 하였다. 가중치 맵을 사용한 결과영상을 비교한 결과 고정된 감마보정 값을 사용한 방법보다 지역적인 대비가 향상되어 영상의 디테일이 보존됨을 확인할 수 있다.

Fig. 3.Result image comparison between fixed and varying gamma values. (a) Result image using fixed gamma value and (b) result image using Qiao's algorithm.

3. 제안한 방법

3.1 제안한 알고리즘의 개요

가중치 맵을 사용한 기존의 톤 매핑 방법은 영상의 지역적인 대비의 향상에는 좋은 성능을 보이지만 다음과 같은 문제점들을 가지고 있다. 먼저 식 (6)으로부터 계산된 가중치 맵은 휘도 차이가 큰 영상의 경계부분만 향상시키며 그 이외의 영역을 선택적으로 개선하는데 한계가 있다. 또한 영상의 경계부분에서 나타나는 큰 휘도의 차이는 과도한 가중치 값을 생성하여 결과영상의 경계부분에 후광효과가 나타나게 된다. 이러한 기존 방법의 한계점들을 극복하기 위하여 제안한 알고리즘은 배경 휘도에 따른 영상의 지역적 어두운/밝은 부분을 개선하며 디테일을 보존하면서 후광효과를 감소시키는 알고리즘을 제안하였다. Fig. 4에는 본 논문에서 제안하는 알고리즘의 전체적인 흐름도를 나타내었다. 먼저 HDR 라디언스 맵으로부터 계산한 입력 휘도채널을 가중치 맵 계산에 사용한다. 양방향 필터를 사용하여 분리한 베이스층의 휘도 값을 사용하여 영상의 국부적인 밝기를 조정하는 함수와 디테일의 세기를 조정하는 정규화 인자를 계산한다. 이를 기존의 가중치 맵에 적용하여 HDR 영상의 톤 매핑의 감마보정에 적용한다.

Fig. 4.Flowchart of the proposed brightness and detail enhancement algorithm.

3.2 제안한 톤 매핑에서의 감마 보정 방법 알고리즘

먼저 영상의 지역적인 어두운/밝은 부분을 판단하기 위하여 제안한 알고리즘은 HDR입력영상의 휘도채널을 양방향 필터로 분리한 베이스층의 휘도 값을 고려하였다. 양방향 필터는 처리하고자 하는 화소의 공간영역(spatial domain)에서의 주변 화소들간의 위치적 근사성뿐만 아니라 휘도영역(intensity domain)에서의 휘도 근사성도 고려한 엣지-보존 스무딩 필터(edge-preserving smoothing filter)이다[8,9]. 입력 휘도 영상을 사용하여 베이스층을 분리하는 방법은 아래와 같이 나타낼 수 있다.

여기서 L(p)는 베이스층의 휘도이며, Ω는 화소 p를 중심으로 하는 윈도우를 나타낸다. q는 화소 p를 중심으로 하는 윈도우 Ω안의 주변 픽셀들의 집합을 의미하며, Gσs 및 Gσr 는 공간 영역 및 위치 영역에서의 가우시안 함수를 각각 나타내며, k(p) 는 정규화 인자이다.

제안한 방법은 베이스층의 휘도 값을 고려하여 영상을 향상시킬 부분을 결정하였다. 베이스층의 휘도 값을 0에서 1까지 정규화 하여 매우 어두운/밝은 휘도 값을 가지는 화소들에 구간선형 함수를 사용하여 기존 가중치 맵에 다음과 같이 적용하였다.

여기서 B(i)는 톤 매핑된 영상의 지역적 밝기를 개선하기 위한 감마 가중치 맵을 나타내며 k는 구간선형적 함수를 나타낸다. 배경 휘도에 따른 JND(Just Noticeable Difference)에 대한 인간 시각 특성은 중간 영역의 휘도에서는 민감하지만 어두운/밝은 휘도영역에서는 민감하지 않은 특성을 가지고 있다[10]. 이러한 인간시각특성을 이용하여 어두운/밝은 휘도에 대한 가중치를 증가/감소시켜 Fig. 5에 나타낸 영상의 지역적인 밝기를 조정하는 함수를 생성하였다. Fig. 6은 식 (9)를 사용하여 얻은 가중치 값을 시각화한 영상이다. Fig. 6에서 회색 영역은 가중치가 1에 근사하여 감마값을 보정하지 않은 영역을 나타내며 흰색 및 검정색 영역은 영상의 어두운/밝은 영역에 따라 가중치 값이 보정됨을 나타낸다. 식 (9)를 사용하여 나타낸 개선된 가중치 맵은 Fig. 7에 나타내었다. Fig. 7의 개선된 가중치 맵을 Fig. 2의 기존 방법과 비교하면 영상에서의 개선 영역이 경계부분 뿐만아니라 영상의 지역적 어두운/밝은 영역도 포함됨을 확인할 수 있다.

Fig. 5.Base layer intensity versus gamma weight values using a piecewise linear function for local brightness enhancement.

Fig. 6.Visualization of gamma weights of enhancement region.

Fig. 7.Modified weight map by using Eq. 9.

기존의 가중치 맵이 가지는 또 다른 문제점인 휘도차이가 큰 경계부문에서 나타나는 후광효과를 줄이기 위하여 본 논문에서는 휘도 값에 따른 수정 계수(scale factor)를 제안하였다. 수정 계수는 영상의 어두운/밝은 영역에서 두드러지게 표현되는 디테일을 선택적으로 정규화 시키기 위하여 베이스층의 휘도 값을 사용한다. 영상의 어두운/밝은 배경에서의 가중치에는 큰 수정 계수를 할당하고 그 외의 부분은 작은 계수를 할당하였다. 제안한 수정 계수를 식(9)에 적용함으로써 제안한 감마 보정 알고리즘을 다음과 같이 정의할 수 있다.

여기서 w′(i)는 제안한 감마 보정 알고리즘을 나타내며 s는 수정 계수를 나타낸다. Fig. 8은 휘도 값에 따른 정규화 인자를 그래프로 도식화하였다. Fig. 9는 식(10)을 사용하여 본 논문에서 자안한 영상의 지역적 밝기 및 디테일 향상을 위한 감마 가중치 맵을 나타낸다. 제안한 방법을 Fig. 7과 비교하면 영상의 어두운/밝은 부분에서 디테일에 대한 가중치 값이 선택적으로 개선됨을 확인할 수 있다.

Fig. 8.Base layer intensity versus scaling weights to control edge strengths.

Fig. 9.Modified weight map generated by the proposed method.

제안한 감마 보정 알고리즘을 식 (11)에 적용함으로써 톤 매핑된 결과영상을 얻을 수 있다.

4. 실험 결과 및 고찰

Fig. 10은 본 논문에서 제안한 알고리즘을 사용한 출력 휘도채널을 기존의 방법들과 비교한 영상이다. Fig. 10 (a)는 가중치 맵을 적용하지 않은 고정된 감마값을 사용한 결과 영상을 나타내며, Fig. 10 (b)는 식 (7)로부터 계산한 기존의 가중치 맵을 사용한 결과영상이다. Fig. 10 (c)는 식(9)를 적용하여 영상의 지역적인 밝기를 개선한 출력 휘도채널이며 그림 10(b)와 비교하였을 때 영상의 디테일과 전체적인 밝기는 그대로 유지하면서 영상의 좌측 상단과 같은 국부적인 어두운 영역과 창문과 같은 밝은 부분의 밝기를 개선함을 보인다. Fig. 10 (d)는 본 논문이 제안하는 알고리즘을 사용하여 획득한 결과영상이다. 이를 Fig. 10 (a)와 Fig. 10 (b)의 결과영상과 비교하였을 때 지역적인 밝기가 개선되어 영상에서 좌우측 상단 등의 영상의 어두운 부분의 밝기가 개선되어 드러나지 않았던 디테일의 시인성을 확보하는 동시에 밝은/어두운 영역에서 나타나는 과도한 디테일의 세기가 감소하여 자연스러운 결과영상이 출력됨을 확인할 수 있다.

Fig. 10.Comparison of output luminance channel. (a) Output luminance channel without using the weight map, (b) output luminance channel by using the weight map, (c) output luminance for brightness enhancement by using Eq. (9) and (d) brightness and detail enhanced output luminance channel by the proposed algorithm.

Fig. 11-15는 기존의 방법들과 본 논문에서 제안한 알고리즘을 사용하여 톤 매핑한 결과영상을 나타낸다. 제안한 방법을 통해 획득한 Fig. 11 (c) 영상에서는 전체적인 밝기를 최대한 유지하면서 좌측과 상단의 어두운 부분의 밝기를 국부적으로 개선함을 확인할 수 있다. 또한, 창문과 대들보 등 휘도 차이가 크게 나는 부분들에서 과도한 디테일의 개선을 조절하여 영상의 디테일을 최대한 보존함과 동시에 디테일의 시인성을 확보함을 보였다. 이와 마찬가지로 Fig. 12와 13에서는 영상 하단의 자동차 및 숲의 어두운 부분의 밝기를 개선할 수 있었으며 (a)의 결과영상과 비교하였을 때 디테일을 보존하며 (b)의 결과영상과 비교하였을 때 디테일의 자연스러움을 개선함을 확인할 수 있다. Fig. 14와 15에서도 마찬가지로 영상의 지역적인 어두운/밝은 영역의 밝기를 개선시키며 디테일의 시인성이 향상되었다.

Fig. 11.Result image of Memorial Church. (a) Result image by logarithmic mapping, (b) result image by Qiao's algorithm and (c) result image by the proposed method.

Fig. 12.Result image of Big Fig Map. (a) Result image by logarithmic mapping, (b) result image by Qiao's algorithm and (c) result image by the proposed method.

Fig. 13.Result image of Bristol Bridge. (a) Result image by logarithmic mapping, (b) result image by Qiao's algorithm and (c) result image by the proposed method.

Fig. 14.Result image of Desk. (a) Result image by logarithmic mapping, (b) result image by Qiao's algorithm and (c) result image by the proposed method.

Fig. 15.Result image of Cadik Desk. (a) Result image by logarithmic mapping, (b) result image by Qiao's algorithm and (c) result image by the proposed method.

주관적인 선호도 평가를 위해 실험은 기존의 방법들과 제안한 방법을 사용하여 톤 매핑한 5가지 HDR영상을 밝기 및 디테일의 시인성에 대한 선호도를 조사하였다. 비교대상 방법은 고정된 감마값을 사용한 로그 매핑(logarithmic mapping)[2], 기존의 가중치 맵을 사용한 방법[6] 그리고 본 논문에서 제안하는 알고리즘을 사용하였다. 평가를 위해 보통의 시력을 가진 20명의 관찰자들이 실험에 참여하였다. 참가자들은 여자 12명, 남자 8명으로 24-33세의 연령대로 구성되었으며 주관적인 평가를 위해 톤 매핑된 영상을 동일한 광원 하에서 모니터를 사용하여 출력하였다. Z-score[11]을 계산하기 위하여 실험 참가자들은 화면에 출력된 두 개의 결과 영상 쌍을 비교하여 밝기와 디테일의 자연스러움에 대한 선호영상에 점수를 부여하였다. 선호도 조사를 통한 z-score 결과를 Fig. 16에서 나타내었다. Fig. 16 (a)는 결과영상의 밝기에 대한 선호도이며 (b)는 디테일의 시인성에 대한 선호도이다. 영상의 밝기에 대한 선호도는 실험에 사용한 모든 영상에서 제안한 알고리즘을 사용한 결과영상이 좋은 성능을 나타냄을 보였다. Fig. 16 (b)의 디테일의 시인성에 대한 선호도에서는 (a)의 전역적인 톤 매핑 방법에 비해 지역적인 (b) 및 (c) 선호도가 높게 나타났으며, 제안한 방법이 디테일의 시인성에 대한 선호도에도 좋은 성능을 나타냄을 확인할 수 있었다.

Fig. 16.Result z-score for subjective preference test. (a) Z-score result with preference of brightness and (b) z-score result with preference of visibility of details.

5. 결 론

본 논문에서는 HDR 영상의 지역적인 밝기 및 디테일 향상을 위한 감마 보정 알고리즘을 제안하였다. 제안한 알고리즘은 베이스층의 휘도 값을 고려하여 영상의 개선 영역과 정도를 설정하였으며 이를 바탕으로 계산한 함수와 수정 인자를 가중치 맵에 적용함으로써 영상의 지역적 밝기 및 디테일 향상을 위한 감마 보정 알고리즘을 생성하였다. 제안한 방법을 HDR 영상의 톤 매핑에서 감마 보정에 적용한 결과 영상의 전체적인 밝기는 유지하며 어두운/밝은 부분의 지역적인 밝기를 개선하여 시인성을 향상시킬 수 있었다. 또한 영상의 어두운/밝은 영역에서 나타나는 후광효과를 감소시키면서 디테일을 보존하여 톤매핑된 영상의 자연스러움이 향상됨을 확인할 수 있었다. 본 논문이 제안한 알고리즘을 다양한 HDR 영상에 적용하여 기존의 톤 매핑 방법들과 비교한 주관적인 평가 실험에서 제안한 방법이 영상의 밝기 및 디테일의 시인성에서 높은 선호도를 가짐을 확인하였다.