1. 서 론

일반적으로 메이크업의 사전적 의미는 ‘제작하다’, ‘보완하다’라는 뜻으로 화장품과 도구를 사용해 신체의 아름다운 부분은 돋보이도록 하고 약점과 추한 부분은 수정하거나 보완하는 ‘미적 가치추구’의 의미로 널리 통용된다. 얼굴 또는 신체의 결점을 보완·수정하고 장점을 부각시켜 개성 있고 아름답게 꾸미고 매만지는 모든 행위를 메이크업이라 한다[1]. 최근에는 문화생활이 발달함에 따라 기존의 미적 가치추구를 위해 하던 일반적인 메이크업의 의미가 아닌, 연극이나 무대, 공연 등에서 배우가 맡은 인물의 역할이나 성격 등을 부각시키면서 캐릭터를 잘 표현할 수 있다. 이와 동시에 바라보는 관객들로 하여금 배우들의 연기에 대한 이해와 몰입할 수 있도록 만드는 도구로써도 메이크업이 널리 사용되고 있다. 또한 시대의 변화에 따라, 메이크업에 대한 인식 변화와 남성의 외모에 대한 관심 증가로 인해 여성뿐만 아니라 남성에게도 영향을 끼치기 시작했다. 여성만큼은 아니지만 남성의 얼굴에 있는 작은 여드름이나 주근깨 같은 잡티들이나 피부 톤, 눈썹, 눈매 등을 위주로 보정하기 위한 수단으로써 메이크업을 한다.

얼굴 메이크업은 크게 피부, 눈과 눈썹 그리고 입술 3가지 영역으로 나눌 수 있다. 그리고 더 매력적인 얼굴을 위해 파운데이션, 셰이딩, 하이라이트 등을 영역에 따라 세부적으로 추가하여 메이크업을 적용한다. 메이크업 기법은 얼굴 형태나 눈의 모양 등에 따라 사람들마다 서로 다르게 적용되기 때문에, 대상의 얼굴 환경에 알맞은 방법을 사용해야 한다. 알맞은 메이크업 방법을 찾기 위해서는 우선 대상 얼굴의 부분적인 형태를 알아야 하고 전체적으로 조화롭게 메이크업이 적용될 수 있도록 적합한 방법을 선택해야만 한다. 하지만, 단순히 일정 조건들을 고려한다해도, 적합한 메이크업기법을 선택하는 것에는 한계가 분명히 존재한다. 따라서 가상의 자신에게 얼굴메이크업을 적용 해보는 것은 화장품 소비자로 하여금 화장품 구매 결정에 대한 편의를 제공할 수 있다.

이전의 연구에서는 일반적으로 하나의 샘플 메이크업 영상을 기반으로 목표 영상에 적용시켰다. 하지만 메이크업기법은 하나의 방식으로 정해진 것이 아닌 여러 가지 도구를 이용하여 다양한 조합을 이루고 있다. 하나의 피부와 눈 메이크업에 대해 여러 가지 입술 메이크업을 적용시켜봄으로써, 우리는 더욱 다양한 조합에 대한 결과를 예측할 수 있다. 본 연구에서는 한 가지 메이크업영상에 대한 메이크업기법의 적용뿐만 아니라 두 가지의 메이크업영상에 대해 눈과 피부에 대한 메이크업기법과 입술에 대한 메이크업기법을 하나의 영상에 자연스럽게 적용 할 수 있는 방법을 제안한다. 그리고 기존의 연구와 달리 입력 얼굴 영상의 세세한 부분을 좀 더 살리기 위해 기존의 피부 세부 사항 층을 얻는 방식과 함께 카툰 렌더링(cartoon rendering)[2]을 이용하여 에지를 강조한다. 또한 기존의 피부 톤과 자연스러운 변화를 위해 알파 블렌딩을 이용하지 않고 가우시안 가중치(Gaussian weight map)를 이용하여 블렌딩을 적용한다.

본 논문은 다음과 같은 순서로 구성된다. 먼저 Section 2에서는 관련 연구들에 대해 알아본다. Section 3에서는 본 연구의 목표인 두 가지 예제 이미지를 이용한 가상 메이크업 기술의 방법과 과정에 대해 설명한다. 마지막으로 Section 4에서는 여러 데이터를 이용한 실험 영상 및 결과에 대해 말한다.

2. 관련연구

이 전의 가상 메이크업관련 연구는 입력된 목표 영상이 있을 때, 하나의 예제 영상에서 메이크업 기법을 목표 영상에 적용한다. Tong[3] 등이 제안한 방법은 하나의 목적 영상에 메이크업을 적용하기 위해서 메이크업 전, 후 한 쌍의 영상을 필요로 한다. 목표 영상에 속눈썹과 눈썹을 최대한 예제 영상과 비슷하게 만들기 위해 전처리 과정으로 베이지안 메팅(Bayesian matting)을 사용하여 제거를 한 뒤 인페인팅(Inpainting)을 이용하여 빠진 부분을 채운 뒤 예제 영상의 속눈썹과 눈썹을 가져와 적용하는 방법을 사용하였다. 그리고 사용자가 가중치를 변화시켜 눈 메이크업을 진하게 할지 연하게 할지 직접 설정할 수 있도록 설계하였다. Eckert[4] 등은 메이크업을 할 때 피부, 눈 그리고 입 영역으로 나누고, 데이터베이스 안에서 미리 메이크업되어 있는 양쪽 눈과 눈썹, 피부 그리고 입술에 해당되는 영상을 받아와서 자연스럽게 한 영상으로 합치는 방법을 사용하여 전체적인 메이크업이 된 영상을 완성하는 방법을 제안하였다. Scherbaum[5] 등은 개인마다 best-fit 메이크업이 다르기 때문에 입력된 여러 개의 얼굴 영상이 있을 때, 메이크업되어 있는 데이터베이스인 Query face에서 그 메이크업과 가장 잘 맞을 것이라고 생각되는 입력 영상을 찾아서 적용을 시킨다. 그리고 난후 차이를 볼 수 있도록 가장 추천하는 메이크업을 적용 했을 때의 얼굴 영상과 전문적인 메이크업을 적용했을 때의 영상, 추천하지 않는 메이크업을 적용했을 때의 영상을 각각 비교해 보는 연구를 진행하였다. Abhinav[6] 등은 Fuzzy decision tree skin segmentation을 이용하여 피부를 찾고 ASM(Active Shape Model)을 이용하여 눈과 입을 찾아 데이터 셋에서 영상 매칭을 시도한 다음 잘 어울린다고 판단된 영상을 바탕으로 디지털 메이크업을 완성시키는 방법에 대해 연구하였다. M.J. Kim[7]은 Kubelka-Munk모델을 이용하여 이미지기반 메이크업을 하여 영상 합성 시, 실제 메이크업과 가상 메이크업 결과가 유사하도록 구현하였다.

D. Guo[8] 등이 제안한 방법은 본 연구와 가장 관련이 깊다. D. Guo 등은 영상의 채널을 RGB에서 CIELAB로 변환하여 얼굴 구조, 피부 세부 사항, 색상 영역으로 분할한 후 알파 블렌딩을 통해 예제 영상과 원본 영상의 각 층을 조합하여 자연스러운 메이크업 효과를 적용하는 방법을 제안하였다. D. Guo등이 제안한 방법은 Tong과 달리 메이크업 전, 후 두 개의 영상이 아닌, 메이크업이 되어 있는 하나의 영상만을 가지고 할 수 있다. 하지만, 하나의 메이크업기법을 보는 것은 메이크업의 다양한 분야를 확인해 보는 것에는 한계가 존재한다. 따라서 본 연구는 D. Guo와 달리 두 개의 영상에 대해서 눈과 피부 메이크업기법과 입술 메이크업기법을 하나의 영상에 두 개의 영상에 있는 메이크업기법을 여러 조합을 통한 자연스러운 적용이 목적이다.

우리가 제안한 방법은 원본 영상의 세세한 특징, 예를 들면 얼굴의 쌍꺼풀이나 머리카락 등을 유지한 채 색상의 자연스러운 변환이 중요하다. Shan[9] 등은 두 영상 사이에 질감을 전달하는 방법을 제안하였다. 그들은 제안한 방법으로 젊은 사람의 주름이 없는 피부를 늙은 사람에게 적용하여 주름을 제거하였다. D. Guo 등은 에지를 보존하기 위해 weigthed least square[10]를 이용하여, CIELab 컬러 공간에서 층을 분할하여 피부의 세세한 특징들을 보존하였으나 강한 에지를 보존하여 세세한 특징들을 더 강하게 보존하는 것에 초점을 두었다. 우리는 실험을 위해 웹 페이지[11,12]에서 얼굴 이미지 및 메이크업 이미지를 다운받아 이용하였다.

3. 디지털 가상 메이크업

본 연구는 메이크업기법이 적용된 두 가지 얼굴 영상에서 하나의 영상에서는 피부와 눈 메이크업, 다른 하나의 영상에서는 입술 메이크업기법을 추출하여, 입력 얼굴 영상에 적용하는 가상 메이크업 시스템을 제안한다. 이를 위해 본 논문에서는 메이크업을 적용하기 위한 입력 얼굴 영상을 I, 피부와 눈 메이크업기법을 가져오기 위한 얼굴 영상을 Ee, 입술 메이크업기법을 가져오기 위한 얼굴 영상을 El, 메이크업이 적용된 결과 영상을 R로 정의한다. 다음 (Fig. 1)은 본 논문의 시스템에 대한 순서도를 보여준다.

Fig. 1.Workflow.

우리의 가상 메이크업시스템은 크게 5단계로 나눌 수 있다. 첫째, 이미지 Ee와 El의 색상을 이미지 I에 적용할 수 있게 하기 위하여 이미지 I의 얼굴형태로 정렬한다(Section 3.1). 둘째, I의 얼굴에서 특징을 가지는 에지를 보존하기 위해 카툰 렌더링을 이용하여 에서 에지가 보존된 D를 생성한다(Section 3.2). 셋째, Ee을 가우시안 가중치를 생성하여 이를 이용해 I에 적용한다(Section 3.3). 넷째, El을 입술 메이크업을 위해 생성한 가우시안 가중치를 이용하여 I에 적용한다(Section 3.4). 마지막으로 두 번째에서 추출한 D를 결과 영상 R에 적용한다(Section 3.5).

3.1 이미지 정렬

얼굴 영상의 정렬을 위해 우리는 Thin Plate Spline(TPS)[13]을 이용하여 이미지 Ee와 El를 이미지 I로 와핑하였다. TPS 와핑은 랜드마크를 이용하여 와핑을 수행한다. 일반적으로 Active Shape Model[14]이나 Active Appearance Model[15]을 이용하여 얻을 수 있다. 본 연구에서는 랜드마크는 Supervised Descent method[16]을 이용하여 얻을 수 있다. 본 연구에서는 실험을 위해 하나의 얼굴에 총 75개의 랜드마크를 이용하였다.

우리는 위의 (Fig. 2)와 같이 우리는 각각의 랜드마크는 인덱스에 따라 얼굴 요소를 정의한다. 즉, 각각의 랜드마크에 의해 나뉜 영역은 얼굴의 눈, 코, 입 등의 각 요소를 의미하며, 우리는 눈은 C1, 눈썹과 코를 C2, 입술을 C3, 그 외 얼굴 피부 영역을 C4로 나누어 각 영역을 정의한다. 이와 같이 정의 한 후 section 3.4와 section 3.5에서 가중치 맵을 생성하기 위해 이용한다.

Fig. 2.(a) landmarks, (b) Facial component defined by landmarks: green as C1, red as C2, blue as C3, white as C4.

3.2 피부의 상세한 특징 추출

본 연구에서는 먼저, 얼굴 영상의 주름, 쌍꺼풀 등의 얼굴에 있는 상세한 특징들을 추출한다. 이를 위해 우리는 에지를 보존한 스무딩 기법을 이용한다. 에지를 보존한 스무딩 기법으로는 이 전의 연구에서는 주로 bilateral 필터링 기법이 많이 사용되었다. 일반적인 bilateral 필터링 기법보다는 Weightedleast squares를 이용한 방법이 더 나은 결과를 보이지만, 우리는 bilateral 필터링을 이용한 카툰 렌더링 기법을 이용한다. H. Winnemoller 등이 제안한 이 방법[15]은 bilateral 필터와 Difference-of-Gaussian 에지를 이용한 에지를 보존한 스무딩 기법이다. 카툰렌더링을 통해 우리는 에지가 강조되고 얼굴의 피부영역은 스무딩이 이루어진 영상을 얻을 수 있다. 여기서 카툰 렌더링을 Cbilateral(·)라 하고, 얼굴 영상의 상세한 특징의 영상을 D(·)라고 했을 때, D(I)는 다음과 같이 구할 수 있다.

이를 통해 얻은 D(I)는 다음 (Fig. 3)와 같다.

Fig. 3.Original image and detail layer.

우리는 위와 같은 상세한 특징들을 이용하여 가상 메이크업 시스템에서 좀 더 사실성 높은 결과를 얻을 것이다.

3.3 가상 메이크업

우리는 와핑된 Ee의 메이크업기법을 I에 적용하기 위해 가중치 맵을 생성해야 한다. 가중치 맵을 생성하기 위해 section 3.1에서 정의한 각 영역에 대해 가중치를 준다. 우리는 눈 영역 C1은 0, 눈썹, 코 영역인 C2은 0.4, 얼굴 영역 C4는 0.8의 가중치를 가진 가중치 맵 we를 생성한다. 여기서 은 눈 영역이기 때문에 메이크업이 적용될 수 없다. 따라서 가중치를 0으로 두어 이미지 I의 값을 그대로 가질 수 있도록 한다. Ee의 메이크업기법이 자연스럽게 I에 적용되도 록 하기 가우시안 식을 이용하여 가우시안 가중치 맵 을 생성한다.

여기서, p는 이미지 픽셀의 위치, γ는 얼굴의 각 영역에 대한 가중치이며 0 ≤ γ ≤ 1의 값을 가지는 we의 값을 의미한다. 본 연구에서 모든 실험에서 σ = 5로 주었다. 이와 같은 방법으로 (Fig. 4) (a)와 같은 가우시안 가중치 맵을 생성한다. 이와 같은 방법을 이용하여 입술 메이크업을 하기 위한 다른 하나의 가우시안 가중치 맵을 생성한다. 입술 영역인 C2에 0.8의 가중치를 가지고 나머지 영역에 대해서는 0을 가지는 가중치 맵 wl을 생성한다. 생성한 wl을 식 (2)를 이용하여 (Fig. 4) (b)와 같은 를 생성한다.

Fig. 4.Gaussian weight map :

먼저 눈과 얼굴 메이크업을 위해 생성한 을 Ee와 I에 다음의 식과 같이 적용하여 (Fig. 5) (a)와 같은 눈과 얼굴 메이크업을 적용한 결과 영상 Re을 생성한다.

Fig. 5.(a) Makeup by Ee, (b) Makeup by Ee and El.

눈과 얼굴 메이크업이 된 영상 Re에 다음 식을 이용하여 입술 메이크업이 완료된 결과 영상 R을 얻을 수 있다.

다음의 (Fig. 5) (b)는 입술 메이크업이 완료된 영상을 보여준다.

3.4 피부의 상세한 특징 적용

마지막으로, section 3.2에서 얻은 D(I)는 결과 영상 R과 가중치의 합으로 원본 영상 피부 및 쌍꺼풀등의 세세한 특징들을 넣는다. 본 연구에서는 가중치를 0.3으로 주었다. 다음 (Fig. 6)은 D(I)가 들어간 최종 결과 영상을 보여준다.

Fig. 6.Result image.

4. 실험 결과

본 연구의 실험을 위한 사용자 정의 파라미터는 가중치 맵을 만들기 위한 각각의 영역에 대한 가중치 γ이다. 우리는 자연스러운 결과를 위해 C1은 0, C2는 0.4, C4는 0.8, 는 0.8의 가중치를 주었다. 하지만 각 영역에 대해 강한 효과를 보기 위해, γ의 값을 조정할 수 있다. 만약 이미지 C4의 γ값을 1과 가까운 값을 부여한다면, 더욱 피부 톤과 눈 메이크업기법이 강조된 영상을 얻을 수 있을 것이다. 반면에 0과 가까운 값을 부여한다면, 원본 영상의 피부 톤을 강조하고, 연한 눈 메이크업기법을 얻을 것이다. 다음의 (Fig. 7)은 이를 실험한 결과를 보여준다. 이와 같은 방법으로 각 영역에 대한 가중치의 조절을 이용하여 각 영역 별 메이크업 결과를 사용자의 요구에 맞게 조정이 가능하다.

Fig. 7.Makeup by γ value : (a) C4 = 0.4, (b) C4 = 0.8.

우리는 D. Guo 등이 제안한 방법을 이용한 결과와 우리가 제안한 방법의 차이를 비교하였다D. Guo 등이 제안한 방법은 하나의 예제 이미지를 이용하여 모든 메이크업 기법을 자연스럽게 적용한 결과를 볼 수 있다. 하지만 우리가 제안한 방법은 피부 및 눈 메이크업과 입술 메이크업 기법을 서로 다른 두 이미지에서 가져와서 적용한다. (Fig. 8)의 (a)는 D. Guo등이 제안한 방법을 이용한 입술 메이크업 결과 영상하나의 예제 이미지에서 가져왔으므로 자연스럽게 적용 된 것을 볼 수 있다. (Fig. 8)의 (b)는 우리의 방법을 이용하여 피부 메이크업과 입술 메이크업 기법을 서로 다른 영상에서 가져와서 적용한 결과 영상이다. 이를 보면, 서로 다른 두 영상으로부터 가져온 메이크업 기법이 자연스럽게 적용된 것을 알 수 있다.

Fig. 8.Lip makeup : (a) Lip makeup result of D. Guo, (b) Lip makeup result of our approach.

(Fig. 9)는 각각의 다른 예제 이미지를 이용한 메이크업 적용 결과를 보여준다. (Fig. 9)의 각 행은 서로 다른 두 개의 예제 영상을 이용하여 각각의 눈, 피부 메이크업 기법과 입술 메이크업 기법을 이용하여 입력 영상에 적용한 예를 보여준다. 여기서, (Fig. 9)의 첫 번째 열은 얼굴 화장 및 눈 메이크업 기법을 가져오기 위한 예제 이미지이다. 두 번째 열은 입술 메이크업 색상을 가져오기 위한 예제 이미지이다. 세번째 열은 D. Guo 등이 제안한 방법의 결과 영상이며, 마지막 네 번째 열은 본 논문에서 제안한 방법이다.

Fig. 9.Experiment : first column is eye and face makeup example image, second column is lip makeup example.

5. 결 론

본 연구는 두 가지 메이크업 예제 영상에서 메이크업 기법을 추출하여 자연스럽게 목적 영상에 적용하는 방법을 제안하였다. 기존의 디지털 메이크업 기법은 하나의 샘플 영상으로부터 얻은 메이크업기법을 적용하는 것에 국한되었다. 우리는 서로 다른 두 개의 메이크업 샘플 영상으로부터 눈과 피부 메이크업, 입술 메이크업을 각각 가져와서 목표 영상의 얼굴에 적용하였다. 두 개의 서로 다른 영상으로부터 메이크업기법을 가져와서 하나의 영상에 적용하면, 각 영상의 조명 등에 의해 자연스러운 결과를 얻기 힘들다. 따라서 자연스러운 블렌딩 기법이 필요하다. 우리는 자연스러운 블랜딩 결과를 얻기 위해 가우시안 가중치 맵을 적용하여 해결하였다. 이러한 방법을 이용하여 우리는 두 가지 예제 영상으로부터 한 영상에서는 눈과 피부 메이크업을, 다른 하나의 영상에서는 입술 메이크업을 추출하여 하나의 목적 영상에 적용하였다.

일반 사용자가 가상 메이크업을 위해서는 포토샵등의 어려운 애플리케이션을 이용하여야 하였다. 이와 같은 방법은 능숙하지 않은 사람이 이용할 경우 자연스러운 결과를 얻기가 매우 어렵다. 하지만 우리의 방법은 사용자가 간단히 예제 사진만 선택함으로 써, 원하는 화장의 적용 결과를 볼 수 있다. 본 논문의 알고리즘은 Matlab으로 구현하였고, 인텔 i5-4690 프로세서를 이용하여 640 × 480크기의 영상에 대해 처리 시간은 5-10초 가량 소요된다. 이 중 대부분의 시간은 카툰 렌더링에서 소요되며, 이 후 모든 과정은 1초 이내에 처리된다.

우리는 실험 단계에서 정면 얼굴 이미지만을 이용하였다. 이는 랜드마크를 찾기 위한 방법으로 이용한 알고리즘인 Supervised Descent Method를 위한 학습 수가 적기 때문에 측면 얼굴에 대한 이미지는 잘 찾지 못하기 때문이다. 우리는 추후 어떠한 방향의 얼굴에 대해서도 메이크업 기법을 추출하여, 정면이 아닌 얼굴에 대해 적용할 수 있는 방법을 개발할 수 있을 것이다.