An Image-based Color Appearance Analysis of Makeup and Image Synthesis based on Kubelka-Munk Model

Kubelka-Munk모델을 이용한 이미지 기반 메이크업 색상 분석 및 도포 영상 합성

Abstract

Simulating color appearance of makeup effect is an important issue in computer graphics as well as cosmetic industry. Most of previous works on makeup simulation are simple color blending to mimic the cosmetic effects. Some of previous works employed Kubelka-Munk model to accurately simulate the layering effect of cosmetics. However, the simulation limited on single point, and the rest of area are still computed by simple color blending utilizing the color of the single point simulation. This paper presents an image-based method to compute the color appearance effect of makeup application using per-pixel Kubelka-Munk model. Unlike the previous methods, it is possible to compute per-pixel application thickness as well as optical property of cosmetics. The computed thickness pattern can be used in makeup simulation for a more realistic makeup simulation.

1. 서 론

아름다운 화장에 대한 욕구는 현실을 넘어서 가상의 영역에서도 화장이 이루어지게 하였다. 메이크업 시뮬레이션은 시간이 소모되고 화장 기술이나 노동이 수반되는 물리적인 화장을 하지 않더라도 사용자에게 가상의 화장한 모습을 제공한다. 메이크업 시뮬레이션은 컴퓨터 그래픽스 분야와 엔터테인먼트 산업, 화장품 개발 분야 등의 분야에서 중요한 이슈로서 연구와 소프트웨어의 개발이 진행되어 왔다.

메이크업 시뮬레이션 관련 연구는 2차원 및 3차원 기반에서 이루어져왔다. 3차원 기반 디지털메이크업은 정면 외에도 여러 각도에서 메이크업 효과를 볼 수 있는 장점이 있다[13]. 하지만, 3차원 공간에서 피부와 메이크업의 광학적 특성을 사실감 있게 모델링하기 어렵고, 3차원 얼굴 모델 또한 실제 사진 수준으로 사실적으로 만들기 어렵다. 때문에, 대부분의 3차원 기반 메이크업 시뮬레이션들이 어색한 렌더링을 보여준다. 비사실적인 3차원 그래픽보다 오히려 사람의 실제 얼굴 사진(2차원)에서 화장 효과를 확인하는 것이 더 현실감을 줄 수 있다. 본 논문에서는 간편하고 실용적이며 결과물이 더 현실감을 주는 이미지 기반의 2차원 메이크업을 목적으로 한다.

메이크업을 할 경우 화장품은 화장품 본연의 색상 그대로 보이지 않는다. 메이크업 층에 입사된 빛이 피부에 어느 정도 흡수된 후 메이크업 층에서 산란하다가 반사된 빛과, 메이크업 층을 관통하여 피부에 닿아 반사된 빛이 합쳐져서 사람의 눈에 최종적으로 피부에서 메이크업을 한 색상으로 보이게 된다. 이러한 반투명 층 사이에서 발생하는 산란, 반사, 관통의 광학 현상을 간략화하여 최종적으로 보이는 반사광의 세기를 추정하는 광학 모델로서 Kubelka-Munk 모델[1,2]이 다양한 분야에 사용된다. 그러나 대다수의 기존 2차원 기반 디지털 메이크업 연구에서는 이러한 피부와 메이크업 층 사이에서 발생하는 광학적 현상을 시뮬레이션 하지 않고 알파블렌딩(alphablending)과 같은 단순하게 색을 혼합하는 화장 효과 표현에 한정된 경우가 많다[3-8].

Kubelka-Munk 모델을 이용하여 피부와 메이크업 층간의 광학적 특성을 고려한 시뮬레이션을 수행한 연구가 있었으나 피부의 한 점에 대해서만 광학적 시뮬레이션을 하고 이를 이미지 전체에 적용할 때에는 역시 단순한 보간법을 사용하여 사실적인 메이크업 효과를 표현할 수 없었다[10]. 기존 연구들은 결과적인 측면에서 단순한 페인팅 프로그램과 별 다른점이 없고 색을 혼합하는 화장 효과의 표현에 한정되어 왔다. 사진 기반 가상 메이크업에서 실제와 같은 메이크업 효과의 구현은 컴퓨터 그래픽스 분야에서 도전적인 이슈이며 메이크업과 피부간의 광학 현상을 보다 정확이 시뮬레이션 하는 방법에 대한 지속적인 연구가 필요하다.

본 논문에서는 사진 기반 디지털 메이크업에서 피부와 메이크업의 광학적 특성을 고려하기 위해 Kubelka-Munk 모델을 사용한다. 이는 기존의 Kubelka-Munk 모델을 이용한 메이크업 시뮬레이션 연구가 한 점에서만 메이크업 후 색상을 추정한 점을 개선한 것으로 얼굴의 전체 영역에서 Kubelka-Munk 모델을 이용하여 메이크업 후 색상을 추정한다. 본 연구의 방법은 메이크업 전/후 이미지를 비교하여 메이크업이 도포된 두께 정보, 즉 메이크업 도포 패턴을 구할 수 있다. 이를 이용하여 실제 사람 피부에 메이크업을 수행하고 그 도포 두께 패턴을 구한 후 이를 다른 사람의 얼굴에 가상으로 메이크업 하는 데 사용함으로서 가상 메이크업의 사실감을 높일 수 있었다. 이는 기존의 방법이 한 점에서만 Kubelka-Munk 모델을 이용하여 메이크업 시뮬레이션을 수행하고 이를 얼굴전체에 적용함으로서 색상이 맞지 않고 도포 두께의 변화가 없어 어색한 결과를 생성하는 점을 개선한 것이다.

 

2. 관련 연구

2.1 Kubelka-Munk 이론

Kubelka-Munk모델[1]은 안료나 물감 재료의 광학적 성질을 수식화 한 모델로 안료 내에서 빛에너지는 Fig. 1과 같이 입사광 방향과 입사광 방향의 역방향, 두 가지의 방향으로만 이동할 수 있다고 가정하고 산란계수 S와 흡수계수 K를 가지는 안료가 두께 D의 층을 이룰 때 결과적인 반사율 R 및 투과율 T가 수식 (1), (2)과 같음을 보인 것이다. 식에서 a, b는 수식을 단순화하기 위한 매개변수이다.

Fig. 1.Light directions in Kubelka-Munk model.

Kubelka-Munk 이론은 Fig. 2에서와 같이 2개 이상의 다른 재질의 층에서 무한히 반사 및 투과가 반복되는 과정을 가정하고 최종 반사율을 계산하는 것으로 확장되었다[2]. 두 개의 층으로 구성되어 있을 때 최종 반사율 R1,2는 식 (3)과 같이 나타난다. R1은 층 1의 반사율, R2는 층 2의 반사율, T1은 층 1의 투과율이다.

Fig. 2.Two layer model from Kubelka-Munk theory.

산란계수 S와 흡수계수 K는 안료의 고유한 광학적 특성인 데, 이를 추정하기 위해서 특정 배경 위에 안료가 칠한 후의 반사율 R0와 배경의 반사율 Rg, 그리고 배경이 전혀 보이지 않을 정도로 두껍게 칠해진 안료의 반사율 R∞ (D=∞)를 측정하고 이를 수식 (1), (2), (3)으로 역산하여 산란계수 S와 흡수계수 K를 구할 수 있다. 그 결과는 식 (4), (5)와 같다.

2.2 메이크업 시뮬레이션 관련 연구

Tazz[3], Makeover[4], Lancome[5]는 웹사이트나 스마트폰 플랫폼에서 현재 상용화되고 있는 메이크업 시뮬레이션 소프트웨어로, 사용자가 수동으로 다양한 화장품과 스타일을 선택하면 메이크업을 적용한 결과를 보여준다. 현재 상용화되고 있는 메이크업 시뮬레이션 소프트웨어는 그 결과가 단순히 색을 칠하는 수준에 지나지 않아 실제로 그 화장품이나 메이크업을 했을 경우와 차이가 있어 신뢰성이 없고 결과적인 측면에서 따져보았을 때 페인팅 프로그램과 차별화된 점이 없다.

Scherbaum[6]은 56명의 여성의 화장 전/후 사진 데이터베이스를 이용하여 자동으로 메이크업을 제안하는 시스템을 구현하였다. 가상 메이크업 대상이 되는 사진과 가장 유사한 사진을 찾고 여러 채널 (diffuse, gloss, scattering)에서 메이크업 전/후 변화율을 대상의 사진에 곱하여 메이크업 시뮬레이션을 수행한다. 여러채널을 사용하였지만 기본적으로 변화율을 곱해주는 단순한 색상 발현 모델을 사용하므로 실제의 메이크업 색상 발현과는 차이가 있다 하겠다.

Tong[7]은 같은 얼굴의 ‘메이크업 전’과 ‘메이크업 후’사진 한 쌍에서 메이크업에 따른 색상의 변화율을 메이크업의 효과로 나타내는 방법을 제안하였다. Lambertian 가정에 근거하여 메이크업으로 인한 변화율은 ‘메이크업 후’반사율에서 ‘메이크업 전’반사율로 나눈 몫으로 구하고 이 변화율을 다른 얼굴의 메이크업 전 사진에 곱하여 메이크업 결과를 얻게 된다.

화장 전 후 사진에서 화장의 변화율을 얼굴의 픽셀단위로 계산하여 cosmetic map을 구성한 점과 화장을 적용해야 할 다른 얼굴과 화장의 변화율을 계산한 얼굴 간의 대칭점을 이용해 일치시켜 cosmetic map을 적용한 점은 주목할 만 하였다.

Guo[8]는 Tong[7]의 방법이 메이크업 전, 후 사진 모두 필요한 점을 지적하며 대부분의 경우 메이크업전 사진을 제공하기가 어렵기 때문에 더 편리하고 실용적으로 ‘메이크업 후’사진으로만 메이크업 효과를 다른 얼굴에 적용할 수 있는 방법을 제시하였다. 화장 후의 사진과 그 화장을 적용할 다른 얼굴의 사진, 총 두 장의 이미지에서 thin plate spline 방법[9]으로 두 얼굴을 warping으로 일치시키고 CIELAB color space로 변환하여 L* 채널을 밝기 층, a*, b* 채널을 칼라 층으로 분리한다. 밝기 층은 다시 저주파 성분인 face structure과 고주파 성분인 skin detail 층으로 분리된다.

이 연구의 문제점은 다음 단계인 메이크업을 옮기는 과정에서 나타난다. 메이크업 후 얼굴 이미지와 메이크업을 적용할 다른 얼굴 이미지의 skin detail을 가중치의 합으로 계산하여 최종 메이크업을 적용할 skin detail 층으로 구성한다. 실제로 어떤 사람이 한 메이크업을 다른 사람에게 적용하면 그 사람의 고유 피부의 특성이 이미 메이크업을 한 다른 사람의 피부처럼 변하지는 않는다. 피부의 잡티나 모공 등이 화장을 통해서 어느 정도 가려지기는 하지만 이 연구에서처럼 가중치의 합으로 계산을 하게 되면 메이크업 외에도 다른 사람의 피부 고유의 특성까지 가져오는 단점이 있다. 또한 최종 메이크업을 옮겨온 얼굴의 색상을 결정할 때도 메이크업 후 얼굴 이미지와 메이크업을 적용할 다른 얼굴 이미지의 색상 간 알파블렌딩으로 계산을 하는 데, 이는 같은 메이크업을 하더라도 개인마다 다르게 보이는 정확한 메이크업 결과를 기대하기 힘들다.

기존의 디지털 메이크업 관련 연구와 상용화되는 소프트웨어는 피부와 메이크업의 광학적 특성을 고려하지 않아 단순한 페인팅 프로그램과 별 다른점이 없고 알파블렌딩과 같이 색을 혼합하는 효과의 표현에 한정되어 왔다. 이러한 디지털 메이크업의 결과는 사용자가 직접 화장을 했을 경우와 결과가 달라 신뢰성이 없다.

피부와 메이크업의 광학적 특성을 고려한 기존 연구로 Doi[10]의 연구가 있다. Doi는 파운데이션을 도포한 배경과 파운데이션을 도포하지 않은 배경 그리고 배경에 불투명할 정도로 두껍게 도포한 파운데이션의 분광반사율을 분광 광도계로 측정하고 Kubelka-Munk 모델을 이용하여 파운데이션의 고유한 흡수 계수, 산란계수를 추출했다. 그리고 얼굴에서의 한 점에 대한 분광 반사율에 앞서의 흡수계수와 산란계수로 Kubelka-Munk 모델을 적용하여 피부 위에 메이크업이 가상으로 도포된 경우의 반사율을 추정하였다. Doi[11]는 이 점의 색상을 RGB 색 공간으로 변환하고 기준점으로 정하여 민낯 이미지 얼굴 영역 전체 픽셀의 RGB 색상 값과 민낯 이미지에서 기준점 위치의 RGB 색상 값의 차를 구하고, 파운데이션 메이크업 효과를 주기 위한 가중치 α를 경험적으로 조절해가며 곱한 후 기준점의 추정 색상 값을 더하여 얼굴 전체의 메이크업 후 색상 값을 계산하였다.

Doi[11]의 연구는 다른 디지털 메이크업 기존 연구와는 다르게 Kubelka-Munk 모델로 화장품의 광학적 특성을 고려하여 메이크업 후의 색상을 추정한 점은 주목할 하다. 반면, 특정 사람의 얼굴 이미지에 메이크업을 합성하려면 그 사람의 얼굴 기준점의 색상을 분광광도계로 측정 해야만 하는 문제점이 있다. 일반적으로 디지털 메이크업 연구들이나 상용화된 소프트웨어는 이미지만으로 간편하게 디지털메이크업이 가능한 데 비해 실제성이나 간편성이 떨어진다. 한 점에서만 Kubelka-Munk 모델을 이용하여 추정한 다음, 전체 얼굴의 RGB 색상 값과 기준점의 민낯 RGB 색상 값의 차에 가중치를 곱한 것을 기준점 RGB 색상 값에 더하는 방법은 결국은 알파블렌딩의 방식이다. 가중치도 경험적으로 주기 때문에 신뢰하기 어렵다. 가중치를 조절해가며 전체 얼굴의 RGB 색상 값과 기준점의 민낯 RGB 색상 값의 차에 곱하여 기준점에 더하는 방법은 얼굴 이미지의 피부 톤이 부자연스럽고 균일한 결과가 나올 수 있다. 한 점에 대해서는 분광반사율을 이용하여 메이크업 후의 반사율을 정밀하게 추정하였으나 이미지의 얼굴 전체 영역을 이러한 방식으로 메이크업 후의 RGB 색상값을 추정한 이유는 얼굴 전체 영역의 분광반사율을 분광광도계로 측정하기가 어렵기 때문이다.

본 연구에서는 기존의 Kubelka-Munk 모델을 이용한 파운데이션 합성 연구가 한 점에서만 메이크업 후 색상을 추정한 점을 개선하여 얼굴의 전체 영역에서 Kubelka-Munk 모델을 이용하여 메이크업 후 색상을 추정한다. 그 과정에서 각 점마다 메이크업의 도포 두께를 구할 수 있어 실제 메이크업의 도포 패턴을 추출하여 다른 사람의 얼굴 사진에 적용함으로서 사실적인 도포 패턴을 가지는 가상 메이크업이 가능하다.

 

3. 이미지 기반 메이크업의 흡수계수와 산란계수 추정

일반적으로 Kubelka-Munk 모델은 확산 광학 모델로서 diffuse 반사의 분석에 사용된다. 본 연구에서는 카메라 촬영 시에 편광필터로 specular 반사와 diffuse 반사를 분리하여 diffuse 반사 이미지들로만 메이크업 분석 및 합성 방법을 실험하였다. 또한, 가상 메이크업 실험을 하는 데 있어 Kubelka-Munk 모델에 적합한 재질인 파우더를 주된 대상으로 하였다.

3.1 RGB 색공간에서의 Kubelka-Munk 모델

분광반사율을 측정하고 메이크업의 산란계수와 흡수계수를 추정하는 대신 RGB 반사율 측정하고 이를 분석하여 산란계수와 흡수계수를 추정할 수 있다. 분광반사율이 RGB 색상 값에 비해 파장수가 더 많아 정확하겠지만 화장품이 특정 파장에 민감한 특성이 없는 한 RGB 반사율로 해도 큰 차이가 없으므로 간편하게 카메라에 촬영된 이미지 RGB 색상 값을 메이크업의 산란계수와 흡수계수 계산에 사용할 수 있다.

RGB 반사율을 구하기 위해 사진 촬영 직전에 칼라차트를 촬영하고 컬러차트의 흰색을 100% 반사율로 가정하고 RGB 반사율을 구하였다. 이 과정은 조명에 무관한 색상을 보여 주는 역할도 한다. 보통 사진 이미지는 sRGB로 저장되는데, 이는 모니터의 특성으로 보정하기 위하여 영상에 gamma 2.2를 적용한 색 공간이다[12]. 본 연구에서는 RGB 색공간에서 Kubelka-Munk 모델을 이용하여 파우더의 고유한 산란계수와 흡수계수를 추출하고자 하는 데, gamma가 적용된 RGB 색상이 이에 적합지 않다. 따라서 sRGB를 Linear RGB 색 공간으로 변환한 후 모든 계산을 수행하고, 최종 가상 메이크업 합성까지 모든 과정이 끝나면 다시 sRGB로 색 공간으로 변환하여 결과를 보여준다.

3.2 메이크업 전 후 이미지 간의 일치

파우더의 고유한 산란계수와 흡수계수를 추출하기 위해서는 얼굴에 파우더를 도포한 RGB 색상 값, 민낯 얼굴의 RGB 색상 값이 같은 점에 위치해야 한다. 즉, 메이크업의 전/후 얼굴을 일치시켜야 한다. 같은 사람이어도 메이크업을 하고 사진을 촬영하는 시간 동안 미세하게 움직이기 때문에 얼굴의 각도와 위치가 다르다. Fig. 3에서 왼쪽은 메이크업 전, 오른쪽은 메이크업 후 사진이다. 입술과 코의 위치가 미세하게 바뀌었고 얼굴의 각도가 변형되었음을 볼 수있다.

Fig. 3.Photos before/after makeup and corresponding points between them.

본 연구에서는 Thin Plate Spline(TPS) 방법[9]으로 이미지를 변형하여 서로 다른 사진 간의 얼굴을 일치시켰다. TPS는 평면상의 점들을 보간하는 곡면을 찾는 방법이다. TPS를 하기 위해서는 Fig. 3과 같이 화장 전, 후 사진에서 대응되는 점들을 찍어 주어야 한다. 왼쪽이 메이크업 전 사진의 대응점이고 오른쪽이 메이크업 후 사진으로 기준점의 기준점에 맞게 대응점을 이동시켜 얼굴을 일치시켰다.

3.3 파우더의 고유한 산란계수와 흡수계수 추출

메이크업의 분석과 합성에 Kubelka-Munk 모델을 이용한다. Kubelka-Munk 모델에서 안료의 산란계수와 흡수계수는 안료의 고유 특성이고 안료의 두께에 따라 반사율과 투과율이 결정된다. 첫 번째 단계로 파우더의 산란계수와 흡수계수를 추출하여야 한다. 기존의 Kubelka-Munk 모델을 이용한 메이크업 연구에서는 분광광도계로 측정을 한 것과 달리 본 연구에서는 메이크업 전/후 이미지와 파우더의 이미지로 산란계수와 흡수계수를 추출한다. Fig. 4에서 메이크업 전/후 사진의 파란색 점의 RGB 색상 값으로 파우더의 산란계수와 흡수계수를 추출하였다. 파란색 점은 파우더 도포 두께가 가장 두꺼워 보이는 점으로 하였다.

Fig. 4.Scattering coefficient S and absorption coefficient K are estimated on the thickest point of powder application.

산란계수 S와 흡수계수 K를 각각 식 (4), (5)로 구하였다. Fig. 4에서 Rg는 왼쪽 사진인 메이크업 전의 파란색 점의 RGB 색상 값, R0는 오른쪽 사진인 메이크업 후의 파란색 점의 RGB 색상 값, D는 파란색 점에서의 파우더 두께이다. R∞ 는 두꺼운 파우더의 색상 값이다. 메이크업 후 사진에서 파란색 점의 파우더 도포 두께 D를 기준 두께로, 즉 D=1로 하여 파우더의 고유한 산란계수와 흡수계수를 추출한다. 산란계수 S와 흡수계수 K는 다음과 같이 계산되었다.

3.4 메이크업 후 이미지에서 파우더 두께 산출

메이크업의 산란계수와 흡수계수를 추출한 후에는 메이크업 전/후 사진에서 얼굴 전체 영역에 대해 메이크업 도포 두께를 구할 수 있다. 이 단계에서는 R, G, B의 색 공간에서 공통의 두께 D를 산출한다. 메이크업의 두께를 구하기 위해서는 Kubelka-Munk 모델로 추정된 화장 후 이미지의 RGB 색상 값을 두께 D에 대한 함수로 만들고 이를 실제 화장 이미지의 색상과 비교하여 그 차이를 최소화 시키는 두께 D를 구한다. 이는 다음과 같은 수식으로 표현된다.

위 수식에서 Rkm (D), Gkm (D), Bkm (D)는 수식 (1), (2), (3)의 Kubelka-Munk 모델로 계산된 색상 값이고 Ra, Ga, Ba는 실제 화장 후의 색상 값이다. Fig. 5는 계산된 두께 맵을 보여준다. 이미지에서 밝을수록 두께가 두터운 점이다. 앞 장에서 파우더의 산란계수와 흡수계수를 두께가 가장 두터운 점에서 두께 D를 1로 정하였기 때문에, 두께 맵은 이에 대한 상대 값으로 계산된다.

Fig. 5.Thickness map of application.

 

4. 반사율/투과율 맵 생성에 의한 메이크업 시뮬레이션

4.1 메이크업의 반사율 및 투과율 맵 생성

Kubelka-Munk 모델을 이용하여 반사율 Rf 및 투과율 Tf를 식 (7), (8)로 구하였다. Fig. 6은 그 결과 이미지를 보여준다. Fig. 6의 반사율을 보면 눈썹이나 속눈썹, 입 등 메이크업을 하지 않은 부분은 반사율이 없고 얼굴의 이마나 턱 볼 부분에 파우더의 색상으로 반사율이 보이는 것을 확인할 수 있다. 얼굴의 오른쪽 아래 뺨에 반사율이 없는 부분은 실험 중 그림자의 변화가 생겨 메이크업 후가 더 색상이 어두워 보이는 오류가 생겼기 때문이다.

Fig. 6.Reflectance(a) and Translucency(b) of powder application.

4.2 얼굴 이미지와 메이크업 맵의 합성

메이크업 전 후 사진에서 메이크업 맵을 구하면 다른 사람의 민낯 피부 이미지에 메이크업 맵의 반사율과 투과율을 그대로 적용시켜 메이크업 이미지를 합성할 수 있다. 메이크업 맵인 반사율과 투과율은 다른 사람의 얼굴에 적용되기 이전에 thin plate spline 방법[9]을 이용하여 메이크업 맵을 변형하여 얼굴 이미지에 일치시킨다(Fig. 7).

Fig. 7.Makeup maps are warped to be aligned to the target image.

다음의 식을 이용하여 변형된 메이크업 맵 Rf, Tf을 다른 사람의 얼굴 이미지 Rskin 에 적용하여 가상 메이크업 이미지를 합성하였다(Fig. 8).

Fig. 8.Resulting makeup simulation.

실제 메이크업 후 사진과 비교해 볼 때 메이크업의 패턴과 도포되는 두께가 메이크업을 하는 사람, 하는 시기에 따라 변하기 때문에 정확하게 실제 메이크업과 추정한 메이크업이 정확하게 일치할 수는 없지만 두께를 조절할 경우 피부의 유사한 톤은 확인할 수 있다. Fig. 8의 합성 결과는 두께를 조절하지 않은 결과이다. 실제 메이크업 후 사진과 피부의 톤이 유사하고 메이크업이 고르게 도포되어 있는 것을 볼 수 있으며 메이크업 전 사진에서 개인의 피부 특성들이 자연스럽게 메이크업과 합성되는 결과를 볼 수 있다.

4.3 메이크업 시뮬레이션 모델의 검증 및 도포 두께 맵의 효과

Fig. 8에서 가상 메이크업 결과의 메이크업 맵은 다른 사람의 실제 메이크업에서 추출한 것이기 때문에 실제 메이크업 영상과 직접적인 비교를 하여 메이크업 시뮬레이션의 정확도를 검증하기는 어렵다. 메이크업 모델의 정확도를 검증하기 위하여 Fig. 6의 메이크업 맵을 그 맵이 추출된 사진의 화장 전 얼굴 (Fig. 4 좌측)에 적용하여 그 결과를 실제 화장 후 (Fig. 4 우측)의 얼굴과 비교하였다. 화장 전/후의 사진을 비교하여 시뮬레이션 오류가 최소화되도록 도포 두께 맵을 구한 것이지만, 산란계수 S와 흡수계수 K는 전체적으로 단일한 RGB 값이고 두께 맵은 스칼라 값이기 때문에 메이크업 시뮬레이션 모델이 부적절 하다면 그 오류가 크게 나타날 수 있다.

Fig. 9는 검증을 위한 메이크업 시뮬레이션 결과이다. 이를 실제 메이크업 후 얼굴(Fig. 4 우측)과 비교한 결과 육안으로는 그 차이가 느낄 수 없었다. 산란계수 S와 흡수계수 K가 단일한 RGB 값이지만 도포 두께의 변화에 따라 색상 변화가 잘 나타남을 볼 수 있다.

Fig. 9.Make-up simulation using our method.

Doi[11]의 방법은 기준점에서만 Kubelka-Munk 모델을 이용하여 메이크업 후 색상 값을 추정한 다음, 전체 얼굴의 민낯 색상 값과 기준점의 민낯 색상값의 차에 가중치를 곱한 맵에 이를 더하여 메이크업 후의 이미지를 생성한다. Doi의 방법은 분광기를 사용하여 Kubelka-Munk 모델의 추정을 하여야 하지만, 본 연구의 방법과 비교를 위하여 RGB 색 공간에서 KM 모델을 적용하였다. Fig. 10은 같은 사진에 대하여 Doi의 방법을 적용한 결과이다. 기준점에서는 Kubelka-Munk 모델을 이용하였지만 얼굴 전체 이미지 생성을 위해서는 기준점의 결과를 단순히 RGB 공간에서 더한 것이기 때문에 실제 메이크업 후 얼굴과 비교하여 색감이 약간 다르게 보인다. 또한, 도포 두께의 변화가 없기 때문에 얼굴 전체에 이미지에 일종의 색상 마스크(mask)를 씌워 놓은 듯한 느낌이 들 수 있다.

Fig. 10.Make-up simulation using Doi's method.

 

5. 결 론

본 논문에서는 디지털 이미지 기반에서 피부와 메이크업의 광학적 특성을 고려한 Kubelka-Munk 모델을 이용하여 메이크업 전/후의 사진에서 메이크업의 반사율과 투과율을 분석하고 도포 두께 맵을 구성하여 이를 다른 사람의 사진 이미지에서 메이크업을 합성하는 방법을 연구하였다. 기존의 Kubelka-Munk 모델을 이용한 파운데이션 합성 연구가 한 점에서만 메이크업 후 색상을 추정한 점을 개선하여 얼굴의 전체 영역에서 Kubelka-Munk모델을 이용하여 메이크업 후 색상을 추정하였다.

보다 더 사실적인 메이크업 시뮬레이션을 위해 피부결 등의 질감 표현을 고려한다면 더욱 정교한 표현이 가능한 모델로 확장 할 수 있을 것이다. 또한, 화장품 중 파우더로 한정하여 연구를 하였는데, 광택이 나거나 펄이 들어있는 화장품에 대해서도 이미지 기반 메이크업 성분 분석 모델을 고안하는 것은 큰 의의가 있을 것이라고 여겨진다.