Study on the Practical 3D Facial Diagnosis using Kinect Sensors

키넥트 센서를 이용한 실용적인 3차원 안면 진단기 연구

Abstract

Facial diagnosis based on quantitative facial features has been studied in many Korean medicine fields, especially in Sasang constitutional medicine. By the rapid growing of 3D measuring technology, generic and cheap 3D sensors, such as Microsoft Kinect, is popular in many research fields. In this study, the possibility of using Kinect in facial diagnosis is examined. We introduce the development of facial feature extraction system and verify its accuracy and repeatability of measurement. Furthermore, we compare Sasang constitution diagnosis results between DSLR-based system and the developed Kinect-based system. A Sasang constitution diagnosis algorithm applied in the experiment was previously developed by a huge database containing 2D facial images acquired by DSLR cameras. Interrater reliability analysis result shows almost perfect agreement (Kappa = 0.818) between the two systems. This means that Kinect can be utilized to the diagnosis algorithm, even though it was originally derived from 2D facial image data. We conclude that Kinect can be successfully applicable to practical facial diagnosis.

서 론

한의학에서는 인체의 외형을 관찰하여 병증 진단의 증거로 활용하는 망진(望診)이 활발히 사용되고 있다. 특히 안면은 오장육부의 상태가 잘 드러나는 부위로 크기, 형태, 표정, 색깔 등의 지표들이 병증 진단에 활용되고 있는데 주로 사상의학에서 꾸준히 연구되고 있다1-3).

사상의학에서는 체질진단 방법으로 체형기상(體形氣像), 성질재간(性質材幹), 용모사기(容貌詞氣), 병증약리(病證藥理) 의 네 가지 기준을 이용하는데 이 중에서 용모사기가 안면 특징에 해당한다.

예전에는 안면의 특징을 이용하여 체질을 분류하거나 질병 치료에 활용하는 데 있어서 주로 한의사의 눈으로 인지하는 정보에 의존할 수밖에 없었다. 하지만 현대에 와서는 카메라와 컴퓨터의 도움으로 객관적인 수치에 기반을 둔 진단이 이루어지고 있다. 지금까지 안면에 대한 분석은 많은 연구보고가 있었으나, 서로 일치하지 않은 부분도 있으며 이는 수집규모, 취득방법, 분석방법에 따라서 오차 요인이 있기 때문이다.

1990년대 후반부터 2차원 사진을 이용한 안면 진단 연구가 활발하게 진행되었는데4,5), 안면의 특징 측정 프로그램을 이용하여 사상체질별로 주요 안면 특징의 길이, 각도, 면적 등을 분석하는 하는 연구가 현재까지 지속되고 있다6). 본래 3차원인 안면 정보를 정확히 이용하고자 3차원 측정에 관한 시도도 있었는데 초기에는 모아레 방법을 이용하여 상안부의 돌출정도를 측정하였다7). 모아레 방법은 정밀하고 반복도 높은 안면 특징을 얻기에는 부적당하여 최근에는 스테레오 카메라8), 구조광(structured light)9) 등을 사용한 3차원 안면 측정 및 진단기가 활용되고 있다.

안면 특징 정보는 크게 형태정보와 크기정보로 나눌 수 있는데, 특정 시점(view)의 형태정보는 2차원 영상측정으로도 얻을 수 있으며, 카메라 품질에 따라서 3차원 방식보다 더 양질의 데이터 획득도 가능하다. 하지만 크기정보는 2차원 영상측정으로만 알 수 없어서 기준이 되는 눈금자나 컬러 차트 등을 동일거리에서 같이 촬영하는 방법을 사용하는데, 이 과정에서 불필요한 오차가 추가될 수 있다10). 즉, 안면과 카메라 사이 거리 혹은 안면과 눈금자 사이 거리 등을 정확하게 모른다면 이는 안면 길이 특징의 오차로 작용한다. 따라서 2차원 측정의 경우에는 카메라와 피험자 안면 사이의 거리, 측정각도 등에 대한 표준작업절차가 잘 지켜져야 신뢰성 있는 측정값을 얻을 수 있다. 예로 이마의 돌출정도를 파악하기 위해서 모든 피험자를 정확히 측면 90°에서 촬영할 수 있다면 3차원 측정보다 정확한 측정도 가능하지만 현실적으로 측정당시 이러한 조건을 얼마나 만족하는지 알기는 어렵다. 3차원 측정은 3차원 특징정보 제공 외에도, 앞서 설명한 표준작업절차가 간소화 될 수 있고, 눈금자 등의 부가장치 없이 실제 크기 정보를 얻는 데 장점이 있다. 이러한 이유로 안면 진단에 있어서 3차원 측정 기기의 사용이 선호되고 있다. 본 연구도 실제 크기 정보 측정을 위해서 기존의 2차원 측정방법을 3차원 측정으로 대체하여 그 활용성을 확인하는 것을 목적으로 한다.

본 연구에서는 3차원 측정기기의 일종인 Microsoft사의 Kinect 센서를 활용한 안면 진단 가능성을 보고자 한다. Kinect 센서는 Microsoft Xbox 게임기용 모션 인식센서로 나왔지만, 추후 3차원 측정 등의 다양한 목적에 활용될 수 있도록 독립 센서로 판매되어 전 세계 대학 및 연구소에서 관련 연구가 활발히 진행되고 있다11,12). Microsoft 에서는 Kinect 센서를 이용한 연구 개발을 지원하기 위해서 SDK(Software Development Kit)를 제공하고 있으며, 최근에는 새로운 버전의 센서인 Kinect v2 가 출시되었다.

기존의 3차원 측정기기는 하드웨어 및 소프트웨어가 안면 측정에 특화 되어있고, 고가의 장비값으로 인해 데이터 수집규모가 제한되어 진단 표준화를 위한 대량의 데이터를 획득하기에 현실적으로 제약이 있다. 실제로 체질진단을 위한 안면 데이터는 한국한의학연구원에서 구축한 체질정보은행이 가장 큰 규모를 자랑하는데, 여기의 안면 데이터는 2차원 정면 및 측면의 형태로 측정된 것이다13). 다시금 체질정보은행의 안면 데이터와 같은 자료를 3차원 측정으로 수집하는 것은 비용과 시간이 많이 필요하므로 기존의 2차원 데이터를 최대한 활용하면서 3차원 측정을 도입하는 전략이 필요한 시점이다. 따라서 기존의 2차원 데이터 기반으로 만들어진 진단 알고리즘을 3차원 측정에서도 이용할 수 있는지 살펴보는 것이 중요하다. 이에 본 논문에서는 가정이나 소규모 한의원에서도 사용 가능한 실용적인 3차원 안면 진단기 개발을 위해서, Kinect 센서를 이용한 안면 측정 및 특징 추출 프로그램 개발 결과를 소개하고 기존의 진단 알고리즘에 적용 가능함을 보인다.

 

연구내용 및 방법

1. Kinect 센서를 이용한 3차원 촬영

1) Kinect 센서 소개

본 연구에 활용한 Kinect 센서는 Kinect for windows v1으로 구조광 방식의 3차원 카메라이다. Kinect 센서는 일반 가시광선 카메라와 IR 구조광을 발생시키는 부분 및 IR 신호를 감지하는 카메라가 결합되어 있다. Table 1에는 Kinect 센서의 주요 사양을 정리하였다.

Table 1.Specifications of Kinect sensor

Kinect 센서는 SDK를 활용하여 실험 목적에 맞는 다양한 소프트웨어 개발이 용이하며, 본 연구에서도 SDK를 기반으로 3차원 측정을 위한 소프트웨어를 개발하여 사용하였다.

2) 카메라 보정 (Calibration)

측정 정확도를 확보하기 위해서 카메라 보정을 수행하였다. 총 24장의 격자 패턴 영상을 이용하여 카메라 보정을 수행하여, 보정후 reprojection error가 0.3 픽셀 이하로 유지됨을 확인하였다. 카메라 보정 프로그램은 OpenCV14) 카메라 보정 함수를 활용하여 구현하였다. 렌즈 왜곡 보정을 위해서 수식 (1)과 같은 광학 중심에서 거리 r에 비례하는 형태의 모델을 사용하였다.

Kinect 센서의 경우 화면 주변부에만 왜곡이 조금 있는 수준으로, 피험자의 안면이 위치하는 화면 중앙 근처의 영역에서 실제 렌즈 왜곡 보정에 의해서 변동되는 픽셀의 크기는 특징점 자동 추출 오차를 고려하면 무시할 수 있는 수준이다.

3) 측정 방법

안면 촬영은 피험자의 정면과 좌측면을 촬영하며 정면의 경우 피험자는 의자에 앉아 자연스러운 자세에서 얼굴을 똑바로 카메라 렌즈를 주시하도록 하여 두 눈의 가운데 위치가 화면의 중심에 오도록 한다. 좌측면의 경우에는 화면의 중심에 좌측 눈이 오도록 한다. 외부 태양광은 차단된 상태에서 형광등 조명아래 육안으로 얼굴의 내, 외곽 윤곽선이 구별될 정도의 조명 환경에서 측정한다. 촬영거리는 60~70 cm 범위를 유지한다. 귀와 이마가 완전히 드러나야 하며, 얼굴의 표정 및 상체의 움직임이 없도록 자세를 유지하는 가운데 촬영한다.

측정을 위한 환경 설정 예시는 Fig. 1과 같다. 카메라로부터 얼굴과 같은 거리에 맥베스(Macbeth) 컬러 차트를 두고 촬영한다. 컬러 차트는 영상의 픽셀 정보로부터 실제 길이 정보를 변환하는 데 있어서 보정용 참고자료로 활용할 수 있을 뿐만 아니라, 추후 안색 분석을 위한 컬러 보정에 활용할 수 있다.

Fig. 1.Setup for 3D face measuring using Kinect sensors.

2. 안면의 특징값 추출

1) 안면 특징점 추출

안면의 특징점 추출은 기본적으로 2D 영상에서 수행한다. 특징점들은 안면의 주요 위치에 해당하는 사전에 정의된 점들이며, 점들의 조합을 이용하여 길이, 각도, 면적, 비율 등의 특징값을 추출한다. 자세한 특징점과 특징값의 정의는 기존연구에 정리되어 있으며6) 본 연구에서도 동일한 것을 사용한다. 안면 영상에서 다양한 패턴 인식 기술을 활용하여 개발된 소프트웨어를 이용하여 특징값을 자동 추출한다15,16). 안면 특징값 중에 측정 거리(깊이)에 따라 영상에서 그 값이 변화하는 특징인 길이, 면적 특징값은 추후 깊이 추정을 통하여 변환이 필요하다. 이는 다음 절에서 설명한다.

2) 깊이 추정

Kinect 센서는 2D 영상의 각 픽셀에 해당하는 깊이(depth)값을 제공해 주는데, 이는 카메라로부터 거리에 해당한다. 영상에서 두 점 사이 거리는 픽셀 단위로 나타나는데 이를 실제 길이로 변환하려면 깊이값을 알아야 한다. 실제 같은 길이라도 카메라에서 멀리 떨어진 것이 영상에서는 더 작게 보이기 때문이다. Kinect 센서는 얼굴의 외곽부근에서 깊이값을 정확히 제공해 주지 못하므로, 안면 영역 내부의 눈, 코 등의 좌표에서 깊이값을 평균하여 안면 대표 깊이를 계산하고, 얼굴 외곽선에 관계된 길이 특징값들은 추가적인 깊이 보정을 통해서 계산한다10). 깊이값을 이용한 영상좌표와 실제좌표 변환은 pin-hole 카메라 모델을 이용하여 식 (2)와 같이 계산한다.

촬영된 영상에서 좌표 (xscreen, yscreen) 은 2D 영상에서 특징 추출을 수행하여 얻고, 이때 각 점에 대응되는 깊이값, Z는 Kinect의 깊이 영상에서 얻을 수 있다. fx, cx, fy, cy 는 카메라 보정의 결과로 얻은 focal length와 principal point 좌표이다. 따라서 카메라 보정이 완료된 후 2D 영상에서 특징점의 좌표를 얻게 되면 실제 3차원 공간에서의 좌표 (X, Y, Z) 및 이에 파생되어 계산되는 실제 길이값 계산이 가능하다.

3. 실험 및 분석방법

1) 특징값 정확도 및 반복도 분석

실제 피험자를 대상으로 측정 정확도를 분석하기 이전에 참값을 비교적 정확하게 알기 쉬운 얼굴 모형을 이용하여 Kinect 측정 정확도 및 반복도 평가를 수행한다. 1280*960 해상도에서 수행하며, 2개의 얼굴 모형에 대해서 3종류 길이 값을 버니어 캘리퍼스로 수동 측정한 값을 참값으로 설정한다. 3종류 길이는 A(동공점사이), B(上耳底點[귓바퀴가 측두부의 피부로 이행하는 가장 위쪽 지점]의 사이), C(입꼬리사이)이다(Fig. 2). 같은 길이에 대해서 Kinect로 각 모형 당 10회 측정 평균값을 구하여 버니어 캘리퍼스로 측정한 값과의 오차를 계산하고 표준편차 및 변동계수를 분석한다.

Fig. 2.Locations of facial features

2) 체질진단 일치도 분석

안면 특징을 이용하여 진단에 활용하는 대표적인 예로 사상체질진단툴(Sasang constitutional analysis tool, 이하 SCAT으로 줄여 표기함)이 있다6). SCAT은 DSLR 카메라(디지털 일안반사식 카메라)를 이용하여 2차원으로 수집된 4천여 건의 안면 데이터를 분석하여 사상체질 분류를 수행하는 알고리즘을 탑재하고 있다. 2차원 DSLR 측정이지만 기준자를 카메라로부터 얼굴과 같은 거리에 위치하고 촬영하여 실제 길이로 변환하고 있다. 기준자와 DSLR 측정부를 Kinect 측정으로 교체하여 두 가지 방법의 진단 일치도를 평가해 보면 추후 SCAT에 Kinect 활용 가능성을 확인할 수 있다.

진단 일치도 분석을 위해서 5명의 피험자에 대해서 DSLR 및 Kinect로 각 10회 안면 데이터 촬영을 하고 평가자간 일치도(Kappa) 분석을 수행한다.

 

결 과

1. 특징값 정확도 및 반복도 결과

Kinect 측정의 정확도를 알아보기 위해서 남, 녀 얼굴 모형을 10회 측정하여 결과를 분석하였다. Fig. 2 에 도식화한 3가지 부위 길이에 대해서 0.01 mm 해상도의 전자 버니어 캘리퍼스를 이용하여 수동 측정한 값을 참값으로 설정하였다. Kinect 10회 측정의 평균값과 참값의 차이를 오차로 분석하고, 표준편차 및 변동계수를 Table 2 에 정리하였다. 각 모형에 대해서 오차는 0.5~1.4 mm 수준으로 나타났으며, 변동계수는 0.62~1.83% 로 나타났다.

Table 2.Accuracy and repeatability of facial feature measurements

2. 체질진단 일치도 결과

총 5명의 피험자에 대해서 SCAT의 안면 체질진단 알고리즘6)을 활용하여 DSLR 카메라로 10회 측정(SCAT의 표준작업절차를 따름)한 결과와 Kinect로 10회 측정한 결과를 비교하였다.

각 피험자에 대해서 10회 측정한 안면의 주요 길이 특징 평균값과 두 측정 방법의 차이를 Table 3 에 정리하였다. 두 측정 방법에 의한 길이 특징값의 차이는 1 mm 내외 수준으로 나타났다.

Table 3.Mean difference of facial feature measurements between DSLR and Kinect

Table 4 는 각 피험자에 대해서 10회 진단한 체질 확률값의 평균을 정리해서 보여준다. SCAT은 각 체질결과를 확률값으로 나타내 주는데 최고 확률값을 가진 체질을 진단 결과로 채택하였다. 태양인은 그 빈도수가 아주 작아서 제외하고 태음, 소음, 소양의 3가지 체질에 대해서 진단 결과를 비교하여 Table 5 에 정리하였다.

Table 4.Mean values of each constitutional probability between DSLR and Kinect

Table 5.Kappa = 0.818, 95% confidence interval (0.684, 0.952)

DSLR을 이용한 진단 결과와 Kinect를 이용한 진단 결과의 일치도는 평가자간 분석 결과 Kappa = 0.818, 95% 신뢰구간 (0.684, 0.952) 로 두 진단 결과는 매우 일치한다고 볼 수 있다.

소음과 소양의 구분에 있어서는 SCAT과 Kinect 측정이 일부 다른 결과를 보여준 경우가 있었는데, 이는 소음과 소양의 확률값의 차이가 근소한 차이로 바뀌는 경우가 있기 때문이다. 일반적으로 태음인은 소음인이나 소양인과 쉽게 구별되는 안면 특징이 많아서, 태음 확률값은 안정적으로 높게 나오는 경향이 있지만, 소음과 소양의 경우 동일인이 반복 측정했을 때 두 가지 확률값이 유사하게 나오는 경우가 빈번하다. Table 4 에서 피험자2, 피험자4, 피험자5 의 경우 소음 확률값과 소양 확률값의 차이가 근소함을 확인할 수 있다. 최종적인 체질진단은 체형, 음성, 설문 등의 요소를 통합하여 판단하게 되지만, 본 연구에서는 안면 체질진단에 국한하여 비교하였다. 같은 개인에 대해서 체질 판별이 동일한 체질인으로 나오지 않은 소음과 소양만의 경우, 두 가지 진단 결과는 Kappa = 0.600, (0.316, 0.884) 의 일치도를 보였다.

 

고 찰

최근 3D 프린팅 산업의 급격한 발전과 더불어 Kinect를 비롯한 범용 3D 카메라 시작이 비약적으로 성장하고 있다. 범용 3D 카메라의 성능은 고가의 장비와 유사해지고 가격은 계속 떨어지고 있다. 기존 고가의 전문 장비형태에서 생활 속에서 쉽게 활용할 수 있는 경제적이고 실용성 있는 범용 3D 측정 하드웨어로 주도권이 넘어오고 있으며, 해당 응용분야에 특화된 소프트웨어를 개발하여 사용하는 형태로 세계 시장이 변화하고 있다. 이러한 변화에 발맞추어 Kinect 센서를 이용한 안면 진단기 연구를 수행하였다.

측정기기로서의 성능은 얼굴의 주요 길이 특징에 대해서 0.5~1.4 mm 수준의 오차를 보였으며, 변동계수는 2% 이하로 반복성도 높은 것으로 확인되었다. 고가의 3D 측정장치에 비하면 정확도가 떨어질 수는 있지만, 그 차이는 3D 카메라 시장의 급격한 발전에 따라서 좁혀지고 있으며, 현재 성능으로도 충분히 체질진단 등의 임상 적용이 가능한 수준으로 판단된다. 기존의 스테레오 카메라를 이용한 안면 측정의 경우 평균 2 mm 내외의 오차를 가진 것으로 보고되었는데8), 본 연구에서는 실제 길이값 특징에 대해서 제한적인 3차원 정보를 활용하였으므로 직접적인 비교는 어렵다. Kinect를 이용한 안면 3차원 측정에 대한 오차는 카메라 보정의 정확도 향상11)과 얼굴 모델링 기법12) 활용을 통해서 본 연구에서는 활용하지 못한 다양한 3차원 특징에 대해서도 1 mm 오차 수준의 확보가 가능한 것으로 보인다.

기존의 DSLR에 의한 SCAT 안면 진단과 Kinect에 의한 SCAT 안면 진단의 일치도는 Kappa 값 0.818로 매우 일치하는 수준이었다. 이는 SCAT에 바로 Kinect가 활용될 수 있음을 보여준다. 측정 하드웨어나 방식의 변화로 인해서 과거에 축적된 임상 데이터를 이용하여 만들어진 진단 알고리즘을 활용하기 힘들다면, 새로운 측정 방법의 활용도는 제약될 수밖에 없다. Kinect 센서는 과거의 2차원 기반 진단 알고리즘을 그대로 활용하는 데 무리가 없음을 보였다.

안면을 통한 소음인과 소양인의 분류는 아직까지 태음인의 경우보다 그 반복성이 떨어지는데 이는 DSLR에 의한 SCAT과 Kinect에 의한 SCAT 모두에 해당하며, 결과적으로 소음인과 소양인 분류에 있어서 진단 일치도가 떨어지는 것을 확인하였다. 본 연구에서 초점으로 두는 안면의 주요 길이 특징값은 두 측정 방법에서 1 mm 수준의 차이를 보인 것으로 볼 때, 진단 일치도 감소에 미치는 영향은 미약하다고 볼 수 있다. 소음인과 소양인의 안면 진단 반복성 개선을 위해서는 동일인에 대해서 쉽게 변화하는 안면 특징에 둔감한 진단 알고리즘 연구가 수행되어야 할 것이다.

 

결 론

본 연구에서는 3차원 계측의 장점 중 하나인 실제 길이 측정의 용이성을 활용하여 기존의 2차원 안면 진단이 Kinect와 같은 3차원 측정 방법으로 대체될 수 있는지 알아보았다. 2차원 기반 방법과의 진단 일치도 비교를 위해서 3차원 측정에서만 활용할 수 있는 곡면 길이, 형태 등의 새로운 얼굴 특징은 활용되지 못하였으나 이는 향후 과제를 통하여 발전시켜 나가야 할 것이다.

Kinect를 비롯한 범용 3D 카메라 시장이 폭발적으로 성장하고 있는데, 가정이나 소규모 한의원에서도 사용 가능한 저가격의 실용적인 안면 진단기 개발을 위해서 적극적으로 최신 3D 측정 기술을 도입할 필요가 있을 것이다.