Abstract
In this paper, the method to extract lip contour by multiple threshold is proposed. Spyridonos et. el. proposed a method to extract lip contour. First step is get Q image from transform of RGB into YIQ. Second step is to find lip corner points by change point detection and split Q image into upper and lower part by corner points. The candidate lip contour can be obtained by apply threshold to Q image. From the candidate contour, feature variance is calculated and the contour with maximum variance is adopted as final contour. The feature variance 'D' is based on the absolute difference near the contour points. The conventional method has 3 problems. The first one is related to lip corner point. Calculation of variance depends on much skin pixels and therefore the accuracy decreases and have effect on the split for Q image. Second, there is no analysis for color systems except YIQ. YIQ is a good however, other color systems such as HVS, CIELUV, YCrCb would be considered. Final problem is related to selection of optimal contour. In selection process, they used maximum of average feature variance for the pixels near the contour points. The maximum of variance causes reduction of extracted contour compared to ground contours. To solve the first problem, the proposed method excludes some of skin pixels and got 30% performance increase. For the second problem, HSV, CIELUV, YCrCb coordinate systems are tested and found there is no relation between the conventional method and dependency to color systems. For the final problem, maximum of total sum for the feature variance is adopted rather than the maximum of average feature variance and got 46% performance increase. By combine all the solutions, the proposed method gives 2 times in accuracy and stability than conventional method.
본 논문에서는 입술 윤곽선을 검출하기 위한 다중 문턱치 기반의 검출방법을 제안하였다. 기존의 연구 중 Spyridonos 등이 제안한 방법은 입력영상을 RGB로부터 YIQ 좌표계로 변환하여 Q 성분만을 이용하여 Q 영상을 얻는다. Q 영상으로부터 변화 점 검출을 통하여 입술 모양의 좌우 끝점을 얻어낸다. 좌우 끝점에 대한 수직 좌표의 평균값을 이용하여 Q 영상을 상하로 분리하고, 상하 영역 각각에 대하여 별도로 Q값을 대상으로 문턱치를 적용하여 후보 윤곽선을 추출한다. 추출된 후보 윤곽선에 특징치 거리를 이용하여 최적의 문턱치를 찾고, 해당하는 윤곽선을 최종 입술 윤곽선으로 결정한다. 이 때 사용되는 특징치 거리 D는 후보 윤곽선 상의 점들을 기준으로 주변 영역에 대한 차이의 절대값을 이용하여 계산한다. 기존연구의 문제점은 세 가지인데, 첫째는 입술 끝점 추출 과정에서 피부영역의 과다한 참여로 입술 끝점의 추출의 정확도가 감소하고, 따라서 후속되는 상/하 영역 분리에도 영향을 미친다. 둘째는 YIQ 칼라 좌표계를 사용하였는데, 다양한 칼라 좌표계에 대한 분석이 미비하므로 추가적인 분석이 필요하다. 세 째, 최적 윤곽선의 선택 시 적용하는 거리 값 파라미터의 계산 과정에서, 문턱치를 적용하여 구한 해당 윤곽선 주변의 데이터들에 의한 변화분을 계산하여 변화가 가장 큰 윤곽선을 입술 후보로 채택하는데, 변화분의 최대치를 기준으로 하기 때문에 검출된 입술영역이 기준보다 축소되는 문제점이 있다. 첫 번째 문제점을 해결하기 위하여 피부영역의 계산과정 참여를 줄여서 성능을 30%정도 향상시켰다. 두 번째는 YIQ 외에 HSV, CIELUV, YCrCb 등의 칼라 좌표계에 대한 성능테스트를 거쳐 기존연구 방법이 칼라좌표계에 대한 의존성이 없음을 확인하였다. 세 번째는 윤곽선 주변의 변화분 검토 시, 윤곽선 포인트 당 변화분의 평균값 대신에 변화분의 총량을 적용하여 46% 성능개선 효과를 얻었다. 이상의 내용을 모두 적용하여 제안한 통합방법은 기존연구 대비 2배의 성능향상과 안정성을 확보할 수 있었다.
