A Black and White Comics Generation Procedure for the Video Frame Image using Region Extension based on HSV Color Model

In this paper, we discuss a simple and straightforward binarization procedure which can generate black/white comics from the video frame image. Generally, the region of human's skin is colored white or light gray, while the dark region is filled with the irregular but regular patterns like hatching in most of the black/white comics. Note that it is not enough for simple threshold method to perform this work. Our procedure is decoupled into four processes. First, we use bilateral filter to suppress noise color variation and reserve boundaries. Then, we perform mean-shift segmentation for each similar colored pixels to be clustered. Third, the clustered regions are merged and extended by our region extension algorithm considering each color of their regions. Finally, we decide which pixels are on or off using by our dynamic binarization method based on the HSV color model. Our novel black/white cartooning procedure was so successful to render comic cuts from a well-known cinema in a resonable time and manual intervention.

HSV 색상 모델과 영역 확장 기법을 이용한 동영상 프레임 이미지의 흑백 만화 카투닝 알고리즘

본 논문에서는 비디오 영상에서 추출한 이미지를 이용하여, 흑백 만화로 변환하기 위한 알고리즘에 대해 논의한다. 대부분의 흑백 만화는 사람의 얼굴이나 손과 같은 살색 계통은 흰색 내지 엷은 색상으로 표현되며, 이미지의 어두운 영역은 해칭과 같이 규칙적이면서도 불규칙한 형태로 묘사한다. 그러므로 단순한 임계값을 이용한 이진화 알고리즘으로 흑백 만화를 렌더링 할 경우, 원본 색상 영상의 다양한 색상과 흑백 만화에서 사용되는 다양한 패턴을 렌더링 할 수 없다. 이러한 흑백 만화의 특징을 반영한 카투닝을 수행하기 위해서, 본 논문에서는 다음과 같은 작업을 수행한다. 먼저, 원본 이미지 영상의 미세한 색상변화를 제거하기 위해서, 1) Bilateral 필터를 적용한다. 그 후, 영상의 각 영역을 유사한 색상 정보로 클러스터링 하기 위해서, 2) Mean shift 세그멘테이션을 적용하였으며, 각 영역별 확장 작업을 수행하였다. 이때 각 영역의 색상이 유사한 정도를 계산하기 위해서, 사람의 색상인지 능력과 유사한 특성을 가진 HSV 색상 모델을 사용하여, 각 영역의 색상 유사정도를 계산하였다. 최종적으로 세그멘테이션된 색상정보를 바탕으로 흑백만화에서 일반적으로 활용되는 색상과 프레임 이미지의 픽셀값을 고려한 3) 이진화를 수행하고, 4) 스트록을 추가해 흑백 만화의 컷 이미지를 완성한다.