• 한국콘텐츠학회논문지
• /
• 제11권12호
• /
• pp.28-39
• /
• 2011

멀티미디어 산업의 발달과 함께 디지털 콘텐츠 시장의 확산을 가져오고 있다. 그 중 인터넷 만화와 같은 디지털 만화 시장의 확장은 급속하게 커지고 있어서, 콘텐츠의 부족과 다양성 때문에 동영상 카투닝에 대한 연구가 계속되고 있다. 지금까지는 동영상 카투닝은 비사실적 렌더링과 말풍선에 초점이 맞추어졌으나, 이러한 것들을 적용하기 위해서는 카투닝 서비스에 적합한 프레임 추출이 우선시 되어야만 한다. 기존의 방법으로는 동영상의 장면전환이 일어나는 샷(shot)안의 프레임을 추출하여, 사용자가 지정한 영역을 임의의 색상으로 렌더링(Rendering)하는 시스템이 있다. 하지만 이러한 방법은 사람의 손을 거치는 반자동적인 방법으로서 정확한 프레임 추출을 위해 사람의 손을 거쳐야하는 단점이 있다. 따라서 본 논문에서는 이러한 문제점을 해결하고, 보다 정확한 카투닝에 적용할 프레임을 추출하기 위해 오디오 및 비디오 분리를 통한 방법을 제안한다. 먼저 동영상으로부터 오디오와 비디오를 분리한다. 오디오는 먼저 MFCC와 영교차율의 특징을 추출하고, 이 특징 정보를 미리 학습된 데이터와 GMM 분류기를 통하여 음악, 음성, 음악+음성으로 분류한 후 음성 영역을 설정한다. 비디오는 히스토그램을 이용한 방법과 같은 일반적인 장면전환 프레임을 추출 후 얼굴 검색을 통해서 만화에서 의미가 있는 프레임을 추출한다. 그 후 음성 영역내에 얼굴이 존재하는 장면전환 프레임이나 일정 시간동안 음성이 지속되는 영역 중 장면전환 프레임을 추출하여 동영상 카투닝에 적합한 프레임을 자동으로 추출한다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2006년도 학술대회 1부
• /
• pp.859-864
• /
• 2006

Mean shift 는 데이터의 특징을 잘 살려내는 None-parametric 방법으로, 특히 영상처리분야에서 많은 각광을 받아왔다. 하지만 좋은 결과를 보장하는 뛰어난 성능에도 불구하고, 높은 메모리소요와 긴 처리시간에 기인하여, 비디오처리 등의 분야에 적용하기엔 현실적인 제약점이 있다. 상기한 제약점을 극복하기 위해, 본 시스템은 비디오를 분석하여 전경과 후경으로 나눈다. 본 논문은 전경으로 분류된 부분에 대해 각 분리된 개체를구분하고, 좌표변환(coordinate shift)을 실행하여 연산을 할 비디오의 연산의 규모를 줄이는 방법론을 제시한다. 이러한 처리로 매우 많은 처리시간이 단축됨을 실험을 통해 알 수 있었다. 다음으로, 나뉘어진 전경에 3D mean shift를 적용하여 생성된 결과물에 대하여 3D cluster data structure 를 생성하고, 이를 이동하여 인터랙티브 에디팅이 가능하도록 하였다. 후경으로 나뉜 데이터는 이미지 한 장으로 축약이 되며, 2D mean shift 기반의 interactive cartooning system 을 통하여 만화화가 된다. 본 논문은 만화 특유의 단순한 톤을 표현하기 위해, 세밀한 분할이 필요한 부분과 그렇지 않은 부분을 따로 구분하여 처리하는 레이어처리방법을 제안한다. 위의 과정을 여러 실사이미지에 적용, 실험해본 결과 기존의 연구결과에 비해 매우 짧은 시간 내에 대상의 특징이 잘 나타낸 양질의 결과물이 생성되었다. 이러한 결과물은 출판, 영상편집분야 등 여러 분야에서 요긴하고 간편하게 사용될 수 있을 것으로 생각된다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2008년도 한국컴퓨터종합학술대회논문집 Vol.35 No.1 (A)
• /
• pp.271-272
• /
• 2008

• 한국정보과학회논문지:시스템및이론
• /
• 제35권12호
• /
• pp.560-567
• /
• 2008

본 논문에서는 비디오 영상에서 추출한 이미지를 이용하여, 흑백 만화로 변환하기 위한 알고리즘에 대해 논의한다. 대부분의 흑백 만화는 사람의 얼굴이나 손과 같은 살색 계통은 흰색 내지 엷은 색상으로 표현되며, 이미지의 어두운 영역은 해칭과 같이 규칙적이면서도 불규칙한 형태로 묘사한다. 그러므로 단순한 임계값을 이용한 이진화 알고리즘으로 흑백 만화를 렌더링 할 경우, 원본 색상 영상의 다양한 색상과 흑백 만화에서 사용되는 다양한 패턴을 렌더링 할 수 없다. 이러한 흑백 만화의 특징을 반영한 카투닝을 수행하기 위해서, 본 논문에서는 다음과 같은 작업을 수행한다. 먼저, 원본 이미지 영상의 미세한 색상변화를 제거하기 위해서, 1) Bilateral 필터를 적용한다. 그 후, 영상의 각 영역을 유사한 색상 정보로 클러스터링 하기 위해서, 2) Mean shift 세그멘테이션을 적용하였으며, 각 영역별 확장 작업을 수행하였다. 이때 각 영역의 색상이 유사한 정도를 계산하기 위해서, 사람의 색상인지 능력과 유사한 특성을 가진 HSV 색상 모델을 사용하여, 각 영역의 색상 유사정도를 계산하였다. 최종적으로 세그멘테이션된 색상정보를 바탕으로 흑백만화에서 일반적으로 활용되는 색상과 프레임 이미지의 픽셀값을 고려한 3) 이진화를 수행하고, 4) 스트록을 추가해 흑백 만화의 컷 이미지를 완성한다.