• The KIPS Transactions:PartB
• /
• v.14B no.5
• /
• pp.351-360
• /
• 2007

Video Completion refers to a computer vision technique which restores damaged images by filling missing pixels with suitable color in a video sequence. We propose a new video completion technique to fill in image holes which are caused by removing an unnecessary object in a video sequence, where two objects cross each other in the presence of camera motion. We remove the closer object from a camera which results in image holes. Then these holes are filled by color information of some others frames. First of all, spatio-temporal volumes of occluding and occluded objects are created according to the centroid of the objects. Secondly, a temporal search technique by voxel matching separates and removes the occluding object. Finally. these holes are filled by using spatial search technique. Seams on the boundary of completed pixels we removed by a simple blending technique. Experimental results using real video sequences show that the proposed technique produces new completed videos.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2001.10a
• /
• pp.743-746
• /
• 2001

멀티미디어 정보 중 비디오 데이터는 정보량이 많기 때문에 자동화된 비디오 영상 처리 기술이 필요하다. 시청자의 이해와 시청의 편의성을 제공하기 위하여 대부분 비디오에 자막을 삽입하게 된다. 외국 방송물 및 영화에 삽입된 다른 언어 자막을 편집 과정에서 자막으로 교환 할 필요성이 종종 있게 된다. 기존의 방법들은 자막 부분을 충분히 포함하는 일정 영역에 특정 색상을 채운 후 새로운 자막을 삽입하게 된다. 기존 방법의 문제점은 많은 영역에 대해 비디오 영상 정보를 손실 시킴으로써 시청자에게 시청의 불편을 초래하고 자막 교환의 비 효율성과 부 자연스러움을 발생시킨다. 본 논문에서는 기존 방법의 문제점을 극복하기 위하여 자막 영역을 원영상으로 복원한 후 다른 자막으로 교환하는 방법을 제안하고자 한다. 원영상 복원을 위하여 비디오 정보와 BMA(Block Matching Algorithm)를 이용한 원영상 복원 방법을 제안하고, 복원된 영역에 다른 자막으로 교환함으로써 효과적인 자막 교환 방법을 제안하고자 한다. 실험 결과 원영상 복원을 이용한 자막 교환 방법은 기존 방법에 비해 자연스럽고 효과적인 교환 방법임을 볼 수 있었다.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.281-286
• /
• 2007

비디오 복원(video completion)은 비디오 영상에서 색상값에 대한 정보가 없는 픽셀에 적절한 색을 채워 영상을 복원하는 기술이다. 본 논문에서는 움직이는 두 물체가 교차하는 입력영상으로부터 하나의 물체를 제거함으로 발생하는 홀(hole)을 채우는 비디오 복원 기술을 제안한다. 입력 영상에서의 두 물체 중 카메라와 가까운 물체를 제거함으로써 영상의 홀이 발생하게 되고, 이 홀을 다른 프레임들의 정보를 이용하여 채움으로써 가려진 물체를 복원한다. 모든 프레임에 대해 각 물체의 중심을 추정하여 물체의 중심을 기준으로 시-공간 볼륨(spatio-temporal volume)을 생성하고, 복셀 매칭(voxel matching)을 통한 시간적 탐색을 수행한 후 두 물체를 분리한다. 가리는 물체 영역으로 판단 된 부분을 삭제하고 공간적 탐색 방법을 이용하여 홀을 채워 가려짐이 있는 물체를 복원하는 과정을 소개한다. 실험 결과를 통해 제안한 기술이 비교적 자연스러운 결과를 얻을 수 있다는 것을 보여준다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2018.11a
• /
• pp.66-68
• /
• 2018

본 논문에서는 비디오로부터 추출된 프레임에서 3D 인체 모델의 복원하고 이를 부드럽게 재생될 수 있도록 보정하는 기법을 제안한다. 매개변수 기반의 모델을 사용하여 자세 및 체형을 복원하도록 접근하고 있다. 매개변수 기반의 인체 모델은 다양한 인체 데이터의 학습을 통해 만들어지며 입력 영상으로부터 최적의 자세와 체형 매개변수 값을 찾아 복원하게 된다. 자세 복원은 CNN 을 사용하여 영상으로부터 인체의 관절 위치를 추정하고 3D 모델로부터 2D 로 투영을 통해 관절 간의 거리가 최소화되는 매개변수 값을 찾아 복원한다. 형상 복원은 2D 영상으로부터 취득된 사람의 윤곽 데이터와 3D 모델의 윤곽 데이터 간의 매칭을 통해 복원된다. 이러한 단일 입력 영상에서 비디오와 같은 다중 입력 영상으로 확장하여 칼만 필터를 적용하여 오류 프레임을 검출하고 이전, 이후 프레임의 매개변수와의 보간을 통해 보다 자연스럽고 정확한 모델을 생성한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2013.06a
• /
• pp.296-299
• /
• 2013

디스플레이 기술이 발전함에 따라 다양한 크기의 디스플레이를 탑재한 장치들이 등장하게 되었고, 다양한 디스플레이 크기만큼 다양한 해상도를 사용하고 있다. 때문에 비디오 코덱과 scaler는 보편적으로 함께 사용된다. 그러나 기존의 scaler는 비디오 코덱의 복호화기와 화면 해상도 변환 모듈이 독립적으로 구성되고, 서로 간에 정보를 이용하지 않으므로 시스템의 성능 개선에 한계가 존재하였다. 즉, 비디오 코덱의 복호화기는 비트스트림으로부터 복호한 정보를 바탕으로 영상을 복원하고, 복원영상은 up/down scaler에서 확대/축소를 수행한다. 하지만 비디오 코덱의 비트스트림에 존재하는 정보는 영상의 특성을 반영하기 때문에 up/down scaler에서 비디오 코덱의 복호화기에서 복호된 정보를 이용하면 복잡도의 증가 없이 효율적인 확대/축소를 수행할 수 있다. 이에 본 논문에서는 비디오 코덱 중 차세대 비디오 코덱인 H.264/AVC 복호화기에서 생성된 복원 영상에 대해서 별도로 영상의 특성을 계산하는 모듈 없이 H.264/AVC 복호화기에서 복원된 정보 중 인트라 모드 정보를 바탕으로 영상의 특성에 맞는 up/down scaler를 구현하는 방법을 제안한다. 이 방법은 기존의 scaler들보다 물체의 경계영역을 더 선명하게 확대하는 효과를 보인다.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2007.06a
• /
• pp.145-148
• /
• 2007

The video shot detection based on video picture type is presented in this paper. The detection algorithm is used MPEG compressed video frame directly, not reconstructed the original image. For shot detection, I and P frame of MPEG video bit stream are classified. The detecting scene cuts at I pictures are detected by reconstructed DC image. While scene cuts at P picture frame by monitoring the percentage of Intra-macroblocks per P picture. Experimental results on the test video bit stream is shown the detection rate of $85\sim98%$ and searching time is 4 times faster than the previously known video shot detection algorithm on the decompressed video shot.

• Proceedings of the Korean Information Science Society Conference
• /
• 1998.10c
• /
• pp.452-454
• /
• 1998

본 논문에서는 MPEG 압축 비디오 상에서 얼굴 영역을 추출하고 이를 인식하는 방법에 대하여 제안한다. 제안된 방법은 크게 MPEG 압축 비디오의 처리를 위한 축소된 DC 영상의 구성 단계, 축소된 DC 영상에서의 얼굴 영역 추출 단계, 그리고 얼굴 영역이 추출된 프레임에 대한 압축 복원 및 얼굴 인식의 3단계로 구성되어있다. DC 영상의 구성 단계에서는 압축 복원 없이 DCT 계수의 DC 값과 2개의 AC 값만을 사용하여 부분적인 2차원 역 DCT 변환을 이용한 방법을 사용하였으며, 얼굴 영역 추출 단계에서는 DC 영상에 대해 얼굴의 색상 및 형태 정보를 이용한 얼굴 후보 영역 추출 방법과 K-L 변환 및 역 변환의 오차에 의한 얼굴 영역 추출 방법을 사용하였다. 얼굴 인식 단계에서는 얼굴 영역이 추출된 프레임에 대하여 GOP 단위의 압축 복원을 수행한 후 고유 얼굴 영상을 이용한 방법으로 얼굴 인식을 수행하였다. 제안된 방법의 성능을 검증하기 위하여 뉴스와 드라마 MPEG 비디오를 대상으로 실험을 수행하였으며, 실험 결과 제안된 방법이 효율적임을 알 수 있었다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2010.07a
• /
• pp.396-397
• /
• 2010

본 논문에서는 스테레오 비디오의 오류 복원 알고리즘을 제안한다. 제안하는 알고리즘은 시간적 시점간 상관관계를 동시에 고려하여 오류 블록을 복원한다. 시간적 상관관계가 있는 블록들의 디스패리티 벡터 유사성을 통해 움직임 벡터와 디스패리티 벡터를 예측하고, 시점간 상관관계가 있는 블록들의 움직임 벡터 유사성을 통해 디스패리티 벡터와 움직임 벡터를 예측한다. 예측된 벡터들로부터, 오류 블록의 인접 화소 값들과 가장 유사한 값을 갖는 시간 시점 후보 블록들을 찾고, 시간 시점후보 블록들을 조합하여 오류 블록을 복원한다. 제안하는 알고리즘이 스테레오 비디오를 위한 효과적인 오류 은닉 방법으로서 높은 복원 효율을 나타냄을 컴퓨터 모의실험을 통해 확인한다.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.481-486
• /
• 2007

본 논문에서는 깊이 영상을 개선하는 방법으로 깊이 영상 획득 시 손실된 영역을 복원하는 기법을 제안한다. 대상 객체의 동적인 3차원 정보는 적외선 깊이 센서가 장착된 깊이 비디오 카메라를 통하여 실시간으로 획득한다. 이때, 깊이 비디오뿐만 아니라 각 프레임마다 컬러영상이 동시에 획득된다. 그러나 대상 객체의 일부 또는 전체가 반짝이는 검은 재질로 되어있을 경우, 획득된 깊이 영상에 손실이 발생한다. 특히 방송용 콘텐츠로서 연기자의 3차원 정보를 획득할 때 머리카락 영역이 손실되는 심각한 문제가 발생한다. 이를 해결하기 위해 먼저 컬러 영상을 이용하여 손실된 영역의 위치 정보를 알아낸다. 손실된 영역 내 경계부분의 깊이 정보를 복원한 후 2차 베지어 커브로 보간하여 내부의 깊이 정보를 복원한다. 개선된 깊이 영상을 기반으로 일련의 모델링 과정을 수행하면 보다 자연스러운 3차원 모델을 생성할 수 있다. 생성된 3차원 모델은 실감방송용 콘텐츠로 사용될 수 있으며, 시청자에게 시각상호작용과 촉각상호작용 등 다차원 감각의 상호작용을 제공할 수 있다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2004.04b
• /
• pp.733-735
• /
• 2004

이 논문은 한 대의 카메라에서 얻은 일련의 영상을 해석하여 단순한 2차원의 영상을 3차원물체로 복원하는 방법에 대해 설명을 한다. 이러한 3차원 복원 방법은 카메라 내부 변수가 동일하다는 가정을 이용하여 별도의 캘리브레이션 작업 없이 한 대의 카메라로부터 얻은 여러 장의 영상을 이용한다. 이 논문에서 제안한 방법은 내부 변수 중 카메라 행렬의 단순화와 사영 기하를 이용한 것이다 이 방법은 실제 비디오 프레임에 가상의 그래픽 모델을 더하는 AR (Augmented reality) 분야에 특히 유용하다 이 논문에서의 실험은 실제 여러 비디오 스트림 데이터를 바탕으로 수행되었고, 하나의 카메라를 사용한 동영상에서 3차원 구조로 복원하는 실험 결과는 시스템의 유용성을 보여준다.