• 정보처리학회논문지B
• /
• 제13B권5호
• /
• pp.499-506
• /
• 2006

본 논문에서는 실시간 증강현실 시스템에서의 가상 객체 삽입을 위한 빠르고 안정된 카메라 자세 추정 방법을 제안한다. 단일 프레임에서 마커의 특징점 추출을 통해 카메라의 회전행렬과 이동벡터를 추정한다. 카메라 자세 추정을 위해 정사영 투영모델에서의 분해기법을 사용한다. 정사영 투영모델에서의 분해기법은 객체의 모든 특징점의 깊이좌표가 동일하다고 가정하기 때문에 깊이좌표의 기준이 되는 참조점의 설정과 점의 분포에 따라 카메라 자세 계산의 정확도가 달라진다. 본 논문에서는 실제 환경에서 일반적으로 잘 동작하고 융통성 있는 참조점 설정 방법과 이상점 제거 방법을 제안한다. 제안된 카메라 자세추정 방법에 기반하여 탐색된 마커 위치에 가상객체를 삽입하기 위한 비디오 증강 시스템을 구현하였다. 실 환경에서의 다양한 비디오에 대한 실험 결과, 제안된 카메라 자세 추정 기법은 기존의 자세추정 기법만큼 빠르고 기존의 방법보다 안정적이고 다양한 증강현실 시스템 응용에 적용될 수 있음을 보여주었다.

• 한국정보과학회논문지:시스템및이론
• /
• 제33권8호
• /
• pp.477-485
• /
• 2006

본 논문에서는 가상 환경의 참여자를 표현하기 위해 실제 참여자의 영상을 가상 환경에 실시간으로 제공하는 비디오 아바타를 사용하였다. 비디오 아바타의 사용은 참여자를 표현하는 정밀도를 높일 수 있지만 정확한 정합이 중요한 이슈가 된다. 비디오 아바타의 정합을 위해 실제 환경에서 사용되는 카메라와 가상 환경을 생성하기 위해 사용되는 가상 카메라의 특성을 동일하게 조정하였다. 조정된 실제와 가상 카메라의 유사성에 근거하여 실제와 합성 영상의 비교를 통하여 실제 환경에서 획득된 비디오 아바타가 가상 환경과 정합되도록 하였다. 비디오 아바타의 정합 과정에서는 정합의 부정확한 정도를 에너지로 표현하여 이를 최소화시키는 방법을 이용하였으며 실험을 통하여 제안된 방법이 가상 환경에서 비디오 아바타의 정합에 효과적으로 적용 가능함을 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2001년도 정기총회 및 학술대회
• /
• pp.205-208
• /
• 2001

최근 스포츠 중계를 중심으로 가상광고가 큰 주목을 받고 있다. 가상광고는 현실에 존재하지 않는 광고를 실영상 내에 삽입하여 마치 실제로 존재하는 물체처럼 보여주는 기술이다. 본 논문에서는 한 대의 카메라로 촬영한 영상으로부터 실시간으로 특징점 추출 및 추적을 행하여, 카메라 Projection 행렬을 복원하고, 이를 이용하여 범용적인 크로마키(chroma-key) 기법으로 영상합성 함으로써 센서와 같은 부가장비가 필요없는 영상기반의 가상광고 시스템을 구현하였다. 일반 PC상에서 알고리즘의 유효성과 실시간 동작성을 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2007년도 동계학술대회
• /
• pp.68-71
• /
• 2007

자연스러운 가상현실 제작을 위해서는 정확한 카메라 보정(camera calibration) 과정이 필수적인 선결 조건으로 요구된다. 그러나 기존의 영상처리에 의한 카메라 보정 방식은 특징점 추출에서의 에러 발생과 여러 장의 영상을 촬영해야 하는 등의 단점으로 줌렌즈 카메라 보정에는 사용되기 힘들었다. 본 논문에서는 카메라보정 객체의 모델에 기반하여 카메라 파라미터를 최적화하는 방법으로 카메라 보정을 구현하였다 최적화 방법으로는 경사기반 방식에 비해 국부최적점에 강인한 것으로 알려진 유전자알고리즘(genetic algorithm)을 사용하였다. 카메라 보정 객체에 낮은 공간주파수성분을 보강하고, 목적함수에 영상의 밝기 정보를 포함하며, 유전자알고리즘을 사용함으로써 초기치가 최적점에서 멀리 떨어져있는 경우에도 수렴이 가능함을 실험적으로 확인하였다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2012년도 제46차 하계학술발표논문집 20권2호
• /
• pp.105-106
• /
• 2012

일반적으로 CG 합성이라 하면 '자연스러운' 것을 잘된 CG영상이라고 한다. 이 때 촬영된 영상이 정지화면 일 수 만은 없다. 카메라가 움직이는 영상에서는 CG합성도 실사카메라 무빙에 맞게 정확한 정합이 되어야 자연스러운 영상이 된다. 이를 위해 합성단계에서 작업할 때 3D 카메라 트래킹 기술이 필요하다. 카메라트래킹은 촬영된 실사영상만으로 카메라의 3차원 이동정보와 광학적 파라미터 등 촬영시의 3차원 공간을 복원하는 과정을 포함하고 있다. 이 과정에서 카메라 트래킹에 대한 오류의 발생으로 실사와 CG의 합성에 대한 생산성에 많은 문제점을 가지고 있다. 본 논문에서는 이러한 문제를 해결하기 위하여 소프트웨어에서 트래킹데이터를 보정하는 방법을 제안한다.

• 방송공학회논문지
• /
• 제8권1호
• /
• pp.63-71
• /
• 2003

실시간 가상이미징 시스템은 스포츠 중계 방송에서 팀의 문양이나 점수, 거리와 같은 정보를 실제 운동장 위에 합성해 줌으로써, 일반적인 자막기의 단점을 보완할 수 있는 새로운 기술로 주목받고 있다. 카메라의 움직임에 그래픽을 정확히 연동시키기 위해서는 카메라의 각 축에 센서를 장착하는 방식과 실제 카메라 영상 자체를 분석하는 방식이 사용된다. KBS 기술연구소에서는 방송용 렌즈 기 줌(zoom), 포커스(focus) 부와 팬(Pan), 틸트(tilt) 축에 센서를 부착하여, 실시간으로 3차원 그래픽의 가상 카메라를 제어하는 센서기반 가상이미징 시스템 'VIVA'를 개발하였다. 본 논문에서는 VIVA 시스템과 그 구현 기술을 소개하고자 한다. 정확한 카메라 추적을 위하여 주밍(zooming)시 발생하는 카메라 시점(view-point)의 이동을 렌즈의 광학주점 변이 데이터를 이용하여 계산하였으며, 줌 뿐만 아니라 포커스에 따른 화각 변화를 반영하였다. 3차원 그래픽에 기반하여 가상 이미징 시스템을 구현함으로써, 키프레임(keyframe) 애니메이션과 같은 유용한 그래픽 기술이 사용될 수 있도록 하였다. VIVA는 2002년 부산 아시안게임과 대선 개표 방송에 사용되어, 스포츠 프로그램뿐만 아니라 근거리 촬영이 요구되는 스튜디오 프로그램 제작에도 사용이 가능함을 확인하였다.

• 한국멀티미디어학회논문지
• /
• 제9권4호
• /
• pp.421-433
• /
• 2006

본 논문에서는 비디오에서 비보정 3차원 좌표의 복원과 카메라의 움직임 추정을 통하여 가상 객체를 비디오에 자연스럽게 합성하는 방법을 제안한다. 비디오의 장면에 부합되도록 가상 객체를 삽입하기 위해서는 장면의 상대적인 구조를 얻어야 하고 비디오 프레임의 흐름에 따른 카메라 움직임의 변화도 추정해야 한다. 먼저 특장점을 추적하고 비보정 절차를 수행하여 카메라 파라메터와 3차원 구조를 복원한다. 각 프레임에서 카메라 파라메터들을 고정시켜 촬영하고 이들 카메라 파라메터는 일정 프레임 동안 불변으로 가정하였다. 제안된 방법으로 세 프레임 이상에서 작은 수의 특징점 만으로도 올바른 3차원 구조를 얻을 수 있었다. 가상객체의 삽입 위치는 초기 프레임에서 특정 면의 모서리점의 대응점을 지정하여 결정한다. 가상 객체의 투사 영역을 계산하고 이 영역에 이음새가 없도록 텍스처를 혼합하여 가상객체와 비디오의 부자연스러운 합성 문제를 해결하였다. 제안 방법은 비보정 절차를 선형으로만 구현하여 기존의 방법에 비해서 안정성과 수행속도의 면에서 우수하다. 실제 비디오 스트림에 대한 다양한 실험을 수행한 결과 여러 증강현실 응용 시스템에 유용하게 사용될 수 있음을 입증하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2002년도 추계학술발표논문집 (상)
• /
• pp.31-34
• /
• 2002

본 논문에서는 2 대의 카메라로부터 입력된 스테레오 영상을 이용하여 가상캐릭터의 동작을 실시간으로 생성하는 방법에 대해 기술한다. 이 시스템은 동작자의 움직임을 캡쳐하기 위해 동작자의 좌, 우 전방에 동기화된 2 대의 컬러 CCD 카메라를 위치시킨다. 카메라로부터 입력된 스테레오 영상을 분석하여 신체의 중심이 되는 루트와 머리, 손, 발과 같은 end-effector의 2차원 특징점을 추출하고, 추출된 특징점들은 카메라의 사영행렬과 추적 알고리즘을 통해 3차원 위치를 생성한다. 생성된 루트와 end-effector 의 3 차원 위치정보는 노이즈 제거를 위한 필터링을 거친 후 역운동학 알고리듬에 적용하고, 인체 관절의 해부학적인 제약조건과 관절간의 상호 연관성 및 전 후 프레임간의 부드러운 연결 동작 생성을 고려하여 중간관절의 위치를 정밀하게 계산한다. 중간관절의 위치를 생성하므로 서 임의 동작자의 움직임에 대한 모든 관절의 정보를 획득할 수 있으며, 획득된 동작 데이터를 가상 캐릭터에 적용하므로 서 캐릭터의 움직임을 실시간으로 생성할 수 있다.

• 한국통신학회논문지
• /
• 제34권12C호
• /
• pp.1154-1166
• /
• 2009

본 논문에서는 다시점 동영상을 이용한 기저선(baseline)상의 가상시점 영상 생성과 기저선상 외의 가상시점 영상 생성을 위한 기법을 제안한다. 제안한 기법에서는 가상 시점을 생성하기 위하여 영상의 깊이(depth)정보와 고정된 카메라의 기하학적 특성을 이용한 3차원 워핑(warping) 방법을 적용한다. 영상의 실제 3차원 좌표는 영상의 깊이 정보와 카메라의 기하학적 특성을 이용하여 산출되고, 산출된 3차원 좌표는 임의 위치의 가상 카메라에 투영(projection)되어 2차원의 가상 시점 영상이 생성된다. 제안한 방법에 의해 생성된 기저선상의 중간시점 영상은 기존의 방법으로 생성된 중간시점 영상보다 PSNR이 0.5dB 이상 향상된 결과를 나타내었고, 기저선상 외의 가상 시점 영상에서 나타나는 많은 미처리 영역을 보다 효과적으로 처리하여 가상시점 영상을 생성할 수 있었다.

• 한국정보통신학회논문지
• /
• 제16권2호
• /
• pp.337-343
• /
• 2012

3D 영상은 인간이 인지하는 시각적 경험을 바탕으로 입체적인 표현기술에 의해 발전해 왔다. 최근 입체영상구현 기술연구는 현실감 있는 영상을 제작하기 위해서 다양하고 새로운 영상 제작방법들이 시도되고 있다. 그러나 가상카메라가 이동할 때 발생하는 키스톤 왜곡(keystone distortion)에 대한 문제는 많은 연구가 필요한 상태다. 본 연구에서는 가상카메라의 이동에 따라 발생하는 결상차이에 대한 픽셀거리를 분석함으로써 키스톤 왜곡에 대한 현상을 최소화 하고 그래픽스 환경에서 구현 가능한 제작방법을 제시하였다. 그래픽스 입체영상 제작환경에서 각각의 오브젝트를 레이어별로 분류한 후 영상데이타를 추출하여 입체영상으로 제작한 결과 화면결상으로 인한 왜곡된 영상데이터를 보정 할 수 있었다.