• 한국정보과학회논문지:시스템및이론
• /
• 제30권11호
• /
• pp.621-628
• /
• 2003

본 논문은 한 장의 영상 속에 포함되어 있는 물체들이 외관상의 3차원 운동이 가능하도록 하는 방법을 제시한다. 이전 연구들은 여러 장의 영상으로부터 영상 기반 모델링 기법들을 이용하여 3차원 모델을 생성하거나 소실점을 이용한 카메라 보정을 통하여 장면을 입방체로 모델링하여 3차원 모델을 생성하는 방식으로 접근하였다. 그러나 본 논문에서는 장면의 기하학적 정보나 카메라 보정 없이 장면 속 물체의 영상 기반 운동(image-based motion)의 가능성을 제시한다. 구현된 시스템은 영상을 시점에 관한 사영 평면으로 생각하고 사용자에 의해 입력된 선과 점의 정보를 이용하여 사영된 3차원 물체의 2차원 모양을 모델링한다. 그리고 모델링된 물체는 3차원 운동을 하기 위한 지역 좌표계로서 소실점을 이용한다.

• 스마트미디어저널
• /
• 제4권1호
• /
• pp.9-15
• /
• 2015

언어를 사용하지 않고 몸짓이나 손짓, 표정 등 신체의 동작으로 의사나 감정을 표현하고 전달하는 비언어적 전달 방법은 중요한 의사전달 방법 중 하나이다. 이러한 몸짓이나, 손짓, 시선 맞춤 그리고 손동작은 때론 말보다 더 강력한 의사전달의 방법으로 작용한다. 비언어적 의사전달 방법에서 시선 맞춤은 그중에서도 가장 중요한 의사전달 방법이다. 하지만 화상회의를 할 때 디스플레이 상에서의 눈과 카메라의 차이 때문에 상호간에 시선 맞춤이 되지 않는다. 만약 상호간에 시선 맞춤을 하지 않고 대화를 하면 정확한 의사전달이 힘들고 서로의 이야기에 집중하기 어려워진다. 본 논문에서는 화상회의 상황에서 시선 맞춤을 개선하는 방법을 제안한다. 시선 맞춤을 개선하기 위해 두 대의 카메라를 텔레비전의 위, 아래에 설치하였다. 동시에 두 영상을 촬영하여 2D 워핑을 하여 가상의 중간시점으로 옮기고, 뷰 모핑을 한다. 모핑된 얼굴과 배경영상을 합성하여 화상회의를 위해 개선된 시선 맞춤 영상을 만든다. 실험 결과를 통하여 제안한 알고리즘이 시선 맞춤을 개선하고 자연스러운 중간 시점 영상을 합성하는 것을 확인 할 수 있다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2011년도 춘계학술발표대회
• /
• pp.463-466
• /
• 2011

증강현실이 주목받고 있는 시점에서 현실세계를 3차원으로 가상현실화 하고자 하는 연구가 최근 활발히 진행되고 있다. 현실세계를 CCTV카메라에 담기 위해서는 넓은 시야각을 가진 렌즈가 필요한데, 대안으로써 보통 어안렌즈를 많이 사용한다. 어안렌즈는 시야각을 넓게 하여 정해진 범위 내에 많은 양의 데이터를 활용할 수 있기 때문에 CCTV를 이용한 감시 시스템에 사용된다. 그러나 어안렌즈는 직선성분을 왜곡하여 곡선성분으로 나타내는 경향이 발생하며, 심할 경우 대상을 식별하기가 힘들 수도 있다는 문제점이 있다. 이러한 문제점을 해결하기 위해 원 영상이 왜곡된 영상보다 직선성분이 많다는 것에 착안하여 Hough Transform에 의한 직선검출을 이용해 왜곡을 자동으로 보정하고, Calibration 파라미터를 산출하는 기법을 본 논문에서 제안하고, 실험을 통해 확인하였다.

• 전기전자학회논문지
• /
• 제17권1호
• /
• pp.1-9
• /
• 2013

3차원 영상 해석 기법에 의해 구해진 DEM(Digital Elevation Map)을 정량적으로 평가하는 것은 영상 해석 기법의 유효성을 검증하기 위해 매우 중요하다. 본 논문에서는 모의 영상 제작에 의한 3차원 재구성 과정의 새로운 정량적 평가 방법을 제안하였다. 제안된 방법은 미리 확보된 DEM과 정사영상(ortho-image)을 가상의 실제 값(pseudo ground truth)으로 가정한 것에 의한 것이다. 제안된 방법의 과정은 그래픽스에서 사용되는 ray tracing 알고리즘을 구성하여 가상의 실제 값에 적용함으로서 원하는 시점으로부터의 한 쌍의 모의 영상을 제작하는 것으로부터 시작된다. 제작된 모의 영상 쌍으로부터 구해진 DEM을 가상의 실제 값과 비교하면 구해진 DEM의 정량적인 오차 분석이 가능하여, 적용된 3차원 영상 해석 기법의 유효성이 평가될 수 있다. 제안된 평가 방법의 타당성을 검증하기 위해, 정량적 및 정성적인 실험이 수행되었다. 이를 위해 발생되는 모의 영상이 실제 형상을 재현하는 정도를 정량적인 수치로서 구하여 제안된 방법을 타당성을 입증하였다. 또한 정합창의 크기 변화에 따른 DEM의 정확도를 제안된 평가 방법에 의해 실험하였다. 이러한 실험 결과가 예견된 결과와 일치함에 의해 제안된 평가 방법의 타당성을 정성적으로도 명백히 증명하였다.

• 한국컴퓨터정보학회논문지
• /
• 제17권4호
• /
• pp.51-58
• /
• 2012

최근 깊이영상을 기반으로 한 3D 기술이 3D 공간감지, 3D 영상획득, 3D 인터랙션, 3D 게임 등 다양한 분야에서 응용되고 있다. 깊이영상을 생성하기 위해서는 깊이 카메라를 이용하게 되는데, 이렇게 생성된 깊이영상의 화질을 개선하기 위한 다양한 시도들이 이루어지고 있다. 본 눈문에서는 이러한 깊이 카메라 기반의 3D 응용에 있어서 깊이 영상을 개선하기 위해 영역기반의 에지 검출기를 사용하는 방법을 제안한다. 제안된 방법은 제한된 환경에서의 깊이영상을 획득하는 과정에서 발생 할 수 있는 화질열화를 후처리 또는 전처리를 통해 개선함으로써 보다 향상된 깊이 영상을 제공한다. 다양한 실험결과를 통해서 개선된 깊이영상을 객관적 화질 평가를 위해 가상시점 참조 소프트웨어에 적용하여 비교함으로써 최대 0.42dB의 화질 향상을 확인하였다. 또한 영상의 실제 시청 환경과 가장 유사한 방법인 DSCQS(Double Stimulus Continuous Quality Scale)방법을 통해서 주관적 화질의 객관적 평가를 수행함으로써 개선된 깊이영상의 효용성을 다시 확인하였다.

• 방송공학회논문지
• /
• 제8권1호
• /
• pp.63-71
• /
• 2003

실시간 가상이미징 시스템은 스포츠 중계 방송에서 팀의 문양이나 점수, 거리와 같은 정보를 실제 운동장 위에 합성해 줌으로써, 일반적인 자막기의 단점을 보완할 수 있는 새로운 기술로 주목받고 있다. 카메라의 움직임에 그래픽을 정확히 연동시키기 위해서는 카메라의 각 축에 센서를 장착하는 방식과 실제 카메라 영상 자체를 분석하는 방식이 사용된다. KBS 기술연구소에서는 방송용 렌즈 기 줌(zoom), 포커스(focus) 부와 팬(Pan), 틸트(tilt) 축에 센서를 부착하여, 실시간으로 3차원 그래픽의 가상 카메라를 제어하는 센서기반 가상이미징 시스템 'VIVA'를 개발하였다. 본 논문에서는 VIVA 시스템과 그 구현 기술을 소개하고자 한다. 정확한 카메라 추적을 위하여 주밍(zooming)시 발생하는 카메라 시점(view-point)의 이동을 렌즈의 광학주점 변이 데이터를 이용하여 계산하였으며, 줌 뿐만 아니라 포커스에 따른 화각 변화를 반영하였다. 3차원 그래픽에 기반하여 가상 이미징 시스템을 구현함으로써, 키프레임(keyframe) 애니메이션과 같은 유용한 그래픽 기술이 사용될 수 있도록 하였다. VIVA는 2002년 부산 아시안게임과 대선 개표 방송에 사용되어, 스포츠 프로그램뿐만 아니라 근거리 촬영이 요구되는 스튜디오 프로그램 제작에도 사용이 가능함을 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2015년도 추계학술대회
• /
• pp.71-73
• /
• 2015

본 논문에서는 여러 대의 Microsoft Kinect 와 NVidia 사의 GPGPU 라이브러리 CUDA 를 사용하여 실시간 Free Viewpoint TV System 을 제안한다. Kinect 로부터 얻어진 컬러 및 깊이 영상을 통하여 두 카메라 사이의 가상시점에서 영상을 실시간으로 출력하는 시스템을 설계한다. 이 과정에서 많은 연산량을 요구하는 좌표계 변환 과정과 IR 패턴의 간섭문제를 해결하기 위해 사용되는 Nearest Neighbor 홀 채움 방식을 CUDA 를 이용해 병렬화시켰다. 실험 결과 CUDA 를 이용해 구성한 시스템이 기존의 CPU 만을 이용해 구성한 시스템보다 같은 시간 동안 더 많은 합성영상을 만들 수 있었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2015년도 하계학술대회
• /
• pp.122-124
• /
• 2015

본 논문에서는 Microsoft 에서 나온 여러 대의 Kinect 를 이용하여 Free Viewpoint TV System 을 구현해 보고자 한다. Kinect 로부터 얻어진 색상 영상과 깊이 영상을 통하여, 실시간으로 두 대의 카메라 사이에서의 가상시점에서 영상이 출력되는 시스템을 설계한다. 또한, 여러 대의 Kinect 를 이용할 때, 간섭현상으로 인해 IR 패턴을 제대로 인식하지 못하여 홀이 생성되는 문제점을 확인하고, Nearest Neighbor 방식과 Inpainting 기법을 사용하여 홀을 제거하는 방식을 소개한다. 실험 결과, 홀의 주변과 비슷한 값으로 홀을 채울 수 있었지만, 홀의 크기에 따라 Edge 경계가 부정확해 지는 현상을 확인할 수 있다.

• 한국산학기술학회논문지
• /
• 제18권5호
• /
• pp.120-124
• /
• 2017

시간적 초해상도 기법은 일반 카메라로 찍은 영상을 고속카메라로 찍은 영상과 같이 보일 수 있도록 프레임률을 증가시키는 방법이다. 전자광학 센서는 다양한 감시정찰 무기체계에 탑재되는데, 각 무기체계별 작전요구성능에 따라 필요로 하는 전자광학 센서의 공간적 해상도와 시간적 해상도가 달라진다. 대부분의 영상센서가 30~60 프레임/초로 영상을 촬영하기 때문에, 표적의 이동 및 변화가 이보다 더 빠른 경우 프레임률의 증가가 필요하다. 본 논문은 채널별 색상정보 외삽법을 활용하여 프레임률을 증가시키는 기법을 제안한다. DMD의 각 화소를 카메라 센서의 각 화소와 정합한 후, 카메라 센서의 베이어 패턴에 맞추어 각 채널별로 화소 그룹을 분리한다. DMD를 이용해 일반 카메라의 한 프레임이 채널별로 서로 다른 연속된 노출 시간을 가지도록 조절하여, 촬영한 영상을 프레임률이 증가한 단일채널 영상으로 변환한다. 옵티컬 플로우 기법을 활용하여 각 채널별로 시점에 맞는 가상의 영상을 생성하여, 프레임률이 증가한 단일채널 영상을 컬러채널 영상으로 만들었다. 시뮬레이션을 통해 제안된 시간적 초해상도 기법의 성능을 확인하였다.

• 한국통신학회논문지
• /
• 제37권4C호
• /
• pp.277-282
• /
• 2012

본 논문에서는 실감 원격 영상회의를 위한 시선 맞춤 시스템을 제안한다. 제안하는 방법은 적외선 구조광을 사용하는 Kinect 깊이 카메라를 이용해서 색상 영상과 깊이 영상을 획득하고, 깊이 영상을 이용해서 사용자를 배경으로부터 분리한다. 깊이 카메라로부터 획득한 가공되지 않은 깊이 영상은 다양한 형태의 잡음을 가지고 있기 때문에, 첫번째 전처리 과정으로 결합형 양방향 필터를 사용해서 잡음을 제거한다. 그 다음, 깊이값의 불연속성에 적응적인 저역 필터를 적용한다. 색상 영상과 전처리 과정을 거친 깊이 영상을 이용해서 우리는 가상시점에서의 화자를 3차원 모델로 복원한다. 전체 시스템은 GPU 기반의 병렬 프로그래밍을 통해 실시간 처리가 가능하도록 했다. 최종적으로, 우리는 시선이 조정된 원격의 화자 영상을 얻을 수 있게 된다. 실험 결과를 통해 제안하는 시스템이 자연스러운 화자간 시선 맞춤을 실시간으로 가능하게 하는 것을 확인했다.