• 한국통신학회논문지
• /
• 제26권11A호
• /
• pp.1872-1879
• /
• 2001

본 논문에서는 다시점 영상에서 영상의 특성을 고려하여 효율적으로 미세 변이를 추정하고 중간 시점 영상을 합성하는 알고리듬을 제안하며 이를 모의 실험을 통해 검증한다. 제안한 방법은 영역분할 양방향 화소정합을 통해 변이 추정의 수행 속도를 향상시키는 동시에 신뢰도를 높이며, 적절한 비용함수의 제안과 유사 영역에 대한 정합 창 확장 알고리듬, 변이 평활화와 불확실 영역 변이 할당 알고리듬을 통해 잘못 할당된 변이와 불확실 영역을 제거함으로서 변이의 신뢰도를 더욱 높일 수 있다. 이렇게 추정된 변이는 다시점 영상의 중간 시점 영상 합성을 위해 사용된다. 제안된 방식을 통해 기존의 방식들보다 더욱 안정적인 변이 정보를 얻을 수 있었고, 합성된 중간 시점 영상도 객관적으로나 주관적으로나 더욱 좋은 결과를 보였으며, 또한 전체적인 수행 시간도 줄어들어 더 효율적인 알고리듬임을 확인할 수 있었다.

• 한국통신학회논문지
• /
• 제26권7B호
• /
• pp.975-982
• /
• 2001

본 논문에서는 3차원 영상 시스템에서 기준이 되는 좌우 영상이 있을 때 임의의 중간 시점 영상 합성 기법을 제안하였다. 제안한 기법은 양방향 다이나믹 프로그래밍 기반 변이 추정 과정과, 이를 기반으로 양방향 변이 정합과정에 의해 가려진 영역을 추출하는 과정, 그리고 완성된 변이 맵을 바탕으로 중간 시점 영상을 생성하는 과정으로 구성된다. 이중 변이 추정 과정에 제안된 양방향 다이나믹 프로그래밍 기법은, 일반적인 다이나믹 프로그래밍이 가진 장점을 살리면서, 영상 특성을 고려한 코스트 값의 사용 및 양방향 코스트 행렬 생성 방법으로 발생될 수 있는 오류를 최소화함으로써 가려진 영역을 보다 정확하게 구분해 낼 수 있었다. 이후 이러한 과정에서 생성된 변이 맵에 대해 적절한 후처리 과정으로 가려진 영역을 판별하고, 이를 기반으로 한 중간 영상 생성에서 모호한 영역을 고려하여 보다 정확하고 안정적인 결과를 얻을 수 있었다.

• 한국통신학회:학술대회논문집
• /
• 한국통신학회 2006년도 하계종합학술발표회 논문 초록집
• /
• pp.281-281
• /
• 2006

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2006년도 가을 학술발표논문집 Vol.33 No.2 (B)
• /
• pp.535-538
• /
• 2006

디지털 기술이 급격하게 발전함에 따라서 사용자들은 더 현실감을 느낄 수 있고 능동적으로 상호작용 할 수 있는 방송을 원하게 되었다. 최근 들어서 삼차원 다시점 방송이 이러한 것을 만족시키는 서비스로서 많은 관심을 받으면서 두각 되고 있다. 일반적으로 서버에 입력되는 모든 영상들은 전부 클라이언트로 전송되게 된다. 이후에 사용자는 전체 시점 중에서 몇 개의 시점을 골라서 보게 된다. 하지만 이러한 종류의 시스템은 클라이언트와 서버 모두가 막대한 처리 능력을 필요로 하게 되고 이것은 응용 프로그램을 구현하는데 있어서 어려운 문제가 된다. 이러한 문제를 극복하기 위해서 두 개의 시점을 선택하여 클라이언트로 전송하는 간략한 방법이 사용 가능하다. 본 논문의 시점 선택 과정은 MPEG-21 DIA (Digital Item Adaptation)와 융합되어있기 때문에 우리의 시스템은 MPEG-21 멀티미디어 프레임워크와 완벽하게 호환된다. 그리고 다시점 카메라와 시스템에 대한 XML 형식의 다시점 명세서를 최초로 소개한다. 마지막으로 우리는 다시점 입체 영상을 시청하는 동안에 사용자가 느낄 수 있는 불편함을 최소화 하는 방법으로 IVR (Intermediate View Reconstruction) 제안한다.

• 한국정보통신학회논문지
• /
• 제16권8호
• /
• pp.1642-1652
• /
• 2012

일반적인 화상회의 시스템에서는 카메라의 위치가 모니터 중앙에 위치하여 있지 않기 때문에 화자간의 시점 불일치 현상이 발생하게 되며 따라서 대화 시 현장감이 떨어지는 문제가 발생한다. 본 논문에서는 컬러 카메라와 깊이 카메라(depth camera)를 이용하여 획득한 컬러 영상과 깊이 정보를 가지고 DIBR(Depth image based rendering) 기반의 시점 일치(eye-contacted) 영상을 생성하는 기법을 제안한다. 제안하는 기법에서는 생성된 시점 일치 영상에서 발생하는 홀(hole)을 인접 화소 값의 산술평균을 이용하여 효율적으로 채울 수 있는 홀 채움 기법과 객체 경계에서 발생하는 잡음을 효율적으로 제거하기 위해 깊이 정보에서 획득된 객체의 경계를 확장하여 보정하는 기법이 포함되어 있다. 제안하는 기법으로 생성된 시점 일치 영상은 매우 좋은 화질을 갖는다는 것을 실험을 통하여 보였다.

• 한국정보통신학회논문지
• /
• 제17권2호
• /
• pp.438-446
• /
• 2013

본 논문에서는 컬러 영상에서 추정된 움직임 벡터를 이용하여 움직이는 객체와 움직이지 않는 객체로 영상을 분리하여 깊이 영상의 시간적 일관성을 보상하는 기법을 제안한다. 제안하는 기법에서는 광류(optical flow) 추정 기법을 이용하여 연속되는 컬러 영상의 움직임 벡터를 추정하고 초기 움직임 객체 영역을 생성한다. 이를 바탕으로 그랩컷(grabcut) 기법을 통해 움직임이 있는 객체와 움직임이 없는 객체 영역을 분리한다. 그리고 움직임이 없는 객체 영역의 깊이 값을 이전 프레임의 깊이 지도와 정합 창 기반 절대평균오차(sum of absolute differences)를 통해 비교하여 일정 임계값보다 클 경우 이전 프레임의 깊이 값으로 현재 프레임의 깊이 값을 대체함으로써 시간적 상관성을 보상한다. 움직임이 있는 객체 영역의 경우 시간 축으로 확장된 결합형 양방향 필터링을 수행하여 시간적 상관성을 보상한다. 제안하는 기법으로 보상된 깊이 지도를 이용하여 가상 시점을 합성할 시 화질 향상 뿐 아니라 최근 표준화가 진행 중인 HEVC에서도 부호화 효율 또한 증가한다는 것을 실험을 통하여 확인하였다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제23권3호
• /
• pp.31-38
• /
• 2017

본 논문에서는 도심 영상에 대해 맨하탄 좌표계를 추정하는 합성곱 신경망(Convolutional Neural Network) 기반의 시스템을 제안한다. 도심 영상에서 맨하탄 좌표계를 추정하는 것은 영상 조정, 3차원 장면 복원 등 컴퓨터 그래픽스 및 비전 문제 해결의 기본이 된다. 제안하는 합성곱 신경망은 GoogLeNet[1]을 기반으로 구성한다. 합성곱 신경망을 훈련하기 위해 구글 스트리트 뷰 API로 영상을 수집하고 기존 캘리브레이션 방법으로 맨하탄 좌표계를 계산하여 데이터셋을 생성한다. 장면마다 새롭게 합성곱 신경망을 학습해야하는 PoseNet[2]과 달리, 본 논문에서 제안하는 시스템은 장면의 구조를 학습하여 맨하탄 좌표계를 추정하기 때문에 학습되지 않은 새로운 장면에 대해서도 맨하탄 좌표계를 추정한다. 제안하는 방법은 학습에 참여하지 않은 구글 스트리트 뷰 영상을 검증 데이터로 테스트하였을 때 $3.157^{\circ}$의 중간 오차로 맨하탄 좌표계를 추정하였다. 또한, 동일 검증 데이터에 대해 제안하는 방법이 기존 맨하탄 좌표계 추정 알고리즘[3]보다 더 낮은 중간 오차를 보이는 것을 확인하였다.