• 한국콘텐츠학회논문지
• /
• 제15권2호
• /
• pp.31-39
• /
• 2015

2D-to-3D 비디오 변환 기술은 2D 비디오 속에 내재하는 깊이 단서를 이용하여 스테레오 영상을 생성함으로써 2D 비디오에 3D 효과를 부여한다. 이 기술은 완전한 3D 비디오 시대로 가는 과도 기간 동안 3D 콘텐츠의 부족문제를 해결할 수 있는 유용한 기술이다. 본 논문은 2D-to-3D 비디오 변환의 저 복잡도 구현을 위한 새로운 깊이 생성 방안을 제시한다. 제안 기법에서는 전역 깊이의 시방향 일관성을 위하여 패턴 기반의 전역 깊이 생성 기법을 제안하였다. 뿐만 아니라 객체 영역의 3D 입체감 개선을 위한 저 복잡도의 객체 깊이 개선 알고리즘도 추가적으로 제시하였다. 실험을 통해 제안 알고리즘이 복잡도와 주관적 화질 측면에서 기존 방식들에 비해 우수한 성능을 나타냄을 보인다.

• 방송공학회논문지
• /
• 제8권4호
• /
• pp.452-464
• /
• 2003

FPGA를 사용하여 실시간 응용 가능한 다시점 3차원 비디오 프로세서를 설계 및 구현하였다. 본 연구에서 설계된 3차원 비디오 프로세서는 최대 16시점으로부터의 2차원 비디오 신호를 입력받아 공간분할방식의 3차원 비디오 신호로 변환해주는 역할을 한다. 3차원 카메라 시스템의 다양한 구조에 대응이 가능하며, 또한 다양한 해상도의 3차원 디스플레이 장치에 대응이 가능하도록 설계하였다. 5개의 FPGA를 사용한 검증보드를 제작하여 3차원 비디오 프로세서의 기능을 검증하였다.

• 한국측량학회지
• /
• 제29권3호
• /
• pp.249-255
• /
• 2011

고중복도 비디오카메라 영상을 이용하여 GPS/INS 및 지상기준점 자료 없이 제작되는 자유 입체 모자이크 영상은 기준 프레임 영상의 3차원 모델좌표계로 표현되는 상호표정요소를 이용하여 제작될 수 있다. 이와같이 제작된 자유 입체 모자이크 영상으로부터 결정되는 3차원 좌표는 3차원 모델좌표계로 나타내게 된다. 따라서 자유 입체 모자이크 영상을 이용하여 절대좌표를 결정하기 위해서는 모델좌표계를 절대좌표계로 변환하기 위한 방법이 필요하다. 일반적으로 서로 다른 두 개의 3차원 직각 좌표계간의 좌표변환은 3차원 상사변환(similarity transformation)이 사용된다. 하지만 자유 입체 모자이크 영상의 3차원 모델좌표는 원점으로부터 떨어질수록 오차가 누적되어 선형변환을 이용한 좌표변환을 수행하기 어렵다. 따라서 이러한 자유 입체 모자이크 영상의 모델좌표를 절대좌표로 변환하기 위한 3차원 비선형 변환 방법이 필요하다. 또한 절대좌표계로 표현된 수치지도와 입체 모자이크 영상을 중첩하여 사용하기 위해서는 자유 입체 모자이크 영상을 실좌표 입체 모자이크 영상으로 변환하기 위한 방법이 필요하다. 따라서 본 연구에서는 자유 입체 모자이크 영상의 3차원 모델좌표를 3차원 절대좌표로 변환하기 위한 3차원 비선형 변환 방법과 이 방법을 기반으로 자유 입체 모자이크 영상을 실좌표 입체 모자이크 영상으로 제작하기 위한 2차원 비선형 변환방법을 제안하였다.

• 방송공학회논문지
• /
• 제20권3호
• /
• pp.368-378
• /
• 2015

2D영상의 3D변환 기술은 3D 디스플레이 및 3DTV에 기본적으로 장착된 기술로 꾸준히 연구 및 상업화가 진행된 기술이다. 이 기술은 3D 입체영상 콘텐츠 부족을 해결할 수 있다는 장점이 있다. 3D변환은 정지영상으로부터 다양한 깊이단서를 이용하여 깊이맵을 추출한 후에, DIBR(Depth Image Based Rendering)로 입체영상을 생성한다. 특정 영상이외에는 영상에서 신뢰성 있는 단서가 있는 경우는 많지 않다. 따라서 3D변환 기술은 일반 영상에서도 우수하고, 일관된 입체영상이 생성하는 것이 중요하다. 이러한 관점에서 본논문에서는 상기 조건을 만족할 수 있는 3D변환 방법을 제안한다. 주 기술로 최근 다양한 분야에서 활용되는 관심맵과 에지를 활용한 다. 깊이맵을 생성하기 위해서 기하적 투영, 근접 모델 및 바이노믹 필터를 활용한다. 실험에서는 제안한 방법을 24개의 2D 비디오 콘텐츠에 적용하였고, 입체감 및 시각적 피로도 등의 주관적 평가를 통해 3D 콘텐츠의 우수한 만족도를 확인하였다.

• 방송공학회논문지
• /
• 제22권4호
• /
• pp.429-437
• /
• 2017

2D영상의 3D변환 기술은 3D 디스플레이 및 3DTV에 기본적으로 장착된 기술로 꾸준히 연구 및 상업화가 진행된 기술이다. 3D변환은 정지영상으로부터 다양한 깊이단서를 이용하여 깊이맵을 추출한 후에, DIBR(Depth Image Based Rendering)로 입체영상을 생성한다. 또한 비디오에서 추출할 수 있는 모션정보를 활용하여 모션 깊이맵을 얻기도 한다. 본 논문에서는 기존의 블록기반 모션예측, 광유 등의 모션 추출 방식이 아닌 운동 히스토리 영상(Motion History Image)를 활용하여 모션 깊이맵을 얻는 새로운 방법을 제안하고 실제 활용 가능성을 조사한다. 실험에서는 제안한 방법을 다양한 운동 유형을 가지는 8개의 2D 비디오 콘텐츠에 적용하였고, 생성된 모션 깊이맵의 정성적 평가 및 수행 속도의 비교를 통하여 MHI 기반 깊이맵의 실제 적용이 적합함을 증명하였다.

• 한국정보통신학회논문지
• /
• 제20권2호
• /
• pp.281-288
• /
• 2016

움직임이 자연스러운 피사체는 대부분 형태가 불규칙하게 변형되는 비정형(non-rigid) 형상이고, 그 종류 또한 매우 다양하게 존재하다. 비정형 형상 복원에 관한 기술은 영화나 게임 산업에서 최근 폭넓게 적용되고 있다. 그렇지만, 현실적인 접근 방법은 움직이는 피사체에 많은 비콘 장치를 부착해야한다. 이러한 제약사항을 극복하기 위해, 비콘장치가 없는 입력 비디오 영상으로부터 비정형 형상을 복원하는 연구가 멀티미디어 응용 분야에서 광범위하게 진행되고 있다. 이러한 관점에서 본 논문은 비정형 3D 형상을 복원할 수 있는 새로운 CPSRF(Chained Partial Stereo Rigid Factorization) 알고리즘을 제안한다. 본 방법은 스테레오 2D 비디오 영상으로부터 비정형 3D 형상을 프레임 별로 실시간 복원하는데 포커스 한다. 또한 시변 형상 변형은 가우시한 분포를 따라야 하는 제한을 두지 않는다. 실험결과에서는 제안한 CPSRF 방법의 복원 성능이 불규칙한 형상 변형을 고려하지 않은 기존 방법 보다 우수함을 확인한다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제11권11호
• /
• pp.465-472
• /
• 2022

본 연구에서는 기존의 동영상 합성 네트워크에 스타일 합성 네트워크를 접목시켜 동영상에 대한 스타일 합성의 한계점을 극복하고자 한다. 본 논문의 네트워크에서는 동영상 합성을 위해 스타일갠 학습을 통한 스타일 합성과 동영상 합성 네트워크를 통해 스타일 합성된 비디오를 생성하기 위해 네트워크를 학습시킨다. 인물의 시선이나 표정 등이 안정적으로 전이되기 어려운 점을 개선하기 위해 3차원 얼굴 복원기술을 적용하여 3차원 얼굴 정보를 이용하여 머리의 포즈와 시선, 표정 등의 중요한 특징을 제어한다. 더불어, 헤드투헤드++ 네트워크의 역동성, 입 모양, 이미지, 시선 처리에 대한 판별기를 각각 학습시켜 개연성과 일관성이 더욱 유지되는 안정적인 스타일 합성 비디오를 생성할 수 있다. 페이스 포렌식 데이터셋과 메트로폴리탄 얼굴 데이터셋을 이용하여 대상 얼굴의 일관된 움직임을 유지하면서 대상 비디오로 변환하여, 자기 얼굴에 대한 3차원 얼굴 정보를 이용한 비디오 합성을 통해 자연스러운 데이터를 생성하여 성능을 증가시킴을 확인했다.

• 방송공학회논문지
• /
• 제18권4호
• /
• pp.559-571
• /
• 2013

2차원 비디오를 3차원 스테레오 비디오로 변환할 때 기존 비디오에 삽입되어 있는 오버레이 텍스트(overlay text) 그래픽 영역으로 인해 발생하는 문제점을 이 논문에서 제시한다. 이를 해결하기 위한 방법으로 2차원 비디오를 오버레이 텍스트 그래픽 영역만 있는 영상과 오버레이 그래픽 영역이 추출되어 홀(hole)이 있는 영상으로 분리하여 처리하는 시나리오를 제안한다. 그리고 이 시나리오의 첫 번째 단계로 오버레이 텍스트 영역을 검색하고 추출하는 방법에 대해서만 이 논문에서 논한다. 비디오 시퀀스(sequence)가 입력되면 불필요한 연산 과정을 줄이기 위해 해리스 코너(Harris corner)로 얻어진 코너 밀도 맵을 이용하여 프레임 내 오버레이 텍스트의 존재 유무를 먼저 판단한다. 오버레이 텍스트가 있다면, 색(color) 정보와 움직임(motion) 정보를 결합하여 오버레이 텍스트 그래픽 영역을 검색하고 추출한다. 실험에서는 여러 가지 장르의 방송용 비디오에 대한 처리 결과를 보여주고 분석했다.

• 방송공학회논문지
• /
• 제22권3호
• /
• pp.366-374
• /
• 2017

TV나 디지털 사이니지와 같은 화면표시장치들이 점점 커져감에 따라, 미디어의 종류가 UHD, 파노라마, 퍼즐형 미디어와 같은 광각의 미디어로 변하고 있다. 특히, 파노라마 및 퍼즐형 미디어는 스티칭을 통해 복수개의 카메라로 촬영된 비디오 클립을 합성한 형태로 구성된다. 그러나, 스티칭 과정의 처리 시간이 오래 걸리기 때문에 실시간 서비스에는 적용하기 어려운 문제가 있다. 따라서 본 논문에서는 스티칠 처리 시간을 감소하기 위한 방법으로, 영상간의 공간적 연관관계를 알려주는 2D Adjacency Matrix를 생성하는 것을 제안한다. Discrete Cosine Transform (DCT)를 사용하여, 비디오 소스의 각 프레임을 공간 영역에서 주파수 영역으로 변환 시킨다. 앞서 언급한 DCT 계수를 기반으로 효과적으로 이미지들의 공간적 연관관계를 알려주는 2D Adjacency Matrix를 생성한다. 본 논문에서는 각각의 비디오 클립들로부터 파노라마 영상과, 퍼즐형 미디어를 생성하기 위해 DCT를 이용한 2D Adjacency matrix 생성 방법을 제안한다.

• 한국통신학회논문지
• /
• 제32권2C호
• /
• pp.132-140
• /
• 2007

본 논문에서는 디지털화된 형태로 취득 및 저장된 홀로그램 신호를 부호화하는 새로운 기술을 제안한다. 디지털 홀로그램의 독특한 특성을 파악하여 적절한 형태의 데이터로 변환한 후에 현재 널리 사용되고 있는 표준 압축 기술들에 적용하고자 한다. 전처리과정 이후에 부호화를 위해 추출된 홀로그램은 위치적인 다시점 특성을 이용하여 분할된다. 분할된 홀로그램은 2차원의 여러 시점에서 객체를 촬영한 것과 유사한 특성을 보인다. 시각적으로 잡음과 유사한 형태로 관찰되는 홀로그램의 회절 패턴은 그 자체로써 압축에 이용하기 어렵다. 따라서 홀로그램 생성 원리와 유사하면서 고속 변환이 가능한 2차원 DCT (Discrete Cosine Transform)를 이용하여 분할된 홀로그램을 주파수 변환한다. 주파수 변환된 분할 영역들은 시간적 및 공간적 상관도에 따라서 3차원 스캔 과정을 거치면서 하나의 비디오 스트림으로 구성된다. 비디오 스트림의 한 프레임에 해당하는 분할된 영역들은 다양한 범위를 가지는 계수들로 구성되는데 이를 재구성한 후에 부호화 알고리즘을 이용하여 압축한다. 실험 결과를 살펴보면 제안한 알고리즘은 기존의 기술에 비해서 16배 이상의 높은 압축율에서 더 좋은 복원 성능을 보였다.