• 한국컴퓨터정보학회논문지
• /
• 제14권6호
• /
• pp.117-123
• /
• 2009

본 논문에서는 일반적인 2차원 비디오 프레임을 패러럴 스테레오 카메라로 촬영한 듯한 3차원 입체 비디오 프레임으로 변환하는 알고리즘을 제안하였다. 동영상의 연속하는 프레임 사이의 픽셀 변위를 구하고 이 변위 정보를 기반으로 입체영상을 합성한다. 픽셀 변위를 구하기 위하여 기존 수렴 반복법을 개선 보완하여 사용하였으며 픽셀변위 정보로부터 입체영상을 합성하는 방법을 제안하였다. 본 연구에서 제안한 알고리즘은 동영상의 어떤 유형이라도 일관성 있는 방법에 의하여 합성영상을 만들어 내므로 기존의 영상 유형 분류에 의한 합성 방법의 문제점을 개선하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2011년도 하계학술대회
• /
• pp.22-24
• /
• 2011

본 논문에서는 3차원 디스플레이 시스템에서 다수의 중간 시점 영상을 실시간으로 생성할 수 있도록 GPU 기반의 고속 영상 합성기법을 제안하였으며 그에 대한 성능을 알아본다. 카메라의 기하 정보 및 참조 영상들의 깊이 정보를 이용하여 중간 시점 영상을 생성하였으며, 영상 합성 방법을 GPU에서 병렬 처리함으로써 고속화할 수 있었다. GPU를 효율적으로 다루기 위해 NVIDIA사의 CUDA(Compute Unified Device Architecture)$^TM$를 이용하였다. 제안한 기법은 CUDA의 SIMD(Single Instruction MUltiple Data) 구조를 사용하여 중간 영상 합성을 처리할 수 있도록 설계하였다. 본 논문은 고속 영상 합성에 중점을 두었고, 제안한 고속화 기법의 결과를 분석함으로써 다시점 3차원 디스플레이 시스템의 적용 가능성을 알아본다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2001년도 제14회 신호처리 합동 학술대회 논문집
• /
• pp.367-370
• /
• 2001

본 논문에서는 영상 합성을 위해 실시간으로 움직임 물체를 추출하고 움직임 물체의 홀이나 외곽선의 손실을 최소화하고 복원하는 알고리즘을 제안한다. 움직임은 기준영상과 현재 입력된 영상의 차이를 계산함으로써 검출 된다. 따라서 여기서 적당한 기준 영상과 검출 문턱치 방법의 선택이 필요하게 된다. 몇 가지 문턱치 선택 방법들이 연구되었나, 본 논문에서는 회귀적인 문턱치들을 이용한다. 그레이 영상을 통해 구해진 영역에서 칼라 값의 비교를 통해 손실된 영역을 복구하고 최종 실루엣 영상을 얻는다. 얻어진 움직임 물체의 실루엣 영상은 영상 합성에 이용한다.

• 한국정보통신학회논문지
• /
• 제20권2호
• /
• pp.375-384
• /
• 2016

본 논문에서는 스테레오 영상과 스테레오 영상 바깥 시점의 위성 영상 그리고 상응하는 깊이 영상이 입력으로 주어질 때 이 입력 영상들을 압축에 적합한 포맷으로 변환하고 활용하여 중간시점 영상을 합성하는 새로운 기법을 제안한다. 송출 단에서 깊이 영상들은 하나의 global 영상으로, 위성영상은 시점 이동 시에 발생하는 프레임 밖의 영역 및 가려짐 영역과 같은 홀 영역에만 해당하는 residual 영상으로 변환 후에 데이터 량을 줄이기 위하여 다운샘플링하고 주시점의 스테레오 영상과 더불어 HEVC 코덱으로 부호화 한 후 전송한다. 수신 단에서 복호화된 각 입력 영상들을 이용하여 스테레오 영상 간 그리고 스테레오 영상과 위성 영상간의 중간시점 영상을 합성한다. 실험을 통하여 제안한 포맷을 이용하여 합성한 중간 시점 영상을 MVD(Multiview Video plus Depth) 포맷을 이용하여 합성한 중간 시점 영상과 비교했을 때 전송하는 데이터의 비트율(bit-rate) 대비 객관적 그리고 주관적 화질이 뛰어남을 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2011년도 하계학술대회
• /
• pp.513-516
• /
• 2011

기존의 실시간 파노라마 합성 알고리즘에서는 매칭점과 입력 영상에서의 outlier를 구분하고 제거하기가 어렵기 때문에 노이즈가 많은 영상 또는 반복적인 패턴이 많은 영상에서 왜곡이 쉽게 발생하는 문제가 있다. 따라서 본 논문에서는 기존의 실시간 파노라마 합성 프레임웍에서 실시간 합성 조건을 만족시키면서 효과적으로 매칭점과 입력 영상에서의 outlier를 제거하는 방법을 제안한다. 이를 위해서 선형 모델에서 outlier을 제거하는 데 주로 사용되는 RANSAC 알고리즘을 실시간 파노라마 합성에서 사용되는 비선형 모델에 적용 가능하도록 수정하고 속도 향상을 위해서 사용되는 모델의 파라미터를 줄이는 방법을 제안한다. 이를 통하여 매칭점 중에 존재하는 outiler를 제거하고 전체 매칭점 중에서 inlier 비율을 이용하여 입력되는 영상시퀀스에서 outlier 영상을 제거하는 방법을 제안한다. 실험 결과 기존의 방법에 비해서 합성 결과의 왜곡이 줄어드는 것을 확인하였다.

• 한국멀티미디어학회:학술대회논문집
• /
• 한국멀티미디어학회 2004년도 춘계학술발표대회논문집
• /
• pp.175-178
• /
• 2004

본 연구는 디지털 합성(Composition)에 있어 포스트 프로덕션에서 해야될 작업 중 분리 렌더 시스템(Separating System)을 이용한 효과적인 합성 연구에 관한 것이다. 분리 렌더는 결과적으로 제작상의 시간과 경비를 절감시켜 줄 뿐만 아니라, 제작의 퀄리티(Quality)에 직접적으로 영향을 주기 때문에 이팩츠 합성(Effects Composition)이나 특수영상 제작에 있어 없어서는 안될 중요한 부분이다. 이 분리 렌더 시스템을 이용해서 현재 진행되는 작업상의 문제를 최소화 시킬 수 있다. 또한 영상효과 제작이나 특수영상 제작중에 발생 되어지는 여러 가지 복잡한 문제점(합성)들을 이를 통해 줄여줄 뿐만 아니라, 영상합성 단계에 있어 효과적인 디지털 영상과 렌더 테이터 관리를 동시에 만들어 주기 때문이다. 이러한 방법적 연구와 결과치의 자료들을 데이터화 한다면 디지털영상 산업계에 많은 이점을 줄 것으로 기대한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2020년도 추계학술발표대회
• /
• pp.937-940
• /
• 2020

본 논문은 AI 기술을 기반으로 텍스트 스크립트를 자동으로 인식하고 영상 합성 기술을 응용하여 텍스트 정보를 시각화하는 AI 아나운서 소프트웨어 연구에 대하여 기술한다. 기존의 AI 기반 영상 정보 전달 서비스인 AI 앵커는 텍스트를 인식하여 영상을 합성하는데 오랜 시간이 필요하였으며, 특정 인물 이미지로만 영상 합성이 가능했기 때문에 그 용도가 제한적이었다. 본 연구에서 제안하는 방법은 Tacotron 으로 새로운 음성을 학습 및 합성하여, LRW 데이터셋으로 학습된 모델을 사용하여 자연스러운 영상 합성 체계를 구축한다. 단순한 얼굴 이미지의 합성을 개선하고 다채로운 이미지 제작을 위한 과정을 간략화하여 다양한 비대면 영상 정보 제공 환경을 구성할 수 있을 것으로 기대된다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2011년도 하계학술대회
• /
• pp.373-375
• /
• 2011

최근 들어, Time-of-Flight (TOF) 방식의 깊이 센서가 컴퓨터 비전이나 영상처리분야 등의 연구에서 다양하게 활용되고 있다. TOF 방식의 깊이 센서는 실시간으로 정확한 깊이 정보를 획득할 수 있는 장점이 있는 반면, 해상도가 낮고 센서의 광학적 특성으로 인해 노이즈가 발생한다는 단점이 있다. 본 논문에서는 이러한 깊이 센서의 단점을 극복하고 고품질의 다시점 영상 합성을 위해 기존 깊이 센서에 여러 대의 Charge-coupled Device (CCD) 카메라를 결합하여 시점 간 일관성 있는 고해상도의 깊이 영상을 획득하는 기술을 제안한다. 한정되어 있는 시점의 영상을 이용하여 다시점 영상을 합성할 때, 각 시점에 해당하는 깊이 영상의 정확도에 따라 합성되는 영상의 품질이 결정된다. 따라서 보유 시점에 해당하는 깊이 영상 간의 일관성이 유지되고 객체의 경계가 정확히 보존되어야만 생성되는 임의 시점 영상의 품질이 보장될 수 있다. 이에, 본 논문에서는 Joint Bilateral Upsampling (JBU)을 기반으로 시점 간 일관성을 고려한 깊이 영상의 해상도 개선 기술을 제안하고 이를 통해 다시점 영상 합성 결과의 품질을 향상시킨다.

• 지능정보연구
• /
• 제29권4호
• /
• pp.257-269
• /
• 2023

최근 딥러닝 모델을 통해 사진이나 영상을 활용하여 영상 합성을 수행하는 것에 대한 요구가 높아지고 있다. 기존 영상 합성 모델의 경우 주어진 영상으로부터 모션 정보만을 전이하여 사진에 대한 애니메이션 효과를 생성하였다. 하지만 이러한 합성 모델의 경우 음성에 따른 립싱크가 불가능하다는 문제와 함께 합성 결과물의 화질이 떨어진다는 문제점이 있다. 문제를 해결하기 위해 본 논문에서는 이미지 애니메이션 기법을 기반으로 한 새로운 프레임워크에 대해 설명한다. 본 프레임워크에서는 합성하려는 사진과 영상, 그리고 오디오를 제공하면 사진의 인물 특징을 유지한 채 주어진 영상의 행동을 따라 움직이는 것뿐만 아니라 음성에 맞게 발화하는 모습도 함께 합성하여 모션 전이와 함께 립싱크를 수행한 합성 결과물을 생성한다. 또한 초해상화 기법을 영상 합성물에도 활용하여 더욱 고화질, 고해상도의 합성 결과물을 제공하도록 구성하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2016년도 하계학술대회
• /
• pp.340-343
• /
• 2016

현재 사용 되어지고 있는 대부분의 영상 합성 알고리즘들은 영상의 크기가 클수록 계산량이 많아지는 특징이 있다. 따라서 UHD 영상을 대상으로 영상 합성을 할 때 속도가 기존의 HD 영상에 비해 크게 느리다는 점과 특수 카메라 사용 혹은 카메라 위치 고정 등의 제한이 필요하다는 점의 단점들이 있다. 이에 본 논문에서는 스마트폰에서 콘텐츠를 촬영한 영상들을 이용하여 영상 분류, Map 생성, Rendering 의 과정을 통해 현재 사용 되어지고 있는 영상 합성 알고리즘과 비교하여 보다 빠르게 영상 합성을 할 수 있는 알고리즘을 제안한다. 촬영 시 EXIF 에 저장되는 GPS 정보를 이용하여 그룹화를 진행한 후 영상의 특징점 매칭을 통해 Map 을 생성하는 것이 본 논문에서 제안하는 알고리즘이다. 이를 위해 본 논문에서는 FAST 특징점 알고리즘과 FREAK 기술자 알고리즘을 사용하였으며 Rendering 을 통하여 해당 알고리즘을 검증 하였다.