• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제11권11호
• /
• pp.465-472
• /
• 2022

본 연구에서는 기존의 동영상 합성 네트워크에 스타일 합성 네트워크를 접목시켜 동영상에 대한 스타일 합성의 한계점을 극복하고자 한다. 본 논문의 네트워크에서는 동영상 합성을 위해 스타일갠 학습을 통한 스타일 합성과 동영상 합성 네트워크를 통해 스타일 합성된 비디오를 생성하기 위해 네트워크를 학습시킨다. 인물의 시선이나 표정 등이 안정적으로 전이되기 어려운 점을 개선하기 위해 3차원 얼굴 복원기술을 적용하여 3차원 얼굴 정보를 이용하여 머리의 포즈와 시선, 표정 등의 중요한 특징을 제어한다. 더불어, 헤드투헤드++ 네트워크의 역동성, 입 모양, 이미지, 시선 처리에 대한 판별기를 각각 학습시켜 개연성과 일관성이 더욱 유지되는 안정적인 스타일 합성 비디오를 생성할 수 있다. 페이스 포렌식 데이터셋과 메트로폴리탄 얼굴 데이터셋을 이용하여 대상 얼굴의 일관된 움직임을 유지하면서 대상 비디오로 변환하여, 자기 얼굴에 대한 3차원 얼굴 정보를 이용한 비디오 합성을 통해 자연스러운 데이터를 생성하여 성능을 증가시킴을 확인했다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제18권1호
• /
• pp.1-9
• /
• 2012

사실적 동영상 콘텐츠를 제작하기 위해 개발된 동영상 기반 모델링 / 렌더링은 컴퓨터 그래픽스와 컴퓨터 비전 분야에서 중요한 연구주제 중 하나이다. 원본 입력 동영상 클립과 3차원 그래픽 모델을 부드럽게 합성하기 위해, 실세계 장면 촬영에 사용된 광원과 카메라의 기하학적인 정보가 필수적으로 요구된다. 본 논문에서는 원본 동영상 클립에서 나타나는 물체들의 위상과 그림자들의 윤곽 정보로부터 최적의 광원에 대한 위치와 방향을 추정하는 간단한 기법에 대해 설명한다. 본 기법은 추정된 광원을 이용함으로써 삽입된 모델에 대한 렌더링뿐만 아니라 잘 어울리는 그림자의 생성을 하는 기능을 제공한다. 그림자는 경험적으로 3차원 공간에 존재하는 물체들 사이의 상대적인 위치를 보여주는 중요한 시각적 요소로 알려져 있다. 따라서 본 기법은 제안된 실시간 그림자 생성과 렌더링 알고리즘을 통해 최종적 합성된 동영상의 사실성을 높일 수 있다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2019년도 하계학술대회
• /
• pp.71-72
• /
• 2019

본 논문에서는 계층구조 합성곱 신경망 기반의 고해상도 동영상 프레임 고속 보간 방법을 제안한다. 기존의 고해상도 동영상 프레임 보간 방법은 시간 해상도와 공간 해상도를 분리하여 보간 하기 때문에, 예측된 보간 프레임이 블러(blur) 열화를 갖는 문제를 보인다. 제안하는 방법에서는 이러한 문제를 해결하기 위하여 계층구조 합성곱 신경망 기반의 보간 방법을 이용한다. 제안하는 계층구조 합성곱 신경망은 우선 저해상도의 광학 흐름 추정지도를 생성하고 이를 고해상도로 복원하여 프레임 보간을 수행한다. 이때, 저해상도 광학 흐름 지도를 추정할 때 사용된 특징 정보들을 활용하여 고품질의 고해상도 광학 흐름 지도를 추정한다. 실험을 통하여 제안하는 방법이 고해상도 프레임을 고속으로 보간하며, 동시에 블러 열화에 대한 성능 향상을 가짐을 보였다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2009년도 학술대회
• /
• pp.690-695
• /
• 2009

본 논문은 영화, 방송, 애니메이션 등의 다양한 동영상 콘텐츠에 수화 애니메이션을 합성하여 동영상 콘텐츠를 청각 및 언어장애인들에게 이해시키기 위한 수화 통역 VR 콘텐츠 시스템을 제안하고자 한다. 제안된 시스템은 수화 사전에 있는 수화들을 3D 애니메이션으로 DB화하기 위해, 모션 캡처 시스템과 데이터 글러브를 사용하여 실제 사람처럼 자연스러운 애니메이션을 생성하였다. 최종적으로 동영상 콘텐츠의 자막이나 대본의 구문분석을 한 후, 이를 수화용 단어자막을 통해 수화 애니메이션을 DB에서 검색한 후, 실시간적으로 기존 동영상 콘텐츠와 동기합성을 하여 수화 통역 콘텐츠를 제공하는 VR 콘텐츠 시스템을 구현하였고 이 시스템을 동화용 애니메이션에 적용하였다.

• 한국정보통신학회논문지
• /
• 제22권4호
• /
• pp.617-623
• /
• 2018

본 논문에서는 형태 정합 및 포아송 방정식을 기반으로 객체와 배경과의 이음매가 없는 효율적인 동영상 합성 기법을 제안한다. 동영상 합성 기법은 영상 분할 과정과 영상 조합 과정으로 구성된다. 영상 분할 과정에서는 먼저 첫번째 프레임에 대해 사용자가 3 영역 지도를 설정한 후, 그랩 컷(grab cut) 알고리즘을 수행한다. 그리고 객체와 배경의 색상, 밝기, 텍스쳐 등이 유사할 경우 영상 분할의 성능이 감소될 수 있음을 감안하여, 현재 프레임과 이전 프레임 객체들 간의 형태 정합을 통해 현재 프레임에서 영상 분할된 객체를 보정한다. 영상 조합 과정에서는 포아송 방정식을 이용하여 객체와 목표 동영상의 배경이 서로 이음매 없이 조합되도록 하며, 또한 사용자가 설정한 움직임 경로에 따라 객체를 배치한다. 모의실험을 통해 제안된 방법이 합성된 동영상의 자연성 뿐만 아니라 수행 시간 면에서 우수함을 알 수 있었다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2001년도 봄 학술발표논문집 Vol.28 No.1 (B)
• /
• pp.577-579
• /
• 2001

본 논문에서는 웨이블릿 변환 기법으로 키프레임을 분석하여 객체 영역을 추출함과 동시에 가상의 객체 영상을 현실감있게 합성하는 기술에 대하여 연구하였다. 가상의 객체 영상이나 실물체 영상을 비디오 영상내에 삽입하여 좀 더 현실감있는 새로운 동영상 비디오 데이터를 제작하는 데 초점을 맞추어 연구를 진행하였다. 웨이블릿 변환이 새로운 영상을 재구성하는데 커다란 기여를 하였으며 본 논문에서 제시한 AR 영상 합성 기법은 동영상 데이터를 합성하는데 사용자가 원하는 지점에 정확하게 영상의 특성정보를 충분히 잘 살린 새로운 방법의 시도였다. 또한, 영상의 캘리브 레이션 방법을 거치지 않고 비디오 영상의 회전행렬과 위치성분을 계산하여 매핑된 가상의 객체 영상을 영상 보간법을 적용하여 직접 가사의 객체 영상을 비디오 객체 영상을 비디오 영상열에 삽입한다. 제시한 영상 합성 기법은 가상의 객체 영상이 디지털 동영상내에 삽입되었을 때 가장 큰 문제점인 떨림 현상과 부조화 현상이 제거되었다.

• 한국정보통신학회논문지
• /
• 제24권2호
• /
• pp.231-237
• /
• 2020

본 논문에서는 포아송 방정식을 기반으로 하는 영상 합성에 있어서 합성된 영상의 자연성을 향상시키기 위한 효율적인 동영상 혼합 블랜딩 기법을 제안한다. 영상 블랜딩 과정에서는 영상 합성의 목적에 따라 포아송 블랜딩과 알파 브랜딩 등 다양한 방법이 사용되고 있다. 본 논문에서 제안하는 혼합 블랜딩 방식은 포아송 블랜딩과 알파 블랜딩의 장점들을 조합함으로써 합성 영상에서 이음매가 없고 또한 객체의 색상 왜곡이 감소되는 특징을 갖는다. 먼저 소스 영상의 객체를 포아송 블랜딩 방법으로 합성한 후, 블랜딩 된 객체와 원래의 객체의 색차를 비교한다. 그리고 색차값이 임계값 이상인 경우, 소스 영상의 객체에 대해 알파 블랜딩을 수행하고 이를 포아송 블랜딩 된 객체와 가중치를 부여하여 합산한다. 모의실험과 분석을 통해 제안된 방법이 포아송 블랜딩과 알파 블랜딩에 비해 합성 영역의 자연성이 우수할 뿐 아니라 요구되는 계산량도 비교적 적다는 것을 볼 수 있다.

• 한국컴퓨터정보학회논문지
• /
• 제17권2호
• /
• pp.177-185
• /
• 2012

본 연구는 일반적인 성능의 PC와 모바일 디바이스를 사용하여 다양한 동영상 데이터, 문서 데이터, 각종 카메라 디바이스로부터 입력되는 비디오 스트리밍 데이터와 오디오 스트리밍 데이터를 실시간에 가까운 빠른 시간 안에 효율적으로 편집하고 방송하는 기술을 개발하는 것을 목적으로 한다. 본 연구에서는 두 개의 알고리즘을 개발하였는 데, 입력되는 여러 가지 형태의 여러 개의 동영상을 실시간에 합성하기 위하여 대략적 최적화 방법과 메모리 큐를 이용한 순차적 합성 방법이다. 본 연구에서 개발한 시스템은 강사가 동영상 강의 콘텐츠를 제작할 때 모바일 기기 또는 PC를 사용할 수 있으므로 보다 비용 측면에서 효율적이며 유용하다. 본 연구에서 개발한 시스템은 교육 분야뿐 만 아니라 동영상 합성 및 편집이 필요한 다양한 분야에서 매우 유용하게 사용될 수 있으므로 응용 분야가 넓을 것으로 판단된다.

• 한국컴퓨터정보학회논문지
• /
• 제16권2호
• /
• pp.71-81
• /
• 2011

동영상 강의를 손쉽게 제작하기 위해서는 카메라 촬영 영상, 화이트 보드 영상, 첨부 비디오 영상, 도큐먼트 데이터 및 오디오가 실시간으로 결합되어 동영상으로 만들어지는 알고리즘이 필요하다. 본 연구에서는 다중 미디어 객체를 실시간으로 합성하고 해당 영상의 재생산을 위하여 웨이브렛 기반 무손실 압축을 사용하는 동영상 강의 콘텐츠 제작 시스템을 구현하였다. 상용화된 PC를 사용하여 다중 미디어 객체를 실시간으로 결합시켜주는 동영상 강의 콘텐츠 편집 시스템은 동영상 강의 콘텐츠를 제작하고자 할 때 빠르고, 쉽고, 유용하게 사용될 수 있으므로, 지속적으로 증가하고 있는 이러닝 및 모바일 러닝 분야에서 교수자에게 매우 효율적인 시스템이 될 수 있을 것이다. 뿐만 아니라 제안하는 멀티미디어 실시간 합성 기술과 무손실 압축 기술은 원격 회의, 전자상거래 등 다양한 분야로의 응용이 가능하므로 더욱 의의가 있다.

• 한국컴퓨터정보학회논문지
• /
• 제14권9호
• /
• pp.105-113
• /
• 2009

본 논문은 외국인 110만명 시대에 양질의 외국인력을 도입하기 위하여 국가의 외국인력수급에 최적의 시스템으로 노동생산성을 높이면서, 사회비용을 감소시키는 개선된 외국인고용관리시스템(EPS) 구현에 목적이 있다. 외국인력에 대한 구직자 상세정보가 부족함으로 인하여 양질의 외국인근로자 채용에 어려움을 주고 있고, 외국인력 선발시 참고자료인 구직자명부의 신뢰성을 떨어뜨리고 있어 이를 해소하기 위하여 현행 시스템에 구직자정보동영상관리시스템을 구현할 필요가 있다. 이를 위하여 본 논문에서는 기존 시스템에 동영상 합성기능을 추가함에 있어 멀티미디어기술과 네트워크 전송 고압축코덱 데이터베이스 기술을 접목한 동영상 임베디드 시스템등을 도입하여, 기업의 수요에 부합하고 사업주가 필요로 하는 외국인근로자를 채용하는 진보된 외국인고용관리시스템에 대하여 제시하였다.