• 한국멀티미디어학회논문지
• /
• 제18권2호
• /
• pp.268-276
• /
• 2015

This article analyzes the background representation of 3D animation and look at what its proper background expression. With the development of computer graphics technology, the background of the 3D animations can be expressed as The actual background. In contrast, "The Smurfs" which was released recently was created to take the actual background. However, 3D animation with real background is not appropriate in terms of creative expression space in the main role of the animation. In this Study, we analyze the character and background of the animation made in 3D graphics. Based on this, we propose a correct representation of 3D animation background.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2001년도 봄 학술발표논문집 Vol.28 No.1 (B)
• /
• pp.577-579
• /
• 2001

본 논문에서는 웨이블릿 변환 기법으로 키프레임을 분석하여 객체 영역을 추출함과 동시에 가상의 객체 영상을 현실감있게 합성하는 기술에 대하여 연구하였다. 가상의 객체 영상이나 실물체 영상을 비디오 영상내에 삽입하여 좀 더 현실감있는 새로운 동영상 비디오 데이터를 제작하는 데 초점을 맞추어 연구를 진행하였다. 웨이블릿 변환이 새로운 영상을 재구성하는데 커다란 기여를 하였으며 본 논문에서 제시한 AR 영상 합성 기법은 동영상 데이터를 합성하는데 사용자가 원하는 지점에 정확하게 영상의 특성정보를 충분히 잘 살린 새로운 방법의 시도였다. 또한, 영상의 캘리브 레이션 방법을 거치지 않고 비디오 영상의 회전행렬과 위치성분을 계산하여 매핑된 가상의 객체 영상을 영상 보간법을 적용하여 직접 가사의 객체 영상을 비디오 객체 영상을 비디오 영상열에 삽입한다. 제시한 영상 합성 기법은 가상의 객체 영상이 디지털 동영상내에 삽입되었을 때 가장 큰 문제점인 떨림 현상과 부조화 현상이 제거되었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 1996년도 Proceedings International Workshop on New Video Media Technology
• /
• pp.35-40
• /
• 1996

In this paper, a method for 3-D surface reconstruction with two real cameras is presented. The method, which combines the extraction of binocular disparity and its interpolation can be applied to the synthesis of images from virtual viewpoints. The synthesized virtual images are as natural as the real images even when we observe the images as stereoscopic images. The method opens up many applications, such as synthesizing input images for multi-viewpoint 3-D displays, enhancing the depth impression in 2-D images and so on. We also have developed a video-rate stereo machine able to obtain binocular disparity in 1/30 sec with two cameras. We show the performance of the machine.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2019년도 하계학술대회
• /
• pp.150-152
• /
• 2019

본 논문에서는 기존의 연구를 극복하여 단일 영상이 아닌 단안 비디오로부터 5D 라이트필드 영상을 합성하는 딥러닝 프레임워크를 제안한다. 현재 일반적으로 사용 가능한 Lytro Illum 카메라 등은 초당 3프레임의 비디오만을 취득할 수 있기 때문에 학습용 데이터로 사용하기에 어려움이 있다. 이러한 문제점을 해결하기 위해 본 논문에서는 가상 환경 데이터를 구성하며 이를 위해 UnrealCV를 활용하여 사실적 그래픽 렌더링에 의한 데이터를 취득하고 이를 학습에 사용한다. 제안하는 딥러닝 프레임워크는 두 개의 입력 단안 비디오에서 $5{\times}5$의 각 SAI(sub-aperture image)를 갖는 라이트필드 비디오를 합성한다. 제안하는 네트워크는 luminance 영상으로 변환된 입력 영상으로부터 appearance flow를 추측하는 플로우 추측 네트워크(flow estimation network), appearance flow로부터 얻어진 두 개의 라이트필드 비디오 프레임 간의 optical flow를 추측하는 광학 플로우 추측 네트워크(optical flow estimation network)로 구성되어있다.

• International Journal of Computer Science & Network Security
• /
• 제22권11호
• /
• pp.381-389
• /
• 2022

With the collection of huge volumes of text, image, audio, video or combinations of these, in a word multimedia data, the need to explore them in order to discover possible new, unexpected and possibly valuable information for decision making was born. Starting from the already existing data mining, but not as its extension, multimedia mining appeared as a distinct field with increased complexity and many characteristic aspects. Later, the concept of big data was extended to multimedia, resulting in multimedia big data, which in turn attracted the multimedia big data mining process. This paper aims to survey multimedia data mining, starting from the general concept and following the transition from multimedia data mining to multimedia big data mining, through an up-to-date synthesis of works in the field, which is a novelty, from our best of knowledge.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2021년도 춘계학술발표대회
• /
• pp.340-342
• /
• 2021

흔히 DeepFake로 불리는 GAN 기술은 소스 영상과 타겟 이미지를 합성하여 타겟 이미지 내의 사람이 소스 영상에서 나타나도록 합성하는 기술이다. 이러한 GAN 기반 영상 합성 기술은 2018년을 기점으로 급격한 성장세를 보이며 다양한 산업에 접목되어지고 있으나 학습 모델을 얻는 데 걸리는 시간이 너무 오래 소요되고, 감정 표현을 인지하는 데 어려움이 있었다. 본 논문에서는 상기 두가지 문제를 해결하기 위해 Facial Action Coding System(FACS) 및 음성 합성 기술[4]을 적용한 가상 아바타 생성 방법에 대해 제안하고자 한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 하계학술대회
• /
• pp.95-96
• /
• 2021

본 논문에서는 단안비디오 입력으로부터 각 SAI(sub-aperture image)간의 넓은 기준선을 갖는 라이트필드 합성기법을 제안한다. 기존의 라이트필드 영상은 취득의 어려움에 의해 규모가 작고 특정 물체위주로 구성되어 있어 컴퓨터 비전 및 그래픽스 분야의 최신 딥러닝 기법들을 라이트필드 분야에 적용하기 어렵다는 문제를 갖고 있다. 이러한 문제점들을 해결하기 위해 사실적 렌더링 기반의 가상환경상에서 실제환경과 유사함을 갖는 데이터를 취득하였다. 생성한 데이터셋을 이용하여 기존의 새로운 시점을 생성하는 기법 중 하나인 다중 평면 영상(Multi Plane Image) 기반 합성기법을 통해 라이트필드 영상을 합성한다. 제안하는 네트워크는 단안비디오의 연속된 두개의 프레임으로부터 MPI 추정하는 네트워크와 입력영상의 깊이 정보를 추정하는 네트워크로 구성되어 있다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2020년도 춘계학술발표대회
• /
• pp.600-603
• /
• 2020

360 영상은 시청자가 시야방향을 결정하는 3DoF(3 Degree of Freedom)를 지원한다. 본 연구에서는 다수의 360 영상에서 깊이 정보를 획득하고, 이를 DIBR (Depth -based Image Rendering) 기법을 사용하여 임의 시점 시청기능을 제공하는 6DoF(6 Degree of Freedom) 영상제작 기법을 제안한다. 이를 위하여 기존의 평면 다시점 영상기법을 확장하여 360 ERP 투영 영상으로부터 카메라의 파라미터 예측을 하는 방법과 깊이영상 추출 방법을 설계 및 구현하고 그 성능을 조사하였으며, OpenGL 그래픽스기반의 RVS(Reference View Synthesizer) 라이브러리를 사용하여 DIBR을 적용하였다.

• 한국위성정보통신학회논문지
• /
• 제11권4호
• /
• pp.1-9
• /
• 2016

본 연구는 PPI Scop 레이더 장치에서 수신된 정보신호 중 영상신호 분리와 합성과정을 거쳐 영상신호 생성, 심볼생성, 양성 잔상 신호 생성 결합 처리 과정을 거쳐 레이더 정보 분석용 화면에서 운영자의 판별 용이성, 가독성 향상과 더불어 운영 편리성을 획기적으로 향상시킬 수 있는 기술적 구현방안에 대하여 2가지 형태로 연구하였다. 첫째, FPGA기반 고속 프로세스 정보처리 연산시스템으로 구성된 하드웨어 자원을 이용하여 시스템의 고속화 안정성을 갖추도록 하였다. 둘째, 소프트웨어 자원인 함수곡선 알고리즘과 지능화된 알고리즘을 연계 구현하여 레이더 정보, 분석 시스템에서 필요한 제약요건을 충족할 수 있도록 연구하였다. 기존의 레이더 시스템에서 구현이 불가능 하였던 프레임 단위 영상데이터 분석을 위해 영상캡처와 저장, 레이더 정보 표출 영상을 MPEG4 동영상으로 저장을 할 수 있도록 하였다. 연구의 핵심은 영상 양성 처리 함수곡선 알고리즘을 통해 육안판별에서 관찰 목표물, 특정 감시 대상물체 정보를 강조, 지연표출 및 색상 표현도 할 수 있도록 하였다. 고속 FPGA기반에 탑재된 ARM Processor Support in Pro ASIC3 적용하여 지능화된 알고리을 부분적으로 탑재시켜 시스템의 신뢰성과 효율 제고로 운영자 정보판독 가독성 향상은 물론 최적화된 고해상도 영상, 고속의 정보 분석 및 다양한 정보 표출을 유지할 수 있도록 구현하였다.

• 방송공학회논문지
• /
• 제26권1호
• /
• pp.39-60
• /
• 2021

딥러닝 분야 중 생성과 관련된 연구는 주로 GAN 이후에 많은 알고리즘이 있는데 생성이라는 측면에서 볼 때 미술과는 다른 점이 있다. 공학적 측면에서의 생성이 주로 정량적 지표나 정답과 오답의 유무를 판단하는 것이라면 미술적 측면에서의 생성이란 다양한 관점에서 정답과 오답을 교차검증하고 의심하여 세상과 인간의 삶을 해석하는 생성을 만들어낸다. 본 논문은 딥러닝의 비디오 생성능력을 콜라주적 관점에서 해석하고 미술작가가 만든 결과물과 비교하였다. 실험의 특징은 콜라주 기법으로 만든 창작자의 결과물을 GAN이 얼마만큼 재현하는지와 창작적인 부분과의 차이점을 비교분석하는 것이고, GAN의 재현력에 대한 성능 평가항목을 만들어 그 만족도를 조사하였다. 창작자의 스테이트먼트와 표현목적을 얼마나 재현했는지에 관한 실험을 위해서는 스테이트먼트 키워드에 해당하는 딥러닝 알고리즘을 찾아 그 유사성을 비교하였으며, 실험결과 GAN은 콜라주 기법을 표현하기에는 기대에 많이 못 미쳤다. 그럼에도 불구하고 이미지 연상에서는 인간의 능력보다 높은 만족도를 보여주었는데 이것은 GAN의 추상화 생성 측면에서 인간과 비견할만한 능력을 보일 수 있다는 긍정적인 발견이라고 하겠다.