• 유통과학연구
• /
• 제20권11호
• /
• pp.121-129
• /
• 2022

Purpose: Artificial intelligence is widely used, particularly in the popular neural network theory called Deep learning. The improvement of computing speed and capability expedited the progress of Deep learning applications. The application of Deep learning in education has various effects and possibilities in creating and managing educational content and services that can replace human cognitive activity. Among Deep learning, Deep fake technology is used to combine and synchronize human faces with voices. This paper will show how to develop e-Learning content videos using those technologies and open-source tools. Research design, data, and methodology: This paper proposes 4 step development process, which is presented step by step on the Google Collab environment with source codes. This technology can produce various video styles. The advantage of this technology is that the characters of the video can be extended to any historical figures, celebrities, or even movie heroes producing immersive videos. Results: Prototypes for each case are also designed, developed, presented, and shared on YouTube for each specific case development. Conclusions: The method and process of creating e-learning video contents from the image, video, and audio files using Deep fake open-source technology was successfully implemented.

• 방송공학회논문지
• /
• 제24권5호
• /
• pp.743-754
• /
• 2019

사용자 움직임 적응적 360 비디오 스트리밍을 지원하는 three degrees of freedom plus (3DoF+), 6DoF를 위한 시스템은 여러 위치에서 촬영된 다수의 고화질 360 비디오 전송을 요구한다. 이를 위해 본 논문에서는 사용자 시점에 대응하는 고화질 360 비디오 제공을 위해 3DoF+ 360 비디오 중복성 제거 기법을 적용하고 잔여 비디오를 하나의 영상으로 병합하여 압축 후 전송하는 시스템을 구현한다. 3DoF+ 360 비디오 간 중복성 제거를 위한 3D warping을 기반으로 하는 뷰 간 중복성 제거 기술과 비디오 복원에 필요한 타일들만 추출 및 병합해주는 잔여 뷰 병합 기술에 대한 구현 내용을 설명한다. 제안된 시스템을 기반으로 3DoF+ 360 비디오 전송을 수행하면, 기존 high-efficiency video coding (HEVC)을 사용하여 전송했을 때 대비 최대 20.14%의 BD-rate 감소가 가능함을 확인하였다.

• 한국통신학회논문지
• /
• 제40권7호
• /
• pp.1405-1412
• /
• 2015

최근 방송통신 및 비디오 코딩 기술의 급격한 발전으로 인해 3D 입체영상에 기반을 둔 실감 미디어 서비스의 요구는 지속적으로 증가하고 있다. 이러한 요구는 가정 내 고정된 3DTV 뿐만 아니라 개인 스마트기기, 자동차, 철도, 그리고 선박과 같이 자유롭게 이동하는 무선 채널 환경에서도 반드시 만족되어야 한다. 따라서 본 논문에서는 이러한 실감 미디어 서비스의 요구를 만족하기 위해 직접파가 반사파 보다 우세한 해양 라이시안 채널 환경을 고려하여 3D 입체영상을 전송한다. 또한 3D 입체영상은 일반적으로 V+D (Video plus Depth) 포맷을 통해 표현되기 때문에 이 포맷에 특성을 고려하여 계층 4/16-QAM을 적용한 비균등 오류보호 기법도 제안한다. 이는 아무리 수신 채널의 상태가 나쁜 선박이라도 중간에 끊어짐이 없이 방송서비스를 제공받을 수 있는 기술로 기대된다.

• 방송공학회논문지
• /
• 제23권6호
• /
• pp.876-885
• /
• 2018

최근 VR(Virtual Reality) 기반의 e-sports 중계 시장이 자리를 잡고 있다. 하지만 국내의 경우 시장경쟁력 확보를 위한 기술 개발이 미비한 실정이다. 이미 해외의 SLIVER TV, Facebook에서는 e-sports를 4K 30FPS급의 360 VR으로 중계할 수 있는 기술을 개발하고 사업화까지 진행하고 있다. 하지만 360 VR 영상으로 활용하기에는 2D영상으로 몰입감이 저하되고, 해상도가 낮고, 멀미현상이 있다. 이에 본 논문에서는 e스포츠 VR 중계방송을 위해 게임 내 공간을 4K 3D 60FPS으로 360영상으로 획득 할 수 있는 가상카메라 기술을 제안하고, 구현하였다. 그리고 게임엔진 샘플게임과, 상용게임에 가상카메라를 설치하고, 실험을 통해 최대 4K/60FPS Stereo 360 영상 획득이 가능함을 검증하였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제5권2호
• /
• pp.390-407
• /
• 2011

Three-dimensional (3D) video technologies are becoming increasingly popular, as it can provide users with high quality and immersive experiences. However, color inconsistency between the camera views is an urgent problem to be solved in multi-view imaging. In this paper, a perception-based color correction method for multi-view images is proposed. In the proposed method, human visual sensitivity (VS) and visual attention (VA) models are incorporated into the correction process. Firstly, the VS property is used to reduce the computational complexity by removing these visual insensitive regions. Secondly, the VA property is used to improve the perceptual quality of local VA regions by performing VA-dependent color correction. Experimental results show that compared with other color correction methods, the proposed method can greatly promote the perceptual quality of local VA regions greatly and reduce the computational complexity, and obtain higher coding performance.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2019년도 하계학술대회
• /
• pp.182-184
• /
• 2019

최근 사용자에게 더욱 몰입감 있는 콘텐츠를 제공하기 위한 기술에 대한 관심이 증가하고 있으며 그 중 가장 대표적인 것이 360 VR 영상이라고 할 수 있다. 미디어 표준화 단체인 MPEG(Moving Picture Experts Group)에서는 MPEG-I(Immersive) 차세대 프로젝트 그룹을 이용하여 이러한 움직임에 대응하고 있다. MPEG-I는 2021년 말 6DoF VR 영상을 목표로 8개의 파트가 표준화를 진행중이다. 360 VR 영상의 경우 획득시 영상의 픽셀들이 3D 공간 상에 존재하게 되는데, 이를 처리 및 출력 하귀 위해서는 2D 영상으로 전환이 필요하며 이 때 사용되는 것이 Projection format이다. 현재 JVET(Joint Video Exploration Team)에서는 3D에서 2D로 전환이 이루어 질 때 손실을 최소화 하기 위한 Projection format들에 대한 연구가 이루어 지고 있다. 본 논문에서는 현재까지 제안된 다양한 Projection format들에 대하여 소개하고 이에 대한 성능 측정 방식에 대하여 소개한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2019년도 하계학술대회
• /
• pp.140-143
• /
• 2019

본 논문에서는 사용자 시점에 대응하는 고화질 360 비디오 제공을 위해 다시점 360 비디오 중복성 제거기법을 적용하고 잔여 비디오를 하나의 영상으로 병합하여 압축 후 전송하는 시스템을 구현한다. 사용자 움직임 적응적 360 비디오 스트리밍을 지원하는 three degrees of freedom plus (3DoF+)를 위한 시스템은 다시점에서 촬영된 다수의 고화질 360 비디오 전송을 요구한다. 이에 대한 방안으로 다시점 비디오 간 중복성 제거를 위한 3D warping 을 기반으로 하는 뷰 간 중복성 제거 기술과 비디오 복원에 필요한 타일들만 추출 및 병합해주는 잔여 뷰 병합 기술에 대한 구현 내용을 설명한다. 제안된 시스템을 기반으로 다시점 360 비디오 전송을 수행하면, 기존 high-efficiency video coding (HEVC)을 사용하여 전송했을 때 대비 최대 20.14%의 BD-rate 감소가 가능함을 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 추계학술대회
• /
• pp.46-48
• /
• 2020

HEVC (High Efficiency Video Coding)의 In-Loop 필터 중 하나인 디블로킹 필터는 예측과 변환 블록 주변의 균일하지 않은 잡음을 제거하기 위해 사용된다. 영상을 복원할 때 텍스쳐 정보의 경우, 디블로킹 필터로 눈에 보이는 잡음을 제거하는 데 유리하지만 깊이 정보는 깊이를 예측하여 합성하는 데 사용되므로 디블로킹 필터를 적용하면 합성에 방해가 될 수 있다. 이에 본 논문은 TMIV (Test Model 6 for MPEG Immersive Video) 인코더를 거쳐 나온 기본 시점과 추가 시점의 텍스쳐와 깊이 영상에 디블로킹 필터를 적용하여 BD-Rate의 향상 정도와 인지 화질적 관점에서의 화질 개선 여부를 실험을 통해 검증한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 추계학술대회
• /
• pp.49-52
• /
• 2020

MPEG-I(Immersive) 그룹에서는 몰입형 미디어 영상처리 표준화의 일환으로 마이크로렌즈를 통한 다시점 영상 처리 기술인 Dense Light Field에 대한 성능 탐색을 진행하고 있다. 본 논문에서는 MPEG-I에서 정의된 라이트 필드 시퀀스에 대해 versatile video codec(VVC)에 대한 압축 성능 분석을 시행하였으며, 또한 렌즈렛(Lenslet) 형태의 특정적인 이미지 정보를 효율적으로 압축하기 위한 스크린 콘텐츠 코딩 툴의 효율 비교를 진행하였다. 또한 렌즈렛 영상에서의 화면 내 블록 카피(intra block copy) 기법이 선택되는 비율을 확인하고, 화면 내 블록 카피 기법을 통해 렌즈렛 영상이 효율적으로 압축될 수 있음을 보였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 하계학술대회
• /
• pp.154-156
• /
• 2021

최근 3차원 영상이 다양한 분야에서 활용되고 있으며, 이에 따라 3차원 영상에 대한 압축과 전송 방안에 대한 연구가 활발히 진행되고 있다. 국제 표준화 기구인 ISO/IEC 산하 Moving Picture Expert Group(MPEG)에서는 기존의 2차원 비디오 코덱을 이용하여 고밀도 포인트 클라우드 압축하는 방안인 V-PCC와 3DoF+ 영상을 압축하기 위한 방안인 MPEG Immersive Video(MIV)를 표준화 중에 있다. V-PCC와 MIV는 압축 방법의 유사성으로 인해 동일한 Volumetric Visual Video-based Coding(V3C) 형식으로 저장된다. 압축된 V3C 데이터를 효과적으로 저장하여 이용하기 위해서는 ISO based Media File Format(ISOBMFF) 캡슐화 과정이 필수적이다. 본 논문에서는 MPEG의 Carriage of V3C data 표준에 따라 V3C 데이터를 ISOBMFF로 캡슐화 실험을 진행하였으며, 실험에 대한 검증을 위하여 생성된 ISOBMFF 데이터를 V3C 데이터로 복원한 뒤, 디코딩 하여 확인하였다.