• ETRI Journal
• /
• 제44권1호
• /
• pp.24-37
• /
• 2022

Virtual view synthesis, which generates novel views similar to the characteristics of actually acquired images, is an essential technical component for delivering an immersive video with realistic binocular disparity and smooth motion parallax. This is typically achieved in sequence by warping the given images to the designated viewing position, blending warped images, and filling the remaining holes. When considering 6DoF use cases with huge motion, the warping method in patch unit is more preferable than other conventional methods running in pixel unit. Regarding the prior case, the quality of synthesized image is highly relevant to the means of blending. Based on such aspect, we proposed a novel blending architecture that exploits the similarity of the directions of rays and the distribution of depth values. By further employing the proposed method, results showed that more enhanced view was synthesized compared with the well-designed synthesizers used within moving picture expert group (MPEG-I). Moreover, we explained the GPU-based implementation synthesizing and rendering views in the level of real time by considering the applicability for immersive video service.

• ETRI Journal
• /
• 제44권1호
• /
• pp.38-50
• /
• 2022

This paper presents a study on the use of encoder-derived features in decoder-side depth estimation. The scheme of multiview video encoding does not require the transmission of depth maps (which carry the geometry of a three-dimensional scene) as only a set of input views and their parameters are compressed and packed into the bitstream, with a set of features that could make it easier to estimate geometry in the decoder. The paper proposes novel recursive block splitting for the feature extraction process and evaluates different scenarios of feature-driven decoder-side depth estimation, performed by assessing their influence on the bitrate of metadata, quality of the reconstructed video, and time of depth estimation. As efficient encoding of multiview sequences became one of the main scopes of the video encoding community, the experimental results are based on the "geometry absent" profile from the incoming MPEG Immersive video standard. The results show that the quality of synthesized views using the proposed recursive block splitting outperforms that of the state-of-the-art approach.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2021년도 춘계학술발표대회
• /
• pp.521-524
• /
• 2021

HEIF (High Efficiency File Format)는 MPEG에서 개발된 이미지 포맷으로써, 비디오 코덱인 H.265를 활용하여 정지된 화면을 하나의 이미지 형태로 저장할 수 있도록 개발된 컨테이너이다. 아이폰은 2017년부터 HEIF를 사용하고 있으며, 2019년부터는 갤럭시 S10과 같은 안드로이드 기기도 해당 포맷을 지원하고 있다. 이 포맷은 우수한 압축률을 가지도록 이미지를 제공할 수 있으나, 복잡한 내부 구조를 가지고 있으며 기기나 소프트웨어 간 호환성이 현저하게 부족하여 일반적으로 사용되는 JPEG(또는 JPG) 파일을 대체하기에는 아직 대중적이지 못한 상황이다. 하지만 이미 많은 기기에서 HEIF를 사용하고 있음에도 불구하고 디지털 포렌식 연구는 부족한 상황이다. 이는 디지털 포렌식 조사 과정에서 파일 내부에 포함된 정보의 파악이 미흡하여 잠재적인 증거를 놓칠 수 있는 위험에 노출될 수 있다. 따라서 본 논문에서는 아이폰에서 촬영된 HEIF 형식의 사진 파일과 갤럭시에서 촬영된 모션 포토 파일을 분석하여 파일 내부에 포함된 정보와 특징들을 알아본다. 또한 이미지 뷰어기능을 지원하는 소프트웨어를 대상으로 HEIF에 대한 지원 여부를 조사하고 HEIF 뷰어를 분석하는 포렌식 도구의 요구사항을 제시한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 추계학술대회
• /
• pp.180-182
• /
• 2020

최근 IoT 기술이 대중화됨에 따라 커넥티드 카, 스마트 시티와 같은 machine-to-machine 기술의 활용 분야가 다양화되고 있다. 이에 따라, 기계 지향 비디오 처리 및 부호화 기술에 대한 연구분야에 산업계와 학계의 관심 역시 집중되고 있다. 국제 표준화 단체인 MPEG은 이러한 추세를 반영하여 기존 비디오 부호화 표준을 개선할 새로운 표준을 수립하기 위해 Video Coding for Machines (VCM) 그룹을 구성하여 기계 소비를 대상으로 하는 비디오 표준의 표준화를 진행하고 있다. 이에 본 논문에서는 VCM이 기계 소비를 대상으로 진행하고 있는 특징맵 부호화의 부호화 효율을 개선하기 위해 특징맵을 시간적, 공간적으로 재정렬하는 방법을 제안한다. 실험 결과, 제안 방법이 CityScapes의 검증 세트 내 일부 이미지에 대해 시간적 재정렬을 수행한 결과 random access 조건에서 최대 1.48%의 부호화 효율이 향상됨이 확인되었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 하계학술대회
• /
• pp.39-42
• /
• 2021

최근 영상 혹은 비디오를 이용한 신경망 기반 기술들이 활발히 응용되고 있으며, 신경망이 처리하는 임무도 다양하고 복잡해지고 있다. 이러한 신경망 임무의 다양성과 복잡성은 더욱 많은 비디오 데이터를 요구하기 때문에 비디오 데이터를 효과적으로 전송할 방법이 필요하다. 이에 따라 국제 표준화 단체인 MPEG 에서는 신경망 기계 소비에 적합한 비디오 부호화 표준 개발을 위해서 Video Coding for Machines 표준화를 진행하고 있다. 본 논문에서는 신경망의 특징 맵 부호화 효율을 개선하기 위해 특징 맵 채널 간의 유사도가 높도록 특징맵 채널을 재배열하여 압축하는 방법을 제안한다. 제안 방법으로 VCM 의 OpenImages 데이터셋의 5000 개 검증 영상 중 임의 선택된 360 개 영상에 대해 부호화 효율을 평가한 결과, 객체 검출 임무의 정확도가 유지되면서 모든 양자화 값에 대해 화소당 비트수가 감소했으며, BD-rate 측면에서 2.07%의 부호화 이득을 얻었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 하계학술대회
• /
• pp.147-150
• /
• 2021

최근 컴퓨터 그래픽 기술이 발전함에 따라 가상으로 만들어낸 객체와 현실 객체 사이의 분간이 어려워지고 있으며, AR/VR/XR 등의 서비스를 위해 현실 객체를 컴퓨터 그래픽으로 표현하는 기술의 연구가 활발히 진행되고 있다. 포인트 클라우드는 현실 객체를 표현하는 기술 중의 하나로 객체의 표면을 수많은 3차원의 점으로 표현하며, 2차원 영상보다 더욱 거대한 데이터 크기를 가지게 된다. 이를 다양한 서비스에 응용하기 위해서는 3차원 데이터의 특징에 맞는 고효율의 압축 기술이 필요하며, 국제표준기구인 MPEG에서는 연속적인 움직임을 가지는 동적 포인트 클라우드를 2차원 평면으로 투영하여 비디오 코덱을 사용해 압축하는 Video-based Point Cloud Compression (V-PCC) 기술이 연구되고 있다. 포인트 클라우드를 2차원 평면에 투영하는 방식은 점유 맵 (Occupancy Map), 기하 영상 (Geometry Image), 속성 영상 (Attribute Image) 등의 2차원 정보와 보조 정보를 사용해 압축을 진행하고, 부호화 과정에서는 보조 정보와 2차원 영상들의 정보를 사용해 3차원 포인트 클라우드를 재구성한다. 2차원 영상을 사용해 포인트 클라우드를 생성하는 특징 때문에 압축 과정에서 발생하는 영상 정보의 열화는 포인트 클라우드의 품질에 영향을 미친다. 이와 마찬가지로 추가적인 기술을 사용한 2차원 영상 정보의 향상으로 포인트 클라우드의 품질을 향상할 수 있을 것으로 예상된다. 이에 본 논문은 V-PCC 기술에서 생성되는 영상 정보에 2차원 보간 (Interpolation) 기술을 적용하여 기존의 영상 정보에 포함되지 않은 추가적인 포인트를 생성하는 것으로 재구성되는 포인트 클라우드의 밀도를 증가시키고 그 영향을 분석하고자 한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 하계학술대회
• /
• pp.1-5
• /
• 2020

최근 MPEG-I 그룹에서는 표준화가 진행중인 몰입형 미디어(Immersive Media)에 대한 압축 성능 탐색이 이루어지고 있다. 몰입형 비디오는 다수의 시점 영상과 깊이 맵을 통한 깊이 맵 기반 이미지 렌더링(DIBR)을 바탕으로 제한적 6DoF 을 제공하고자 하는 기술이다. 현재 MIV(Model for Immersive Video) 기술에서는 바탕 시점(Basic View)과 각 시점의 고유한 영상 정보를 패치 단위로 모아둔 추가 시점(Additional View)으로 처리하는 모델을 채택하고 있다. 그 중에서 추가 시점은 일반적인 영상과는 달리 시간적/공간적 상관성이 떨어지는 분절적인 형태로 이루어져 있어 비디오 인코더에 대해 최적화가 되어 있지 않으며, 처리 방법의 특성에 따라 자기 유사적인 형태를 지니게 된다. 따라서 MIV 에서 스크린 콘텐츠 코딩 성능과 함께 화면 내 블록 카피(IBC: intra block copy) 기술에 대한 성능을 분석 결과를 제시한다. IBC 미적용 대비 최대 7.56%의 Y-PSNR BD-rate 감소가 가능함을 확인하였으며, 영상의 특성에 따라 IBC 의 선택 비율을 확인하여 추가 시점의 효율적인 압축 형태를 고찰한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 하계학술대회
• /
• pp.305-307
• /
• 2020

이머시브 비디오 서비스를 위해 MPEG-I Visual 그룹에서는 3DoF+ 기술과 관련하여 MIV(Metadata for Immersive video)의 표준화를 진행하고 있으며, 이를 위해 다시점 영상 및 전방위 장면을 촬영한 ERP 규격의 영상들이 주어진 경우에 운동시차를 제공할 수 있는 영상 합성 레퍼런스 소프트웨어인 TMIV SW를 제공한다. TMIV는 기본적으로 송신부인 인코더와 수신부인 디코더로 구성이 되어있으며, 인코더에서 가장 중요한 기능은 다수의 입력 시점영상 간의 중복된 데이터를 찾아내서 제거하는 프루닝 과정이다. 프루닝 방법에 따라 데이터 전송량과 디코더에서의 합성 품질이 달라지기 때문에 인코더에서 핵심이라고 할 수 있다. 본 논문은 인코더의 프루닝의 효율을 높이기 위해 전체 흐름도에서 프루닝 순서 변경 과정을 추가하고 그 과정에서 시점 영상간 중첩 영역을 계산하여 이를 토대로 프루닝 순서를 결정하는 방법을 제안하였고 이를 통해 데이터 압축률이 향상됨을 확인할 수 있었고, 또한 수신부에서 영상 합성의 품질이 달라짐을 확인할 수 있었다.

• 한국정보컨버전스학회:학술대회논문집
• /
• 한국정보컨버전스학회 2008년도 International conference on information convergence
• /
• pp.53-56
• /
• 2008

This paper reports on the ACQA(Animated agent for Conversational Question Answering) project conducted at LIMSI. The aim is to design an expressive animated conversational agent(ACA) for conducting research along two main lines: 1/ perceptual experiments(eg perception of expressivity and 3D movements in both audio and visual channels): 2/ design of human-computer interfaces requiring head models at different resolutions and the integration of the talking head in virtual scenes. The target application of this expressive ACA is a real-time question and answer speech based system developed at LIMSI(RITEL). The architecture of the system is based on distributed modules exchanging messages through a network protocol. The main components of the system are: RITEL a question and answer system searching raw text, which is able to produce a text(the answer) and attitudinal information; this attitudinal information is then processed for delivering expressive tags; the text is converted into phoneme, viseme, and prosodic descriptions. Audio speech is generated by the LIMSI selection-concatenation text-to-speech engine. Visual speech is using MPEG4 keypoint-based animation, and is rendered in real-time by Virtual Choreographer (VirChor), a GPU-based 3D engine. Finally, visual and audio speech is played in a 3D audio and visual scene. The project also puts a lot of effort for realistic visual and audio 3D rendering. A new model of phoneme-dependant human radiation patterns is included in the speech synthesis system, so that the ACA can move in the virtual scene with realistic 3D visual and audio rendering.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 하계학술대회
• /
• pp.818-820
• /
• 2022

포인트 클라우드 데이터는 자율 주행 기술, 가상 현실 및 증강 현실에서 사용될 3차원 미디어 중 하나로 각광 받고 있다. 국제 표준화 기구인 MPEG(Moving Picture Expert Group)에서는 포인트 클라우드 데이터의 효율적인 압축을 위해 G-PCC(Geometry-based Point Cloud Compression) 및 V-PCC(Video-based Point Cloud Compression)의 표준화를 진행 중에 있다. 그 중, G-PCC는 본래 단일 프레임의 압축을 수행하는 정지 영상 압축 방식이지만, LiDAR(Light Detection And Ranging) 센서를 통해 획득된 동적 포인트 클라우드 프레임에 대한 압축의 필요성이 대두됨에 따라 G-PCC 그룹에서는 Inter-EM(Exploratory Model)을 신설하여 LiDAR 포인트 클라우드 프레임의 압축에 관한 연구를 시작하였다. Inter-EM의 압축 비트스트림은 G-PCC 비트스트림과 마찬가지로 효과적인 전송 및 소비를 위해 미디어 저장 포맷인 ISOBMFF(ISO-based Media File Format)으로 캡슐화될 수 있다. 이때, 포인트 클라우드 프레임들은 자율 주행 등의 서비스에 사용하기 위해 시간 도메인뿐만 아니라 공간 도메인을 기반으로도 소비될 수 있어야 하지만, 공간 도메인을 기반으로 콘텐츠를 임의 접근하여 소비하는 방식은 기존 2D 영상의 시간 도메인 기반 소비방식과 차이로 인해 기존에 논의된 G-PCC 캡슐화 방안만으로는 지원이 제한된다. 이에, 본 논문에서는 G-PCC 콘텐츠를 공간 도메인에 따라 소비하기 위한 ISOBMFF 캡슐화 방안에 대한 파일 포맷을 제안하고자 한다.