• Journal of IKEEE
• /
• v.21 no.3
• /
• pp.268-271
• /
• 2017

In this paper, we propose the development of high resolution $360^{\circ}$ omnidirectional IP camera with 12 million pixels. The proposed 12-megapixel high-resolution $360^{\circ}$ omnidirectional IP camera consists of a lens unit with $360^{\circ}$ omnidirectional viewing angle and a 12-megapixel high-resolution IP camera unit. The lens section of $360^{\circ}$ omnidirectional viewing angle adopts the isochronous lens design method and the catadioptric facet production method to obtain the image without peripheral distortion which is inevitably generated in the fisheye lens. The 12 megapixel high-resolution IP camera unit consists of a CMOS sensor & ISP unit, a DSP unit, and an I / O unit, and converts the image input to the camera into a digital image to perform image distortion correction, image correction and image compression And then transmits it to the NVR (Network Video Recorder). In order to evaluate the performance of the proposed 12-megapixel high-resolution $360^{\circ}$ omnidirectional IP camera, 12.3 million pixel image efficiency, $360^{\circ}$ omnidirectional lens angle of view, and electromagnetic certification standard were measured.

• Journal of Korea Society of Industrial Information Systems
• /
• v.22 no.3
• /
• pp.27-38
• /
• 2017

This Paper Presents a Method for Stitching a Large Number of Images Recorded by a Large Number of Individual Users Through a Cellular Phone Camera at a Venue. In Contrast to 360 Camera Solutions that Use Existing Fixed Rigs, these Conditions must Address New Challenges Such as Time Synchronization, Repeated Transformation Matrix Calculations, and Camera Sensor Mismatch Correction. In this Paper, we Solve this Problem by Updating the Transformation Matrix Using Time Synchronization Method Using Audio, Sensor Mismatch Removal by Color Transfer Method, and Global Operation Stabilization Algorithm. Experimental Results Show that the Proposed Algorithm Shows better Performance in Terms of Computation Speed and Subjective Image Quality than that of Screen Stitching.

• Journal of Broadcast Engineering
• /
• v.22 no.6
• /
• pp.817-828
• /
• 2017

In this paper, we propose an efficient stabilization algorithm for 360 VR sequence, where the geometric information and the relationship between various projection formats have been utilized. The proposed scheme consists of '1st stitching', 'extraction of wide angle picture from VR data', 'stabilization', and '2nd stitching'. The simulation results show that the proposed method outperforms the conventional algorithms in the viewpoint of image quality for end-user.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2019.11a
• /
• pp.230-232
• /
• 2019

최근 360 미디어 콘텐츠의 수요가 높아지면서 360 영상을 효율적으로 전송하기 위한 다양한 압축 및 전송 기법들이 연구되고 있다. 360 영상의 스트리밍 기법 중 하나인 타일 기반 적응적 스트리밍 기법은 360 비디오를 타일 그리드로 나누어 부호화 하고, 뷰포트(Viewport)에 해당하는 타일만 스트리밍 할 수 있도록 한다. 기존의 타일 기반 스트리밍 기법은 뷰포트가 전환될 때 서버에 새로운 인트라 프레임을 요구하고, 지연 시간을 줄이기 위해 빈번한 RAP(Random Access Point)가 요구된다는 단점이 있다. 본 논문은 기존의 타일 기반 스트리밍 방법에서 인트라 프레임의 공유를 통해 비트율의 효율을 높이는 IFS(Intra Frame Sharing) 알고리즘을 제안한다. 제안된 IFS 방법은 낮은 화질의 인트라 프레임을 높은 화질의 인트라 프레임 부호화 시 공유하여, 뷰포트 스위칭 시점에서 다른 화질 간의 뷰포트 전환 작업이 필요 없어 비트율의 증가를 최소화한다. 실험에서, IFS 방법은 기존의 MCTS 기반의 적응적 스트리밍 방식과 비교했을 때 BD-rate(%)가 약 13% 절감되었다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2017.11a
• /
• pp.3-5
• /
• 2017

가상 현실 시장은 꾸준한 성장을 하고 있다. 가상 현실 시장이 성장함에 따라 게임 엔진을 이용한 가상 현실콘텐츠 뿐만 아니라 실제 특수 디바이스를 이용하여 촬영한 $360^{\circ}$ 비디오 콘텐츠 시장도 성장하고 있다. 하지만 실제로 촬영한 $360^{\circ}$ 비디오같은 경우 4D 가상 현실 콘텐츠를 즐기기 위해서는 먼저 특수 장치와 $360^{\circ}$ 비디오 간의 이벤트를 정의해야 하는 성가심이 있다. 이러한 불편함을 극복하기 위해 물리적 감각 효과를 일으키는 객체를 인식하고 서술하는 기법을 제시한다. $360^{\circ}$비디오 내의 감각 효과를 일으키는 객체를 인식하고 좌표계 내에 위치를 설정하여 사용자와의 거리가 임계값 이하면 효과를 일으키게 하여 사전에 콘텐츠를 확인하고 감각 효과를 미리 설정하는 번거로움을 없앨 수 있다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2018.06a
• /
• pp.11-14
• /
• 2018

본 논문에서는 실시간 고화질 360 영상 전송을 위해 사용자 시점에 기반한 타일 분할 기법을 적용하고 360 영상을 가상현실 기기 화면에 표현하여 주관적 화질 평가를 위한 플랫폼을 구현한다. 사용자 시점에 기반한 고화질 360 영상 전송을 위한 방안으로, 분할된 영상에서 전송되지 않은 영상으로의 움직임 참조 문제를 해결하기 위해 적용된 MCTS (motion constrained tile sets) 기술과 실시간으로 사용자 시점에 위치한 타일들만 추출할 수 있도록 미리 구성된 타일 정보들을 포함하는 EIS (extraction information sets) SEI, 사용자 시점에 위치한 타일 정보만 추출해내고 영상을 분할 및 추출해주는 Extractor, 실제 추출된 영상 정보를 이용해 가상현실 기기 화면에 표현하는 방법에 대한 구현 내용을 설명한다. 따라서 제안된 구현물을 기반으로 고화질 360 영상 전송을 수행하면, 사용자 시점 영역의 영상만 전송하여 불필요한 영상 전송을 하지 않게 되어 화질 대비 낮은 대역폭의 향상된 실시간 전송 영상을 얻을 수 있다.

• Journal of Broadcast Engineering
• /
• v.25 no.5
• /
• pp.665-671
• /
• 2020

MPEG-I is actively working on standardization on the coding of immersive video which provides up to 6 degree of freedom (6DoF) in terms of viewpoint. 3DoF+ video, which provides motion parallax to omnidirectional view of 360 video, renders a view at any desired viewpoint using multiple view videos acquisitioned in a limited 3D space covered with upper body motion at a fixed position. The MPEG-I visual group is developing a test model called TMIV (Test Model for Immersive Video) in the process of development of the standard for 3DoF+ video coding. In the TMIV, the redundancy between a set of input view videos is removed, and several atlases are generated by packing patches including the remaining texture and depth regions into frames as compact as possible, and coded. This paper presents an atlas generation method that removes small-sized blocks in the atlas for more efficient 3DoF+ video coding. The proposed method shows a performance improvement of BD-rate bit savings of 0.7% and 1.4%, respectively, in natural and graphic sequences compared to TMIV.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2018.11a
• /
• pp.170-173
• /
• 2018

최근 360 비디오를 지원하는 가상현실 시스템에 대한 수요가 높아지면서, 사용자의 편의를 위해 다양한 방법이 제안되고 있다. Moving Picture Experts Group (MPEG) 에서는 제한적인 사용자 경험을 제공하는 3DoF 를 넘어 3DoF+, 6DoF 표준을 진행하고 있고, 이에 따른 많은 연구도 활발히 진행되고 있다. 사용자가 앉아있는 상태에서 머리의 움직임에 따라 제한적인 자유도를 제공하는 3DoF+ 시스템은 여러 고해상도의 360 비디오 전송을 요구하여 네트워크 대역폭에 상당한 부담을 준다. 본 논문은 3DoF+ 360 비디오 전송 시 대역폭의 효율적 사용을 위한 비트레이트 절감 방안을 제안한다. 이를 위해, 본 논문은 360 비디오의 프로젝션을 변경하여 해상도를 줄이면서도 정보 손실을 최소화할 수 있는 방법을 제시하고 결과를 설명한다. 프로젝션 변경을 위해 360 라이브러리를 사용하였고, 인코딩과 디코딩 시 효율 측정을 위해 HEVC Test Model (HM)을 사용하였다. 최종적으로 구현된 시스템은 360 비디오를 최적의 프로젝션으로 변환 후 인코딩, 디코딩을 거치고 다시 360 비디오로 변환하는 과정을 지원한다.

• Journal of Broadcast Engineering
• /
• v.23 no.2
• /
• pp.197-205
• /
• 2018

Panoramic image is one of the technologies that are commonly used today. However, technical difficulties still exist in panoramic video production. Without a special camera such as a 360-degree camera, making panoramic video becomes more difficult. In order to make a panoramic video, it is necessary to synchronize the timeline of multiple videos shot at multiple locations. However, the timeline synchronization method using the internal clock of the camera may cause an error due to the difference of the internal hardware. In order to solve this problem, timeline synchronization between multiple videos using visual information or auditory information has been studied. However, there is a problem in accuracy and processing time when using video information, and there is a problem in that, when using audio information, there is no synchronization when there is sensitivity to noise or there is no melody. Therefore, in this paper, we propose a timeline synchronization method between multiple video using audio waveform. It shows higher synchronization accuracy and temporal efficiency than the video information based time synchronization method.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2016.11a
• /
• pp.51-52
• /
• 2016

최근 360 및 VR(Virtual Reality) 영상의 구성 및 전송을 위해 Facebook이 기존 메르카토르도법을 사용하는 것 대신 "Transform"의 방법을 제시하여 큐브 및 피라미드 형태로의 이미지 전송하는 방식을 발표했다. 본 논문은 이 변형기법을 기반으로, 6개의 카메라로 360VR영상을 촬영할 경우 "Transform"이 가지는 큐브 형태를 이용 기존보다 효과적이고 가벼워 실시간 스트리밍에 적합한 360VR이미지 변형법을 제안한다.