• 방송공학회논문지
• /
• 제27권1호
• /
• pp.20-30
• /
• 2022

최근 VR (Virtual Reality) 기술이 주목받기 시작하면서 생동감 넘치는 VR 컨텐츠를 볼 수 있는 360° 파노라마 영상이 많은 관심을 받고 있다. 이미지 스티칭 기술은 360° 파노라마 영상을 제작하는데 주요한 기술로서 많은 연구가 활발하게 이루어지고 있다. 일반적인 스티칭 알고리즘은 특징점 기반 이미지 스티칭을 기반으로 한다. 하지만 기존의 특징점 기반 이미지 스티칭 방법들은 특징점에 크게 영향을 받는다는 문제가 존재한다. 이러한 문제를 해결하기 위해서 최근에는 딥러닝 기반의 이미지 스티칭 기술들이 연구되고 있지만 이미지 간의 겹치는 영역이 거의 없거나 큰 시차가 존재할 때 여전히 많은 문제점이 존재한다. 또한 실제 환경에서는 라벨링 된 정답 파노라마 영상을 얻을 수 없으므로 완전한 지도학습에 한계가 존재한다. 따라서 자율주행분야에 많이 이용되는 칼라(Carla) 시뮬레이터를 통해 카메라 센터가 다른 3개의 fisheye 이미지와 그에 대응되는 정답 영상을 제작하였다. 우리는 제작한 fisheye 영상으로360° 파노라마 영상을 만드는 이미지 스티칭 모델을 제안한다. 최종 실험 결과로는 실제 환경과 비슷하게 구성한 가상의 데이터 세트로 다양한 환경과 큰 시차에도 강인한 스티칭 결과를 검증한다.

• 방송공학회논문지
• /
• 제27권4호
• /
• pp.487-498
• /
• 2022

깊이 영상은 3차원 공간상의 거리 정보를 2차원 평면에 나타낸 영상이며 다양한 3D 비전 연구에서 유용하게 사용된다. 기존의 많은 깊이 추정 연구는 주로 좁은 FoV (Field of View) 영상을 사용하여 전체 장면 중 상당 부분이 소실된 영상에 대한 깊이 정보를 추정한다. 본 논문에서는 소수의 좁은 FoV 영상으로부터 360° 전 방향 RGBD 영상을 동시에 생성하는 기법을 제안한다. 오버랩 되지 않는 4장의 소수 영상으로부터 전체 파노라마 영상에 대해서 상대적인 FoV를 추정하고 360° 컬러 영상과 깊이 영상을 동시에 생성하는 적대적 생성 신경망 기반의 영상 생성 모델을 제안하였으며, 두 모달리티의 특징을 공유하여 상호 보완된 결과를 확인한다. 또한 360° 영상의 구면 특성을 반영한 네트워크를 구성하여 개선된 성능을 보인다.

• 방송공학회논문지
• /
• 제24권1호
• /
• pp.3-24
• /
• 2019

360 VR 기반 파노라마 영상을 제작하는 과정에서 인접한 장면을 촬영한 영상들일 지라도 촬영 각도 및 조명의 위치에 따라 영상들 간에 밝기 변화가 크고 색상값에서도 큰 차이가 발생한다. 이런 영상들을 스티칭하여 360 VR 영상을 만들면, 제작된 파노라마 영상의 품질이 저하되기 때문에 밝기 보상 기법을 전처리 과정으로 사용해야 한다. 기존의 밝기 보상 기법들은 밝기 차이가 적은 경우 또는 적은 장수의 영상들을 스티칭하는 경우에 적용되도록 설계되었기 때문에, 360 VR 서비스용 스티칭 기법에서처럼 스티칭되는 영상의 개수가 많고, 영상들 간의 밝기 차이가 클 경우에는 성능 저하가 발생하는 것으로 알려졌다. 본 논문에서는 기존의 밝기 보상 기법이 급격한 밝기 차이가 발생하는 360 VR 서비스에서도 효과적으로 이용될 수 있도록 추가의 '색상 보정' 및 '밝기 보정' 단계를 전처리 과정으로 사용함으로써, 복잡도 증가는 최소화하면서 360 VR 영상 합성의 성능을 향상시키는 것을 목표로 한다. 본 논문에서는 다양한 환경에서 촬영된 실험 영상들을 이용해서, 제안하는 기술이 기존 기술들의 성능을 향상시킬 수 있음을 보이고 있다.

• 전기전자학회논문지
• /
• 제21권3호
• /
• pp.268-271
• /
• 2017

본 논문에서는 1200만 화소의 고해상도 $360^{\circ}$ 전방위 IP 카메라의 개발을 제안한다. 제안하는 1200만 화소의 고해상도 $360^{\circ}$ 전방위 IP 카메라는 $360^{\circ}$ 전방위 시야각의 렌즈 부와 1200만 화소 고해상도 IP 카메라 부로 구성된다. $360^{\circ}$ 전방위 시야각의 렌즈 부는 등사영 렌즈 설계방식과 catadioptric 면 제작방식을 적용하여 어안 렌즈에서 필연적으로 발생되고 있는 주변부 왜곡현상이 없는 화상을 얻을 수 있도록 한다. 1200만 화소 고해상도 IP 카메라 부는 CMOS 센서 & ISP 부, DSP 부, I/O 부 등으로 구성하여 카메라에 들어온 영상을 디지털 영상으로 변환하여 영상 왜곡 보정, 영상 보정, 영상 압축 등의 기능 등을 수행한 후에, NVR(Network Video Recorder)에 전송한다. 제안된 1200만 화소의 고해상도 $360^{\circ}$ 전방위 IP 카메라의 성능을 평가하기 위하여 외부시험기관에서 실험한 결과, 1200만 화소의 영상효율, $360^{\circ}$ 전방위 렌즈 화각, 전자파 인증 규격 등이 목표값에 적합하게 측정됨이 확인되었다.

• 반도체디스플레이기술학회지
• /
• 제15권2호
• /
• pp.66-69
• /
• 2016

Recently, augmented reality and virtual reality in the ICT sector have been highlighted. So also interested in related HMD areas to facilitate contact with the VR content is being attend. This paper proposes a method for implementing to the virtual reality through the mobile HMD device with the real time 360 image. This system is required the real time 360 image streaming server configuration and image processing for augmented reality and virtual reality. The configuration of the streaming server is configured the DB server to store images and the relay server that can relay images to other devices. Augmented image processing module is composed based on markerless tracking, and there are four modules that are recognition, tracking, detecting and learning module. Also, the purpose of this paper is shown the augmented 360 image processing through the Mobile HMD.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 하계학술대회
• /
• pp.212-215
• /
• 2021

본 논문에서는 6 Fisheye lens 원본 영상에 대하여 Insta360 stitcher, AutoStitch[4], As-Projective-AsPossible(APAP)[5] 스티칭 방법으로 360 도 파노라마 영상을 생성하고 기하학적 왜곡과 컬러 왜곡을 비교 평가한다. 360 도 파노라마 Image Quality Assessment(IQA) 메트릭으로 Natural Image Quality Evaluator(NIQE)[6], Blind/Referenceless Image Spatial Quality Evaluator (BRISQUE)[7], Perception based Image Quality Evaluator(PIQE)[8], Feature Similarity(FSIM)[9] 그리고 high frequency feature 에 대한 Structural Similarity(SSIM)[10]을 측정하여 정량적 평가를 하며 정성적인 비교를 통하여 파노라마 영상의 품질과 평가 메트릭에 대한 벤치마크를 제공한다.

• 방송공학회논문지
• /
• 제23권6호
• /
• pp.866-875
• /
• 2018

최근 VR 콘텐츠의 인기와 함께 다양한 촬영장치를 이용한 실사기반 VR 360 영상제작이 주목을 받고 있다. 과거 VR 콘텐츠 제작은 많은 작업이 필요해 연구소 수준에서만 가능했으나 최근 카메라의 소형화로 VR 실사 촬영이 콘텐츠 제작자들에게 보편화되고 있다. 본 논문은 오늘날 상황에서 유통되는 다양한 VR 콘텐츠를 비교 연구하고 비용면에서 강인한 실사 기반 360 영상제작의 장단점을 분석하고 있다. 기존 영상 촬영 전문가가 사용하기 어려운 단점을 지적하고 이를 위한 해결 방안을 제시하고자 한다. 액션캠이나 일체형 카메라보다 수동조작이 가능하고, 원규격(raw foramt) 지원 카메라에서 360 촬영이 영화식 후반작업에 더 적합하다는 것을 간단한 실험 촬영을 통해 증명하였다.

• 전기전자학회논문지
• /
• 제21권4호
• /
• pp.412-415
• /
• 2017

본 논문에서는 고해상도 $360^{\circ}$ 전방위 IP 카메라를 이용한 다중 번호판 인식 시스템을 제안한다. 제안한 시스템은 $360^{\circ}$ 원형영상의 평면 분할 부와 다중 번호판 인식 부로 구성되었다. $360^{\circ}$ 원형영상의 평면 분할 부는 고해상도 $360^{\circ}$ 전방위 IP 카메라에서 원형영상 획득, 원형영상 분할, 평면영상으로 변환, 보간법을 사용한 픽셀 보정 및 컬러보정, 에지 보정 등의 과정을 거쳐 화질이 개선된 평면영상으로 출력한다. 다중 번호판 인식 부는 평면영상에서 다중 번호판 후보영역 추출, 다중 번호판 후보영역 정규화 및 복원, 신경망을 사용한 다중 번호판 숫자, 문자 인식 과정을 거쳐 다중 번호판을 인식하게 된다. 제안된 고해상도 $360^{\circ}$ 전방위 IP 카메라를 이용한 다중 번호판 인식 시스템을 평가하기 위하여 지능형 주차관제시스템 운영 전문 업체와 공동으로 실험한 결과, 97.8%의 높은 번호판 인식률이 확인되었다.

• 한국컴퓨터정보학회논문지
• /
• 제27권10호
• /
• pp.147-153
• /
• 2022

현재, 다양한 형태의 메타버스 서비스 솔루션(제페토, 로블록스, 샌드박스, 디센트럴랜드)이 제작되고 서비스되고 있다. 메타버스 서비스는 360 파노라마 형태의 월드 기반에 3D 오브젝트를 배치해 구성한 솔루션이 대부분으로 게이미피케이션 형태로 구성된다. 하지만, 메타버스 형태의 웹툰 서비스는 구현 및 연구가 부족한 실정이다. 본 연구는 2D 평면이미지 형태의 웹툰을 3차원 공간에서 구현하는 방법과 실감형 360도 파노라마 웹툰 메타버스 서비스에 관해 연구했다. 연구 및 분석 과정은 웹툰 제작을 위한 기본적인 스토리텔링 및 설계작업, 제작된 이미지를 360도 형태로 변환하기 위한 파노라마 이미지 생성, 메타버스 공간에서 전-방향(all directional)을 보기 위한 360웹툰 콘텐츠 제작과정을 연구했다. 또한, 가상현실 기반의 웹툰을 감상할 수 있도록 쉐이딩 및 메트리얼 작업 방법을 제시했다. 현재 불모지로 여겨지는 웹툰 메타버스 분야에 초석이 될 것으로 생각한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 추계학술대회
• /
• pp.41-44
• /
• 2021

In this paper, we propose an efficient reference-based compression artifact reduction network for 360-degree images in an equi-rectangular projection (ERP) domain. In our insight, conventional image restoration methods cannot be applied straightforwardly to 360-degree images due to the spherical distortion. To address this problem, we propose an adaptive disparity estimator using a deformable convolution to exploit correlation among 360-degree images. With the help of the proposed convolution, the disparity estimator establishes the spatial correspondence successfully between the ERPs and extract matched textures to be used for image restoration. The experimental results demonstrate that the proposed algorithm provides reliable high-quality textures from the reference and improves the quality of the restored image as compared to the state-of-the-art single image restoration methods.