• 전기전자학회논문지
• /
• 제21권3호
• /
• pp.268-271
• /
• 2017

본 논문에서는 1200만 화소의 고해상도 $360^{\circ}$ 전방위 IP 카메라의 개발을 제안한다. 제안하는 1200만 화소의 고해상도 $360^{\circ}$ 전방위 IP 카메라는 $360^{\circ}$ 전방위 시야각의 렌즈 부와 1200만 화소 고해상도 IP 카메라 부로 구성된다. $360^{\circ}$ 전방위 시야각의 렌즈 부는 등사영 렌즈 설계방식과 catadioptric 면 제작방식을 적용하여 어안 렌즈에서 필연적으로 발생되고 있는 주변부 왜곡현상이 없는 화상을 얻을 수 있도록 한다. 1200만 화소 고해상도 IP 카메라 부는 CMOS 센서 & ISP 부, DSP 부, I/O 부 등으로 구성하여 카메라에 들어온 영상을 디지털 영상으로 변환하여 영상 왜곡 보정, 영상 보정, 영상 압축 등의 기능 등을 수행한 후에, NVR(Network Video Recorder)에 전송한다. 제안된 1200만 화소의 고해상도 $360^{\circ}$ 전방위 IP 카메라의 성능을 평가하기 위하여 외부시험기관에서 실험한 결과, 1200만 화소의 영상효율, $360^{\circ}$ 전방위 렌즈 화각, 전자파 인증 규격 등이 목표값에 적합하게 측정됨이 확인되었다.

• 한국산업정보학회논문지
• /
• 제22권3호
• /
• pp.27-38
• /
• 2017

본 연구는 다수의 개인 사용자들이 휴대폰 카메라를 통하여 공연장 등에서 녹화한 다수의 영상을 스티칭하는 방법을 제시한다. 기존 고정형 리그(Rig)를 사용하는 360 카메라 솔루션과 대비하여, 시간 동기화, 반복적 변환행렬계산 및 카메라 센서 불일치 보정과 같은 새로운 문제들을 해결해야한다. 이 논문에서는 오디오를 사용한 시각동기화 방법, 색상 전달 방식에 따른 센서 불일치 제거, 전역 동작 안정화 알고리즘을 사용하여 변환 행렬의 업데이트를 함으로써 이러한 문제를 해결하였다. 또한, 카메라의 움직임이 크지 않은 경우에서, 제안 된 알고리즘은 화면 별 스티칭을 하는 경우 보다, 계산 속도와 화질 면에서도 우수한 성능을 보임을 실험을 통하여 확인하였다.

• 방송공학회논문지
• /
• 제22권6호
• /
• pp.817-828
• /
• 2017

본 논문에서는 360 VR 비디오 신호에 적합한 흔들림 제거 기술을 제안한다. 이를 위해서 VR 방송 시스템의 구성 요소들인 스티칭 및 투영포맷(projection format) 등의 특성을 분석하고, 각 단계에서 확보되는 영상 정보들의 기하학적인 특성들을 분석하였다. 이런 정보들을 활용하여 VR 영상 신호용 흔들림 제거 기술을 개발함으로써, 이러한 고려없이 2D 비디오 신호용으로 개발되어온 기존의 흔들림 제거 기술보다 우수한 성능을 제공하는 흔들림 제거 모듈을 구현할 수 있었다. 본 논문에서 제안된 알고리즘의 성능을 기존의 Autopano의 성능과 비교한 결과 물체의 이동 궤적의 흔들림이 눈에 띄게 줄어들었고, 흔들림이 존재하는 비디오 신호의 연속된 프레임들간의 RMSE가 26.04와 5.78 이였던 것이 제안되는 기술로 각각 7.33과 4.38까지 줄일 수 있었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2019년도 추계학술대회
• /
• pp.230-232
• /
• 2019

최근 360 미디어 콘텐츠의 수요가 높아지면서 360 영상을 효율적으로 전송하기 위한 다양한 압축 및 전송 기법들이 연구되고 있다. 360 영상의 스트리밍 기법 중 하나인 타일 기반 적응적 스트리밍 기법은 360 비디오를 타일 그리드로 나누어 부호화 하고, 뷰포트(Viewport)에 해당하는 타일만 스트리밍 할 수 있도록 한다. 기존의 타일 기반 스트리밍 기법은 뷰포트가 전환될 때 서버에 새로운 인트라 프레임을 요구하고, 지연 시간을 줄이기 위해 빈번한 RAP(Random Access Point)가 요구된다는 단점이 있다. 본 논문은 기존의 타일 기반 스트리밍 방법에서 인트라 프레임의 공유를 통해 비트율의 효율을 높이는 IFS(Intra Frame Sharing) 알고리즘을 제안한다. 제안된 IFS 방법은 낮은 화질의 인트라 프레임을 높은 화질의 인트라 프레임 부호화 시 공유하여, 뷰포트 스위칭 시점에서 다른 화질 간의 뷰포트 전환 작업이 필요 없어 비트율의 증가를 최소화한다. 실험에서, IFS 방법은 기존의 MCTS 기반의 적응적 스트리밍 방식과 비교했을 때 BD-rate(%)가 약 13% 절감되었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2017년도 추계학술대회
• /
• pp.3-5
• /
• 2017

가상 현실 시장은 꾸준한 성장을 하고 있다. 가상 현실 시장이 성장함에 따라 게임 엔진을 이용한 가상 현실콘텐츠 뿐만 아니라 실제 특수 디바이스를 이용하여 촬영한 $360^{\circ}$ 비디오 콘텐츠 시장도 성장하고 있다. 하지만 실제로 촬영한 $360^{\circ}$ 비디오같은 경우 4D 가상 현실 콘텐츠를 즐기기 위해서는 먼저 특수 장치와 $360^{\circ}$ 비디오 간의 이벤트를 정의해야 하는 성가심이 있다. 이러한 불편함을 극복하기 위해 물리적 감각 효과를 일으키는 객체를 인식하고 서술하는 기법을 제시한다. $360^{\circ}$비디오 내의 감각 효과를 일으키는 객체를 인식하고 좌표계 내에 위치를 설정하여 사용자와의 거리가 임계값 이하면 효과를 일으키게 하여 사전에 콘텐츠를 확인하고 감각 효과를 미리 설정하는 번거로움을 없앨 수 있다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2018년도 하계학술대회
• /
• pp.11-14
• /
• 2018

본 논문에서는 실시간 고화질 360 영상 전송을 위해 사용자 시점에 기반한 타일 분할 기법을 적용하고 360 영상을 가상현실 기기 화면에 표현하여 주관적 화질 평가를 위한 플랫폼을 구현한다. 사용자 시점에 기반한 고화질 360 영상 전송을 위한 방안으로, 분할된 영상에서 전송되지 않은 영상으로의 움직임 참조 문제를 해결하기 위해 적용된 MCTS (motion constrained tile sets) 기술과 실시간으로 사용자 시점에 위치한 타일들만 추출할 수 있도록 미리 구성된 타일 정보들을 포함하는 EIS (extraction information sets) SEI, 사용자 시점에 위치한 타일 정보만 추출해내고 영상을 분할 및 추출해주는 Extractor, 실제 추출된 영상 정보를 이용해 가상현실 기기 화면에 표현하는 방법에 대한 구현 내용을 설명한다. 따라서 제안된 구현물을 기반으로 고화질 360 영상 전송을 수행하면, 사용자 시점 영역의 영상만 전송하여 불필요한 영상 전송을 하지 않게 되어 화질 대비 낮은 대역폭의 향상된 실시간 전송 영상을 얻을 수 있다.

• 방송공학회논문지
• /
• 제25권5호
• /
• pp.665-671
• /
• 2020

MPEG-I에서는 최대 6자유도(6DoF)를 가지는 몰입형(immersive) 비디오의 압축 표준화를 진행하고 있다. 360 비디오의 전방위 뷰(view)와 함께 움직임 시차(parallax)를 제공하는 3DoF+ 비디오는 고정된 위치에서 상체 움직임 정도의 제한된 공간에서 획득된 여러 뷰 비디오를 사용하여 임의의 원하는 시점의 뷰를 렌더링한다. MPEG-I 비쥬얼 그룹에서는 이러한 3DoF+ 비디오의 압축 표준화를 진행하고 있으며, 그 과정에서 TMIV(Test Model for Immersive Video)라는 시험모델을 개발하고 있다. TMIV에서는 다수의 입력 뷰 비디오들의 중복성을 제거하고 남은 텍스쳐 및 깊이 영상 패치(patch)들을 촘촘히 프레임으로 패킹한 아틀라스(Atlas)를 생성하고 이를 부호화한다. 본 논문은 보다 효율적인 3DoF+ 비디오 부호화를 위해서 작은 크기의 블록들을 제거하는 아틀라스 생성 기법을 제시한다. 제안기법은 TMIV 대비 자연영상과 그래픽 영상에서 각각 0.7%와 1.4%의 BD-rate 비트율 감소의 성능 개선을 보였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2018년도 추계학술대회
• /
• pp.170-173
• /
• 2018

최근 360 비디오를 지원하는 가상현실 시스템에 대한 수요가 높아지면서, 사용자의 편의를 위해 다양한 방법이 제안되고 있다. Moving Picture Experts Group (MPEG) 에서는 제한적인 사용자 경험을 제공하는 3DoF 를 넘어 3DoF+, 6DoF 표준을 진행하고 있고, 이에 따른 많은 연구도 활발히 진행되고 있다. 사용자가 앉아있는 상태에서 머리의 움직임에 따라 제한적인 자유도를 제공하는 3DoF+ 시스템은 여러 고해상도의 360 비디오 전송을 요구하여 네트워크 대역폭에 상당한 부담을 준다. 본 논문은 3DoF+ 360 비디오 전송 시 대역폭의 효율적 사용을 위한 비트레이트 절감 방안을 제안한다. 이를 위해, 본 논문은 360 비디오의 프로젝션을 변경하여 해상도를 줄이면서도 정보 손실을 최소화할 수 있는 방법을 제시하고 결과를 설명한다. 프로젝션 변경을 위해 360 라이브러리를 사용하였고, 인코딩과 디코딩 시 효율 측정을 위해 HEVC Test Model (HM)을 사용하였다. 최종적으로 구현된 시스템은 360 비디오를 최적의 프로젝션으로 변환 후 인코딩, 디코딩을 거치고 다시 360 비디오로 변환하는 과정을 지원한다.

• 방송공학회논문지
• /
• 제23권2호
• /
• pp.197-205
• /
• 2018

파노라마 이미지는 현재 흔하게 사용되는 기술 중 하나이다. 하지만, 아직까지 파노라마 비디오 제작은 기술적 어려움이 존재한다. 360도 카메라와 같은 특수 카메라가 없을 경우, 파노라마 비디오 제작은 더욱 어려워진다. 파노라마 비디오를 제작하기 위해서는 여러 지점에서 촬영한 다수의 동영상의 시간축을 동기화할 필요가 있다. 하지만 카메라 내부 시계를 통한 시간축 동기화 기법은 내부 하드웨어 차이로 인해 오차가 발생할 수 있다. 이러한 문제를 해결하기 위해 영상 정보 또는 소리 정보를 이용한 다수 비디오 간 시간축 동기화 연구가 진행되었다. 하지만 영상 정보를 이용하는 경우 정확도와 프로세싱 시간에 문제가 있으며 소리 정보를 이용하는 경우 노이즈에 민감하거나 멜로디가 없으면 동기화가 없다는 문제점이 있다. 따라서 본 논문에서는 소리 파형을 이용한 다수 비디오 간 시간축 동기화 기법을 제안한다. 영상 정보 기반 시간축 동기화 기법보다 높은 동기화 정확도를 보여주며 시간적 효율성을 보여준다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2016년도 추계학술대회
• /
• pp.51-52
• /
• 2016

최근 360 및 VR(Virtual Reality) 영상의 구성 및 전송을 위해 Facebook이 기존 메르카토르도법을 사용하는 것 대신 "Transform"의 방법을 제시하여 큐브 및 피라미드 형태로의 이미지 전송하는 방식을 발표했다. 본 논문은 이 변형기법을 기반으로, 6개의 카메라로 360VR영상을 촬영할 경우 "Transform"이 가지는 큐브 형태를 이용 기존보다 효과적이고 가벼워 실시간 스트리밍에 적합한 360VR이미지 변형법을 제안한다.