• 한국항행학회논문지
• /
• 제27권3호
• /
• pp.306-313
• /
• 2023

실사 및 그래픽 기반 가상현실 콘텐츠는 360도 영상을 기반으로 하며, 시청자의 의도나 자동 추천 기능을 통한 뷰포트 추출이 필수적이다. 본 논문은 360도 영상에서 다중 객체 추적 기반의 뷰포트 추출 시스템을 설계하고, 다중 뷰포트 추출에 필요한 병렬화된 연산 구조를 제안한다. 360도 영상에서 뷰포트 추출 과정을 ERP 좌표의 3D 구 표면 좌표 변환과 3D 구 표면 좌표의 뷰포트 내 2D 좌표 변환 과정을 순서대로 픽셀 단위의 스레드로 구성하여 연산을 병렬화하였다. 제안 구조는 항공 360도 영상 시퀀스들에 대하여 최대 30개의 뷰포트 추출 과정에 대한 연산 시간이 평가되었으며, 뷰포트 수에 정비례하는 CPU 기반 연산 시간에 비해 최대 5240배 가속화됨을 확인하였다. ERP 프레임 I/O 시간을 줄일 수 있는 고속의 I/O나 메모리 버퍼를 사용 시 뷰포트 추출 시간을 7.82배 추가 가속화가 가능하다. 제안하는 뷰포트 추출 병렬화 구조는 360도 비디오나 가상현실 콘텐츠들에 대한 동시 다중 접속 서비스나 사용자별 영상 요약 서비스 등에 활용될 수 있다.

• 방송공학회논문지
• /
• 제25권5호
• /
• pp.770-775
• /
• 2020

360도 영상은 일반 화각 영상과 다른 프레임 구조를 갖기 때문에 기존 영상 보안 이벤트 검출 알고리즘들을 360도 영상에 바로 적용 시 왜곡에 의한 성능 저하가 발생할 수 있다. 본 논문에서는 360도 영상 공간에서 활성 뷰포트 기반 이벤트 검출 기법을 제안한다. 다중 객체 영역들을 포함하는 활성 뷰포트들을 생성하고, 뷰포트 내 객체 검출과 360도 영상 공간에서 객체 추적을 수행하며, 영역 기반의 보안 이벤트를 검출한다. 제안 방법은 360도 ERP 시퀀스들에 대해 성능이 평가되었고, 활성 뷰포트를 사용하지 않은 이벤트 검출 방법보다 30% 이상의 recall, 30% 이상의 false negative rate 성능 향상을 보였다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2021년도 제63차 동계학술대회논문집 29권1호
• /
• pp.253-256
• /
• 2021

본 논문에서는 합성곱 신경망을 통해 학습된 DoF(피사계 심도, Depth of field) 네트워크 아키텍처를 이용하여 객체 인식, 시점 추적, 문자 인식, 비사실적 렌더링 등 다양한 애플리케이션에 적용할 수 있는 사후 필터링 기법에 대해 살펴본다. 일반적으로 영상은 포커싱과 아웃포커싱에 의해 사용자의 관심표현이 결정되며, 이를 이용하여 영상 내 중요도를 판단한다. 영상 내에는 수많은 콘텐츠들이 혼재되어 있기 때문에 사용자가 집중적으로 보고 있는 콘텐츠를 찾아내기 어렵다. 본 논문에서는 사용자가 흥미롭고 집중적으로 보고 있는 영역을 DoF 네트워크로 학습시키고, 이를 통해 이전 기법으로는 표현할 수 없었던 DoF 기반 객체 인식, 시점 추적, 문자 인식, 비사실적 렌더링을 효율적으로 표현해낸다.