• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 하계학술대회
• /
• pp.1241-1244
• /
• 2022

최근 K-Pop 을 위시한 예술공연 콘텐츠에 몰입형 미디어를 접목한 온택트 (Ontact) 미디어 스트리밍 서비스가 주목받고 있는 가운데, 본 논문은 일반적으로 사용되는 2D 디스플레이 또는 HMD (Head-Mounted Display) 기반 VR (Virtual Reality, VR) 서비스에서 탈피하여, 대형 가상현실 공연장을 위한 360 도 VR 비디오 스트리밍 시스템을 제안한다. 제안된 시스템은 Phase 1, 2, 3 의 연구개발 단계를 밟아 6DoF (Degrees of Freedom) 시점 자유도를 지원하는 360 도 VR 비디오 스트리밍 시스템을 개발하는 것을 최종목표로 하고 있으며, 현재는 Phase 1: 대형 가상현실 공연장을 위한 3DoF 360 도 VR 비디오 스트리밍 시스템 프로토타입의 개발까지 완료되었다. 구현된 스트리밍 시스템 프로토타입은 서브픽처 기반 Viewport-dependent 스트리밍 기술이 적용되어 있으며, 기존 방식과 비교하였을 때 약 80%의 비트율 감소, 약 543%의 영상 디코딩 속도 향상을 확인하였다. 또한, 단순 구현 및 성능평가에서 그치지 않고, 실제 미국 UCSB 에 위치한 대형 가상현실 공연장 AlloSphere 에서의 시범방송을 수행하여, 향후 Phase 2, 3 연구단계를 위한 연구적 기반을 마련하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 추계학술대회
• /
• pp.197-200
• /
• 2021

몰입형 고품질 가상 현실 영상 스트리밍을 위한 360도 영상 부호화 및 전송 기술 중 하나로 사용자 시점 기반 타일 스트리밍 기법이 활발히 연구되고 있다. 360도 영상은 용량이 크기 때문에 개별 타일 기반 스트리밍 방법을 사용해 사용자 시점만 보내는 것이 효율적이다. 본 논문은 시점 기반 가상 현실 영상 복호화 시스템을 위한 복호기 적응적 타일 클러스터링 알고리즘을 제안한다. 제안하는 방법은 클라이언트의 복호기가 최대로 복호화 가능한 해상도를 탐색한 후, 사용자 시점 데이터와 복호기 적응적 타일 클러스터링 알고리즘을 이용해 클러스터화할 복수 개의 사용자 시점 타일들의 목록을 생성한 후, 타일 병합기를 이용해 타일들을 병합하여 클러스터 비트스트림을 생성한다. 이후 클라이언트는 병합된 클러스터 비트스트림들을 복호화한 후 사용자 시점을 생성한다. 제안하는 방법을 이용하면 클라이언트의 복호기 환경에 제약받지 않는 복호화가 가능하며, 제안하는 방법 중 하나인 4K_clustering 방법의 경우 8%의 복호화 속도 개선 효과를 얻을 수 있어 몰입형 고품질 가상 현실 영상을 위한 실시간 타일 스트리밍이 가능하다.

• 한국산업정보학회논문지
• /
• 제22권3호
• /
• pp.27-38
• /
• 2017

본 연구는 다수의 개인 사용자들이 휴대폰 카메라를 통하여 공연장 등에서 녹화한 다수의 영상을 스티칭하는 방법을 제시한다. 기존 고정형 리그(Rig)를 사용하는 360 카메라 솔루션과 대비하여, 시간 동기화, 반복적 변환행렬계산 및 카메라 센서 불일치 보정과 같은 새로운 문제들을 해결해야한다. 이 논문에서는 오디오를 사용한 시각동기화 방법, 색상 전달 방식에 따른 센서 불일치 제거, 전역 동작 안정화 알고리즘을 사용하여 변환 행렬의 업데이트를 함으로써 이러한 문제를 해결하였다. 또한, 카메라의 움직임이 크지 않은 경우에서, 제안 된 알고리즘은 화면 별 스티칭을 하는 경우 보다, 계산 속도와 화질 면에서도 우수한 성능을 보임을 실험을 통하여 확인하였다.

• 방송공학회논문지
• /
• 제25권4호
• /
• pp.518-527
• /
• 2020

360 VR 기술은 관객이 이야기가 진행되는 공간의 내부에 존재함으로써 이야기에 참여한다고 인식하게 함으로써 몰입감과 현존감을 효과적으로 느끼게 할 수 있기 때문에, 영화뿐만 아니라 음악, 연극, 무용 등의 공연 예술에도 활용되고 있다. 논문에서는 2015~2020년에 Youtube에 공유된 음악 공연 콘텐츠의 360도 영상 중에서 실제로 무대에서 공연하는 라이브 형태의 공연을 촬영한 30개의 360도 영상을 무대의 형태와 카메라의 개수 및 특성을 중심으로 분석하였다. 스튜디오에서 촬영되는 뮤직비디오 촬영과는 달리 라이브 공연은 관객과 함께하는 공연이기 때문에 공연의 특성에 맞는 무대의 형태와 관객석의 배치가 우선되며, 360 VR 카메라를 사용하는 연출도 무대와 관객 환경의 영향을 많이 받는 것으로 나타났다. 무대의 형태를 3가지로 분류하고 360 VR 카메라의 개수, 고정형과 이동형 카메라 사용 여부 등에 따라 주로 사용되는 카메라 배치와 특성을 분석하고 정리하였다.

• 방송공학회논문지
• /
• 제24권6호
• /
• pp.948-955
• /
• 2019

360도 VR(Virtual Reality) 비디오 서비스에 대한 관심이 증가함에 따라서 대용량의 VR 비디오 데이터를 압축하여 전송하기 위한 기술이 빠르게 발전하고 있다. QER(Quality Emphasized Region) 기반의 전송 기법은 360도 VR 영상을 영역별로 나누고 차별화된 화질의 영상으로 전송함으로써 몰입감을 유지하고 대역폭의 낭비를 줄이는 뷰포트 적응적 360도 비디오 스트리밍 시스템(Viewport-Adaptive 360-Degree Video Streaming System)의 일종으로 개발되었다. 사용자 시점에 해당하는 특정 QER을 선택하기 위해서는 QEC(Quality Emphasis Center) 거리 계산 과정과 QER 전환을 요청하는 시그널링 과정이 필요하다. QEC 거리계산은 QER의 개수만큼 계산을 반복하기 때문에 클라이언트에게 높은 계산 복잡도를 요구한다. 또한 QER 전환 요청을 위한 시그널링 메시지의 전송 주기는 효율적 대역폭 사용과 원활한 QER 전환 사이에서 서로 절충적인(trade off) 관계를 갖는다. 본 논문에서는 이러한 문제를 해결하기 위해 MMT 프로토콜 기반의 개선된 QER 선택 알고리듬을 제안한다. 개선된 QER 선택 알고리듬은 미리 준비된 QER_ID_MAP을 사용하여 시스템 계산 복잡도를 줄이는 동시에, 시그널링 주기를 적응적으로 수정하여 네트워크의 부담을 최소화하고 적시에 적절하게 QER 변환이 가능하도록 제안된 방법이다.

• 전기전자학회논문지
• /
• 제24권2호
• /
• pp.419-425
• /
• 2020

4차 산업의 주요 기술로 주목받고 있는 실감형 360 동영상 콘텐츠의 시장 규모는 매년 증가하고 있다. 하지만 대부분의 영상이 DRM 해제 후 토렌트 등의 불법 유통망을 통해 유통되고 있어 불법복제로 인한 피해 또한 증가하고 있다. 이러한 이슈에 대응하는 기술로 필터링 기술을 사용하고 있으나 대부분의 불법 저작물 필터링 기술은 2D 영상의 불법 복제 여부를 판단하는 기술에 국한되고 있으며, 이를 실감형 360 동영상에 적용하기 위해서는 4K UHD 이상의 초고화질에 따른 특징 데이터량 증가와 이에 따른 처리 속도 문제와 같은 기술적 한계를 극복해야 하는 과제가 남는다. 본 논문에서는 이러한 문제를 해결하기 위하여 딥 러닝 기술을 이용한 실감형 360도 동영상 내 특징 데이터 인식률 개선 방법을 제안한다.

• 디지털융복합연구
• /
• 제18권6호
• /
• pp.93-98
• /
• 2020

본 논문에서는 360 VR에서 사용자 시점의 변화에 따라 자막이 팔로잉되는 기법을 제안하였다. Unity의 Scene에 Sphere 객체를 생성하고 Sphere 객체 표면에 360도 영상을 삽입한다. 이때, 시점을 내부로 변환하기 위해서 ReverseNormals 스크립트를 사용한다. 카메라 시점을 수정하기 위해 SightOrbitproved 스크립트를 사용한다. 이 스크립트를 이용해 시점에 따라 자막이 이동할 수 있는 환경을 설정한다. 다음으로 사용자가 원하는 3D Text(자막)를 Main Camera의 하위계층에 추가하고 360 VR 객체를 Build한다. 본 연구를 통해 구현된 3D Text 자막을 사용자 시점의 변화에 따라 비교하였다. 그 결과 시점의 변화가 진행되면서 일반 자막은 사용자의 시점에 따라 시선 밖으로 흘러가고 있으나, 3D Text 자막은 사용자의 시점에 따라 움직이면서 사용자가 항상 자막을 볼 수 있도록 구현되는 것을 확인할 수 있었다.

• 제어로봇시스템학회지
• /
• 제19권4호
• /
• pp.32-38
• /
• 2013

전방향 영상 시스템은 한 장의 영상에 360도 모든 방향의 영상정보를 담을 수 있는 영상획득 시스템을 의미한다. 기하광학소자를 이용하여 사람의 눈이나 기존의 카메라로는 한 번에 볼 수 없는 매우 넓은 범위의 영상데이터를 효율적으로 얻을 수 있다. 또한 전방향 영상획득의 원리와 시점이 다른 두 영상, 즉 스테레오 영상획득의 원리를 적용한 전방향 스테레오 영상 시스템은 두 영상간의 정합을 통해 3차원 거리를 측정할 수 있다는 특징이 있다. 본 고에서는 전방향 스테레오 영상획득에 관해 기존에 제안된 연구결과들의 광학적 원리와 장단점을 조사, 비교하였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2001년도 가을 학술발표논문집 Vol.28 No.2 (2)
• /
• pp.358-360
• /
• 2001

본 논문에서는 내용기반 영상검색중 객체기반검색 방법에 대해 다룬다. 먼저 색상과 질감정보가 동일한 영역을 VQ알고리즘을 이용해 군집화 함으로써 동일한 영역을 추출하는 새로운 영상분할기법을 제안하고, 분할 후에 분할에 사용된 색상과 질감정보, 객체간의 위치정보와 영역크기정보를 가지고 객체간 유사도를 판별하여 영상을 검색한다. 이 때 사용되는 색상의 범위의 몇 개의 주요한 색상으로 표시하기 위해 색상테이블을 사용하고 인간의 인지도에 의해 다시 그룹화 함으로써 계산량과 데이터저장의 효율성을 높인다. 영상검색시에는 질의 영상의 관심객체와 비교대상이 되는 데이터베이스 영상의 여러 객체와의 유사성을 판단하여 영상간의 유사도를 계산하는 일대다 매칭 방법(One Object to Multi Objects Matching)과 질의 영상의 여러 객체와 데이터베이스영상의 여러 객체간의 유사도를 판단하는 다대다 매칭 방법(Multi Objects to Multi Objects Matching)을 제안한다. 또한, 제안된 시스템은 고속검색을 실현하기 위해 주요한 색상값을 키(key)색인화 해서 일치가능성이 없는 영상들은 1차적으로 제거함으로써 검색시간을 줄일 수 있도록 했다.

• 대한원격탐사학회지
• /
• 제30권5호
• /
• pp.547-557
• /
• 2014

본 논문에서는 영상 등록을 위한 유사도 계산에 사용되는 원형 템플릿의 설계 방법을 제안한다. 원형 템플릿은 영상의 이동 및 회전 변환에 불변한 성질을 가지고 있어 기준 영상 및 관측 영상 사이에 이동 및 회전 변환이 존재하더라도 영상 등록 제어점을 정확하게 정합하는 장점이 있다. 기준 영상의 제어점을 중심으로 일정한 거리 이내에 다수의 원주를 구성하고 각 원주 위에 일정한 간격으로 위치하는 화소들로 이루어지는 원형 템플릿을 생성하고 이를 이차원 이산 극좌표 행렬(Discrete Polar Coordinate Matrix, DPCM)으로 구성한다. 관측 영상에서도 동일한 형태의 원형 템플릿을 생성하고 탐색 범위 내의 각 위치에서 관측 영상의 원형 템플릿을 0도에서 360도 범위 내에서 일정 각도 간격으로 회전시키면서 극좌표 행렬을 생성하고 기준 영상의 극좌표 행렬과의 유사도를 Mutual Information을 이용해서 계산한다. 탐색 범위 내의 각 위치와 회전 각도에 대한 Mutual Information이 최대가 되는 화소를 정합쌍으로 결정한다. 제안한 알고리즘은 서로 다른 두 시기에 촬영한 KOMPSAT-2 영상에 적용하여 영상의 회전 변화 조건하에서 우수한 정합 성능을 보임을 확인하였다.