• ETRI Journal
• /
• 제44권1호
• /
• pp.7-9
• /
• 2022

• 한국정보전자통신기술학회논문지
• /
• 제11권4호
• /
• pp.414-420
• /
• 2018

최근 디지털 컨버전스는 현실세계를 기반으로 만들어진 미디어 콘텐츠에 가상 콘텐츠를 투영시켜 사용자에게 새로운 경험을 제공 할 수 있도록 발전하고 있다. 이에 본 논문에서는 HMD AR 기술을 이용한 Light ID 및 HMD-AR 기반 인터렉티브 전시를 제안하였다. 이 접근법은 현재 사용되고 있는 전시물에 추가적인 인프라를 설치할 필요 없이 기존 사용되고 있는 조명 또는 디스플레이를 사용 할 수 있다. 또한 Light ID는 웹 콘텐츠로의 접근을 위해서만 사용되는 QR 태그와 달리 위치 인식을 위한 식별자 및 통신 매체로도 사용될 수 있는데, 이는 카메라를 기반으로 한 광 무선 통신 (OWC)의 장점을 활용하여 스마트 장치에서 미디어 콘텐츠에 대한 ID를 수신하고 AR형태로 실감 3D 콘텐츠를 시각화하여 제공한다. 본 논문에서는 안드로이드 스마트폰을 사용하여 제안한 설계 기법에 대해 전주 한옥 마을을 타겟으로 Light ID 기반 광무선통신 기술을 활용한 실감 3D View 제공 기술을 구현하고 테스트를 수행하였으며, 실험 결과 제안한 기법을 통해 전시물에 관한 실시간 몰입형 3D 뷰를 제공 할 수 있음을 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 1999년도 KOBA 방송기술 워크샵
• /
• pp.87-93
• /
• 1999

In this paper, we introduce a novel virtual studio environment where a broadcaster in the virtual set interacts with tele-viewers as if they are sharing the same environment as participants. A tele-viewer participates physically in the virtual studio environment by a dummy-head equipped with video "eyes" and microphone "ears" physically located in the studio. The dummy head as a surrogate of the tole-viewer follows the tele-viewer's head movements and views and hears through the dummy head like a tele-operated robot. By introducing the tele-presence technology in the virtual studio setting, the broadcaster can not only interact with the virtual set elements like the regular virtual studio environment but also share the physical studio with the surrogates of the tele-viewers as participants. The tele-viewer may see the real broadcaster in the virtual set environment and other participants as avatars in place of their respective dummy heads. With an immersive display like HMD, the tele-viewer may look around the studio and interact with other avatars. The new interactive virtual studio with the immersive viewer environment may be applied to immersive tele-conferencing, tele-teaching, and interactive TV program productions.program productions.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 추계학술대회
• /
• pp.189-192
• /
• 2021

three degree of freedom (3DoF), three degree of freedom plus (3DoF+), six degree of freedom(6DoF) 등 몰입형 비디오의 높은 몰입감을 제공하기 위해 다중 비디오 영상을 효율적으로 처리하는 기법이 활발히 연구되고 있다. 이를 위해 원본의 몰입형 비디오가 입력되면 기본 시점 영상과 추가 시점 영상에서의 중복을 제거하고 기본 시점(basic view)에서는 보이지 않지만 추가 시점(additional view)에서는 보이는 영역을 추출하는 프루닝 과정이 이뤄지는 부호기에서의 부호화 모드 결정은 매우 중요하다. 본 논문은 test model for immersive video (TMIV)의 모드 중 하나인 MPEG immersive video (MIV) view mode 를 통해 만들어진 프루닝 (pruning) 그래프에서 선택된 시점들을 활용하여 뷰 간 중복성을 제거할 수 있는 효율적인 부호화 구조로 클러스터를 기반으로 병렬적으로 부호화하는 클러스터 기반 정렬 기법을 제안한다. 선택된 시점들을 인덱스 순서에 따라 부호화하는 기존 방법에 비해 제안하는 방법은 peak signal-to-noise ratio (Y-PSNR)에서 평균 3.9%의 BD-rate 절감을 보여주었다. 본 연구는 또한 더 객관적인 품질 측정을 위해 immersive video peak signal-to-noise ratio (IV-PSNR)에 의한 비교 결과도 함께 제공하며, 참조 순서에 맞게 정렬한 프루닝 기반 정렬 기법과의 비교도 함께 제공한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 추계학술대회
• /
• pp.33-36
• /
• 2021

본 논문에서는 강화학습을 이용하여 몰입형 영상의 압축 효율을 향상시키는 기법을 제안한다. 몰입형 영상이란 3DOF+ 영상 혹은 Point Cloud 영상과 같이 사용자가 직접 체험할 수 있는 영상을 의미한다. 또한 몰입형 영상은 그 특성에 의해 방대한 양의 정보를 가지고 있다. 따라서 이를 압축하기 위한 압축 방법들이 연구되고 있으며, 일반적으로 3D 공간의 영상을 2D 공간으로 사영하는 방식을 사용한다. 하지만 이 과정에서 정보가 존재하지 않는 영역이 생성되며 이는 압축 효율 저하의 원인이 된다. 이러한 문제를 해결하기 위하여 영상의 특성을 반영할 수 있도록 강화학습을 통한 채우기 기법을 제안한다. 실험 결과 제안한 기법이 기존 기법에 비해 좋은 성능을 보임을 확인할 수 있다.

• 방송공학회논문지
• /
• 제26권5호
• /
• pp.643-651
• /
• 2021

현대인들의 정보습득은 대부분 시각을 통해 이루어진다. 컴퓨터, 스마트폰 등의 스크린은 사람들의 시각을 끊임없이 자극하여 피로감을 증가시킨다. 이러한 사회 현상 속에서 21세기의 최첨단 사운드 시스템의 실감 나고 풍부한 소리는 사람들의 몸과 마음에 다양한 방법으로 영향을 미칠 수 있다. 소리를 통해 인간은 마음을 안정시키고 자신을 관찰할 여지를 제공받게 되는 것이다. 본 논문에서는 ALgruppe와 Rory's PranaLab이 공동으로 실시한 실감음향을 기반으로 한 입체음향요가 수련을 소개하고 실감오디오 시스템에 관한 이해를 도모하고자 하는 목적을 가진다. 실감음향으로 체험하는 입체음향 요가는 단순히 소리의 효과를 누리는 것이 아니라 요가 수련자들이 내면을 들여다보는 자의식을 갖게 하는 강력한 에너지가 됨을 알 수 있었다. 이는 현대사회의 지식의 지평이 요구하는 다학문적 교류에 대한 응답임과 동시에 새로운 문화콘텐츠의 가능성을 알리는 것이다.

• 방송공학회논문지
• /
• 제28권2호
• /
• pp.194-212
• /
• 2023

다수의 색상 및 거리 순서쌍으로 구성된 몰입형 영상 압축을 위한 MPEG immersive video (MIV) 표준은 시점 간 중복 영역 제거 후 잔여 영상을 병합하여 높은 압축률을 확보하였다. 비슷한 영역을 표현하는 시점 간 그룹화를 통해 품질 향상 및 선택적 스트리밍 구현이 가능하나, 최근 그룹 기반 MIV 부호화 기술은 활발히 논의되고 있지 않다. 본 논문은 최신 MIV 참조 소프트웨어에서 그룹 기반 부호화 기술을 이식하고, 최적의 그룹 별 시점 및 영상 개수 산출을 위한 실험을 진행하였으며, 출력 영상 내 잔여 영상의 비율을 기반으로 전역적 영상 표현을 위한 최적의 출력 영상 수를 결정하는 기법을 제안한다.

• 방송공학회논문지
• /
• 제27권2호
• /
• pp.216-227
• /
• 2022

MPEG-I (Immersive) 그룹에서는 6자유도(DoF: degrees of freedom)를 제공하는 몰입형 비디오의 표준화 프로젝트를 진행 중에 있다. MPEG Immersive Video (MIV) 표준화 기술에서는 사용자에게 움직임 시차(parallax)를 제공하기 위해 취득한 다수의 영상을 깊이 맵 기반 이미지 렌더링(depth map-based image rendering, DIBR)을 바탕으로 임의의 사용자 시점의 뷰를 렌더링하게 된다. 현재 MIV에서는 효율적인 부호화를 위한 기술들이 많이 논의된 바 있지만, 전송 측면에 대해서는 여전히 논의가 필요하다. 본 논문은 사용자 시점에 적응적인 몰입형 비디오 스트리밍을 위한 품질 할당 기법을 제안한다. 현재 MIV에서 지원하고 있는 그룹 분할 기법을 통하여 독립적으로 전송, 복원이 가능한 시점 그룹 단위를 생성하여 이를 사용자 시점에 기반한 품질 할당 기법을 통해 효율적인 전송이 가능하도록 한다. 제안하는 적응적 전송 기법은 Test Model for Immersive Video (TMIV) 시험모델을 통해 구현되었으며, 주어진 합성 시점 위치에 따라 렌더링 과정에서의 기여도를 그룹별로 계산하고 우선 시점 그룹을 판단하여 고품질로 전송한다. 사용자 시점에 대한 렌더링 비교 결과를 통해 제안하는 기법이 기존 TMIV 대비 PSNR 지표에서 평균 17.0%, IV-PSNR 지표에서 14.6%의 BD-rate 감소율을 보여 효율적인 전송이 가능함을 보였다.

• 한국컴퓨터정보학회논문지
• /
• 제28권3호
• /
• pp.67-73
• /
• 2023

COVID-19의 영향으로 약 2년 1개월에 걸친 사회적 거리두기의 조치로 ICT 요소기술을 활용한 비대면 서비스들이 교육 분야뿐만 아니라 전분야로 확대되고 있다. 특히 메타버스(Metaverse) 플랫폼을 활용한 교육 프로그램들이 여러 분야로 확산되면서 교육자와 학습자가 에듀테크(Edutech)를 활용한 학습 경험이 많아지고 있지만 교육에 대한 몰입도나 집중력 저하 등 비대면 학습을 통한 문제점을 제기하고 있다. 본 논문에서는 비대면 학습을 통해 제기되고 있는 문제점을 극복하고 메타버스 기반 실감미디어 디지털 콘텐츠를 개발하여 교육 환경을 개선하고자 몰입형 메타버스 기반으로 VR(Virtual Reality)을 활용하여 군에서 필요로 하는 교육/훈련 콘텐츠와 교육환경을 구축하였다. 본 논문에서는 실제로 군 교육/ 훈련에 투입되는 학습자에게 HMD(Head Mounted Display)를 활용하여 가상환경에서 몰입도와 집중도를 높일 수 있도록 교육콘텐츠에 대한 시스템을 제시했으며, 교육훈련에 필요한 장비들을 실사화하여 몰입도를 더욱 향상시켰다.

• 방송공학회논문지
• /
• 제27권5호
• /
• pp.654-664
• /
• 2022

실감 콘텐츠는 COVID-19 팬데믹으로 인한 관심과 더불어 확장현실, 인공지능, 포토그래메트리 기술과 융합을 통해 공간적 한계를 극복하며 엔터테인먼트, 미디어, 공연, 전시 등 콘텐츠 시장에서 새로운 패러다임을 제시하며 수요 역시 증가하고 있다. 하지만 실감 콘텐츠가 대중들에게 지속된 관심을 가지기 위해서는 기술적 신선함보다 콘텐츠에 대한 몰입도를 높일 수 있는 스토리텔링 방법 연구가 필요하다는 것을 알 수 있다. 따라서 본 연구에서는 인공지능 및 포토그래메트리 기술을 활용한 실감 콘텐츠 스토리텔링 방법을 제안한다. 제안된 스토리텔링 방법은 대화형 가상존재와 참여자가 대화를 통한 상호작용으로 콘텐츠 스토리를 생성하는 것이다. 이에 관객 주도적 참여를 통해 콘텐츠 몰입도를 높일 수 있다. 본 연구는 가속화되는 실감 콘텐츠 시장에서 콘텐츠 제작자들에게 제안된 인공지능 기술이 활용된 가상존재를 통한 스토리텔링 방법론으로 효율적인 콘텐츠 제작에 도움을 줄 수 있을 것으로 기대한다. 또한 콘텐츠 제작에 있어 인공지능 및 포토그래메트리 기술을 활용한 실감 콘텐츠 제작 파이프라인 정립에 기여할 것이라고 생각한다.