• 제목/요약/키워드: Viewport

검색결과 45건 처리시간 0.018초

360VR 콘텐츠의 음원위치정보를 활용한 시점예측 전송기법 (Efficient Transmission Scheme with Viewport Prediction of 360VR Content using Sound Location Information)

  • 정은영;김동호
    • 방송공학회논문지
    • /
    • 제24권6호
    • /
    • pp.1002-1012
    • /
    • 2019
  • 360VR 콘텐츠는 시청자의 시점변화에 따른 즉각적인 반응이 필요하고 고화질의 영상이 제공되어야 한다. 따라서 한정된 대역폭에서 360VR 시청자의 만족도를 보장하는 효율적인 전송기술이 필요하다. 그 일환으로 사용자의 시점을 예측하고 시점에 해당하는 영역과 해당하지 않는 영역에 다른 비트율을 할당하여 전체 대역폭 소모를 감소시키는 연구들이 소개되고 있다. 본 논문에서는 시점 예측의 정확도 향상을 목표로 기존 시각인지 정보만 활용했던 방식에 추가적으로 청각인지 정보인 360VR 콘텐츠의 음원위치정보를 활용한 시점 예측을 제안한다. 또한, 향상된 시점예측 방식을 이용하여 비트율을 효율적으로 할당함으로써 개선된 성능을 제공하는 전송 방식을 제안한다. 성능 분석 결과 제안한 시점 예측방식은 기존 방식 대비 시점 예측의 정확도가 향상되었으며, 이를 바탕으로 제안한 전송 방식은 제한된 대역폭 내에서 사용자의 시점에 해당하는 타일에 고품질의 영상을 제공할 수 있음을 확인하였다.

360도 영상에서 다중 객체 추적 결과에 대한 뷰포트 추출 가속화 (Acceleration of Viewport Extraction for Multi-Object Tracking Results in 360-degree Video)

  • 박희수;백석호;이석원;이명진
    • 한국항행학회논문지
    • /
    • 제27권3호
    • /
    • pp.306-313
    • /
    • 2023
  • 실사 및 그래픽 기반 가상현실 콘텐츠는 360도 영상을 기반으로 하며, 시청자의 의도나 자동 추천 기능을 통한 뷰포트 추출이 필수적이다. 본 논문은 360도 영상에서 다중 객체 추적 기반의 뷰포트 추출 시스템을 설계하고, 다중 뷰포트 추출에 필요한 병렬화된 연산 구조를 제안한다. 360도 영상에서 뷰포트 추출 과정을 ERP 좌표의 3D 구 표면 좌표 변환과 3D 구 표면 좌표의 뷰포트 내 2D 좌표 변환 과정을 순서대로 픽셀 단위의 스레드로 구성하여 연산을 병렬화하였다. 제안 구조는 항공 360도 영상 시퀀스들에 대하여 최대 30개의 뷰포트 추출 과정에 대한 연산 시간이 평가되었으며, 뷰포트 수에 정비례하는 CPU 기반 연산 시간에 비해 최대 5240배 가속화됨을 확인하였다. ERP 프레임 I/O 시간을 줄일 수 있는 고속의 I/O나 메모리 버퍼를 사용 시 뷰포트 추출 시간을 7.82배 추가 가속화가 가능하다. 제안하는 뷰포트 추출 병렬화 구조는 360도 비디오나 가상현실 콘텐츠들에 대한 동시 다중 접속 서비스나 사용자별 영상 요약 서비스 등에 활용될 수 있다.

An Effective Viewport Resolution Scaling Technique to Reduce the Power Consumption in Mobile GPUs

  • Hwang, Imjae;Kwon, Hyuck-Joo;Chang, Ji-Hye;Lim, Yeongkyu;Kim, Cheong Ghil;Park, Woo-Chan
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제11권8호
    • /
    • pp.3918-3934
    • /
    • 2017
  • This paper presents a viewport resolution scaling technique to reduce power consumption in mobile graphic processing units (GPUs). This technique controls the rendering resolution of applications in proportion to the resolution factor. In the mobile environment, it is essential to find an effective resolution factor to achieve low power consumption because both the resolution and power consumption of a GPU are in mutual trade-off. This paper presents a resolution factor that can minimize image quality degradation and gain power reduction. For this purpose, software and hardware viewport resolution scaling techniques are applied in the Android environment. Then, the correlation between image quality and power consumption is analyzed according to the resolution factor by conducting a benchmark analysis in the real commercial environment. Experimental results show that the power consumption decreased by 36.96% on average by the hardware viewport resolution scaling technique.

사용자 시점 기반 360 영상을 위한 렌더러 구현 (Implementing Renderer for Viewport Dependent 360 Video)

  • 장동민;손장우;정종범;류은석
    • 방송공학회논문지
    • /
    • 제23권6호
    • /
    • pp.747-759
    • /
    • 2018
  • 본 논문에서는 실시간 고화질 360 영상 전송을 위해 사용자 시점에 기반한 타일 분할 기법을 적용하고 화질 평가를 위해 360 영상을 가상현실 기기 화면에 표현하는 구현을 설명한다. 사용자 시점에 기반한 고화질 360 영상 전송을 위한 방안으로, 움직임 참조 문제를 해결하기 위한 MCTS (Motion Constrained Tile Sets) 기술과 미리 구성된 타일 정보들을 포함하는 EIS (Extraction Information Sets) SEI (Supplemental Enhancement Information), 타일 정보를 추출해내고 영상을 분할 및 추출해주는 추출기(extractor)를 구현한다. 또한 사용자 시점에 기반한 타일 추출 방법과 추출된 영상을 이용해 가상현실 기기 화면에 표현하는 방법에 대한 구현 내용을 설명한다. 따라서, 제안된 구현물을 기반으로 영상 전송을 수행하면, 사용자 시점 영역의 영상만 전송하여 불필요한 영상 전송을 하지않게 되어 화질 대비 낮은 대역폭의 향상된 영상을 표현할 수 있다.

심해 유인 잠수정 구형 내압 선체의 구조 해석 (Structural Analysis for Spherical Pressure Hull of Deep Manned Submersible)

  • 이한민;박성환;이재경
    • 한국CDE학회논문집
    • /
    • 제20권4호
    • /
    • pp.412-419
    • /
    • 2015
  • This paper presents the results of the structural analysis and the optimization of a 6,500 m manned submersible. Nonlinear structural analysis for imperfect spheres with the maximum allowable out-of-roundness(OOR) was performed to calculate the thickness of the pressure hull. Dimensions of viewports were determined according to ASME PVHO standard. The design optimization of the spherical hull with openings was divided into two steps - the optimization of the detailed shape of the viewport reinforcements and the optimization of the viewport location in the spherical pressure hull.

Configuration of Supplemental Tile Sets based on Prediction of Viewport Direction for Tile-based VR Video Streaming

  • An, Eun-bin;Kim, A-young;Seo, Kwang-deok
    • 방송공학회논문지
    • /
    • 제25권7호
    • /
    • pp.1052-1062
    • /
    • 2020
  • As the market demand for immersive media increases, an efficient streaming method is required in consideration of network conditions while maintaining the user's immersive experience. Accordingly, transmitting a viewport with relatively high-quality, such as tile-based streaming, is mainly used. But there still remains a lot of technical challenges, such as quickly providing a new viewport in high-quality according to the gaze. To solve the aforementioned problem, in this paper, we propose a method of configuring and transmitting a supplemental tile set through the predicted direction, and a range of stable utilization of the transmitted supplemental tile set.

16K 초고화질 360도 영상에서의 사용자 시점 기반 타일 스트리밍 성능 검증 (Performance Analysis of Viewport-dependent Tiled Streaming on 16K Ultra High-quality 360-degree Video)

  • 정종범;이순빈;김인애;류은석
    • 인터넷정보학회논문지
    • /
    • 제22권3호
    • /
    • pp.1-8
    • /
    • 2021
  • 가상 현실 공간에서 head-mounted display(HMD)를 통한 실감형 미디어를 제공하기 위해서는 초고화질 및 초고해상도의 전방위 360도 영상 전송이 필요하고, 이는 높은 대역폭 및 연산량을 요구한다. 이를 극복하기 위해 360도 영상에 대한 타일 기반 분할 기법을 사용하여 사용자 시점 기반 선택적 스트리밍 기법이 사용될 수 있다. 본 논문은 16K 초고화질 360도 영상 및 종래에 널리 쓰이는 4K 360도 영상에서의 사용자 시점 기반 타일 스트리밍 기법의 성능 평가를 소개한다. 16K 초고화질 360도 영상에 타일 스트리밍 기법을 적용하였을 때, 영상 전체 부호화 및 전송 방법 대비 42.47%의 bjotegaard delta rate(BD-rate) 절감을 확인하였고, 4K 360도 영상 타일 스트리밍 시 26.41%의 BD-rate 절감이 이루어지는 것을 확인하였다. 따라서, 타일 스트리밍이 초고해상도 영상에 더 효율적임을 확인하였다.

360도 영상 공간에서 활성 뷰포트 기반 이벤트 검출 (Activated Viewport based Surveillance Event Detection in 360-degree Video)

  • 심유정;이명진
    • 방송공학회논문지
    • /
    • 제25권5호
    • /
    • pp.770-775
    • /
    • 2020
  • 360도 영상은 일반 화각 영상과 다른 프레임 구조를 갖기 때문에 기존 영상 보안 이벤트 검출 알고리즘들을 360도 영상에 바로 적용 시 왜곡에 의한 성능 저하가 발생할 수 있다. 본 논문에서는 360도 영상 공간에서 활성 뷰포트 기반 이벤트 검출 기법을 제안한다. 다중 객체 영역들을 포함하는 활성 뷰포트들을 생성하고, 뷰포트 내 객체 검출과 360도 영상 공간에서 객체 추적을 수행하며, 영역 기반의 보안 이벤트를 검출한다. 제안 방법은 360도 ERP 시퀀스들에 대해 성능이 평가되었고, 활성 뷰포트를 사용하지 않은 이벤트 검출 방법보다 30% 이상의 recall, 30% 이상의 false negative rate 성능 향상을 보였다.

파일럿 집광로봇 박스형 압력보상용기 구조설계식 (Structural Design Equation for a Box-shape Pressure Compensated Chamber of Pilot Mining Robot)

  • 이민욱;홍섭;임우철;이태희;최종수
    • 한국해양공학회지
    • /
    • 제26권6호
    • /
    • pp.66-73
    • /
    • 2012
  • A pressure compensated chamber of a pilot mining robot isolates and protects an electrical-electronic system from the ambient highly pressured water. Since the inner pressure of the chamber is compensated with outer water pressure using hydraulic oil and pressure compensator, there exists a pressure difference, less than 1 bar, between outer and inner surface. The structural safety of the chamber is obtained relatively easier than the canister type which inner pressure is kept as the atmospheric pressure. However, due to the adoption of box shape for space efficiency and usage of the transparent engineering plastic viewport for checking inner circumstance, the viewport can be largely deformed. This large deformation can cause an additional tensile force, called the prying force, to the bolt-flange connection parts of the viewport. In this paper, we suggest the structural design equation considering the prying action for designing the structure of a box-shape pressure compensated chamber.

In-situ Process Monitoring Data from 30-Paired Oxide-Nitride Dielectric Stack Deposition for 3D-NAND Memory Fabrication

  • Min Ho Kim;Hyun Ken Park;Sang Jeen Hong
    • 반도체디스플레이기술학회지
    • /
    • 제22권4호
    • /
    • pp.53-58
    • /
    • 2023
  • The storage capacity of 3D-NAND flash memory has been enhanced by the multi-layer dielectrics. The deposition process has become more challenging due to the tight process margin and the demand for accurate process control. To reduce product costs and ensure successful processes, process diagnosis techniques incorporating artificial intelligence (AI) have been adopted in semiconductor manufacturing. Recently there is a growing interest in process diagnosis, and numerous studies have been conducted in this field. For higher model accuracy, various process and sensor data are required, such as optical emission spectroscopy (OES), quadrupole mass spectrometer (QMS), and equipment control state. Among them, OES is usually used for plasma diagnostic. However, OES data can be distorted by viewport contamination, leading to misunderstandings in plasma diagnosis. This issue is particularly emphasized in multi-dielectric deposition processes, such as oxide and nitride (ON) stack. Thus, it is crucial to understand the potential misunderstandings related to OES data distortion due to viewport contamination. This paper explores the potential for misunderstanding OES data due to data distortion in the ON stack process. It suggests the possibility of excessively evaluating process drift through comparisons with a QMS. This understanding can be utilized to develop diagnostic models and identify the effects of viewport contamination in ON stack processes.

  • PDF