• 한국멀티미디어학회논문지
• /
• 제24권4호
• /
• pp.538-549
• /
• 2021

In this paper, we introduce a technique for 360-degree panoramic video streaming with multiple virtual cameras in real-time. The proposed technique consists of generating 360-degree panoramic video data by ORB feature point detection, texture transformation, panoramic video data compression, and RTSP-based video streaming transmission. Especially, the generating process of 360-degree panoramic video data and texture transformation are accelerated by CUDA for complex processing such as camera calibration, stitching, blending, encoding. Our experiment evaluated the frames per second (fps) of the transmitted 360-degree panoramic video. Experimental results verified that our technique takes at least 30fps at 4K output resolution, which indicates that it can both generates and transmits 360-degree panoramic video data in real time.

• ETRI Journal
• /
• 제36권2호
• /
• pp.253-263
• /
• 2014

In the near future, traditional narrow and fixed viewpoint video services will be replaced by high-quality panorama video services. This paper proposes a visual-attention-aware progressive region of interest (RoI) trick mode streaming service (VA-PRTS) that prioritizes video data to transmit according to the visual attention and transmits prioritized video data progressively. VA-PRTS enables the receiver to speed up the time to display without degrading the perceptual quality. For the proposed VA-PRTS, this paper defines a cutoff visual attention metric algorithm to determine the quality of the encoded video slice based on the capability of visual attention and the progressive streaming method based on the priority of RoI video data. Compared to conventional methods, VA-PRTS increases the bitrate saving by over 57% and decreases the interactive delay by over 66%, while maintaining a level of perceptual video quality. The experiment results show that the proposed VA-PRTS improves the quality of the viewer experience for interactive panoramic video streaming services. The development results show that the VA-PRTS has highly practical real-field feasibility.

• 인터넷정보학회논문지
• /
• 제11권2호
• /
• pp.143-153
• /
• 2010

인터넷, 이동통신 및 방송분야에 걸쳐 고화질 파노라마 비디오를 제공할 경우 고압축률과 임의 접근 기능 모두를 만족하는 적절한 비디오 코덱이 요구된다. 사용자 측면에서 고압축률은 대용량 파노라마 데이터의 비디오 스트리밍을 하기 위해 반드시 필요하다. 임의 접근 기능은 시점과 방향을 사용자가 자유롭게 이동할 수 있게 해 준다. 본 논문에서는 압축 효율이 높은 H.264/AVC를 기반으로 셀 단위 병렬 처리 기법을 통해 10Mbps 대역폭에서 대화면 파노라마 영상의 스트리밍 서비스를 위한 성능 개선 방안을 제안한다. 제안된 방안은 전체 화면을 $256{\times}256$ 이하 크기의 셀로 나누어 인코딩하고 현재 뷰(view)에 포함된 셀들만 디코딩한다. 이때 인코딩/디코딩은 셀 단위로 병렬 처리한다. 또한 현재 뷰에 포함된 셀들만 전송함으로써 블록 추출 없이 임의 접근 기능이 가능함을 실험을 통해 보여준다.

• 한국항행학회논문지
• /
• 제17권6호
• /
• pp.757-764
• /
• 2013

사람의 시야각 이상으로 넓게 영상을 채워줌으로써 현장감을 제공하는 파노라마 영상은 넓은 해상도로 인하여 제한된 재생환경과 대역폭의 한계로 파노라마 영상의 넓은 시점을 한 번에 보기 어렵기 때문에 사용자가 시점을 선택하여 시청하는 방법이 필요로 한다. 그러나 시청시점을 선택하기 위해 빈번하게 사용하는 시점탐색 시에 재생하지 않는 시점의 영상데이터까지 전송함에 따라 발생하는 자원낭비를 최소화하기 위하여 본 논문에서는 시점탐색 시 필요한 영상데이터만 전송할 수 있도록 시점탐색 방향과 속도에 기반한 시공간예측 필터방법을 제안한다. 본 제안방법으로 높은 대역폭 사용이 불가피한 인터랙티브 파노라마 영상 스트리밍 서비스에 있어 기존 대비 6%에서 37% 정도의 대역폭 사용을 줄일 수 있다.

• 정보과학회 논문지
• /
• 제42권8호
• /
• pp.990-997
• /
• 2015

파노라마 영상 생성관련 분야는 다양하게 연구되어 왔다. 기존의 방식들은 특수목적 하드웨어를 이용하거나, 후처리 소프트웨어를 이용하여 파노라마 영상을 생성한다. 하지만 이 방식들은 비용적인 문제와 조작의 번거로움의 문제가 있다. 또한 영상 내 특징 점의 존재 유무에 따라 정합이 가능한 범위도 제한된다. 본 논문에서는 저비용의 조작이 용이한 실시간 파노라마 동영상 생성 방법을 제안한다. 제안한 시스템에서는 저비용의 범용 하드웨어를 이용하여 영상을 촬영하고, 동영상 압축 스트리밍 방법을 통해 서버로 영상을 전송한 뒤 파노라마 영상을 정합한다. 구현된 시스템의 성능 분석을 통해 파노라마 영상의 생성 시간을 측정하였고 동영상이 생성됨을 확인하였다.

• 한국정보과학회논문지:시스템및이론
• /
• 제33권1_2호
• /
• pp.137-146
• /
• 2006

일반적인 동영상 스트리밍 시스템은 좁은 시각영역을 갖는 동영상을 원격의 사용자에게 제공한다. 서버 측에 팬/틸트(pan/tilt) 카메라를 부착한 시스템은 클라이언트가 카메라의 방향을 조작할 수 있도록 함으로써 보다 넓은 시각영역을 제공할 수 있다. 하지만, 하드웨어 팬/틸트 카메라를 이용한 스트리밍 시스템은 다수의 사용자가 동시에 접속할 경우, 모든 사용자에게 각자가 원하는 시점에서의 영상을 제공할 수 없으며, 카메라 이동에 의한 지연이 발생한다는 단점이 있다. 본 논문에서는 소프트웨어 팬/틸트 카메라를 구현하였으며, 이를 이용한 새로운 파노라마 동영상 스트리밍 시스템을 제안한다. 제안된 시스템은 넓은 시각영역을 가지는 파노라마 영상을 획득한 후, 각 사용자에게 원하는 부분영상을 제공함으로써 다수의 사용자에게 자유로운 시점 이동을 제공해 준다. 이때, 방대한 양의 파노라마 동영상을 원격의 사용자에게 전송하기 위해서는 효율적인 압축 방법이 요구된다. 본 논문에서는 전체 영상을 좁은 스트립 영상들로 분할하고, 클라이언트 측에서 원하는 시각영역에 해당하는 스트립 영상들만을 독립적으로 압축하는 적응성 스트립 압축 기법을 제안한다. 제안된 시스템은 적응성 스트립 압축 기법을 사용하여 파노라마 동영상을 압축, 전송함으로써 사용자의 시각영역 변화 및 새로운 사용자의 접속에 빠르게 대응할 수 있으며 클라이언트 전송 시 데이터 양을 효과적으로 감소시킬 수 있다.