• 한국정보과학회논문지:시스템및이론
• /
• 제33권1_2호
• /
• pp.137-146
• /
• 2006

일반적인 동영상 스트리밍 시스템은 좁은 시각영역을 갖는 동영상을 원격의 사용자에게 제공한다. 서버 측에 팬/틸트(pan/tilt) 카메라를 부착한 시스템은 클라이언트가 카메라의 방향을 조작할 수 있도록 함으로써 보다 넓은 시각영역을 제공할 수 있다. 하지만, 하드웨어 팬/틸트 카메라를 이용한 스트리밍 시스템은 다수의 사용자가 동시에 접속할 경우, 모든 사용자에게 각자가 원하는 시점에서의 영상을 제공할 수 없으며, 카메라 이동에 의한 지연이 발생한다는 단점이 있다. 본 논문에서는 소프트웨어 팬/틸트 카메라를 구현하였으며, 이를 이용한 새로운 파노라마 동영상 스트리밍 시스템을 제안한다. 제안된 시스템은 넓은 시각영역을 가지는 파노라마 영상을 획득한 후, 각 사용자에게 원하는 부분영상을 제공함으로써 다수의 사용자에게 자유로운 시점 이동을 제공해 준다. 이때, 방대한 양의 파노라마 동영상을 원격의 사용자에게 전송하기 위해서는 효율적인 압축 방법이 요구된다. 본 논문에서는 전체 영상을 좁은 스트립 영상들로 분할하고, 클라이언트 측에서 원하는 시각영역에 해당하는 스트립 영상들만을 독립적으로 압축하는 적응성 스트립 압축 기법을 제안한다. 제안된 시스템은 적응성 스트립 압축 기법을 사용하여 파노라마 동영상을 압축, 전송함으로써 사용자의 시각영역 변화 및 새로운 사용자의 접속에 빠르게 대응할 수 있으며 클라이언트 전송 시 데이터 양을 효과적으로 감소시킬 수 있다.

• 방송공학회논문지
• /
• 제25권5호
• /
• pp.685-697
• /
• 2020

파노라마(Panorama) 및 360도 영상과 같은 몰입형(Immersive) 미디어 영상은 영상 내 공간을 사용자가 직접 방문한 것 같은 현장감을 제공해야하므로 실제 세계의 모습을 사실 그대로 나타낼 수 있어야 한다. 그러나 파노라마 및 360도 영상에서는 촬영 카메라들간의 시차(Parallax)로 인해 사물이 사라지거나 중복해서 나타나는 현상이 나타나며, 이와 같은 시차 왜곡은 사용자의 콘텐츠 몰입을 방해할 수 있다. 이에 따라서, 시차 왜곡을 극복하기 위한 많은 동영상 스티칭 알고리즘이 제안되고 있지만, Object detection 모듈의 낮은 성능과 Seam 생성 방식 등의 제한으로 여전히 시차 왜곡이 발생하고 있다. 이에 본 논문에서는 기존 동영상 스티칭 기술의 제한 사항을 분석하고, 해당 동영상 스티칭 기술의 제한을 극복하기 위하여 LDPM(Local Differential Pixel Mean) 영상 평가를 활용한 동영상 스티칭의 시차 왜곡 검출 및 정정 방법을 제안한다.

• 대한전자공학회논문지SP
• /
• 제42권5호
• /
• pp.63-72
• /
• 2005

본 논문에서 삼각대 위에 고정시킨 카메라를 회전시켜 취득한 비디오 시퀀스로부터 파노라마 영상을 구성하는 새로운 방법을 제안한다. 제안한 방법은 비디오 시퀀스 중에서 실제로 사용할 프레임을 자동으로 선택하는 단계와 파노라마 영상을 구성하는 모자이킹 단계로 나누어진다. 파노라마 영상을 구성하는데 필요한 프레임은 연속된 프레임 간의 중첩 비율 정보를 이용한 보간 검색을 통해 선택된다 이 방법은 카메라의 속도에 상관없이 적절한 프레임을 고속으로 검색할 수 있다. 모자이킹 단계에서는 4쌍의 특징점을 사용하는 사영 변환식(projective transform)을 이용한다. 기존의 연구에서는 특징점을 화소 기반의 정보만을 이용하여 추출하였지만, 본 논문에서 제안한 방법은 특징점의 위치까지 고려하여 사영 변환식의 정확도를 높였다. 제안한 방법은 다양한 영상 시퀀스에 적용하여 실험하였고, 그 결과 모든 영상에 대해서 좋은 화질의 파노라마 영상을 생성하였다.

• Journal of information and communication convergence engineering
• /
• 제9권6호
• /
• pp.780-784
• /
• 2011

As the popularization and development of 3D display makes common users easy to experience a solid 3D virtual reality, the demand for virtual reality contents are increasing. In this paper, we propose 3D panorama system using vanishing point locationbased depth map generation method. 3D panorama using depthmap stitching gives an effect that makes users feel staying at real place and looking around nearby circumstances. Also, 3D panorama gives free sight point for both nearby object and remote one and provides solid 3D video.

• 정보과학회 논문지
• /
• 제42권8호
• /
• pp.990-997
• /
• 2015

파노라마 영상 생성관련 분야는 다양하게 연구되어 왔다. 기존의 방식들은 특수목적 하드웨어를 이용하거나, 후처리 소프트웨어를 이용하여 파노라마 영상을 생성한다. 하지만 이 방식들은 비용적인 문제와 조작의 번거로움의 문제가 있다. 또한 영상 내 특징 점의 존재 유무에 따라 정합이 가능한 범위도 제한된다. 본 논문에서는 저비용의 조작이 용이한 실시간 파노라마 동영상 생성 방법을 제안한다. 제안한 시스템에서는 저비용의 범용 하드웨어를 이용하여 영상을 촬영하고, 동영상 압축 스트리밍 방법을 통해 서버로 영상을 전송한 뒤 파노라마 영상을 정합한다. 구현된 시스템의 성능 분석을 통해 파노라마 영상의 생성 시간을 측정하였고 동영상이 생성됨을 확인하였다.

• 한국콘텐츠학회논문지
• /
• 제17권3호
• /
• pp.42-52
• /
• 2017

파노라마 영상은 여러 시점에서 촬영한 영상들을 대응점들의 정합을 통해 합성하여 얻은 단일 영상을 말한다. 기존의 파노라마 영상 생성 방법들은 대응점들을 구할 때 각 영상에서 지역적 불변 특징점을 추출하여 서술자를 생성하고 매칭 알고리즘을 사용한다. 동영상의 경우, 프레임 수가 많아 기존의 방법으로 파노라마 영상을 생성하는 것이 상당한 시간을 소비하고 불필요한 계산을 한다. 본 논문에서는 동영상을 입력 받아 구면 파노라마 영상을 효과적으로 생성하는 기법을 제안한다. 동영상의 프레임 간의 변화가 지역적으로 크지 않으며 연속적이라는 전제 조건으로 반복성 및 계산속도가 높은 FAST 알고리즘을 사용하여 특징점들을 추출하고, Lucas-Kanade 알고리즘을 통해 각 특징점들을 추적하여 그 주변에서 대응점을 찾는다. 모든 영상에 대해서 호모그래피를 계산하면 가운데 영상을 중심으로 호모그래피를 변경하고 영상을 와핑하여 평면 파노라마 영상을 얻는다. 마지막으로 구면 좌표계 역변환식을 통해 구면 파노라마 영상을 변환하여 얻는다. 실험을 통하여 제안하는 방법이 기존의 방법들보다 파노라마 영상을 빠르고 효과적으로 생성하는 것을 확인하였다.

• 방송공학회논문지
• /
• 제24권1호
• /
• pp.3-24
• /
• 2019

360 VR 기반 파노라마 영상을 제작하는 과정에서 인접한 장면을 촬영한 영상들일 지라도 촬영 각도 및 조명의 위치에 따라 영상들 간에 밝기 변화가 크고 색상값에서도 큰 차이가 발생한다. 이런 영상들을 스티칭하여 360 VR 영상을 만들면, 제작된 파노라마 영상의 품질이 저하되기 때문에 밝기 보상 기법을 전처리 과정으로 사용해야 한다. 기존의 밝기 보상 기법들은 밝기 차이가 적은 경우 또는 적은 장수의 영상들을 스티칭하는 경우에 적용되도록 설계되었기 때문에, 360 VR 서비스용 스티칭 기법에서처럼 스티칭되는 영상의 개수가 많고, 영상들 간의 밝기 차이가 클 경우에는 성능 저하가 발생하는 것으로 알려졌다. 본 논문에서는 기존의 밝기 보상 기법이 급격한 밝기 차이가 발생하는 360 VR 서비스에서도 효과적으로 이용될 수 있도록 추가의 '색상 보정' 및 '밝기 보정' 단계를 전처리 과정으로 사용함으로써, 복잡도 증가는 최소화하면서 360 VR 영상 합성의 성능을 향상시키는 것을 목표로 한다. 본 논문에서는 다양한 환경에서 촬영된 실험 영상들을 이용해서, 제안하는 기술이 기존 기술들의 성능을 향상시킬 수 있음을 보이고 있다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2016년도 추계학술대회
• /
• pp.39-42
• /
• 2016

Since a display device such as TV or signage is getting larger, the types of media is getting changed into wider view one such as UHD, panoramic and jigsaw-like media. Especially, panoramic and jigsaw-like media is realized by stitching video clips, which are captured by different camera or devices. In order to stich those video clips, it is required to find out 2D Adjacency Matrix, which tells spatial relationships among those video clips. Discrete Cosine Transform (DCT), which is used as a compression transform method, can convert the each frame of video source from the spatial domain (2D) into frequency domain. Based on the aforementioned compressed features, 2D adjacency Matrix of images could be found that we can efficiently make the spatial map of the images by using DCT. This paper proposes a new method of generating 2D adjacency matrix by using DCT for producing a panoramic and jigsaw-like media through various individual video clips.

• ETRI Journal
• /
• 제36권2호
• /
• pp.253-263
• /
• 2014

In the near future, traditional narrow and fixed viewpoint video services will be replaced by high-quality panorama video services. This paper proposes a visual-attention-aware progressive region of interest (RoI) trick mode streaming service (VA-PRTS) that prioritizes video data to transmit according to the visual attention and transmits prioritized video data progressively. VA-PRTS enables the receiver to speed up the time to display without degrading the perceptual quality. For the proposed VA-PRTS, this paper defines a cutoff visual attention metric algorithm to determine the quality of the encoded video slice based on the capability of visual attention and the progressive streaming method based on the priority of RoI video data. Compared to conventional methods, VA-PRTS increases the bitrate saving by over 57% and decreases the interactive delay by over 66%, while maintaining a level of perceptual video quality. The experiment results show that the proposed VA-PRTS improves the quality of the viewer experience for interactive panoramic video streaming services. The development results show that the VA-PRTS has highly practical real-field feasibility.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2003년도 가을 학술발표논문집 Vol.30 No.2 (2)
• /
• pp.517-519
• /
• 2003

데이터 전송기술의 발달과 인터넷 멀티미디어 기술의 발달로 스트리밍(streaming) 기법은 인터넷 방송, 영화. 광고 및 교육 분야에 널리 이용되고 있다. 그러나 기존의 스트리밍 기법은 서버(server)에서 클라이언트(client)로 데이터를 전송시 공중파방송처럼 단방향성을 가진다. 즉 서버는 클라이언트의 요구사항을 수용할 수 없도록 설계되어 있으며, 영상의 시각영역에 제한성을 가진다. 본 논문에서는, 기존의 스트리밍 기법과 달리 넓은 시각 영역을 가진 파노라마 비디오 (panorama video)에서의 스트리밍 시스템을 제안한다. 제안하는 시스템은 클라이언트와 서버간의 상호작용(interaction)을 위해, 파노라마 영상을 독립된 작은 스트립(strip)으로 세분화 시킨 후 클라이언트의 요구(시점 변화, 임의의 프레임의 접근)에 따라 능동적으로 압축 전송함으로써 클라이언트와 서버간의 상호작용이 가능한 양방향 스트리밍 시스템이다.