• 한국통신학회논문지
• /
• 제33권12C호
• /
• pp.1029-1038
• /
• 2008

본 논문에서는 다시점 동영상에서 임의시점영상을 생성하기 위한 기법과 생성된 영상 내에 존재하는 미처리 영역을 보상하기 위한 전처리 및 후처리 기법을 제안한다. 임의시점영상을 생성하기 위한 방법으로는 카메라의 기하학적 특성을 이용하는 방법을 사용한다. 다시점 영상의 깊이정보와 카메라의 파라미터 정보를 이용하여 텍스쳐 영상 내 화소들의 실제 3차원 좌표를 얻어낼 수 있고, 산출된 3차원 좌표를 다른 시점 카메라의 2차원 영상면으로 재 배치함으로써 원하는 시점의 영상을 생성할 수 있다. 하지만 생성된 영상 내에는 다수의 미처리 영역이 존재한다. 본 논문에서는 영상의 시간적인 중복성, 공간적인 방향성, 획득된 다시점 영상 또는 깊이정보의 오차의 특징을 고려하여 미처리 영역을 보상하는 방법을 제안한다. 제안한 방법을 적용한 결과 30dB 이상의 PSNR과 3.5이상의 DSCQS(double stimulus continuous quality scale method) 점수를 얻음으로써 객관적, 주관적 평가에서 모두 신뢰도가 높은 임의시점 영상을 생성할 수 있었다.

• Journal of Information Display
• /
• 제5권4호
• /
• pp.38-44
• /
• 2004

In this paper, a server and client simulator for the web-based multi-view 3D image communication system is implemented by using the IEEE 1394 digital cameras, Intel Xeon server computer and Microsoft's DirectShow programming library. In the proposed system, two-view image is initially captured by using the IEEE 1394 stereo camera and then, this data is compressed through extraction of its disparity information in the Intel Xeon server computer and transmitted to the client system, in which multi-view images are generated through the intermediate views reconstruction method and finally display on the 3D display monitor. Through some experiments it is found that the proposed system can display 8-view image having a grey level of 8 bits with a frame rate of 15 fps.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제12권5호
• /
• pp.2366-2395
• /
• 2018

Multi-view super-resolution (MVSR) refers to the process of reconstructing a high-resolution (HR) image from a set of low-resolution (LR) images captured from different viewpoints typically by different cameras. These multi-view images are usually obtained by a camera array. In our previous work [1], we super-resolved multi-view LR images via image fusion (IF) and blind deblurring (BD). In this paper, we present a new MVSR method that jointly realizes IF and BD based on an integrated energy function optimization. First, we reformulate the MVSR problem into a multi-channel blind deblurring (MCBD) problem which is easier to be solved than the former. Then the depth map of the desired HR image is calculated. Finally, we solve the MCBD problem, in which the optimization problems with respect to the desired HR image and with respect to the unknown blur are efficiently addressed by the alternating direction method of multipliers (ADMM). Experiments on the Multi-view Image Database of the University of Tsukuba and images captured by our own camera array system demonstrate the effectiveness of the proposed method.

• 방송공학회논문지
• /
• 제18권3호
• /
• pp.463-473
• /
• 2013

본 논문에서는 다시점 영상을 이용한 초고해상도 영상 복원 기법을 제안한다. 구체적으로 $5{\times}5$ 배열로 구성된 다시점 카메라로 25장의 영상을 취득하고, 가운데 카메라에 해당하는 초고해상도 영상을 저해상도 입력 영상과 24장의 저해상도 참조 영상을 활용하여 생성한다. 우선 입력 영상을 중심으로 스테레오 정합 기법을 이용하여 24개의 참조 영상에 대한 변이지도를 각각 추정한다. 그리고 저해상도 영상과 참조 영상에 있는 일치점들을 이용하여 초고해상도 영상을 복원한다. 최종적으로 반복적 균일화를 통해 초고해상도 영상을 보정한다. 실험을 통하여 본 논문에서 제안한 초고해상도 영상 복원 기법의 성능이 우수함을 확인한다.

• 한국통신학회논문지
• /
• 제38C권10호
• /
• pp.881-886
• /
• 2013

여러 대의 카메라를 이용하여 영상을 획득하는 다시점 카메라 시스템에서 각 시점의 색상이 서로 다르게 촬영되는 문제가 발생한다. 본 논문에서는 이런 색상 불일치 문제를 효과적으로 해결하기 위해 개선된 다항식 모델을 제안한다. 특징점 기반 대응점 추출 알고리즘을 이용하여 기준 시점과 다른 시점 간의 색상 대응 관계를 획득하고, 이를 이용하여 상대적인 매핑 곡선을 계산한다. 이때 비선형적인 관계를 반영하기 위해서 5차 다항 모델을 이용한다. 추출된 대응점의 동적 영역이 좁을 경우에 매핑 곡선의 정확도가 떨어지게 되는데, 이를 보완하기 위해서 매핑 곡선의 양 끝 부분을 1차 다항 모델을 이용하여 다시 추정한다. 이렇게 유추된 모델을 이용하여 색상을 보정하면, 추출된 대응점의 동적 영역에 강인하게 색상 불일치 문제를 해결할 수 있다. 제안한 방법은 색상 차트 촬영과 같은 전처리 과정이 필요하지 않기 때문에, 기존에 촬영된 다시점 영상에도 적용할 수 있다는 장점을 갖는다. 다양한 실험을 통해 제안한 알고리즘이 다른 최신의 알고리즘보다 보정 효과가 우수함을 확인했고, 객관적 평가에서도 우수한 성능을 보였다.

• Journal of Information Display
• /
• 제3권3호
• /
• pp.1-11
• /
• 2002

Multi-view function is important to three-dimensional displays without dedicated glasses. It is the reason that the observers earnestly desire to change their positions freely. Multi-viewing is also principal to the reality of three-dimensional (3D) image displayed on the screen. The display of projection type has the advantage that the number of viewing points can be easily increased according to the number of projectors. The authors research on multi-view projection display with hologram screen. Powerful directionality of the diffracted beam from hologram screen is required unlike two-dimensional (2D) display. We developed a new method that all diffracted beams satisfied the same Bragg condition and became sufficiently bright to observe the 3D image under usual indoor light. The principle is based on the essential Bragg diffraction in the three-dimensional space. Owing to such three-dimensional Bragg diffraction we achieved an excellent hologram screen that could be multiple reconstructed in spite of single recording. This hologram screen is able to answer arbitrary numbers of viewing points within wide viewing zone. The distortion of 3D image becomes also sufficiently small with the method of dividing the cross angle between illumination and diffraction beam.

• 한국인터넷방송통신학회논문지
• /
• 제20권1호
• /
• pp.113-120
• /
• 2020

다시점 비디오는 하나의 장면을 여러 대의 카메라를 이용하여 여러 시점에서 촬영한 것이다. 따라서 사용자의 요구에 의해서 원하는 시점의 비디오를 제공할 수 있는 장점을 갖는다. 본 논문에서는 보다 향상된 기법을 활용하여 계층적 깊이 영상 구조 표현의 압축 성능을 향상시켰다. 계층적 깊이 영상을 H.264 기술로 부호화시켜 압축된 데이터 크기를 확인하고, 복원된 각 영상의 품질 성능을 알아보았다. H.264/AVC 기술은 쉽게 비디오와 관련된 콘텐트에 대한 H.264 기술로 확장될 수 있다. 그래서 깊이 정보를 포함하는 다시점 영상을 효과적으로 압축할 수 있는 계층적 깊이 영상 구조라는 새로운 콘텐트에 적용하는 방법을 제안하였다. 다시점 비디오 영상의 막대한 데이터 양이 감소되며, 고품질의 영상을 제공되고, 에러 복원 기능이 강화하는 장점이 있는 것을 보여주었다.

• Journal of Multimedia Information System
• /
• 제9권3호
• /
• pp.183-190
• /
• 2022

Image-based 3D object detection is one of the important and difficult problems in autonomous driving and robotics, and aims to find and represent the location, dimension and orientation of the object of interest. It generates three dimensional (3D) bounding boxes with only 2D images obtained from cameras, so there is no need for devices that provide accurate depth information such as LiDAR or Radar. Image-based methods can be divided into three main categories: monocular, stereo, and multi-view 3D object detection. In this paper, we investigate the recent state-of-the-art models of the above three categories. In the multi-view 3D object detection, which appeared together with the release of the new benchmark datasets, NuScenes and Waymo, we discuss the differences from the existing monocular and stereo methods. Also, we analyze their performance and discuss the advantages and disadvantages of them. Finally, we conclude the remaining challenges and a future direction in this field.

• 스마트미디어저널
• /
• 제2권4호
• /
• pp.27-33
• /
• 2013

다시점 영상 시스템은 실감나는 3차원 입체감을 제공하고, 사용자로 하여금 자유로운 시점을 선택할 수 있게 한다. 하지만 한 번에 많은 양의 데이터를 전송하는 것은 어려운 일이므로 두 시점 흑은 세 시점의 영상을 전송하고, 깊이 정보를 이용하여 중간 시점의 영상을 합성하여 제공한다. 본 논문에서는 양안식 영상으로부터 고품질의 다시점 영상을 생성하는 방법을 제안한다. 먼저 스테레오 정합은 폐색 영역을 비롯한 모든 화소들의 정확한 변위 값을 찾을 수 없기 때문에, 배경 값을 이용하여 폐색 영역의 화소들을 처리하는 방법을 제안한다. 또한 합성 영상의 품질을 저하시키는 변위 영상 내의 물체 경계선 불일치 문제점 해결을 위해 결합형 양방향 필터를 적용한다. 마지막으로 불량 화소와 빈 공간때문에 발생하는 오류를 줄이기 위해 신뢰 영상을 이용하여 중간 시점의 영상을 생성한다. 실험을 통해 제안한 방법을 이용할 때 기존의 방법보다 합성 성능이 뛰어남을 확인했다.

• 디지털융복합연구
• /
• 제15권12호
• /
• pp.531-541
• /
• 2017

다면영상을 이용한 실감영상은 스크린이나 다면으로 구성된 디스플레이에서 펼쳐지는 내용이 사실적으로 보여지게 제작되어지고 있다. 이러한 다면영상은 전시를 위한 기획영상에서 주로 사용되었으나 Screen X와 같은 시스템을 통해 영화와 같은 스토리를 전달할 수 있는 포맷으로 재조명 되고 있다. 이번 연구는 3대의 줌렌즈가 장착된 HD급 방송용 디지털 비디오를 이용해 Screen X와 같은 방법으로 인물을 중심으로 한 전경 장면부터 클로즈업 장면까지 촬영한 후 다면 영상 정합보정을 통해 발생되는 문제점을 분석 파악하였다. 촬영 방법과 장비를 보완하면 다면영상이란 포맷이 스토리와 정보 전달이 가능한 매체임을 제시하였고 향후 방송용 줌렌즈를 이용한 촬영보다 표준렌즈 기반의 시네마급 카메라를 이용한 양질의 다면영상 콘텐츠를 제작할 수 있도록 기술적 연구와 보완이 필요하다.