The Journal of Korean Institute of Communications and Information Sciences (한국통신학회논문지)

The Korean Institute of Commucations and Information Sciences (한국통신학회)
권호 표지

Implementation of Web-based Remote Multi-View 3D Imaging Communication System Using Adaptive Disparity Estimation Scheme

적응적 시차 추정기법을 이용한 웹 기반의 원격 다시점 3D 화상 통신 시스템의 구현

  • 고정환 (광운대학교 차세대 3D 디스플레이 연구센터) ;
  • 김은수 (광운대학교 차세대 3D 디스플레이 연구센터)
  • Published : 2006.01.01
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, a new web-based remote 3D imaging communication system employing an adaptive matching algorithm is suggested. In the proposed method, feature values are extracted from the stereo image pair through estimation of the disparity and similarities between each pixel of the stereo image. And then, the matching window size for disparity estimation is adaptively selected depending on the magnitude of this feature value. Finally, the detected disparity map and the left image is transmitted into the client region through the network channel. And then, in the client region, right image is reconstructed and intermediate views be synthesized by a linear combination of the left and right images using interpolation in real-time. From some experiments on web based-transmission in real-time and synthesis of the intermediate views by using two kinds of stereo images of 'Joo' & 'Hoon' captured by real camera, it is analyzed that PSNRs of the intermediate views reconstructed by using the proposed transmission scheme are highly measured by 30dB for 'Joo', 27dB for 'Hoon' and the delay time required to obtain the intermediate image of 4 view is also kept to be very fast value of 67.2ms on average, respectively.

본 논문에서는 실시간으로 입력되는 스테레오 영상에 효과적인 시차 추정 기법을 적용한 새로운 웹 기반의 원격 다시점 3D 화상 통신 시스템을 구현하였다. 제시된 방법에서는 먼저, IEEE 1394 방식의 스테레오 카메라를 이용하여 자체 설계된 Intel Xeon 서버 시스템을 통해 실시간으로 입력되며, 입력된 스테레오 영상을 중심으로 특징점의 크기에 따라 세밀하면서도 정확한 시차 지도를 검출한 뒤, 검출된 시차지도와 좌 영상을 Directshow SDK를 이용하여 네트워크 채널로 연결된 클라이언트 영역으로 전송하게 된다. 전송된 클라이언트 영역에서는 수신된 시차지도와 좌 영상을 중심으로 정확한 우 영상을 복원한 뒤, 중간시점 합성 기법을 이용하여 16시점의 다시점 입체 화상 통신을 이루게 된다. 각기 다른 상황에서 촬영된 'Joo' 영상과 'Hoon'영상을 웹 기반의 실시간 전송 및 중간영상 합성 실험결과, 본 논문에서 제안된 전송기법으로 우 영상을 복원할 경우 각각 30dB, 27dB의 높은 PSNR이 측정되었으며, 4시점의 8비트 영상을 전송할 경우, 각각 67.2ms의 속도로 디스플레이 함으로써 이를 통한 새로운 실시간 웹 기반의 원격 3D 화상 통신 시스템의 실질적인 구현 가능성을 제시하였다.

Keywords

References

  1. V. S. Grinberg, G. Podner, and M. W. Siegel, 'Geometry of binocular imaging', Proc. of SPIE, vol. 2177, pp. 56-65, February 1994
  2. 김은수/이승현 공역, 3차원 영상의 기초, 技多利, 1998
  3. K. H. Bae, J. J Kim, and E. S. Kim, 'New disparity estimation scheme based on adaptive matching window for intermediate view reconstruction', Optical Engineering, vol.42, no.6, pp.1778-1786, 2003 https://doi.org/10.1117/1.1571828
  4. A. Redert, E. Hendriks, and Jan Biemond, 'Correspondence Estimation in Image Pairs', IEEE Signal Processing Magazine, special issue on 3D and stereoscopic visual communication, vol. 16, no.3, pp.29-46, May 1999 https://doi.org/10.1109/79.768571
  5. http://www.microsoft.com/win dows/directx/
  6. N. A. Dodgson, J. R. Moore, and S. R. Lang, 'Multi-view autostereoscopic 3D display', IBC '99, 10th-14th, pp. 497-502, September 1999
  7. M. E. Izquierdo, 'Stereo matching for enhanced telepresence in three-dimensional ideo communications', IEEE Transactions on circuits and systems for video technology, vol. 7, no. 4, pp. 629-643, August 1997 https://doi.org/10.1109/76.611174
  8. C. H. Yang, 'Geometric Models in Stereoscopic Video', Rapport technique de l'INRS-T'el'ecommunicatios, no. 95-12, 1995
  9. Z. Zhang, 'Determining the epipolar geometry and its uncertainty: A review', Tech. Rep. Technical Report 2927, 1996
  10. W. E. L. Grimson, 'Computational experiments with a feature based stereo algorithm,' IEEE Trans. on Pattern Analysis and Machine Intelligence, vol.7, no.l , pp.17-34, January 1985 https://doi.org/10.1109/TPAMI.1985.4767615
  11. W. Ho and N. Ahuja, 'Surfaces from stereo: Integrating feature matching, disparity estimation, and contour detection,' IEEE Trans. on Pattern Analysis and Machine Intelligence, vol.11, no.2, pp.121-136, February 1989 https://doi.org/10.1109/34.16709
  12. A. Luo and H. Burkhardt, 'An intensitybase d cooperative bidirectional stereo matching with simultaneous detection of discontinuities and occlusions', SPIE Computer Vision, vol.15, pp.171-188, 1995
  13. Jeffrey S. McVeigh, M. W. Siegel, and Angel G. Jordan 'Intermediate view synthesis considering occluded and ambiguously referenced image regions', Signal Processing: Image Communication, vol. 9, pp. 21-28, February 1996 https://doi.org/10.1016/S0923-5965(96)00005-7
  14. 박창주, 고정환, 김은수, '스테레오 영상 보정 알고리즘에 기반한 새로운 중간시점 영상합성 기법', 한국 통신학회 논문지, vo1.29, no5C, pp.632-641, 2004