정보과학회 논문지 (Journal of KIISE)

  • 제42권5호
  • /
  • Pages.609-620
  • /
  • 2015
  • /
  • 2383-630X(pISSN)
  • /
  • 2383-6296(eISSN)
한국정보과학회 (Korean Institute of Information Scientists and Engineers)
권호 표지
DOI QR코드

DOI QR Code

3차원 동영상의 시각 주의 확률 모델 도출 및 시각 주의 기반 입체감 추정

Modeling of Visual Attention Probability for Stereoscopic Videos and 3D Effect Estimation Based on Visual Attention

  • 김보은 (서울대학교 전기정보공학부) ;
  • 송원석 (서울대학교 전기정보공학부) ;
  • 김태정 (서울대학교 전기정보공학부, 뉴미디어및통신공동연구소)
  • 투고 : 2015.01.07
  • 심사 : 2015.03.06
  • 발행 : 2015.05.15
⟨ 이전 논문 다음 논문 ⟩

초록

시청자들은 영상을 시청할 때 화면상 시각이 집중된 곳 주변의 정보를 영향력 있게 받아들일 가능성이 크다. 이러한 사실을 이용하여 최근 연구들은 시각 주의 모델을 영상 제작 및 평가 방법에 이용하고 있다. 본 연구에서는 실제로 사람들의 시각 주의도가 어떠한 인자에 영향을 많이 받는지, 또 시각 주의 모델은 구체적으로 어떠한 형태가 되는지를 통계적 실험 계획법을 이용하여 추정하였다. 분산 분석법을 이용하여 속도, 화면으로부터의 거리, 비초점흐림 정도가 시각 주의에 영향을 미치는 유의한 인자인 것을 확인하였고 반응 표면 계획법을 이용하여 이 세가지 인자들에 따른 시각 주의 점수 모델을 도출하였다. 이 시각 주의 점수 모델로부터 영상 각 픽셀의 시각 주의 확률을 구하였다. 본 연구의 뒷부분에서는 시각주의 확률 모델을 기존의 기울기(gradient) 기반 3차원 영상의 입체감 측정법에 적용하는 방법을 제안하였다. 화면 상에서 시선을 집중할 확률이 큰 부분에 높은 비중을 둠으로써 기존의 방법 보다 시청자가 느끼는 입체감을 더욱 정확하게 측정할 수 있도록 하였다. 제안한 방법의 성능을 검증하기 위해 주관적 평가를 실시하여 피실험자들이 느끼는 입체감과 제안된 방법으로부터 도출한 결과를 비교하였다. 실험 결과 제안한 방법이 기존의 방법에 비해 성능이 높은 것을 확인하였다.

Viewers of videos are likely to absorb more information from the part of the screen that attracts visual attention. This fact has led to the visual attention models that are being used in producing and evaluating videos. In this paper, we investigate the factors that are significant to visual attention and the mathematical form of the visual attention model. We then estimated the visual attention probability using the statistical design of experiments. The analysis of variance (ANOVA) verifies that the motion velocity, distance from the screen, and amount of defocus blur affect human visual attention significantly. Using the response surface modeling (RSM), we created a visual attention score model that concerns the three factors, from which we calculate the visual attention probabilities (VAPs) of image pixels. The VAPs are directly applied to existing gradient based 3D effect perception measurement. By giving weights according to our VAPs, our algorithm achieves more accurate measurement than the existing method. The performance of the proposed measurement is assessed by comparing them with subjective evaluation as well as with existing methods. The comparison verifies that the proposed measurement outperforms the existing ones.

키워드

과제정보

연구 과제 주관 기관 : 한국연구재단

참고문헌

  1. J. F. DUANE, Duane's Ophthalmology, on CDROM, Lippincott Williams & Wilkins, 2006.
  2. D. Kim, K. Sohn, "3D Visual Attention Model and its Application to No-reference Stereoscopic Video Quality Assessment," Journal of the Institute of Electronics and Information Engineers, Vol. 51, No. 4, pp. 786-798, Apr. 2014. (in Korean)
  3. L. Itti, C. Koch, and E. Neibur, "A Model of Saliency-based Visual Attention for Rapid Scene Analysis," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 20, No. 11, pp. 1254-1259, Nov. 1998. https://doi.org/10.1109/34.730558
  4. Y. Park, B. Lee, W. s. Cheong, and N. Hur, "Stereoscopic 3D Visual Attention Model Considering Comfortable Viewing," Proc. of IET Conference on Image Processing, London, United Kingdom, pp. 1-5, Jul. 2012.
  5. D. Chai and A. Bouzerdoum, "A Bayesian Approach to Skin Color Classification in YCbCr Color Space," Proc. of TENCON, Kuala Lumpur, Malaysia, Vol. 2, pp. 421-424, Sep. 2000.
  6. Y. Zhang, G. Jiang, M. Yu, and K. Chen, "Stereoscopic Visual Attention Model for 3D Video," Proc. of International Multimedia Modeling Conference, Chongqing, China, pp. 314-324, Jan. 2010.
  7. C. Y. Lim and S.G. Park, "Optimization of Spin- On-Glass Planarization Process Using Statistical Design of Experiments," Journal of the Korean Vacuum Society, Vol. 1, No. 1, pp. 198-205, Feb. 1992. (in Korean)
  8. B. Kim, W. Song, and T. Kim, "Estimation of Visual Attention Model for Videos Using Statistical Design of Experiments," Proc. of Fall Conference on The Institute of Electronics and Information Engineers, pp. 419-423, Nov. 2014.
  9. S. Park, Design of experiment, Minyoungsa, Seoul, 2012.
  10. J. H. Choi, K. K. Lee, A R. Kim, and J. O. Kim, "Stereoscopic Depth Perception Measurement using Depth Map Histogram," Proc. of IEEK Conference, Daejeon, Korea, pp. 505-506, Nov. 2011. (in Korean)
  11. J. H. Choi, J. W. Kim, and J. O. Kim, "Stereoscopic Depth Perception Measurement for 2D/3D Converted Contents," Proc. of IEEE Conference on Consumer Electronics, Tokyo, Japan, pp. 498-501, Oct. 2012.
  12. J. W. Kim, J. H. Choi, and J. O. Kim, "Perceived Depth Measurement of Stereoscopic 3D Images using Depth Map Gradient," Proc. of IEEK Conference, Daejeon, Korea, pp. 511-512, Nov. 2011. (in Korean)
  13. J. W. Kim, J. H. Choi, and J. O. Kim, "Stereoscopic Depth Perception Measurement using Depth Image Gradient," Proc. of International Conferenceon Awareness Science and Technology, Seoul, Korea, pp. 141-145, Aug. 2012.
  14. S. H. Chan, D. T. Vo, and T. Q. Nguyen, "Subpixel Motion Estimation without Interpolation," Proc. of IEEE International Conference on Acoustics Speech and Signal Processing, Dallas, TX, America, pp. 722-725, Mar. 2010.
  15. L. Zhang and W. J. Tam, "Stereoscopic Image Generation based on Depth Images for 3D TV," IEEE Transactions on Broadcasting, Vol. 51, issue. 2, pp. 191-199, Jun. 2005. https://doi.org/10.1109/TBC.2005.846190
  16. S. Zhuo and T. Sim, "Defocus Map Estimation from a Single Image," Pattern Recognition, Vol. 44, No. 9, pp. 1852-1858, Mar. 2011. https://doi.org/10.1016/j.patcog.2011.03.009