방송공학회논문지 (Journal of Broadcast Engineering)

  • 제23권6호
  • /
  • Pages.886-895
  • /
  • 2018
  • /
  • 1226-7953(pISSN)
  • /
  • 2287-9137(eISSN)
한국방송∙미디어공학회 (The Korean Institute of Broadcast and Media Engineers)
권호 표지
DOI QR코드

DOI QR Code

CNN 기반 동영상의 프레임 삭제 검출 기법

Detection of Frame Deletion Using Convolutional Neural Network

  • 홍진형 (한국항공대학교 항공전자정보공학부) ;
  • 양윤모 (한국항공대학교 항공전자정보공학부) ;
  • 오병태 (한국항공대학교 항공전자정보공학부)
  • 투고 : 2018.09.11
  • 심사 : 2018.11.16
  • 발행 : 2018.11.30
PDF 다운로드
⟨ 이전 논문 다음 논문 ⟩

초록

본 논문에서는 동영상의 압축 과정에서 발생하는 규칙성을 이용하여 동영상의 조작 여부를 검출하는 기법에 대해 소개한다. 제안방식은 동영상의 이중 압축과 일부 영상의 조작에 의해 잃어버린 계층적 규칙성을 이용한다. 이러한 불규칙성을 추출하기 위해 HEVC의 기본 단위인 CU와 TU의 분할정보를 이용한다. 성능 향상을 위해 지역적인 정보를 활용하여 CU와 TU의 분할 지도를 제작한 뒤, GoP 단위로 묶어 입력 데이터를 제작한다. 효과적인 분류를 위하여 3차원 합성곱 신경망을 이용하여 동영상의 이중 압축 및 조작 여부를 판단한다. 실험 결과, 기존의 기계학습 알고리즘을 이용한 연구 결과에 비해 더욱 효과적으로 동영상의 조작 여부를 판단함을 확인하였다.

In this paper, we introduce a technique to detect the video forgery by using the regularity that occurs in the video compression process. The proposed method uses the hierarchical regularity lost by the video double compression and the frame deletion. In order to extract such irregularities, the depth information of CU and TU, which are basic units of HEVC, is used. For improving performance, we make a depth map of CU and TU using local information, and then create input data by grouping them in GoP units. We made a decision whether or not the video is double-compressed and forged by using a general three-dimensional convolutional neural network. Experimental results show that it is more effective to detect whether or not the video is forged compared with the results using the existing machine learning algorithm.

키워드

BSGHC3_2018_v23n6_886_f0001.png 이미지

그림 1. 영상 삭제 시 발생하는 프레임 타입의 변화 Fig. 1. Change of the frame type by frame deletion

BSGHC3_2018_v23n6_886_f0002.png 이미지

그림 2. 제안 알고리즘의 순서도 Fig. 2. Block diagram of proposed algorithm

BSGHC3_2018_v23n6_886_f0003.png 이미지

그림 3. HEVC의 주요 부호화 단위 Fig. 3. Main encoding unit in HEVC

BSGHC3_2018_v23n6_886_f0004.png 이미지

그림 4. 영상 삭제 조작에 의해 시간적으로 떨어진 동영상에서의 지역 정보 Fig. 4. Local information that has fallen in time due to the frame deletion

BSGHC3_2018_v23n6_886_f0005.png 이미지

그림 5. 추출된 CU로부터 제작된 2차원 CU 분할 지도 Fig. 5. Two-dimensional CU depth map produced from extracted CU

BSGHC3_2018_v23n6_886_f0006.png 이미지

그림 6. 3차원 합성곱 신경망과 완전 연결 층의 구조 Fig. 6. 3-D Convolutional neural network and fully-connected layer

표 1. 동영상 삭제 여부 판단 결과 Table 1. Results for the detection of frame deletion

BSGHC3_2018_v23n6_886_t0001.png 이미지

표 2. 동영상 삭제 검출성능 비교 Table 2. Comparisons of the methods for the detection of frame deletion

BSGHC3_2018_v23n6_886_t0002.png 이미지

참고문헌

  1. S. Milani, M. Fontani, P. Bestagini, M. Barni, A. Piva, M. Tagliasacchi, and S. Tubaro, "An overview on video forensics," APSIPA Transactions on Signal and Information Processing, 1, 2012.
  2. T. Shanableh, "No-reference PSNR identification of MPEG video using spectral regression and reduced model polynomial networks," IEEE Signal Processing Letters, 17.8, 2010.
  3. J. Lukas, J. Fridrich, and M. Goljan, "Digital camera identification from sensor pattern noise," IEEE Transactions on Information Forensics and Security, 1.2: 205-214, 2006. https://doi.org/10.1109/TIFS.2006.873602
  4. W. Wang, and H. Farid, "Exposing digital forgeries in video by detecting double MPEG compression," In: Proceedings of the 8th workshop on Multimedia and security. ACM, 37-47, 2006.
  5. W, Wang, and H. Farid, "Exposing digital forgeries in video by detecting double quantization," In: Proceedings of the 11th ACM workshop on Multimedia and security. ACM, 39-48, 2009.
  6. Y. Su and J. Xu, "Detection of double-compression in MPEG-2 videos," Intelligent Systems and Applications (ISA), 2010 2nd International Workshop on. IEEE, 1-4, 2010.
  7. T. Shanableh, "Prediction of structural similarity index of compressed video at a macroblock level," IEEE Signal Processing Letters, May, 18.5, 2011
  8. D. Vazquez-Padin, M. Fontani, T. Bianchi, P. Comesana, A. Piva, and M. Barni, "Detection of video double encoding with GOP size estimation," In: Information Forensics and Security (WIFS), 2012 IEEE International Workshop on. IEEE, 151-156, 2012.
  9. A. Gironi, M. Fontani, T. Bianchi, A. Piva, and M. Barni, "A video forensic technique for detecting frame deletion and insertion," In: Acoustics, Speech and Signal Processing (ICASSP), 2014 IEEE International Conference on. IEEE, 6226-6230, 2014.
  10. Q. Dong, G. Yang, and N. Zhu, "A MCEA based passive forensics scheme for detecting frame-based video tampering," Digital Investigation, 9.2: 151-159, 2012. https://doi.org/10.1016/j.diin.2012.07.002
  11. Y. Su, J. Zhang, J. Liu, "Exposing digital video forgery by detecting motion-compensated edge artifact," In: Computational Intelligence and Software Engineering, 2009. CiSE 2009. International Conference on. IEEE, 1-4, 2009.
  12. P. He, X. Jiang, T. Sun, S. Wang, B. Li, and Y. Dong, "Frame-wise detection of relocated I-frames in double compressed H.264 videos based on convolutional neural network," Journal of Visual Communication and Image Representation 48: 149-158, 2017. https://doi.org/10.1016/j.jvcir.2017.06.010
  13. X. Jiang, W. Wang, T. Sun, YQ. Shi, and S. Wang, "Detection of double compression in MPEG-4 videos based on Markov statistics," IEEE Signal Processing Letters, 20.5: 447-450, 2013.
  14. T. Shanableh, "Detection of frame deletion for digital video forensics," Digital Investigation, 10.4: 350-360, 2013. https://doi.org/10.1016/j.diin.2013.10.004
  15. L. Yu, H. Wang, Q. Han, X. Niu, SM. Yiu, J. Fang, and Z. Wang, "Exposing frame deletion by detecting abrupt changes in video streams," Neurocomputing, 205: 84-91, 2016. https://doi.org/10.1016/j.neucom.2016.03.051
  16. J. H. Hong, Y. Yang, B. T. Oh, "Detection of frame deletion using coding pattern analysis," Journal of Broadcast Engineering, 22.6, 734-743, 2017. https://doi.org/10.5909/JBE.2017.22.6.734
  17. https://www.cdvl.org/find-videos/index.php
  18. https://media.xiph.org/video/derf/
  19. http://ivc.univ-nantes.fr/en/databases/1080i_Videos/