KIPS Transactions on Software and Data Engineering (정보처리학회논문지:소프트웨어 및 데이터공학)

Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

Image-Based Application Testing Method Using Faster D2-Net for Identification of the Same Image

동일 이미지 판별을 위해 Faster D2-Net을 이용한 이미지 기반의 애플리케이션 테스트 방법

  • Received : 2021.06.29
  • Accepted : 2021.10.08
  • Published : 2022.02.28
Download PDF
⟨ Previous Next ⟩

Abstract

Image-based application testing proposes an application testing method via image structure comparison. This test method allows testing on various devices without relying on various types of device operating systems or GUI. Traditional studies required the creation of a tester for each variant in the existing case, because it differs from the correct image for operating system changes, screen animation execution, and resolution changes. The study determined that the screen is the same for variations. The tester compares the underlying structure of the objects in the two images and extracts the regions in which the differences exist in the images, and compares image similarity as characteristic points of the Faster D2-Net. The development of the Faster D2-Net reduced the number of operations and spatial losses compared to the D2-Net, making it suitable for extracting features from application images and reducing test performance time.

이미지 기반 애플리케이션 테스트는 이미지 구조 비교를 통한 애플리케이션 테스트 방법을 제안한다. 이 연구는 다양한 디바이스 운영체제의 종류나 GUI에 의존 없이 다양한 기기에서 테스트가 가능하다. 기존 연구는 운영체제 변경, 화면상의 애니메이션 실행 그리고 해상도 변경의 경우 정답 이미지와 달라지기 때문에 기존의 경우 각각 변형마다 테스터를 생성해야 했다. 하지만 이 방법은 운영체제 변경, 해상도 크기의 변경, 화면상의 애니메이션 실행과 같은 변화가 발생해도 동일한 기준으로 판별하기 때문에 하나의 테스터로 테스트할 수 있다. 두 이미지의 객체들의 기본 구조를 비교하고 이미지에 차이가 존재하는 영역을 추출해서 Faster D2-Net의 특징점으로 이미지 유사성을 비교한다. Faster D2-Net 개발로 D2-Net보다 연산의 수와 공간적 손실을 줄여 애플리케이션 이미지에서 특징점을 추출하기 적합하고 수행 시간 단축이 가능했다.

Keywords

Acknowledgement

이 논문은 2021년도 4단계 BK21 사업에 의하여 지원되었음.

References

  1. Y. M. Baek and D. H. Bae, "Automated model-based android gui testing using multi-level gui comparison criteria," in Proceedings of the 31st IEEE/ACM International Conference on Automated Software Engineering, pp.238-249, 2016.
  2. W. Yang, M. R. Prasad, and T. Xie, "A grey-box approach for automated GUI-model generation of mobile applications," in International Conference on Fundamental Approaches to Software Engineering, Springer, Berlin, Heidelberg, pp.250-265, 2013.
  3. M. Dusmanu, et al., "D2-net: A trainable cnn for joint detection and description of local features," arXiv preprint arXiv:1905.03561, 2019.
  4. K. Simonyan and A. Zisserman, "Very deep convolutional networks for large-scale image recognition," arXiv preprint arXiv:1409.1556, 2014.
  5. K. He, X. Zhang, S. Ren, and J. Sun, "Deep residual learning for image recognition," in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 770-778, 2016.
  6. Z. Wang, et al., "Image quality assessment: From error visibility to structural similarity," IEEE Transactions on Image Processing, Vol.13, No.4, pp.600-612, 2004. https://doi.org/10.1109/TIP.2003.819861
  7. M. A. Fischler and R. C. Bolles, "Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography," Communications of the ACM, Vol.24, No.6, pp.381-395, 1981. https://doi.org/10.1145/358669.358692
  8. D. Barath, J. Matas, and J. Noskova, "Magsac: Marginalizing sample consensue," in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp.10197-10205, 2019.
  9. S. Ioffe and C. Szegedy, "Batch normalization: Accelerating deep network training by reducing internal covariate shift," in International Conference on Machine Learning, PMLR, pp.448-456. 2015.