Journal of IKEEE (전기전자학회논문지)

Institute of Korean Electrical and Electronics Engineers (한국전기전자학회)
권호 표지
DOI QR코드

DOI QR Code

GUI-based Detection of Usage-state Changes in Mobile Apps

GUI에 기반한 모바일 앱 사용상태 구분

  • Kang, Ryangkyung (Dept. of Computer and Communication Engineering, Kangwon National University) ;
  • Seok, Ho-Sik (Dept. of Computer and Communication Engineering, Kangwon National University)
  • Received : 2019.06.06
  • Accepted : 2019.06.25
  • Published : 2019.06.30
Download PDF
⟨ Previous Next ⟩

Abstract

Under the conflicting objectives of maximum user satisfaction and fast launching, there exist great needs for automated mobile app testing. In automated app testing, detection of usage-state changes is one of the most important issues for minimizing human intervention and testing of various usage scenarios. Because conventional approaches utilizing pre-collected training examples can not handle the rapid evolution of apps, we propose a novel method detecting changes in usage-state through graph-entropy. In the proposed method, widgets in a screen shot are recognized through DNNs and 'onverted graphs. We compared the performance of the proposed method with a SIFT (Scale-Invariant Feature Transform) based method on 20 real-world apps. In most cases, our method achieved superior results, but we found some situations where further improvements are required.

모바일 앱의 신뢰성 향상과 개발 환경 변화라는 제약 조건을 모두 만족시키려면 모바일 앱의 동작을 자동으로 검증할 필요가 있다. 모바일 앱의 동작 검증 과정에서 다양한 이슈가 발생하나, 사용 상태 변화 탐지도 중요한 이슈 중 하나이다. 본 논문에서는 모바일 앱의 사용 상태 변화 탐지를 위하여 딥뉴럴넷을 이용하여 모바일 앱 GUI의 UI 위젯을 인식한 후 인식된 위젯간의 관계를 그래프로 변환하고, 변환된 그래프의 그래프 엔트로피를 계산하여 사용 상태 변화를 감지하는 방법을 제안한다. 제안 방법은 SIFT(Scale-Invariant Feature Transform)에 기반한 감지 방법과 비교되었으며 20개의 실제 모바일 앱의 동작 데이터를 통해 검증한 결과 대부분의 경우 제안 방법이 우수하나, 엔트로피 계산이 어려울 때는 제안 방법의 성능이 저하됨을 확인하였다.

Keywords

JGGJB@_2019_v23n2_448_f0001.png 이미지

Fig. 1. An example of two images in the different states. 그림 1. 다른 상태로 정의되는 두 이미지 예시

JGGJB@_2019_v23n2_448_f0002.png 이미지

Fig. 2. An example of two images in the same state. 그림 2. 같은 상태로 정의되는 두 이미지 예시

JGGJB@_2019_v23n2_448_f0003.png 이미지

Fig. 3. Categories of UI widgets. 그림 3. UI 위젯 카테고리

Table 1. Number of images and transition points. 표 1. 앱별 이미지 수 및 변환점 수

JGGJB@_2019_v23n2_448_t0001.png 이미지

Table 2. Detection performance. 표 2. 사용 상태 감지 성능

JGGJB@_2019_v23n2_448_t0002.png 이미지

Algorithm 1. Change Detection

JGGJB@_2019_v23n2_448_t0003.png 이미지

References

  1. AppBrain, "Number of Android apps on Google Play," https://www.appbrain.com/stats/number-of-android-apps/
  2. M. Linares-Vasquez, K. Moran, and D. Poshyvanyk, "Continuous, Evolutionary and Large-Scale: A New Perspective for Automated Mobile App Testing," in Proc. of the IEEE International Conference on Software Maintenance and Evolution(ICSME), 2017. DOI: 10.1109/ICSME.2017.27
  3. K. Mao, M. Harman, and Y. Jia, "Sapienz: multi-objective automated testing for Android applications," in Proc. of the 25th International Symposium on Software Testing and Analysis, pp.94-105, 2016. DOI: 10.1145/2931037.2931054
  4. Y. Li, Z. Yang, Y. Guo, and X. Chen, "A Deep Learning based Approach to Automated Android App Testing," arXiv:1901.02633, 2019.
  5. D. Grattarola, D. Zambon, C. Alippi, and L. Livi, "Change Detection in Graph Streams by Learning Graph Embeddings on Constant-Curvature Manifolds," arXiv:1805.06299v3, 2019.
  6. K. Janos, "Coding of an information source having ambiguous alphabet and the entropy of graphs," in Proc. of the 6th Prague conference on information theory, 1973.
  7. A. Mehler, A. Lücking, and P. WeiB, "A network model of interpersonel alignment in dialog," Entropy, vol.12, pp.1440-1483, 2010. DOI: 10.3390/e12061440
  8. M. Dehmer, N. Barbarini, K. Varmuza, and A. Graber, "A large scale analysis of information-theoretic network complexity measures using chemical structures," PLoS ONE, vol.4, no.12, e8057, 2009. DOI: 10.1371/journal.pone.0008057
  9. A. Orlitsky and J. R. Roche, "Coding for computing," IEEE Trans. Info. Theory, vol.47, no.3, pp.903-917, 2001. DOI: 10.1109/SFCS.1995.492580
  10. B. Guan, H. Ye, H. Liu, and W. Sethares, "Target image video search based on local features," arXiv:1808.03735v2, 2019.
  11. Y. Wang, L. Du, and H. Dai, "Unsupervised SAR image change detection based on SIFT keypoints and region information," IEEE Trans. Geosci. Remote Sens, vol.13, no.7, pp.931-935, 2016. DOI: 10.1109/LGRS.2016.2554606
  12. https://play.google.com/store/apps/top/
  13. S. Ren, K. He, R. Girshick, and J. Sun, "Faster R-CNN: towards real-time object detection with region proposal networks," IEEE Trans. Pattern Anal. Mach. Intell., vol.39, no.6, pp.1137-1149, 2016. DOI: 10.1109/TPAMI.2016.2577031
  14. https://networkx.github.io/