• 전기전자학회논문지
• /
• 제22권3호
• /
• pp.693-699
• /
• 2018

CNN 기반의 객체 인식 성능은 매우 우수한 것으로 보고되고 있지만 모바일 기기의 앱 GUI와 같이 일반적으로 생각하기에 잡음이 적고 분명하게 인식될 수 있을 것으로 기대되는 환경에 적용해보면 인간의 관점에서 매우 유사한 GUI 입력 위젯들이 의외로 잘 인식되지는 않는다는 문제가 발생한다. 본 논문에서는 CNN의 입력 위젯 인식 성능을 향상시키기 위하여 모바일 앱의 GUI를 구성하는 객체들의 관계를 활용하는 방법을 제안한다. 제안 방법에서는 (1) CNN 기반의 객체 인식 도구인 Faster R-CNN을 이용하여 모바일 앱을 구성하는 입력 위젯을 1차 인식한 후 (2) 위젯 인식률 향상을 위하여 객체 간의 관계를 활용하는 방법을 결합하였다. 객체 간의 관계는 표현 공간상에서의 벡터의 평행 이동을 활용하여 표현되었으며, 총 323개의 앱에서 생성한 데이터에 적용한 결과 Faster R-CNN만을 사용한 경우와 비교하여 위젯 인식률을 상당히 개선할 수 있음을 확인하였다.

• 한국인터넷방송통신학회논문지
• /
• 제20권3호
• /
• pp.89-95
• /
• 2020

최근 딥러닝을 사용하여 스케치이미지에 있는 GUI(Graphical User Interface) 요소를 인식하여 어플리케이션 구현에 필요한 코드를 자동 생성하는 연구 등이 있다. UI/UX 디자이너는 모바일 응용 프로그램 개발 시 스토리보드를 개발자와의 의사소통을 돕는 도구로 사용하나 모호한 위젯에 대해서는 UI/UX 디자이너의 의도와 다르게 구현되는 경우가 종종 발생한다. 본 논문에서는 DNN(Deep Neural Network) 기반의 GUI 요소 식별의 정확성을 높이기 위해 심볼마커를 사용하는 자동 GUI 요소 인식 기법을 제안한다. 심볼마커의 성능평가를 위해 심볼마커의 유무에 따라 실험을 진행하여 정확도를 평가하였고, 정확도 개선을 위해 원형과 괄호형으로 나누어 심볼마커 모양에 따른 결과를 분석하였다. 심볼마커를 사용한다면 개발자에게 정확한 의사 전달이 가능해져 피드백이 줄면서 시간과 비용이 감소하고 스케치이미지의 UI 요소 오탐률을 줄이고 정확성이 향상될 것으로 기대한다.