A Study on Establishment of Evaluation Criteria for Mobile Anti-Birus Performance Test

모바일 Anti-Virus 성능 시험을 위한 평가 기준 수립 연구

Abstract

With the recent increase in hacks targeting smartphones, users are becoming increasingly anxious about the security of their smartphones. Using a mobile anti-virus is one of the best ways to reduce this anxiety. However, there aren't many ways for users to learn about mobile anti-virus performance and features. While there are certification organizations that conduct annual performance evaluations of mobile anti-virus products and make them publicly available, they don't disclose the specifics of their testing methods and detailed results. In addition, previous quality evaluation studies are not suitable for evaluating modern mobile anti-viruses due to the existence of evaluation criteria that are not suitable for mobile anti-virus product evaluation or lack of validation. Therefore, this paper establishes detailed mobile anti-virus evaluation metrics suitable for the evaluation of modern mobile anti-viruses and applies them to 10 domestic and international mobile anti-virus products to verify the validity of the established evaluation metrics.

최근 스마트폰을 대상으로 하는 해킹 피해가 증가하는 가운데 이로 인한 사용자들의 스마트폰 보안에 대한 불안감이 커지고 있는 실정이다. 이러한 불안을 낮추기 위한 방안으로 모바일 안티 바이러스를 사용하는 것은 좋은 방법 중의 하나이다. 하지만 사용자들은 모바일 안티바이러스 성능과 기능에 대해 알 수 있는 방법이 많지 않다. 매년 모바일 안티바이러스 제품에 대한 성능평가를 진행하여 이를 공개해 주는 인증 기관이 존재하나 이런 기관들은 테스트 방법에 대한 세부 시험평가 항목과 자세한 결과를 공개하지 않는다. 그리고 이전 품질평가 연구들은 모바일 안티바이러스 제품 평가에는 적합하지 않은 평가 기준이 존재하거나 검증이 미흡하여 최신 모바일 안티바이러스 평가에는 적절하지 않다. 그래서 본 논문에서는 최신 모바일 안티바이러스 평가에 적합한 세부적인 모바일 안티바이러스 평가지표를 수립하고 이를 국내외 10종의 모바일 안티바이러스 제품에 적용하여 수립한 평가지표의 유효성을 검증하였다.

I. 서론

최근 은행을 사칭한 가짜 앱으로 국내 약 4만대의 스마트폰이 해킹을 당하고 대북관계자 및 언론인 등을 노린 사이버공격에 국내의 한 국회의원의 스마트폰이 해킹을 당하였으며 스페인 총리, 국방장관 등 스페인 정부 고위 관료들의 스마트폰이 이스라엘산 스파이웨어 페가수스의 해킹 공격으로 상당한 양의 정보가 유출 당하는 등 스마트폰에 대한 해킹 피해가 증가하고 있으며 이로 인한 사용자들의 스마트폰 보안에 대한 불안감이 갈수록 커지고 있는 실정이다. 특히 전 국민의 95%가 스마트폰을 사용하면서 스마트폰 보급률 세계 1위를 자랑하는 우리나라는 스마트폰 보안에 대한 불안감이 더욱더 커지고 있다^[1][2][3].

이렇듯 모바일 환경에서의 보안관련 문제들이 이슈화됨에 따라 모바일 스마트폰의 보안을 위해서는 조기 탐지 및 예방이 매우 중요하다. 이중 모바일 안티 바이러스 소프트웨어를 사용하여 악성 앱을 탐지하는 것은 가장 좋은 방법 중 하나로 꼽히고 있다. 하지만 사용자들은 모바일 안티 바이러스 성능과 기능에 대해 알 수 있는 방법이 많지 않다. 모바일 안티바이러스 제품에 대하여 매년 성능평가를 진행하여 이를 공개해주는 인증 기관이 존재하나 테스트 방법에 대한 세부 시험평가 항목에 대해서는 공개하지 않고 있다. 또한 이전 연구들은 모바일 안티바이러스 제품 평가에는 맞지 않는 보안 소프트웨어에 대한 평가이거나 오래된 연구들로 최신 모바일 안티바이러스 제품에는 다소 미흡한 평가 기준이다. 본 논문에서는 최신 모바일 안티바이러스 제품 평가에 적합한 세부적인 평가지표를 수립하였으며 이를 국내외 안드로이드 모바일 안티바이러스 10개를 선정하여 모바일 안티바이러스 제품에 적용하여 평가지표의 적합성을 평가하고자 한다. 안드로이드 OS는 2024년 3월 기준 전 세계 모바일 운영체제 점유율이 70.78%에 이를 정도로 가장 많은 사용자를 보유하고 있다^[4]. 이렇기에 우리는 많은 사용자를 보유하고 있는 안드로이드 기기의 안티바이러스 제품을 대상으로 실험을 진행하였다.

본 논문의 구성은 다음과 같다. 2장은 관련된 연구에 대해 기술하였으며, 3장은 모바일 안티바이러스 평가 기준을 수립하여 이에 대한 검증을 진행하였으며 4장에서는 결론과 향후 연구 방향에 대하여 논하겠다.

II. 관련연구

2.1 모바일 안티바이러스 성능테스트 기관

2.1.1 AV-Comparatives^[5]

오스트리아에 본사를 두고 인스브루크 대학과 협력하여 정기적으로 보안 제품 테스트를 진행하는 기관으로 테스트를 통과한 제품은 표준 인증을 부여하고 실패한 제품은 단순히 테스트한 것으로 지정된다.

파일 탐지 테스트, 성능 테스트, 전체 테스트의 3가지 테스트를 수행하며 파일 탐지 테스트는 100,000개의 악성코드 샘플에 대하여 각 안티 바이러스 제품을 검사하는 정적 테스트이며 성능 테스트는 시스템 성능에 미치는 영향을 측정하고 마지막으로 전체 테스트는 실제 사용자 경험과 최대한 유사하게 시뮬레이션하여 보안 제품의 모든 구성 요소가 악성코드를 처리하는지 테스트한다.

2.1.2 AV-TEST^[6]

독일 마그데부르크에 본사를 두고 있으며 다양한 안티바이러스 제품을 테스트하는 글로벌 보안제품 성능을 평가하는 기관이며, 보호, 성능, 유용성 3가지 항목에 대해 테스트를 진행하여 최대 6점을 각각 부여하고 인증을 받으려면 제품이 총 10점 이상을 획득해야 하고 모든 카테고리에서 0점이 없어야 한다. 최고의 제품은 이 테스트에서 18점 만점을 획득하였다. 테스트를 위하여 각 제품을 100,000개가 넘는 샘플로 구성된 AV-TEST 테스트 세트를 이용하여 보호 테스트를 진행하고 12가지(파일 다운로드, 네트워크 파일 복사, 일반 프로그램 실행 등) 이상의 일반적인 시스템 작업을 수행하는 데 필요한 시간 차이를 측정하여 성능을 테스트한다. 사용성 테스트는 사용 편의성이나 사용자 인터페이스 디자인과는 관련없이 안티 바이러스 프로그램이 정상 프로그램, 악성 웹사이트, 의심스러운 내용 등을 표시할 때 발생하는 사용성 문제를 측정한다.

2.1.3 MRT Effitas^[7]

영국 런던에 본사를 둔 독립적인 성능 평가기관으로 초기에는 PC기반 뱅킹용 악성 위협에 초점을 맞추었지만 2017년부터 안드로이드 모바일 보안 앱에 대한 평가도 진행하고 있다. 악성앱 샘플을 활용해 SD카드 검사와 실시간 검사, 시뮬레이터 검사로 테스트를 진행하며 SD카드 검사는 악성 앱 설치가 완료되기 전 초기단계 탐지율을 평가하며 실시간 검사는 앱이 설치된 이후의 탐지율을 평가하며 시뮬레이터 검사는 최신 멀웨어 동향을 반영한 악성 앱을 직접 제작해 평가에 활용하는 것으로 신변종 악성앱을 얼마나 잘 찾아내는지를 평가한다. 또한 과잉탐지 검사는 정상 앱 샘플을 악성 앱으로 오판하는 경우가 얼마나 적은지 확인하고 우수한 성적으로 통과해야 인증을 획득할 수 있다.

2.1.4 SKDlabs^[8]

CNAS(중국 합격평정국가인가 위원회)가 인증한 정보보안 평가 및 인증기관으로 중국에서 매우 공신력 높은 평가 기관으로 AMTSO(AntiMalware Testing Standards Organization), AVAR(Association of Anti Virus Asia Researchers) 멤버로 가입되어 있다.

중국의 실제 네트워크 환경에서 제품의 성능과 기능을 평가하는 것이 목적이며 안티바이러스 제품뿐아니라 방화벽, 호스트 보호, APP, UTM, 클라우드, 네트워크 모니터링, VPN 등 다양한 분야 테스트를 진행하고 있다. 안티바이러스 제품의 경우 악성 코드 탐지율 98.5%이상이어야 하며 동시에 별도의 과잉탐지(과탐) 기준을 충족해야 하는데 시스템 앱에서 단 1개의 과탐도 발생해서는 안되고 일반 정상 앱으로 오인하는 경우도 0.05%이하 이어야 한다는 매우 엄격한 기준을 가지고 있다.

실시간 보호기능의 경우 중국에 널리 퍼져 있는 6,000개의 샘플을 사용하며 스마트폰 보안 소프트웨어를 사용하여 바이러스 샘플을 완전히 검사하고 제거한 다음 발견되지 않은 샘플을 설치 및 실행하는 방식으로 테스트를 진행한다.

2.2 기존 평가기준 연구

맹두열 등은 국제표준 ISO/IEC 9126을 기반으로 계층적 분석 방법을 이용하여 다수의 평가 요인을 범주화하고 가중치 정보를 마련하고 평가 항목을 기능성, 성능성, 편의성의 3가지 큰 항목과 25가지 세부 평가 항목으로 선정하고 포털 사이트에서 공개 안티바이러스 소프트웨어 70여종을 수집한 후 실제 테스트 환경에서 품질 평가를 수행하였다^[9]. 하지만 세부 평가 항목이 25개로 비교적 적고 PC용 안티바이러스 소프트웨어를 대상으로 평가 항목을 선정함으로써 모바일 안티바이러스 제품에는 일부 평가 항목이 적용되지 못하는 단점이 존재한다.

Table 1. Comparison of Evaluation Criteria

신석조 등은 ISO/IEC 9126을 기반으로 스마트폰 안티바이러스 제품에 대한 기능성, 신뢰성, 유용성, 이식성, 효율성의 5가지 항목과 21가지 세부 항목을 가지는 효과적인 평가 항목을 개발하고 테스트 환경을 구성하여 스마트폰 안티바이러스 제품을 테스트하였다^[10]. 하지만 세부 평가 항목이 21개로 적고 안티바이러스 제품 2개(V3 Mobile, Virobot Mobile)에 대해서만 평가가 이루어졌으면 2개의 안티바이러스 제품을 서로 다른 테스트 장비와 안드로이드 버전으로 테스트를 진행하였으며 평가 항목 중 효율성 부분에서 악성코드 검사 시간을 제외한 악성코드 탐지율, 오탐율 등은 평가를 하지 못하는 문제점이 존재한다.

한용만 등은 ISO/IEC 25000을 기반으로 AHP 기법을 적용하여 모바일 소프트웨어에 대한 보안성, 상호운용성, 이식성, 유지보수성, 효율성, 사용성, 신뢰성, 기능성의 8가지 항목의 품질 특성을 도출하고 이중 4개의 특성에 대하여 품질 측정 항목을 제시하였다^[11]. 하지만 4가지 특성에 대해서만 평가 방법을 제시하였고 세부 평가 결과에 대한 상세 내용을 공개하지 않아서 품질 특성에 대한 검증이 제대로 이루어졌다고 보기 어렵다.

서지훈 등은 모바일 애플리케이션의 특성을 성능에 대한 효율성, 호환성, 사용성, 신뢰성, 보안성, 이식성의 6가지 주특성과 시간 효율성, 공존성, 운영성 등 13가지 부특성으로 분류하고 메트릭을 만들어 6개의 애플리케이션에 적용하여 품질 평가를 검증하였다^[12]. 하지만 애플리케이션에 대한 품질 평가 항목을 기준으로 평가를 진행하여 모바일 안티바이러스 제품 평가에는 적합하지 못한 단점이 존재한다.

Table 2. Version for each Mobile Anti-Virus

III. 평가 기준 수립 및 검증

이전 연구들에서 제시한 품질평가 기준은 PC용 안티바이러스 제품에 대한 품질평가 방법이거나 일부 세부 평가 항목만 있어 항목수가 적고 제대로 된 검증이 이루어지지 못하는 등의 한계가 존재한다. 이렇게 모바일 안티바이러스 제품 평가 방법을 개선하기 위하여 본 논문에서는 국내외 다양한 품질 평가 표준과 각 모바일 안티바이러스 매뉴얼을 바탕으로 공통 평가 항목 및 기능을 도출하고, 불필요한 평가 항목을 삭제 및 단순화하여 평가 기준을 수립하였다. 참고한 품질 평가 표준은 다음과 같다. ISO/IEC 25000^[13][14], ISO/IEC 25010^[15], ISO/IEC 25020^[16], 과학기술정보통신부 고시 “소프트웨어 기술성 평가 기준 지침”^[17].

평가 기준은 악성 앱을 얼마나 정확하고 빠르게 탐지하는지와 같은 성능을 평가하기 위한 기능성, 모바일 장치의 자원인 배터리를 얼마나 효율적으로 사용하고 온도가 과도하게 발생하는지를 확인하기 위한 자원 효율성, 사용자가 얼마나 편리하게 사용할 수 있는지를 평가하기 위한 사용성, 악성코드를 탐지하는 기능 외에 추가적인 보안기능을 평가하기 위한 부가 기능, 신속한 업데이트 및 지원을 확인하기 위한 공급업체 지원 등 크게 5가지로 분류하여 수립하였다.

평가 결과는 모바일 안티바이러스의 제품명을 표기하지 않고 순서를 무작위로 알파벳 A-J로 표기하였다.

3.1 평가 기준 검증을 위한 테스트 환경

기존 성능테스트 기관과 이전 연구들에서는 테스트 환경을 공개하지 않거나 상이한 장치와 안드로이드 버전으로 환경을 구성하거나, 테스트에 사용한 안티바이러스 제품군이 적어 제대로 된 평가가 이루어지기 어려운 부분들이 존재하였다. 본 논문에서는 각각의 모바일 안티바이러스가 설치된 모바일 장치를 동일한 사양의 PC에 연결하고 중앙에서 제어가 가능하도록 구성하고 테스트를 진행함으로써 사용자의 개입없이 동시에 동일하게 성능테스트를 할 수 있도록 평가 기준에 적합한 검증 환경을 구축하였다.

수립한 평가 기준을 검증하기 위한 모바일 안티바이러스는 국내의 경우 V3 Mobile Security, 알약 M, SK쉴더스 Mobile Guard 제품을 선정하고 국외에는 ESET Mobile Security, Avast Mobile Security, Norton 360, Avira Antivirus Security 등의 제품을 선정하여 총 10종의 모바일 안티바이러스 제품을 선정하고 평가를 진행하였다. 모바일 안티바이러스 선정 기준은 다음과 같다.

(기준1) Google Play 내 국내 인지도 및 다운로드 수가 높은 모바일 안티바이러스 제품

(기준2) 별점 3.5 이상의 신뢰성 있는 제품

(기준3) 안드로이드 운영체제 및 태블릿 설치가 가능한 제품

성능 평가에 사용할 악성 앱은 연구 목적으로 금융 관련 기관과 보안 관련 기관에서 제공 받거나 자체 크롤링 시스템에서 수집한 악성 앱을 총 6개의 샘플 그룹으로 구성하여 평가하였다.

(샘플1) 피싱, 스파이웨어, 금융 등 악성 유형별 악성 앱 1,000개

(샘플2) 랜덤 샘플링하여 선정한 최근 3년내 발생한 악성 앱 10,000개

(샘플3) 최근 1년 이내 발생한 악성 앱 1,000개

(샘플4) 최근 3년간 발생한 금융 피싱 관련 악성 앱 5,000개

(샘플5) 3개월 이내 발생한 금융 관련 악성 앱 100개

(샘플6) 1개월 이내 발생한 악성 앱 140개

평가는 동일한 환경에서 동시에 명령 수행 및 악성 앱이 모바일 장치에 설치되도록 Controller와 Agent를 자체 개발하여 수행하였으며 수행된 내용에 대한 로그는 데이터베이스에 저장하여 수행여부를 추후 확인할 수 있도록 구성하였다.

성능평가에 사용된 Mobile 기기는 성능 평가시 하드웨어 성능에 따른 평가 성능에 미치는 영향도를 쉽게 확인하기 위하여 저사양의 기기를 선택하였다. PC 및 Mobile 기기의 사양은 [표 3]에서 보는 바와 같다.

Table 3. Specifications of the Device used for evaluation

Table 4. Overall Evaluation Table(Functionality)

Table 5. Overall Evaluation Table(Resource Efficiency)

3.2 평가 기준 및 검증

3.2.1 기능성

기능성 평가 항목은 정확성 및 신속성을 평가하는 항목으로 모바일 안티바이러스 제품이 모바일 기기에 악성 앱이 설치되거나 SD카드 수동검사 시 얼마나 빠르게 탐지하고 올바르게 탐지하는지를 확인하는 평가 항목이다. 정확성의 대표적인 평가 기준은 악성 앱 1,000개를 PC를 통하여 모바일 장치에 설치했을 때 모바일 안티바이러스 제품이 실시간으로 얼마나 정확하게 악성 앱을 탐지하는지를 확인하는 것이 목적이다. 정확성은 85%이상 정확히 탐지하였을 경우 Good, 75%이상 85%미만일 경우 Average, 75% 미만일 경우 Bad로 평가하였다.

신속성은 SD카드 검사시 얼마나 빠르게 악성 앱을 검사하는지를 확인하는 것이 목적이다. 신속성은 악성 앱이 많아질수록 검사시간이 증가하는 것을 고려하여 악성 앱의 수에 따라 나누어 평가 기준을 세분화하였다. 악성 앱이 200개 미만일 경우 검사 시간이 2분 이하일 경우 Good, 6분 미하일 경우 Average, 6분 초과일 경우 Bad로 평가하였고, 악성 앱이 1,000개일 경우 검사시간이 10분이하일 경우 Good, 30분 이하일 경우 Average, 30분 초과일 경우 Bad로 평가하였다. 자세한 신속성 평가 기준은 Appendix A에 자세히 표기하였다.

이 평가 기준은 다른 평가 기관의 기준값과 실험을 통해 나온 평균 결과값을 기반으로 보정하여 설정하였다.

Table 6. Overall Evaluation Table(Usability)

기능성 평가의 총 11개의 세부 평가 항목 중 B와 C 모바일 안티바이러스 제품이 우수 10개, 평균 1개를 받아 가장 좋은 결과가 나왔다. 기능성에서 E의 경우 SD카드 검사 기능이 없어 SD카드 검사가 이루어지지 못하였으며 I의 경우는 SD카드 검사중 내부 메모리 부족 등의 이유로 일부 오류가 발생하여 몇가지 항목에서는 제외되었다.

각 악성앱 샘플별 기능성에 관한 평가 결과는 Appendix B에 표기하였으며 기능성 관련 평가 항목은 Appendix D에서 찾아볼 수 있다.

3.2.2 자원 효율성

자원 효율성 평가 항목은 모바일 안티바이러스가 악성 앱 검사시 모바일 장치의 자원이 얼마나 변화하는지를 평가하는 항목이다. 이 항목은 배터리 및 온도 변화량이 낮을수록 좋은 성능을 나타낸다고 할 수 있다. 배터리 사용률의 평가 기준은 모바일 안티바이러스 미검사시와 3분간 악성 앱 5,000개 검사후의 배터리 잔량 차이를 평가하며 안티바이러스의 백그라운드 사용률을 확인하기 위하여 배터리를 100% 충전후 72시간 경과후 배터리 잔량을 확인하여 평가한다. 3분간 배터리 사용률은 0.3% 이하이면 Good, 0.3% 초과 1%이하이면 Average, 1%초과일 경우 Bad로 평가하였다. 72시간 경과후 배터리 사용률은 30% 이하이면 Good, 30%초과 50%이하이면 Average, 50%초과이면 Bad로 평가하였다.

온도 평가 기준은 3분간 악성 앱 5,000개에 대한 안티바이러스 검사를 수행했을 때 온도 변화량을 체크하는 방식으로 평가를 진행하였다. 온도차가 2℃ 이하이면 Good, 4℃이하이면 Average, 4℃초과이면 Bad로 평가하였다.

Table 7. Overall Evaluation Table(Add-Ons)

자원 효율성 평가항목 총 3개의 세부 평가 항목 중 H 제품이 우수 3개를 받아 가장 좋은 결과를 보여주었다. 세부항목 중 72시간후 배터리 변화율에서 E 제품의 경우 배터리가 방전이 되어 백그라운드에서 배터리 소모량이 많은 것을 알 수 있었다.

자원 효율성과 관련된 평가 결과는 Appendix C, 평가 항목은 Appendix E에 첨부하였다.

3.2.3 사용성

사용성 평가 항목은 제품에서 사용자 편의성을 얼마나 제공하는지에 대한 평가항목이며, 사용자 학습 용이성은 얼마나 다양한 언어를 제공하는지 제품내에 사용자 메뉴얼을 제공하는지에 대해 평가한다. 입력 데이터지원 항목은 간편 및 정밀 검사시 사용자가 원하는 검사 대상을 지정할 수 있는지에 대해 평가하며 설치제거 용이성은 제품을 오류없이 정상적으로 제품을 제거할 수 있는지에 대해 평가하는 항목이다. 지원 여부만 묻는 항목은 지원하는 경우 Good, 미지원인 경우 Bad로 평가하였으며 지원 가능 개수인 경우 미지원인 경우 Bad, 1개~2개인 경우 Average, 3개 이상인 경우 Good으로 평가하였다.

사용성은 총 9개의 세부항목이 있으며 모바일 안티바이러스 B와 F가 가장 우수한 결과를 얻었다. J의 경우 10개가 넘는 언어를 지원하고 있었다.

사용성에 대한 자세한 평가 항목은 Appendix F에 첨부하였다.

Table 8. Overall Evaluation Table(Vendor Support)

3.2.4 부가 기능

부가 기능은 실시간 탐지 및 수동검사인 기본검사를 제외하고 추가적인 보안 기능을 제공하는지 평가하는 항목이다. 예약검사 기능이 있는지 VPN, Wifi 관리 기능이 있는지, 루팅 여부 확인 기능이 있는지 등 다양한 평가 항목이 있으며 총 22개의 세부 평가 항목으로 이루어져 있다.

모바일 안티바이러스 B 제품이 가장 우수한 결과를 나타내었으며 A 제품의 경우 다양한 수동검사 방식을 제공하고 있었다.

부가 기능에 대한 자세한 평가 항목은 Appendix G에 첨부하였다.

3.2.5 공급업체 지원

이 항목은 기능 추가 및 지속적인 업데이트가 이루어지고 있는지 문제 발생시 업체가 지원을 신속하게 제공하는지를 평가하는 항목이다.

총 5개의 세부항목이 있으며 A, B, C, E, I의 항목이 우수한 결과를 얻었으며 비교적 모든 제품들이 양호한 결과를 얻었다.

공급업체 지원에 대한 자세한 평가 항목은 Appendix H에 첨부하였다.

IV. 결론

본 논문에서는 기존 품질평가 기준과 이전 연구들에서 불필요한 항목을 제거하고 단순화 및 그룹화하여 기능성, 자원효율성, 사용성, 부가기능, 공급업체 지원 등 크게 5가지 평가항목으로 분류하고, 총 50개의 세부적인 평가기준을 수립함으로써 최신 모바일 안티바이러스 제품을 평가하기 위한 객관적이고 정량적인 기준을 제시하였다. 이렇게 제시한 평가 기준을 바탕으로 10종의 모바일 안티바이러스 제품에 대한 품질평가를 진행함으로써 평가기준에 대한 유효성을 검증하였다. 또한 저사양의 모바일 기기를 기준으로 평가를 진행함으로써 하드웨어 성능에 따라 평가지표에 미치는 영향이 미비함을 확인하였다.

향후 연구에서는 점차 증가하고 있는 iOS에 대한 평가를 진행하여 OS에 따른 평가 기준의 유효성을 검증하고 수립된 평가 기준을 바탕으로 매년 새로운 모바일 안티바이러스 제품을 평가하고 새로운 유형의 악성 앱을 평가함으로써 평가 기준에 대한 신뢰성을 향상하고 평가 기준을 보완해 나갈 예정이다.

Appendix