Evaluation of Mobile App Usability of Logistics in Life Startups

생활물류 스타트업의 모바일 앱 사용성 평가

Abstract

With the advent of the Fourth Industrial Revolution, startups are leading the proliferation of logistics in life services in countries across the world. Logistics in life startups aim to differentiate themselves for traditional logistics companies by offering customized services that penetrate niche logistics market and enhance customer convenience and satisfaction. Through the development of mobile applications(apps) and platform a variety of life-enhancing services are becoming increasingly available to customers, such as on-demand, online-to-offline, convenience, reverse logistics, as well as last-mile delivery. In particular, logistics in life services are expanding into areas that include food delivery, home moving, cargo transport, laundry delivery, car washing, and car repair. In order for the logistics in life startups to succeed, they needs to offer highly usable apps to increase customer satisfaction and loyalty. Due to the nature of mobile phones, different evaluation criteria than those for websits should be used to determine the usability of apps. The purpose of this study is to evaluate the usability of representative Korean logistics in life apps through usability testing, discuss implications and offer improvement recommendations. Finally, the best Korean logistics app is compared with a top ranked app on Google Play for benchmarking purposes.

4차 산업혁명의 도래에 따라 물류 스타트업이 주도하는 생활물류 서비스가 급성장하고 있다. 이들은 물류 틈새시장에서 기존 물류 기업들과는 차별화되는 고객의 편의성 제고에 중점을 둔 서비스를 제공하고 있다. 모바일 앱을 구축하여 온디맨드, O2O(online to offline), 편의물류, 역물류, 라스트 마일 배송을 구현하고 있다. 물류 스타트업 주도로 소화물뿐만 아니라, 음식배달, 원룸 이사, 세탁물 배송, 출장 세차, 출장 자동차 정비 등 생활물류 서비스가 성장하고 있다. 생활물류 스타트업의 주요 성공요인 중 하나는 사용성이 높은 모바일 앱을 구축하여 고객의 충성도를 높이는 일이다. 평가는 개선을 위한 출발점이지만 모바일 앱의 사용성은 모바일 폰이 가진 특성 때문에 웹사이트와는 차별화된 평가기준을 마련하고 평가되어야 한다. 본 연구에서는 사용성 테스트 방법을 통하여 국내 대표적인 생활물류 모바일 앱의 사용성을 평가한 후 그 시사점과 개선방안을 제안한다. 그리고 구글 플레이의 최상위 인기 앱과 디자인 관점에서 비교한다.

Ⅰ. 서론

4차 산업혁명은 새로운 물류 비즈니스 기회를 창출하였고 동시에 물류업도 서비스 방식을 변화시켜야 하는 새로운 도전을 맞이하고 있다. 4차 산업혁명이 전 산업에 영향을 미치고 있지만, 특히 물류업에서 적용 가능성이 높아 물류 4.0 시대를 열었다. 물류 4.0은 물류 서비스를 모바일화, 지능화, 자동화, 친환경화, 무인화, 고도화를 이루는 스마트 물류를 목표로 한다. 스마트 물류는 공급체인을 최적화하고 물류비 절감, 고객 편의성 제고와 안전하고 편리한 고객 맞춤형 서비스를 가능하게 했다. 이 과정에서 ICBA(사물인터넷, 클라우드, 빅데이터, 인공지능)와 무인차, 드론, 로봇 등 핵심기술을 사용하고 있다. 가트너 그룹은 향후 물류 트렌드로 라스트마일 배송과 옴니채널의 확대를 들었고[1], 도시 물류, 당일 배송, 공유운송, 공유보관이 중요성을 강조했다[2]. Twydell[3]은 자율주행 차량과 배송로봇은 화물차 운전사 구인난과 대도시 교통 체증 문제를 해결하고, BI Intelligence[4]는 향후 운송은 빅데이터 분석을 통하여 당일 배송이 실현될 것이라고 했다.

한국교통연구원[5]은 비용절감 측면에서 자율주행 기술이 물류산업에서 도입될 확률이 가장 높을 것으로 전망했으며, 실제 일본 최대 택배업체인 야마토 운수는 자율운전 기술을 사용하여 고객이 원하는 장소에서 택배를 받을 수 있는 온디맨드 무인택배를 개발 중에 있다. 또한 사물인터넷을 사용하여 신선식품, 의약품, 화학제품 등을 배송하는 콜드체인 물류가 전 세계적으로 확산되고 있는 추세이다[6].

DHL은 편의물류, 옴니채널 물류, 온디맨드 물류, 예측물류, 도시물류 등이 스마트 물류의 범주에 속한다고했다[7]. 편의물류는 신선식품 등을 온라인으로 주문하면 즉시 받을 수 있고, 옴니채널 물류는 고객의 주문 편의성을 높이기 위해 온라인과 오프라인 채널을 통합하는 물류이다. 고객 주문하면 즉시 공급되는, 수요가 공급을 결정하는 시스템이다. 영화를 다운로드해서 집에서 시청하거나 음식점을 방문하지 않고 배달시켜 먹는것, 콜택시, 집안 청소를 대신해 주는 인력중개업, 숙박공유, 차량공유 등이 그 예이다. 온디맨드는 O2O(online-to-offline)와 결합하여 모바일 애플리케이션 (앱)이라는 플랫폼으로 오프라인과 통합하는 비즈니스모델을 사용한다. 예측물류는 빅데이터 분석 기법을 사용하여 주문 전에 미리 수요를 예측할 수 있으므로 배송시간을 단축시키고, 도시물류는 도시의 복잡한 교통상황에 맞게 최적의 배송 솔루션을 제공하는 물류를 말한다.

한편, 홈쇼핑, 전자상거래, 해외직구의 발전에 따른 온라인 소매업 매출 비중이 증가하고 있어 생활 물류의 중요성이 높아지고 있다. 플랫폼 시장의 급성장으로 물류의 경계가 사라지고 고객의 생활 속에서 라이프 서비스를 제공하는 것이 물류와 결합하여 생활방식을 바꾸기 시작했다.

통계청에 따르면 온라인 쇼핑몰 거래액은 2017년 76.6조원 규모로 2001년 대비 20배 성장했으며 음식료품의 경우는 2001년 대비 120배 증가하였다. 택배업은 급성장하여 매년 두 자릿수 성장을 이어가고 있으며, 또한 배송단가 하락도 택배업 성장에 일조하고 있다. 한국교통연구원 조사에 따르면[8], 글로벌 택배 시장은 전자상거래에 힘입어 2017년 B2C 시장의 세계 택배 시장 점유율이 57.5%(시장교모 1,120억 1천만 달러)에서 2022년까지 연평균 9.7%씩 증가할 것으로 예상하고 있다. 국내는 2017년도 택배시장 시장규모는 5.21조원으로 연평균 12%씩 성장하고 있다. 퀵, 배달 대행 시장규모는 월평균 1,300만 건 수준이며 연간 매출액은 약 7,534억 원에서 2조로 추정된다. 그리고 월평균 배달 대행 건수는 1,400만 건에 이루고, 이사화물 운송주선업체 수는 4,711개, 2018년 기준 매출액은 2.7조원이었다. 과거 단순한 소화물 운송인 택배와 퀵 서비스를 넘어 소비자의 편의성을 극대화하고 O2O 생활 물류 플랫폼을 이용한 서비스가 성장하고 있으며, 이에 따라 소비자들은 보다 높은 배송 품질과 편의성, 안전성을 요구하게 되었다. 그러나 택배 종사자들은 열악한 노동환경에 처해있으며, 택배차량 증가에 따른 도시내 교통 혼잡과 환경오염 등 사회경제적 문제를 일으키고 있다. 그러므로 4차 산업혁명 기술을 사용하여 생활 물류가 안고 있는 문제를 해결하고 있다. 예를 들어 무인택배함은 고객 편의성과 안전성을 높일 수 있으며, 드론 배송은 라스트마일 배송과 친환경 물류를 실현할 수 있는 것이다.

본 연구에서는 신 개념인 생활물류를 국민생활의 편의 제공과 불편함을 해결하기 위한 물류로 규정한다. 전통적 물류와 달리 B2C 형태를 띄고 소형, 소량, 다빈도 화물을 소형 화물차, 이륜차 등을 운송수단으로 사용하는 것이 특징이다. 생활물류는 스마트 물류의 범주에 속하며, 편의물류, 라스트마일 배송, 온디맨드, O2O, 역물류 물류, 친환경 물류, 도시물류의 형태를 띤다. 생활물류의 장점은 물류비 절감과 고객 서비스 향상뿐만 아니라 신융합 물류로서 새로운 일자리를 창출하며, 동시에 4차 산업혁명 기술을 발전시킬 수 있다는 점에서 그 중요성이 높다. 환경적 측명에도 국내는 31조원 규모의 택시, 배달, 퀵서비스, 카쉐어링, 택배, 용달 및 개별화물 시장이 형성되고 있어 생활물류 시장은 성장성이 높다고 볼 수 있다.

생활물류의 범위는 광범위하다. 2019년 더불어 민주당 의원들은 급속히 성장하고 있는 생활물류서비스의질 제고와 산업의 육성 발전을 위해 생활물류서비스 산업발전법안을 발의한 바 있다. 이 법안에서는 생활물류를 택배와 운송중개에 한정하고 있다. 또한 한국교통연구원[8]은 생활물류의 범위를 택배, 포장이사, 배달대행, 퀵서비스로 규정하고 있다. 포장이사는 단순 화물운송 서비스에서 포장, 입주청소, 짐보관, 도배까지도 수행하여 물류의 범위를 확대하여 부가가치를 높이고있다. 배달대행은 음식물, 생필품, 세탁을 특정 점포에 소속되지 않고 모바일 앱을 사용하여 다양한 상품, 다양한 수요에 대응하고 있다. 퀵서비스는 택배와 달리배송시간에 강점이 있지만 배송 범위가 도시내 또는 도시 간으로 제한되며 작은 화물만 취급한다..

본 연구에서는 생활물류의 범위를 확대하여 전통적 물류와는 차별화되는 다음과 같은 특징을 갖는 물류의 형태로 정의한다. 첫째, 생활관련 서비스를 함에 있어서 물류의 기본 기능인 운송, 보관, 하역, 포장, 역 물류 중 하나를 수행하여야 한다. 운송은 자가운송과 운송 중개를 포함하기로 한다. 둘째, 모바일 앱이란 플랫폼으로 판매자와 구매자를 연결함으로써 물류의 시간적, 장소적 효용을 창출한다. 셋째, 제조업 등 산업 수출을 지원한 목적보다는 국민생활의 편의와 불편을 해소하는데 중점을 두어야 한다. 넷째, 여러 4차 산업혁명 핵심기술을 사용하며, O2O, 온디맨드, 또는 편의물류의 속하고 라스트마일 배송을 목표로 한다. 다섯째, 물류활동이 주로 도시 내에서 일어나기 때문에 교통 혼잡과 환경오염, 소음 등 사회적 문제를 해결해야 한다.

생활물류는 국내외적으로 물류 스타트업이 주도하고 있는 추세이다. 4차 산업혁명 기술을 이용하여 O2O 기반의 배달대행 서비스를 중심으로 지속적으로 출현하고 있다. 2015년 15개에 그친 물류 스타트업은 2017년에는 117개로 성장했다[8]. 이들은 모바일 앱 (이하 앱)을 사용하여 공급자와 수요자를 매칭하는 플랫폼 서비스를 제공하고 있다. 플랫폼은 모바일 앱을 통하여 고객과 접촉하기 때문에 사업 성공 여부는 앱이 얼마나 사용자 친화적이며 고객의 목표를 달성할 수 있도록 설계되어 있는지에 달려있다고 볼 수 있다[9][10]. 앱 스토어나 안드로이드 마켓에서 다운로드 받을 수 있는 앱이 등장과 쇠퇴를 반복하는 이유도 사용성 (usability)을 고려하여 설계되지 않았기 때문이다. 사용성이 높은 앱은 만족도를 높이고 재방문을 통해 매출에 기여할 수 있는 것이다. 또한 앱의 사용성 평가는 모바일폰의 특성 때문에 웹과는 차별화된 평가기준을 사용해야 한다. 예를 들어, 앱은 작은 화면에서도 사용이 편리해야 하고 이동 중이거나, 일을 병행하면서도 사용할 수 있도록 편리하게 설계되어야 한다.

본 연구에서는 문헌고찰을 통해 앱의 사용성 평가기준을 도출한 후 물류 스타트업을 대상으로 사용성을 평가한 후 그 시사점과 개선방안을 제안하는 것이 목적이다. 주요 내용으로, 사용성 기준을 도출한 후 국내 대표적인 물류 스타트업 모바일 앱을 선정, 네비게이션과 검색을 통해 정답을 찾을 수 있는 과업을 수행하도록 하는 사용성 테스트를 실시하여, 사용성을 측정하고 평가한다. 사용성 개선 방안으로 4분면 분석과 벤치마킹 방법을 제안한다.

Ⅱ. 모바일 앱의 사용성 평가기준

모바일 앱(이하 앱)의 개수는 급속하게 증가추세를 보이고 있다. 2018년 애플 CEO인 Tim Cook은 iOS 에 2천만개가 등록되어 있고, 매주 5억명이 방문하고 있다고 했다. 2019년 1분기에 안드로이드에서는 2천6백만개의 앱이, iOS는 2천2백만 개가 다운로드 되었다 [11]. 앱의 사용성 평가기준은 일반적인 소프트웨어 사용성 평가기준과 비교할 때 공통기준과 차별적인 특별한 기준을 요구한다. 소프트웨어 사용성 기준에 관한 대표적 연구인 Nielsen[12], ISO 9241-11[13], Seffah, Donyaee, Kline, Padda[14]에 따르면 사용자 목표를 달성할 수 있는 유용성(usefullness), 사용하기 쉬운 편의성(convenience), 사용자 만족, 최소의 노력으로 목표를 달성할 수 있는 효율성(efficiency), 목표를 완전하게 달성할 수 있는 효과성(effectiveness), 쉽게 사용법을 배울 수 있는 학습성(learnability), 다시 배우지 않아도 사용법을 기억하기 쉬운 기억성(memorability), 사용상 오류가 없는 오류없음(errorless), 생산성, 다국적 사용자를 수용할 수 있는 범용성(universality) 등이 포함된다고 했다.

그러나 앱은 모바일폰의 작은 화면과 키보드, 늦은 통신속도의 제약과 이동 중에도 편리하게 사용할 수 있어야 하므로 웹사이트보다는 더욱 엄격한 기준을 요구한다. 그러므로 소프트웨어 사용성 기준 가운데 모바일앱의 특성을 반영한 특별한 사용성 기준이 요구되는 것이다. 앱의 사용성 기준을 언급한 연구들을 고찰하면, Kaikkonen, et al.[15]는 사용상 오류가 없으며, 배우기 쉬워야 한다고 했다. Heo et al.[16]는 상호작용이 뛰어난 인터페이스, Kim, Jacko, Salvendy[17]는 기억성, 학습성, 효과성, 효율성, 유연성, 사용자 만족을 들었다. Baharuddin, Singh, Razali[18]는 효율성, 효과성, 만족감, 유용성, 괘락. 학습성, 단순성, 직관, 이해가능, 매력을, Lai, Zhang[19]은 사용의 편리함, 효과성, 사용 만족을, Venkatesh, Aljafari, Hoehle[20]는 그래픽, 색깔, 제어능력, 접속법, 손가락 조작, 적합한 폰트, 모양, 계층구조, 애니메이션, 화면전환을 제안했다.

본 연구는 변대호[21]의 연구로부터 평가기준을 도출하였다. 문헌고찰을 통해 19개의 초기 평가기준을 도출한 후 3개의 학술 데이터베이스인 Emerald (총 230개 학술지), OUP(총 302개 학술지), ScienceDirect (1013 학술지)에서 ‘mobile application + 19개의 사용성 기준’을 키워드를 사용하여 최근 10년간 학술논문을 검색한 다음, 3개 학술지의 논문 개수의 합계가 많은 순으로 10개의 평가기준을 선정하였다. 그리고 [표 1]에서 보는 바와 같이 논문 건수에 비례하여 가중치를 도출하였다.

표 1. 평가기준에 대한 측정 문항과 가중치

Ⅲ. 연구방법

1. 연구모형

본 연구는 [그림 1]과 같이 진행된다. 생활물류의 중요성 도출에서부터 사용성 평가기준 도출, 사용성 테스트의 수행, 그리고 결과분석과 사용성 개선 방안을 제안한다.

그림 1. 연구모형

2. 생활물류 앱 현황

구글 플레이와 앱스토어에는 많은 생활물류 앱들이 등록되어 있다. 국내 구글 플레이에서 생활물류의 주요활동을 대표하는 키워드를 사용하여 앱을 검색하였다. 보관은 소규모 창고로 수납공간이 적은 집안의 물건을 임시보관해 주며, 물건을 가지러 오고 갖다 주는 서비스도 해준다. 또 다른 형태로 여행 중 가방을 임시로 보관해 주는 장소를 알려 주거나 앱으로 지하철 보관함을 예약하고, 개폐할 수 있다. 보관이나 창고를 키워드로할 때 검색되는 앱 개수는 10개 미만으로 미미하였다.

이사는 560개 앱이 검색되는데 생활물류에 포함되어야 하는 곳은 포장 이사, 원룸 이사를배달대행을을 거치지 않고 직접 운송해야 한다. 이들 앱은 그 수가 많지않고 대부분 이사비용 비교, 견적, 이사 업체 조회 앱이 대부분이다. 화물 운송과 이사를 겸할 수 있는 개인 용달차가 포함되는 관계로 검색 건수는 많았다. 화물 운송 앱은 운송을 해주거나 화주와 차주를 매칭시켜 주는 앱으로 160개가 검색되었다. 사용자는 앱을 통해 화물차 호출, 실시간 운송 정보조회 및 요금 정산도 가능하다.

출장 세차는 63건이 검색되었다. 고객의 차를 세차장으로 가지고 가서 세차한 다음 다시 고객에게 되돌려주는 서비스를 한다. 세차장 위치 조회, 세차장 예약 앱들도 포함되어있는데 이들 앱은 물적 활동이 일어나지 않기 때문에 생활물류로 볼 수 없다. 출장 세차(63개 검색)는 세차장 위치를 알려주거나 세차를 예약하는 앱이 대부분이고 차를 세차한 후 되돌려주는 앱은 수 개에 지나지 않았다. 세탁(49개 검색)에는 세탁소 위치를 알려주거나 세탁물 예약 서비스 앱들이 포함되었다. 세차와 마찬가지로 세탁물을 가지러 온 다음 세탁 후 되돌려 주는 서비스만이 물적 이동이 동반되므로 생활 물류에 포함되어야 한다.

음식배달 앱은 사람들이 많이 이용하고 있는 것에 비하면 앱 수는 50여 개 정도로 많지 않았다. 그 대신 다운로드 횟수가 100만이 넘는 앱이 있을 정도로, 사용자는 몇 개의 대표적인 앱으로 집중되고 있다. 꽃 배달 (133개 검색)은 꽃이 물적 이동되므로 생활물류의 범주에 포함된다. 다운로드 횟수가 10만 회 정도의 앱은 있었지만, 앱 별로 비슷하고 절대적으로 많은 앱은 없었다. 콜택시(250개 검색)는 다운로드 횟수가 다른 앱과비교할 때 아주 많고 천만회를 넘는 앱도 있었다.

택배(50개 검색)는 한진택배, 롯데택배, 로젠택배, 농협택배, 우체국 택배가 있었지만, 이들은 스타트업으로볼 수 없는 곳은 생활물류 앱에서는 제외한다. 그리고 택배 현황을 조회하는 앱들이 다수 있었다. 택배 송장번호와 택배사를 입력하면 자동으로 배송을 추적해준다. 일부 스타트업은 여러 우편 배송업체 및 특송 업체와 제휴를 맺고 있었다. 무인 택배(40개 검색)는 물건전달자와 수령자가 직접 대면 없이 물건을 보내고 찾을수 있다. 물건을 발송하면 인증번호가 전달되고 이 번호를 입력하여 택배함을 열 수 있다. 서울시에서 운영하는 여성 전용 안심 택배와 편의점 택배는 생활물류에서 제외되어야 한다. 택배추적은 원하는 집화 희망일 지정과 운송장 번호로 배송조회를 할 수 있다.

애견분양(63개 검색)은 판매자와 구매자를 매칭시키는 수준에 그치고 실제 동물 운송까지 해주는 곳은 많지 않았다. 중고매매(252개 검색)는 많은 수가 검색되었지만, 중고차 앱이 대부분이고 그 외에 생활용, 가구, 책, 오토바이 등이 포함되었다, 다운로드 횟수가 5백만을 넘는 앱들이 다수 있었다.

3. 앱의 선정

생활물류 앱 10개를 선정하였다. 구글 플레이스토어와 애플 앱 스토어에 동시에 등록되어 있으면서 다운로드 수 1만 회 이상, 사용자 평점이 3.0 이상인 무료 앱을 선정기준으로 하였다. 유사업종이 없는 신생기업은 다운로드 회수가 1만 회에 미치지 못하였어도 선정하였다.

선정한 앱의 분야와 스타트업은 다음과 같다: 콜택시, 출장 자동차 정비, 중고품 직거래, 화물 운송, 애견분양, 음식배달, 포장 이사, 출장 세차, 세탁물 배송, 꽃 배달이다. 이들을 생활물류에 포함시키는 이유는 콜택시는 승객과 화물을 동시에 이동시키며, 중고품 직거래, 애견분양은 판매품을 자가 운송하고, 화물운송, 꽃 배달, 음식배달은 온디맨드 서비스를 위해 운송 중개를 요구하기 때문이다. 그리고 세차, 세탁, 자동차 정비는 수거 후 서비스 후에는 되돌려 준다는 점에서 역물류로 볼 수 있다. 역물류란 반품, 리콜처럼 고객에게 배달된 물건이 고객에서부터 공급자에게로 거꾸로 이동하는 물류를 말한다.

4. 테스트 방법

사용성 평가에는 많은 피실험자가 요구되지 않는다. 기존 연구들도 10여명 정도면 충분한 결과를 도출할수 있다고 했다. 본 실험에는 보다 많은 피실험자수를 확보하여, 생활물류에 사전 지식이 있는 물류학을 전공한 27명의 남녀 학생이 실험에 참여하였다. 이들은 모바일 앱을 다운로드 한 다음 결제 전까지 주문을 수행하도록 한 후 각 측정 문항에 대해서 사용 후 만족도를 7점 척도로 평가하였다. 앱 당 5분 내로 주문을 완료하지 못하면 과제를 마치도록 하였다. 휴식 시간을 포함해서 총 10개 앱을 평가하는 데는 약 2시간 30분 정도 소요되었다.

Ⅳ. 연구 결과

1. 인구통계적 조사

인구통계적 조사에서 모바일 폰 사용기간이 5년 이상인 사람은 전체 피실험자의 96%, 하루에 앱을 사용하는 시간이 3시간 이상인 사용자는 76%, 앱 수가 2개 이상인 사용자는 100%였다.

표 2. 인구통계적 조사

2. 사용성 점수

[표 3]에서 보는 바와 같이 각 평가기준에 대한 7점척도의 평가치를 100점 만점으로 환산하면 전체 평균점수는 72.0으로 그다지 높지 않았다. 오류없음 평가기준이 76.6점으로 가장 높고, 유용성이 67.6으로 가장 낮았다. 평가기준의 가중치에 각 피실험자의 응답치를 곱한 후 가중평균을 계산하면, 71.0으로, 가중치를 적용하지 않았을 때의 점수 72.0보다 더 낮게 나타났다.

표 3. 평가기준의 평균점수

각 평가기준 간 평균치가 차이가 있는지를 분석하기 위해서 분산분석을 실시하였다. 10개 평가기준의 모집단 평균이 같다는 것을 귀무가설 H0로 할 때 유의수준 5%에서 Pr(F>기각치)=0.05, F비 >기각치이면 귀무가설은 기각된다. F비=6.88 > 기각치=1.93 이므로 평가 기준의 평균치는 차이가 있다고 결론내린다. 즉 사용성이 상위권에 속하는 평가기준과 하위권에 속하는 평가 기준은 차이가 유의미한 결과를 보였다.

각 앱을 P1부터 P10까지 코드를 부여하였다. 평가기준의 가중치를 적용하지 않았을 때 각 앱 별 사용성 순위는 [표 4]와 같다. 전체 평균점수는 72.0이었고 콜택시 가 가장 사용성이 높았고, 그다음으로 중고품 거래, 음식배달 순이었다. 그리고 이사, 세차 앱 순으로 사용성이 가장 낮았다. 사용성이 높은 앱은 우리 생활에서 일어나는 빈도가 높은 활동이라는 점과 현재 앱스토어에서 제공되는 앱 수가 많았다는 특징이 있었다. 세차는 자주 일어나는 활동일 수 있지만 서비스되고 있는 개발된 앱이 별로 없었다는 점에서 사용성이 낮게 나타났다. 그리고 이사는 지금까지 전문 이삿짐 업체를 이용하는 경향이 많다는 점과 원룸 이사인 경우도 앱을 이용하는 경향이 낮다고 볼 수 있다.

표 4. 가중치를 적용하지 않았을 때 앱별 사용성 점수

그러나 평가기준의 가중치를 적용할 경우 전체 앱의 평균점수는 71.0이었고 [표 5]와 같이 사용성 점수는 차이가 있지만, 각 앱의 사용성 순위는 가중치를 적용하지 않았을 때와 동일하였다. 즉, 평가기준의 가중치 크기가 비슷하여 특정 평가기준을 제거할 수 없는 비슷한 중요도를 보이고 있다는 것을 의미한다.

표 5. 가중치를 적용할 때 앱별 사용성 점수

마찬가지로 각 앱 별 사용성 점수의 평균치가 차이가 있는지를 분석하기 위해서 분산분석을 실시하였다. 14 개 앱의 모집단 평균이 같음을 귀무가설 H0로 할 때 유의수준 5%에서 F비=1.14<기각치=1.68 이므로 H0는 채택되며, 앱의 사용성 점수는 차이가 없었다. 전체 앱의 사용성 점수는 72.0점(가중치 미적용시)으로 보통정도 수준이라고 볼 수 있는데, 사용성 점수가 몇 점 이상을 얻어야 개선의 필요성이 없는지에 대한 기준은 없지만, 7점 척도 평가에서는 일반적으로 80점 이상을 넘을때 만족스럽다고 할 수 있을 것이다.

3. 빅데이터 분석

인터넷 기업은 대중의 관심도가 높을수록 성장성과 매출액이 증가할 수 있어, 빅데이터 트렌드를 분석하여 관심도를 도출하기로 한다. 네이버의 데이터 랩을 사용하여 2020년 9월 기준으로 최근 1년간 모바일 및 PC를 사용한 검색어 순위를 추적하였다. 그림 2에서 보는 바와 같이 100점을 만점기준으로 할 때 평균점수 순위는 P10(80점), P3(57점), P9(26점) 순으로 높았고, 나머지 앱들은 10점 미만으로 상위권 앱들과는 현저한 점수 차이를 보였다.

그림 2. 빅데이터 트렌드 분석

모든 앱을 대상으로 할 때 사용성과 관심도의 상관계수는 0에 가까워 유의미한 상관관계가 없었다. 그러나 관심도와 사용성의 순위 차이가 1이하인 P3, P5, P6, 의 상관계수는 0.98로 매우 높은 상관관계를 보였다.

사용성과 관심도가 모두 높을 때가 가장 이상적이므로 P3, P10 이외의 나머지 생활물류 앱은 개선이 요구된다. IPA(Importance-Performance Analysis)를 사용하여 사용성 개선 전략을 도출하기로 한다. IPA는 제품 및 서비스의 개별 구성요소에 대해 사용자가 느끼는 중요도를 만족도와 함께 종합적으로 분석하는 기법으로 성능은 만족도로 대체되어 ISA(Importance-Satisfaction Analysis)이라고도 한다[22][23]. ISA에서 사용자가 이용 전에 느끼는 각 속성별 중요도와 이용 후 사용자가 느끼는 만족도의 크기에 따라 4분면을 도출한 후 전략적 의사결정에 활용할 수 있다[24].

본 연구에서는 ISA를 확장하여 중요도는 빅데이터 분석 결과인 관심도는 중요도로, 만족도는 사용성으로 대체하여 분석할 수 있다. 관심도가 높으면 중요하게 다루어야 할 대상이 되며, 많은 연구들에서 사용성은 만족도에 긍정적 영향을 미치며 높은 인과관계를 이룬다고 하였다.

[그림 3]에서 1 사분면에 속하는 앱은 관심도는 높지만 사용성은 낮아 약점항목(concentrate here)이 되므로 사용성 개선을 위해 노력과 관심을 가져야 하는중점 개선 영역이다. 2 사분면은 관심도와 사용성이 모두 높아 강점항목(keep up the good work)에 속하며, 현재의 서비스 수준을 유지 강화하는 것 외에 장기적인 관점에서 추가적인 개발이 필요하다.

그림 3. 관심도-사용성의 4분면 분석

3 사분면은 관심도와 사용성 모두가 낮아 저 우선순위(low priority)에 해당한다. 점진적 개선이 필요하고 사용성 개선 노력을 해도 기업성과에 큰 영향을 미치지 않기 때문에 제한된 자원과 노력을 투입한다. 4 사분면은 관심도는 낮지만, 상대적으로 높은 사용성을 보이므로 불필요 강점(possible overkill)에 속한다. 지속적인 유지가 필요하고 관심도를 이끌어 내기 위해서는 사용성 개선 외의 부수적인 노력이 요구된다.

P3, P10은 2 사분면에 나머지 앱들은 4사분에 속하고 있다. 전체 10개 앱 중 관심도와 사용성이 모두 높은 앱은 적기 때문에, 스타트업들이 대중의 관심을 이끌어 매출로 이어지는 노력이 필요하다고 볼 수 있다. 대부분 앱들이 불필요 강점에 속하여 전반적인 사용성은 충족하였다고 볼 수 있지만, 사용성 외적인 개선 노력이 여전히 필요함을 알 수 있다.

4. 물류 유형별 비교

10개의 앱을 P2(자동차 정비), P8(세차), P9(세탁)는 역물류, 나머지는 정방향 물류로 구분한다. 이들은 서비스가 자동차와 세탁물을 고객에게 다시 되돌려 줌으로써 물류 활동을 종결하게 된다.

표 6. 물류 유형별 평가점수

사용성 점수는 정방향 물류 앱이 73.5, 역물류 앱이 71.3이었다. 가중치를 적용하면, 각각 72.4, 70.3으로 낮아졌는데 그 이유는 가중치가 높은 C3와 C7에서 낮은 점수를 얻었기 때문이다. 데이터가 정규분포를 보이는지 판단하고자 정규성 검증을 수행하였다. 표본의 개수가 30개 이하이므로 Shapiro Wilk검증을 실시한 결과, 그룹별 유의확률은 정방향 물류가 0.458, 역물류가 0.614로 모두 유의수준 0.05이상으로 나타난 관계로 그룹들의 데이터는 정규분포를 하고 있다.

각 그룹 간 사용성의 차이 여부를 검정하기 위해 t-test 결과, 정방향과 역물류 간에는 t-value가 6.372 에 유의확률 0.000로 차이가 나는 것으로 나타났다. 사용성은 정방향 물류가 역물류보다 높았다. 특히, 예측성 (C9), 유연성(C8), 효율성(C2)의 점수 차이가 다른 항목 대비 크게 나타났다. 그리고 사용성 개선 여지가 필요한지 각 그룹의 평균과 100점을 기준으로 일 표본 t-test를 실시한 결과 모두 만점 대비 평균의 차이가 있는 것으로 나타났다. 결과적으로 각 그룹의 앱이 만점에 근접하는 사용성을 갖기 위해서는 개선이 필요함을 알 수 있었다.

5. 사용성 개선항목 도출

10개 평가기준 중 어떤 기준을 개선할 때 앱이 가장 높은 사용성 점수를 얻을 수 있는지 찾기 위해, 계층분석과정 모델[25]을 만들고 민감도 분석을 수행하였다. 목표 노드 아래에 평가기준을 두고 두 개의 평가 대안은 사용성 점수가 만점인 100점일 때와 현재 얻은 점수로 한다. Expert Choice 소프트웨어[26]를 사용하여 가중치를 적용할 때 정방향 물류는 100점 대비 대안으로 선택될 확률이 0.421이며 역물류는 0.414이었다. 만약 2개의 대안이 각각 선택확률이 0.5가 되면 100점과 동일한 선택확률을 가지므로, 0.5에 근접할수록 만점에 가까운 사용성을 가진다고 볼 수 있다.

표 7. 민감도 분석

각 평가기준 별로 사용성 점수가 최고점을 얻을 때 대안이 선택될 확률의 변화를 살펴보았다. 10개 기준 중 1개 기준만 사용성을 개선한다고 한다면 효과성 (C3)이 개선될 때 정방향 물류 0.440, 역물류 0.434으로 대안으로 선택될 확률이 가장 높게 나타났다. 사용성 점수도 효과성을 개선하면 정방향 물류 78.1점, 역물류 76.4로 상향한다. 이는 효과성의 중요성이 18.9% 로 가장 높은 것과 관련이 있는 것으로 보이며 현재 물류 앱들은 가장 중요도가 높은 기준을 반영하지 못하고 있다는 것을 알 수 있다. 최우선 개선해야 할 평가 기준은 효과성이었다. 즉 사용성 개선 우선순위는 점수가 높은 기준의 순서대로 개선한다면, 가장 높은 선택확률을 얻게 되므로 효과성(C3)-상호작용(C7)-효율성 (C2)-유용성(C1)-일관성(C10)-예측성(C9) 순으로 개선이 필요함을 알 수 있다.

이와 같은 순위는 6위까지는 가중치 크기순과 동일하였다. 즉, 6위까지는 가중치가 높은 순서대로 개선하는 것과 동일한 선택확률을 가진다. 하지만 7위부터는 가중치 크기순과는 다른 결과를 보인다, 가중치가높은 순서로는 오류없음(C5)보다5)보다 유연성(C8)을 개선하면 더 높은 선택확률을 가질 수 있다. 1-6위까지 개선한 후 오류없음(C5)를 개선하면 선택확률이 정방향 물류 0.487, 역물류 0.468인데 반해, C8을 먼저 개선하면 정방향 물류 0.488, 역물류 0.487로 더 높은 선택확률을 얻을 수 있다. 이 결과를 요약하면, 어떤 항목을 개선하든 정방향 물류의 선택확률이 역물류에 비해전반적으로 높은 것으로 나타나 정방향 물류의 개선 노력이 더 필요함을 알 수 있었다.

우선 개선이 요구되는 사용성 기준은 선택확률이 높은 점수 기준대로 개선할 때 가장 높은 선택확률을 유지할 수 있는데 6위인 예측성(C9)까지는 가중치 크기순과 동일하다. 그런데 C5보다 더 낮은 가중치를 갖는 C8을 개선해야 가장 높은 선택확률을 얻는 것을 알 수 있다. 결과적으로 물류 앱들은 처음부터 사용자가 요구하는 상위의 중요도를 제대로 반영하지 못했음을 알 수 있다. 따라서 가중치 크기 순서대로 개선하는 전략을 수립해야 하나 유연성을 우선적으로 개선하는 것이 바람직하다.

6. 탑 랭킹 앱과의 비교

어떤 앱의 사용성이 높다고 앱스토어나 구글 플레이에서 다운로드 수가 많을 것이라고는 말할 수 없지만 다운로드 수가 많으면 사용성은 높다고 볼 수 있다. 그리고 사용자가 평점은 리뷰수가 많을 때는 조작이 어렵다고 보아 신뢰도가 높다고 볼 수 있다. 본 연구에서는 앱 스토어와 구글 플레이에 공통으로 있으며 무료로 다운로드 가능한 앱 중에서 다운로드수와 평점, 리뷰를 고려하여 가장 랭킹이 높은 앱을 선정하고 이를 사용성 점수가 1, 2위를 차지한 P1, P3를 비교하기로 한다.

2019년 기준 상위 순위는 TikTok, Disney, Photo Retouch, Youtube, Instagram, Amazon 등이 있었으나 단순 정보조회 목적이나 SNS가 아닌 생활물류 앱과 성격이 유사하며, 결제가 필요한 아마존 앱과 비교하기로 한다. 아마존은 1억회 이상의 다운로드와 평점 4.1을 기록하고 있다. 비교 기준은 Nielsen, Budie[27] 이 제안한 모바일 사용성 원칙을 적용하였다.

1) 회원등록 없이도 조회 가능한가?

회원가입은 번거로운 절차를 거쳐야 하므로 회원가입 없이도 둘러볼 수 있도록 해야 한다. 그러나 대부분 앱들이 정보 수집목적으로 회원가입을 요구하고 있다. P1은 카카오 계정 가입이 필요하고, P3은 전화번호만 입력하면 둘러보기가 가능하고 아마존은 회원가입 없이도 상품조회는 가능하였다.

2) 첫 화면에서 앱의 목적을 분명히 알 수 있는가?

P1은 앱 제목만 나타나고 목적이나 요약된 핵심 기능을 기술하지 않았다. P3은 직거래 마켓이라는 키워드를 명시하고 있지만, 중고품 매매의 특징이나 강점을 설명하지는 않았다. 그러나 아마존은 검색엔진을 화면상단에 두고 화면 중간에 글로벌 배송이 가능하다는 점을 명시하고 있다.

3) 한 페이지에 많은 분량의 단어를 사용하지 않고, 글씨는 잘 보이는가?

P1은 서비스 내용을 설명하는 부분은 P5나 아마존에 비해 글자 크기가 작고, 모두 읽기 위해서 스크롤을 많이 해야 한다는 문제점이 있었다. P5나 아마존은 앱 특성상 단어 수보다는 상품 이미지 위주라서 가시성이 높았다.

4) 기술적인 용어를 사용하지 않았는가?

P3과 아마존은 단순 매매라는 앱 특성상 기술적 용어가 필요 없었지만, P1은 자동차 운전은 안전과 관계되므로 자동차 보험 약관을 알기 쉽게 설명하지 못했다. 반면 아마존은 해외배송에 통관비용과비용과 배송기간을 큰 글자로 잘 명시하고 있었다.

5) 콘텐츠 구조는 일관성이 있는가?

아마존은 웹과 일치된 구조를 사용하여 사용자 기억이라는 장점을 잘 활용하고 있으며 각 상품 카테고리별 일관성 있는 구조를 보였다. P3 역시 아마존과 마찬가지로 일관성 있는 구조를 보여 상품을 찾기가 쉬웠고, 조회한 상품 하단에 추천 상품을 나열하고 있다. 그러나 P1은 상품 카테고리 별 다른 메뉴구조를 가지며 메뉴 구조도 깊어서 드릴다운에 시간이 소요되며, 탐색 과정에서 선택할 옵션이 많은 것이 단점이다.

6) 이미지 크기는 적당하고 깨끗한가?

고객들은 택시를 탈 때 차량 외관도 고려하지만 P1 은 빠른 다운로드 속도를 위해 실제 차량 이미지를 사용하지 않았다. P3과 아마존은 상품 이미지를 클릭하면 확대된 이미지 2-5개를 보여주고 있다. 그러나 다운로드 속도나 이미지 선명도는 아마존이 P3보다 우수한 편이고 동일 상품에 대한 이미지 개수도 많았다. 그 이유는 P3은 중고품 판매인 관계로 판매자가 업로딩하는 이미지를 재편집하지 않았기 때문으로 여겨진다.

7) 페이지 스크롤은 최소화 하였는가?

스크롤은 페이지 별 다운로드 시간이 걸리기 때문에 최소화하는 편이 좋다. P1은 스크롤로 상품을 선택하지 않고 선택 옵션을 연속적으로 클릭한 후 원하는 상품을 결정하므로 스크롤이 필요하지 않았다. 그러나 P3은 모든 상품 목록을 나열하고 스크롤을 통해서 선정하도록 하고 있다. 아마존도 P3과 같은 방식이지만 우선 요약된 상품만 나열하고 더 보기를 클릭하면 다음 상품이 나타나는 방식이어서 스크롤의 활용은 P1, 아마존, P3 순으로 볼 수 있다.

8) 네비게이션 바와 탭 바를 사용하였는가?

네비게이션 바는 화면 상단에, 탭 바는 화면 하단에 배치된다. 네비게이션 바는 페이지가 넘어가면 사라지지만 탭 바는 유지되는 것이 차이점이다. P1, P5, 아마존 모두 탭 바와 이전 페이지로 되돌아갈 수 있는 네비게이션 바를 제공하고 있다. 그러나 P5는 네비게이션 바에 다양한 서비스 영역으로 바로 이동할 수 있는 아이콘을 나열하고 있다. 반면 아마존은 네비게이션 바에 사용자들이 자주 찾게 되는 검색엔진, 장바구니, 그리고 주요 조회 기능을 두고 있다. 그러므로 다양성 측면에서는 아마존이 가장 우수하다고 볼 수 있다.

9) 키보드로 텍스트 입력은 최소화되었는가?

키보드 입력은 최소화하는 것이 좋다. P1은 신용카드 번호를 직접 입력하는 대신 사진 촬영 후 업로드 가능하고, 주민등록번호나 휴대폰 번호 입력 오류를 줄이기 위해 가상의 예시 번호를 보여준다. P3은 직거래 앱인 관계로 판매자와 구매자가 채팅을 위해 키보드를 사용하는 것 외에는 입력을 최소화하였다. 아마존 역시 휴대폰 번호를 입력할 때 국가명에 해당하는 국가 코드를 보여주고, 상품 수량, 배송주기 등도 키보드 입력 대신 선택하도록 하고 있다. 입력에 필요한 노력은 앱 간 차이가 없었지만 P3은 입력 오류 방지를 위한 입력 마스크를 제공하고 있다는 점에서 사용성이 더 높다고 볼 수 있다.

10) 헤드라인 크기는 적당한가?

헤드라인이 화면에 차지하는 비율에 비례하여 화면에 들어갈 텍스트 분량은 줄어들기 때문에 앱의 목적을 충분히 나타낼 수가 없으며 첫 방문자에게는 주목받기도 어렵다. P1은 전체 화면의 10%가 헤드라인이 차지하고 내용은 단순 인사말 정도이다. P3은 헤드라인이 전체 화면의 30%를 차지하고, 거주 지역을 입력하라는 부담을 주고 있다. 아마존의 헤드라인 비율은 P3과 비슷하지만, 배송의 강점을 어필하고 있다는 점과 헤드라인에 이어서 같은 화면에 상품 리스트를 나열한 관계로 페이지 넘김이 없다는 것이 장점이다.

11) 검색엔진이 있는가?

P1은 검색엔진이 없으며 P3은 검색결과를 정확도와 최신순으로 재정렬하고, 가격 범위에 해당되는 상품을 재추출할 수 있다. 아마존은 화면 우측 상단에 고정된 검색엔진 입력창이 있으며 검색결과를 정렬하는 필터는 가격순 외에 고객 리뷰, 신제품 유무 등 P3보다 다양하였다.

12) 애니메이션을 사용하였는가?

애니메이션 효과는 단지 시각적인 흥미와 관심을 높이는 목적보다도 적은 크기에 화면에 많은 텍스트를 보여줄 수 있는 것이 장점이다. 그러나 P1, P3, 아마존 모두 광고 외에는 애니메이션을 사용하지 않은 점은 사용성을 높이는데, 영향을 미치지 않는다는 것으로 여겨진다.

13) 다운로드 상태를 보여주고 있는가?

화면을 스크롤하거나 확대된 이미지를 보기 위해 클릭할 때 로딩 시간이 오래 걸리면 앱을 빠져나가기 마련이다. P1, P3, 아마존 모두 다운로드 상태 바가 없었다. 실제 화면 전체를 차지할 만한 큰 이미지를 사용하지 않은 관계로 속도는 빨라 상태 바의 필요성이 낮다고 볼 수 있다.

14) Q&A는 있는가?

P1은 챗봇을 사용하지만 원하는 답을 찾기까지 여러 번의 질문을 해야 한다는 문제가 있었다. P3은 고객센터 메뉴에서 운영정책, 지역광고 등록 방법과 비용, 판매금지 품목, 거래방법 등을 설명하고 있다. 문장 내에 하이퍼텍스트를 사용하므로 답변을 이어서 얻을 수 있다. 그러나 답변 내용이 길어서 스크롤을 요구하는 것은 개선할 점이다. 아마존 역시 고객 서비스 메뉴에 주문관리, 반품, 환불, 결제 옵션 등을 설명하고 있지만 P3과 마찬가지로 하이퍼텍스트 기능을 갖추고 긴 설명으로 인해 페이지 스크롤이 필요하다. 그러나 그림이나 비디오로 설명하고 있는 것이 장점이다.

15) 지불방법은 다양한가?

P1과 아마존은 신용카드, 체크카드 등의 지불 방법 지원하고 P3은 중고거래 특성상 현장에서 직접 거래하거나 계좌 입금 방식을 사용하고 있어 P3이 가장 불편하다고 볼 수 있다. P1은 신용카드 결제부터 카카오 페이와 연동해 사용할 수 있고 휴대폰 결제가 가능하다. 아마존은 신용카드, 원클릭 구매, pay wtih amazon, 할부 및 멤버십이 가능해 가장 다양한 지불 방법을 지원하고 있다. 하지만 그만큼 부가적인 입력이 필요하고 복잡한 것이 단점이다. 종합하면 편의성과 다양성 측면에서는 P1이 가장 우수하다고 볼 수 있다.

Ⅴ. 결론

스마트 물류는 기존 물류 서비스가 제공하지 못했던 틈새시장에서 생활물류 스타트업을 탄생시켰다. 기존 물류 서비스가 주로 기업 간에 이루어지는 반면, 생활 물류는 보다 고객 중심으로 다가가 생활의 불편 해소와 삶의 질을 높이는 것을 목표로 한다. 생활물류가 성공하기 위해서는 플랫폼 역할을 하는 앱이 사용자 친화적이며 목표를 달성할 수 있도록 설계되어야 한다. 앱은 웹과는 차별화된 특징을 갖고 있어, 새로운 평가 기준을 사용하여 사용성을 평가해야 한다. 본 연구에서는 사용성 평가기준을 도출한 후 사용성 테스트를 사용하여 대표적인 생활물류 스타트업의 모바일 앱을 평가하였다.

앱의 평균 사용성 점수는 평가기준의 가중치를 적용하지 않았을 때 72.0점, 가중치 적용했을 때 71.0으로 양쪽 모두 높지 않았다. 분야별로는 택시 앱이 가장 높았고 이사 앱이 가장 낮았다. 앱 들의 전반적인 사용성은 충족하였지만, 대중의 관심도를 이끌어 매출로 이어지는 노력이 필요하다고 볼 수 있다.

평가기준의 사용성 점수는 오류없음, 예측성, 일관성은 평가치가 높았지만, 효과성, 유용성, 상호작용의 평가치는 상대적으로 낮아 개선이 필요하였다. 그 다음으로는 각각 일관성과 예측성으로 나타났다. 정방향 물류와 역물류와의 비교에서 정방향 물류가 더 개선이 필요하며, 평가기준은 효과성-상호작용-효율성-유연성-일관성-예측성 순으로 개선이 필요하였다.

국내 상위권 물류 앱이 탑 랭킹 앱에 비해 개선할 점은 첫 화면에 앱의 목적을 알기 쉽게 나타내고 그림이나 이미지를 사용하여 가시성을 높여야 하며 기술적인 용어를 피하고 일관성 있는 콘텐츠 구조가 필요하였다. 네비게이션 바와 탭 바의 활용도를 높여서 탐색이 용이하도록 하고 검색엔진의 결과를 다양하게 필터링하여 재정렬하는 기능이 필요하였다.

사용성 평가는 결국 품질개선을 통해 소비자들의 만족도를 가져올 수 있다는 점에서 중요하다고 볼 수 있는데, 본 연구는 급속도로 성장하는 생활물류의 범위와 특징을 정의하고, 생활물류 스타트업의 성공을 위한 방안으로 사용성을 평가하고 개선방안을 제안한 점에 그 의의가 있었다. 아울러 본 연구 결과는 생활물류 스타트업의 육성정책 수립에 활용될 수 있을 것이며 앱의생 존도를 높일 수 있을 것이다. 사용성 평가를 통해 우수 생활물류 앱을 선정하는 제도를 도입하면 자발적인 서비스 개선효과를 기대할 수 있을 것이다. 그리고 본 연구에서 시도한 분석 방법론 유사 연구에 활용될 수있을 것이다.

본 연구의 한계점은 일반적인 사용성 테스트의 문제점과 마찬가지로, 많은 앱을 평가하지 못했지만, 선정된 앱은 다운로드 횟수로 볼 때 대표성을 가진다고 볼 수있을 것이다. 그리고 필드 테스트 결과와 차이점을 비교하지는 못했다.

향후 연구로는 도출된 개선점을 반영한 사용자 인터페이스를 설계하는 일과 국내 앱과 해외 앱의 사용성의 차이점을 비교하고 사용자 경험이나 서비스 품질 평가가 등이 될 수 있다.