Developing Evaluation Criteria for Enterprise UX

엔터프라이즈 UX를 위한 평가 기준 개발

Abstract

Recently, as User Experience (UX) is considered as an important concept in the service design process of various fields, securing usability of Enterprise UX, UX developed for professional users, is acknowledged as an essential factor to increase work efficiency. The interface of Enterprise UX is complex and technically difficult for it is targeted for professional users. Thus, creating problems with complicated planning and relatively insufficient concerns regarding usability due to emphasis on development efficiency. It is necessary to consider various methods of usability, regarding further improvement is arduous in aspects of development and the cost. Therefore, this study aims to define the concept and specificity of Enterprise UX to improve usability and system effectively, and verify the main factors that reduce the usability of Enterprise UX. The evaluation of the research enterprise service, RDP (Research Data Platform), was conducted to establish and verify hypothesis. Furthermore, an independent evaluation standard for Enterprise UX is proposed after testing speculating factors that lower the usability of Enterprise UX. It is expected to utilize the Enterprise UX usability criteria defined through this study as a base data in enhancing usability and in designing Enterprise S/W.

최근 사용자 경험(User Experience, UX)이 다양한 분야의 서비스 설계 과정에서 중요한 개념으로 인식되고 있는 가운데 전문 사용자를 대상으로 개발된 기업형 UX인 '엔터프라이즈 UX(Enterprise UX)'의 사용성 확보가 기업의 업무 효율 증대를 위해 중요하게 인식되고 있다. 엔터프라이즈 UX는 전문 사용자를 대상으로 하는 난이도가 높고 복잡한 인터페이스로 구성되어 있어 설계의 어려움이 존재하는 문제와 함께 개발 효율의 강조로 인해 사용성에 대한 고민이 상대적으로 부족한 경우가 많다. 그러나 개발의 난이도와 비용 측면에서 추후 개선이 어렵다는 점을 고려할 때 사용성에 대한 다양한 방식의 고민이 요구되며, 이에 본 연구는 엔터프라이즈 UX의 사용성 제고와 효율적인 시스템 개선을 위해 엔터프라이즈 UX의 개념과 특수성을 정의하고 엔터프라이즈 서비스의 사용성을 저하시키는 주요 요인을 검증하고자 하였다. 그 과정에서 가설 수립과 검증을 위해 연구용 엔터프라이즈 서비스인 'RDP(Research Data Platform)'의 사용성을 평가하고 엔터프라이즈 UX의 사용성 저해 요인 가설을 검증한 후 엔터프라이즈 UX를 위한 독자적인 평가 기준을 제안하였다. 본 연구를 통해 정의된 엔터프라이즈 UX 사용성 평가 기준이 엔터프라이즈 S/W를 디자인하고 사용성을 제고시키기 위한 기반자료로 활용될 수 있을 것으로 기대된다.

I. 서론

1. 연구 배경 및 목적

사용자 경험(User Experience, UX)은 사용자가 어떤 시스템, 제품, 서비스를 직·간접적으로 이용하면서 느끼고 생각하게 되는 지각과 반응, 행동 등 총체적 경험을 의미하는 용어로 사용자 경험을 개발, 창출하기 위해서 학술적, 실무적으로 이를 만들어내고자 하는 일을 사용자 경험 디자인(User Experience Design, UX Design)이라고 지칭하며, 영역에 따라 제품 디자인, 상호작용 디자인, 사용자 인터페이스 디자인, 정보 아키텍처, 사용성 등의 분야에서 주로 연구 개발되고 있다[1]. 사용자 경험 디자인을 어떻게 진행하느냐에 따라 경험의 만족도가 다르게 나타날 수 있기 때문에 사용자 경험 디자인 과정에서 디자이너는 여러 방법을 통해 수요자의 경험을 파악하고 이를 통한 해결안을 도출하게 되며[2], 도출해낸 사용자 경험적 해결안은 서비스의 설계와 디자인 방향을 설정하는 데 있어 중요한 역할을 할 수 있다. 기존의 사용자 경험 디자인은 일반적인 개인 사용자가 이용하는 서비스 및 콘텐츠 설계와 인터페이스 디자인에 주로 연구 및 활용되어 왔는데, 최근 사용자 경험에 관한 연구는 개인을 위한 서비스를 넘어 전문 사용자와 B2B 서비스의 설계 및 개발까지 점차 적용 범위를 확장시키고 있다. 이는 기업에서 사용되는 S/W의 긍정적인 사용자 경험 및 사용성 확보가 실질적인 기업의 업무 처리 효율 및 기업형 S/W의 효과적인 운용에 있어 중요한 요소로 작용하기 때문이다.

전문 사용자를 대상으로 개발된 기업형 S/W와 사용자 경험을 ‘엔터프라이즈 UX(Enterprise UX)’라고 정의하는데, 엔터프라이즈 UX는 특정 분야의 전문가를 대상으로 개발되어 주로 기업 운영을 목적으로 이용되는 서비스를 대상으로 한다. 전문 사용자를 대상으로 하는 엔터프라이즈 UX의 경우 다양한 Task를 포함하기 때문에 S/W의 구성이 복잡한 형태로 운용되는 경우가 많고, 이러한 엔터프라이즈 UX는 많은 사용자의 피드백을 바탕으로 꾸준한 개선과 업데이트가 이루어지는 일반적 개인 사용자를 위한 컨슈머 UX와 차이를 보인다. 우선 엔터프라이즈 S/W의 경우 개발 효율을 높이기 위해 사용성에 대한 고려보다 개발 자체에 집중하는 경우가 많고, 이러한 관행으로 인해 사용성이 저하될 확률이 높다. 이후 사용성 문제를 발견하더라도 엔터프라이즈 서비스를 사용하는 사용자의 전문성 및 제한적 이용, 컨슈머 UX와는 다르게 설계와 수정을 위한 과정이 복잡한 문제로 인해 한번 설계된 서비스는 새롭게 개편을 진행하기가 쉽지 않다. 그럼에도 불구하고 엔터프라이즈 UX의 사용성은 업무의 효율과 직결된다는 측면에서 매우 중요한 요소이기 때문에 업데이트를 통한 개선이 필수적이다. 엔터프라이즈 UX의 사용성 개선을 위해서는 UX 디자이너가 복잡한 전문가용 서비스에 대한 전반적인 이해를 바탕으로, 설계된 Task의 오류를 발견하여 수정하거나 재설계해야 하며 이 과정에서 사용성 평가와 같은 일련의 사용성 개선 과정을 필요로 하게 된다. 이러한 이유로 엔터프라이즈 UX 디자인은 이용 난이도가 높지 않은 일반 컨슈머 UX 디자인보다 비교적 큰 노력과 물리적 시간 및 비용을 필요로 할 수 있고, 결국 업데이트가 쉽지 않은 엔터프라이즈 UX는 오류가 있거나 사용성이 낮은 불편한 방식으로 서비스가 구현되어 있더라도 개선 없이 초기 설계와 디자인을 그대로 유지하여 사용되고 있는 실정이다. 결과적으로 이와 같은 문제가 발생하는 원인을 크게 네 가지 측면에서 살펴볼 수 있다. 첫째, 전술했던 내용처럼 엔터프라이즈 UX의 개선을 위해서는 물리적 시간과 비용을 들여 일련의 평가 및 업데이트 과정을 거쳐야 한다. 둘째, 업무를 위한 엔터프라이즈 S/W의 오랜 이용으로 기존의 패턴 및 플로우가 익숙해져 사용자가 개선의 필요를 인지하지 못하는 경우가 발생한다. 셋째, 엔터프라이즈 S/W의 기능 중심적인 개발 관행으로 인해 사용성을 고려하지 않는 개발 방식이 만연하다. 넷째, 기존 S/W의 개선 방안 도출을 위한 효과적인 평가 방법 및 기준이 부재하다.

네 가지 문제 중 사용자 경험 개선 측면에서 효과적으로 접근 및 제안이 가능한 문제는 “개선 방안 도출을 위한 효과적인 평가 방법 및 기준의 부재 문제”이다. 하지만 기존의 연구들은 주로 S/W 개발 프로세스를 평가 하는데 초점이 맞춰져 있기 때문에 기업의 다양한 측면을 설명하지 못하고 있는 실정이며[3], 이러한 한계를 극복하고 엔터프라이즈 S/W의 사용자 경험 개선하기 위해서는 초기 개발 프로세스에만 초점을 맞춰 평가를 진행하는 것이 아니라 S/W 개발 이후에도 실질적인 서비스 운용 실정을 파악할 수 있는 평가를 추가로 진행해야 한다. 이에 본 연구에서 제안하고자 하는 평가 기준은 엔터프라이즈 UX의 초기 개발 과정 또는 그 이후의 개발 및 개선 과정의 프로세스에서 활용될 수 있는 전용 평가 기준으로써 의의를 가진다고 할 수 있다.

엔터프라이즈 UX의 평가 기준 개발은 일반적으로 평가 기준을 명확하게 제시할 수 있는 컨슈머 UX와는 달리, 엔터프라이즈 S/W의 특수성을 이해하지 않은 상태에서 진행하게 되면 실질적인 개발에 어려움이 생길 수 있다. 또한 사용자 경험(UX)적 측면에서 평가 기준을 개발하는 과정 중 어려움이 발생하는 이유는 기본적으로 UX의 대상은 인터랙션 디자인(Interaction Design), 사용성(Usability), 정보 구조(Information Architecture), 인간공학(Human Factors Engineering) 등으로 여러 분야를 포괄하면서도 확실히 설정되는 명확한 분야가 없어 영역이 모호하기 때문이며, 이러한 인간의 경험은 본질적으로 주관성(subjectivity), 맥락성(contextuality), 총체성(holistic)의 성격을 가진 총체적인 심리적 효과이기 때문에 객관적으로 입증하거나 구체적 영역이나 특정 요소로 나눌 수 없기 때문이다[4]. 이러한 한계점을 극복하여 서비스의 실질적인 문제 개선 지표가 될 수 있는 전용 평가 기준을 개발하기 위해서는 엔터프라이즈 UX의 특수성을 고려하여 문제점을 유형화 및 구체화 시키고 이를 체계화할 수 있도록 개발의 방향성을 설정해야 한다.

이에 본 논문은 엔터프라이즈 UX의 개념을 정의하고 연구용 엔터프라이즈 UX 사례인 연구 데이터 공유 플랫폼 ‘RDP(Research Data Platform)’서비스를 중심으로 엔터프라이즈 UX에 대한 사용성 평가 및 분석을 진행하였으며, 엔터프라이즈 UX 설계 시 고려해야 할 사항 및 서비스 평가를 위한 독자적인 기준을 수립하여 설계 및 개선의 방향성을 제시하고자 한다.

2. 연구 방법 및 내용

본 논문의 연구 방법은 다음과 같다. 첫째, 엔터프라이즈 UX의 개념을 정리하고, 엔터프라이즈 UX가 갖는 특수성을 요약하였다. 둘째, 엔터프라이즈 UX의 특수성을 고려한 전용 평가 기준 수립을 위해 엔터프라이즈 UX의 사용성을 저해시킬 것으로 예상되는 주요 요인을 선정하여 정의한 후, 검증을 위한 가설로 설정하였다. 셋째, 연구용 엔터프라이즈 UX의 사례인, 연구 데이터 공유 플랫폼 ‘RDP(Research Data Platform)’서비스를 중심으로 사용성 평가 실험을 설계하고 실제 사용성 평가를 진행한 후 평가 결과를 분석하였다. 넷째, 사용성 평가 및 분석을 통해 가설을 검증한 후 분석 결과를 바탕으로 엔터프라이즈 UX의 특수성을 반영한 엔터프라이즈 UX 전용 평가 기준을 수립하였다.

그림 1. 연구 방법 및 순서

Ⅱ. 본론

1. 이론적 배경

1.1 엔터프라이즈 UX

엔터프라이즈 UX는 ‘기업과 조직의 운영 및 수익 창출에 활용되는 전문 사용자용 소프트웨어 사용자 경험’이라고 정의할 수 있다. 엔터프라이즈 시장의 UX 이슈는 개인용 시장과는 다르게 재미나 놀라움보다 효율성에 초점이 맞춰져 있고, 이러한 특성에 대해 이지현은 “엔터프라이즈 시장은 목적이 정확한 S/W나 인트라넷 내부 결제 프로세스에 UX가 많이 들어간다.” “목표는 생산성 향상을 위한 것이다”라고 주장하였다[5].

윤소연 등(2018)의 연구에 따르면 그간의 전문가용 연구지원 시스템은 양적인 팽창을 중심으로 개발이 진행되는 과정에서 실사용자인 연구자에 대한 이해와 사용성 검토가 미진하게 이루어지면서 질적인 성장을 이루지 못한 것으로 파악하였고, 그 결과로 연구 환경에서 연구자들이 연구지원 시스템을 이용하는데 어려움을 겪는 사용성 문제는 연구지원 시스템이 우선적으로 개선해야 할 중요한 과제가 될 것으로 예측하였다[6]. 또한 김주섭, 김선태, 최상기(2019)의 연구에 따르면 많은 연구 분야에서 데이터의 양이 기하급수적으로 증가하게 되었고 이러한 데이터를 체계적으로 관리하기 위한 서비스가 각 연구 분야별로 요구되고 있는 실정임을 시사하였다[7]. 효과적인 엔터프라이즈 UX의 운용을 위해서는 이와 같은 요구를 수용해 데이터 관리 환경을 구축하는 것뿐만 아니라 실질적인 사용자의 사용성을 확보하는 것이 중요시 되며, 김재훈 등(2018)의 연구에서는 또한 비즈니스 관점에서 웹 사용성의 효과는 수익 증가나 비용 절감 등으로 설명될 수 있어야 한다고 주장하였다[8]. 전술한 연구에서 살펴본 바와 같이 엔터프라이즈 UX는 B2C 제품들과는 다르게 방대한 양의 데이터 관리와 같은 체계가 필요하며, 전문 사용자의 사용성 측면을 검토하여 사용 목적과 설계의 방향성을 도출해야 수익 증가 및 비용 절감의 효과를 얻을 수 있다.

1.2 엔터프라이즈 UX의 특수성

엔터프라이즈 UX에는 일반적인 B2C 서비스의 UX 와는 다른 특수성이 존재한다. 대표적인 엔터프라이즈 UX의 유형인 기업형 S/W는 어려운 기능과 메뉴들의 조합으로 인해 여러 가지 사용 시나리오를 포함한 복잡한 구성을 갖게 되는데, 이는 엔터프라이즈 UX가 갖는 특수성의 영향을 받는다고 볼 수 있다. 이와 같은 관점에서 엔터프라이즈 UX의 대표적인 주요 특수성을 요약하면 다음과 같다. 첫째, 엔터프라이즈 UX는 일반적인 컨슈머 UX와는 달리 전문 사용자를 대상으로 개발된다. 둘째, 재미와 새로움보다 안정적이고 업무 효율을 높이는 것을 중요한 관점으로 여긴다. 셋째, 복잡한 구성을 가지며, 전문 사용자에게 맞춰 개발된 소프트웨어인 만큼 이용 난이도가 높다. 넷째, 한번 개발되어 업무를 위해 사용된 이후에는 개선을 수행하기 어렵다.

이 같은 특수성에도 불구하고 많은 엔터프라이즈 S/W가 개발 효율에 초점을 맞추거나 일반적인 UX 디자인 방식으로 디자인 및 개발되는 경향이 강하기 때문에 엔터프라이즈 UX의 사용성을 확보하기 위해서는 특수성을 고려해 디자인을 진행해야 하며, 엔터프라이즈 UX의 특수성을 고려한 평가를 통해 사용성을 저해시키는 요인을 파악하여 개선하는 것이 중요하다.

2. 사용성 평가

2.1 사용성 평가의 이론적 고찰

1970년 말, 사용성의 개념이 제시되고 평가와 적용에 대한 검토를 시작한 이래 사용성의 개념적 정의는 연구자의 주장이나 적용되는 대상에 따라 다양하게 적용되고 있고 그에 따라 수많은 모델과 전략이 등장하고 있다[9]. 사용성은 사람들에 의해 쉽고 효과적으로 사용되는 능력[10]으로 정의되기도 하며 사용성에 대한 일반적인 정의로서 주어진 환경에서 사용자가 얼마나 빨리 효율적으로 주어진 작업을 수행할 수 있는가 하는 정도를 의미하기도 한다[11]. 이러한 사용성을 다양한 관점에서 평가해보는 과정을 사용성 평가라고 정의하며, UX 디자인의 과정에 있어 디자인이 성공적으로 수행되었는지 평가해볼 수 있는 중요한 단계라고 할 수 있다. 사용성을 평가하기 위한 지표는 다양하게 구성될 수 있으며, 다양한 전문가와 기관이 정의한 사용성에 대한 평가 영향 지표를 정리하면 [표 1]과 같다.

표 1. 다양한 사용성 평가지표[12]

[표 1]과 같이 사용성을 평가하기 위한 다양한 지표가 전문가와 기관을 통해 정의되어 있지만, 본 연구에서 진행하는 엔터프라이즈 UX의 사용성을 평가하기에 적합한 지표라고 정의할 수는 없다. 이는 컨슈머 UX와 달리 전문화된 엔터프라이즈 UX의 특성상 일반적인 사용성 평가지표는 엔터프라이즈 UX의 특수성을 반영하지 못하기 때문인데, 엔터프라이즈 UX의 경우 특수성을 고려해 문제를 정확하게 파악하고 효과적인 개선점을 찾기 위한 전용 평가지표가 필요하다. 이에 [표 1]에서 제시한 사용성 지표 중 엔터프라이즈 UX의 특수성과 관련이 높아 엔터프라이즈 UX를 위한 평가 기준 제작 시 토대가 될 수 있는 지표를 효율성, 학습 용이성, 접근 가능성, 만족성, 일관성, 기능성 총 6가지로 선정하였다. 6가지 지표를 선정한 이유는 아래와 같다.

첫째, 효율성과 학습 용이성은 서비스 이용 효율 및 업무 효율과 관련된 요소로 엔터프라이즈 UX의 특성인 생산성 향상을 위해 중요시되며, 이용 난도가 비교적 높은 S/W의 사용성을 평가하는 데 필요한 항목이다. 둘째, 접근 가능성과 만족성, 일관성, 기능성은 엔터프라이즈 UX 서비스를 이용하는 전문 사용자의 멘탈모델과 관련된 요소로, 접근성과 완성도가 높은 서비스 제공을 통해 사용자의 멘탈모델과 일치하는 만족도 높은 S/W가 개발된 것이 맞는지 판단하는 데 필요한 항목이다.

2.2 엔터프라이즈 UX의 사용성 저하 요인

사용성 평가에 앞서, 엔터프라이즈 UX의 사용성을 저하시킬 것으로 판단되는 주요 요인을 앞서 선정한 지표 효율성, 학습 용이성, 접근 가능성, 만족성, 일관성, 기능성 총 6가지를 토대로 새롭게 정의한 후 아래 [표 2]와 같이 평가 전 가설로 설정하였다.

표 2. 엔터프라이즈 UX의 사용성 저하 요인 가설

전술한 사용성 평가 지표와 사용성 저하 요인 가설은 일반 UX의 사용성 평가가 아닌 엔터프라이즈 UX의 사용성 평가시 참고 및 비교 분석 등의 활용이 가능하도록 엔터프라이즈 UX의 사용성에 초점을 맞춰 구성하였으며, 엔터프라이즈 UX의 사용성 평가를 진행하기 위한 바탕이 된다. 이 같은 지표와 가설은 전문 사용자를 대상으로 하는 S/W의 실제 사례인 연구용 엔터프라이즈 UX 서비스 ‘RDP(Research Data Platform)’의 사용성 평가에 적용하여 실제 발견된 문제와 가설을 비교하고, 가설의 일치 정도와 새롭게 발견된 평가 기준 및 고려 사항은 어떤 것이 있는지 분석을 진행하였다.

2.3 RDP(Research Data Platform)

‘RDP(Research Data Platform)’는 체계적인 연구 데이터의 관리 및 공유 서비스 제공을 위하여, 국내외 관련 기관들과의 표준화된 연계방식을 제공하여 연구 기술 관련 데이터 활용의 선순환 서비스 환경을 제공하는 서비스이다[19]. RDP는 연구 데이터 플랫폼을 제공하며, 국내외 기관들과의 데이터 정보를 공개 활용하기 위해 DataCite, re3Data, Korea DOI Center, NTIS 등에 대한 연동 인터페이스와 연구 데이터 플랫폼을 적용한 기관들과의 프레임워크 연동을 지원한다. 또한, RDP는 프로젝트- 데이터셋 - 파일 관리체계로 템플릿 기반의 등록 및 저장 기능과 로컬 및 원격의 메타데이터를 검색 또는 조회할 수 있는 기능을 제공하고 등록 데이터를 관리하는 MyData와 회원 협업 업무를 위한 커뮤니티 서비스를 제공한다[20]. 본 연구에서는 오픈 전 RDP 서비스를 대상으로 연구를 수행하였으며 서비스 오픈과 함께 DataOn으로 명칭이 변경되어 현재 https://dataon.kisti.re.kr/ 를 통해 서비스되고 있다.

2.4 RDP 사용성 평가 진행방법

RDP 사용성 평가는 RDP 서비스의 2차 개발 전 사용성 검증을 위해 진행되었다. 전반적 사용 용이성 및 주요 Task 시나리오(연구 데이터 등록, 검색, 분석, 커뮤니티 등) 적합도를 검증하는 방식으로 진행되었으며, 사용성 평가에 따른 개선 방안을 도출하였다. 사용성 평가 대상은 국가 연구 과제 수행 경험, 국내 외 연구 데이터 검색 및 활용 경험, 연구 데이터 분석 환경 및 유사한 연구 환경 사용 경험이 있는 대학교/연구실 소속의 6명의 전문 사용자로 선정하였으며, 주어진 Task를 수행한 후 1:1 인뎁스 인터뷰를 진행하는 방식으로 수행되었다. 또한, 엔터프라이즈 UX의 사용성을 저해하는 요인을 분석해 검증하기 위해 발견되는 문제점을 앞서 제시한 엔터프라이즈 UX의 사용성 저하 요인 가설과 비교하였다.

2.5 RDP 사용성 평가 실험 설계

RDP 사용성 평가는 RDP 서비스 정식 출시 전 서비스 개발 과정 중에 진행되었으며, 아래 [표 3]의 실험 설계를 기반으로 진행하였다. 2019년 4월 기준으로 구현된 평가용 버전 시스템에 대한 평가 실험을 구성하였고, 사용 가능성이 높은 직업군에 종사하는 가상 사용자를 대상으로 수행되었다.

표 3. RDP 사용성 평가 실험 설계

본 평가는 RDP 서비스의 구성요소를 앞서 제시한 가설을 토대로 비교 분석하였으며, 구성요소에 대한 만족 사항과 불만족 사항을 도출하여 평가에 활용하였다. 또한 불만족 사항이 많고 주요한 Task의 진행을 어렵게 만든다고 평가되는 문제 순으로 심각도 순위를 부여하 였다. 사용성 평가의 원활한 진행을 위해 RDP의 각 기능을 수행하기 위한 Task를 구성하였고, 이러한 Task 는 서비스 설계자의 설명을 듣고 RDP 서비스의 네 가지 주요 기능인 “연구 데이터 검색/분석/등록/커뮤니티”를 평가 진행자가 직접 사용해 본 후, 서비스 설계자와의 회의를 통해 주요한 터치 포인트로 작용할 것이라 예상되는 Task를 중심으로 [표 4]와 같이 제작하였다.

표 4. RDP 사용성 평가 Task

3. 사용성 평가 테스크 수행 결과

3.1 연구 데이터 검색 및 분류 확인

‘연구 데이터 검색 및 분류 확인’ Task에서는 데이터 셋에 따라 다양한 태깅 지원, 익숙한 레이아웃, 검색 기능에 관한 적절한 설명 등의 만족 사항이 도출되었으며, 연구 데이터의 카테고리 분류 체계와 카테고리 메뉴의 레이아웃 문제가 불만족 사항으로 도출되었다.

그림 2. Task 1 순서도 및 주요 문제점

특히 시스템 체계 문제로 인해 검색이 효율적으로 실행되지 않는 문제가 발견되었으며, Task 1의 평가 결과 및 심각도 분석 결과는 아래 [표 5]와 같다.

표 5. Task1의 문제점 요약

3.2 연구 커뮤니티 검색 및 생성, 연구자 초대

‘연구 커뮤니티 검색 및 생성과 연구자 초대’ Task에 서는 평가자들에게서 커뮤니티 기능의 목적 문제와 타 연구자 정보 부족 및 커뮤니티 관리의 난이도 상승 문제가 불만족 사항으로 도출되었다.

그림 3. Task 2 순서도 및 주요 문제점

특히 시스템 체계, 멘탈모델과의 일치 문제로 커뮤니티 기능이 연구를 효율적으로 지원하고 있지 못해 이용 동기가 저하되는 문제가 발견되었다. Task 2의 종합적인 평가 결과 및 심각도 분석결과는 아래 [표 6]과 같다.

표 6. Task 2의 문제점 요약

3.3 연구 데이터 커뮤니티 공유

‘연구 데이터 커뮤니티 공유’ Task에서는 데이터를 공유하는 방식에 있어 평가자의 멘탈모델과 일치하지 않는 문제와 작업 진행 방식을 고려하지 않은 시스템 체계와 및 레이아웃 문제가 불만족 사항으로 도출되었다.

그림 4. Task 2-1 순서도 및 주요 문제점

특히, 연구자의 멘탈모델과 불일치 문제로 인해 데이터를 공유하는 과정에서 어려움을 느껴 작업을 완료하기 어려운 문제가 발견되었다. Task 2-1의 평가 결과 및 심각도 분석결과는 아래 [표 7]과 같다.

표 7. Task2-1의 문제점 요약

3.4 연구 데이터 전처리 분석 및 워크플로우 사용 및 분석 결과 확인

‘연구 데이터 전처리 분석 및 워크플로우 사용 및 분석 결과 확인’ Task에서는 전문 분석 프로그램의 사용 경험이 없는 사용자에게 전처리 분석이 유용할 수 있다는 점과 데이터를 한 번에 전처리할 수 있는 방식을 제공함으로써 업무 효율을 상승시킬 수 있다는 측면이 만족 사항으로 도출되었다. 그러나, 전처리 분석 기능의 난이도가 높고 익숙하지 않은 방식의 구성으로 인해 Task를 쉽게 수행하지 못하는 점 등이 불만족 사항으로 도출되었다.

그림 5. Task3 순서도 및 주요 문제점

특히 개발자 중심 설계 문제로 인해 사용 방식을 예상하기 어려운 시스템 구조의 문제가 발견되었으며, Task 3의 평가 결과 및 심각도 분석결과는 아래 [표 8] 과 같다.

표 8. Task3의 문제점 요약

3.5 연구 데이터 분석결과 등록

‘연구 데이터 분석 결과 등록’ Task에서는 분석이 완료된 데이터를 등록하는 과정에서 파일이 저장된 위치를 쉽게 인지하지 못하는 문제가 발견되었으며, 데이터 등록 시 입력해야 하는 항목들이 반복되는 것이 불편하다는 불만족 사항 또한 발견되었다.

그림 6. Task3-1 순서도 및 주요 문제점

특히 처리 과정의 단계 문제로 인해 같은 정보를 반복적으로 기재해야 하는 방식에 대한 문제가 발견되었으며, Task 3-1의 평가 결과 및 심각도 분석결과는 아래 [표 9]와 같다.

표 9. Task3-1의 문제점 요약

3.6 CLI 연구 데이터 분석

‘CLI 연구 데이터 분석’ Task에서는 RDP 사이트에서 자체적으로 제공하는 CLI 분석 환경을 활용하여 개인 분석 환경을 따로 조성하지 않고도 분석을 진행할 수 있는 점이 편리하고 업무 효율을 높이는데 의미가 있다는 의견이 만족 사항으로 도출되었으며, CLI 분석 환경 진입 시 사이트 내의 로그인과 별개로 로그인을 진행해야 하는 점과 CLI 분석 환경 ID/PW 대한 설명이 부족한 점 등이 불만족 사항으로 도출되었다.

그림 7. Task3-2 순서도 및 주요 문제점

특히 개발자 중심 설계 문제로 인해 로그인 방식 및 로그인에 필요한 정보를 찾는 방식이 일반적이지 않아 효율이 저하되는 문제가 발견되었으며, Task 3-2의 평가 결과 및 심각도 분석결과는 아래 [표 10]과 같다.

표 10. Task3-2의 문제점 요약

4. 엔터프라이즈 UX 사용성 평가 지표 수립

사용성 평가 전 가설로 수립한 엔터프라이즈 UX의 사용성 저하 요인을 RDP 사용성 평가를 통해 실제 엔터프라이즈 UX의 문제점을 바탕으로 비교 분석한 결과, 제시된 가설이 대부분 부합하는 것으로 나타났으며 새로운 문제점 또한 아래와 같이 도출되었다.

• 기능의 완성도 : 서비스가 제공하는 기능의 기본적인 구동에 문제가 없는 수준으로 완성도가 있는가?

• 충분한 정보 제공 여부 : 서비스를 이해하고 활용하기에 유용한 정보를 제공하는가?

• 멘탈모델과의 일치 여부 : 서비스 수행 방식이 사용자의 일반적인 멘탈모델과 일치하는가

위와 같이 발견된 세 가지 문제 모두 엔터프라이즈 UX의 특수성과 부합하고 평가 중 중복적으로 문제가 발견된다는 점에서 주요 평가 사항으로서 가치가 있을 것으로 판단하였다. 이에 기존 가설에 새롭게 도출된 문제점을 추가하고 기준별 우선순위를 설정하여 엔터프라이즈 UX의 효율적인 평가를 위한 사용성 평가 기준을 아래 [표 11]과 같이 제안하였다.

표 11. 엔터프라이즈 UX 사용성 평가 기준

평가 기준에서 제시한 평가 중요도와 심각도는 엔터프라이즈 UX 사용성 평가 기준의 효용 증대를 위해 평가 기준의 우선순위를 선정한 것이며, 평가 기준 중  선하여 평가되어야 할 기준별로 우선순위를 설정하였다. 우선순위가 높은 항목은 필수적으로 확인해야 하는 중요도가 높은 항목으로 분류할 수 있고, 우선순위가 낮은 항목은 부가적으로 확인이 필요한 항목으로 분류할 수 있다. 이와 같은 우선순위는 앞서 RDP 사용성 평가의 각 Task에서 발견된 문제점의 심각도와 시스템 구성의 중요도를 바탕으로 구성하였다. 이를 통해 실제 사용성 평가 상황에서 우선순위를 참고하여 평가 항목 을 생략하거나 순서를 결정하는 등의 사용성 평가 기준 조율에 있어 효율을 증대시킬 수 있을 것으로 기대된다. 또한, 기존 서비스의 평가 과정에서뿐만 아니라 초기 설계 과정에서도 이러한 기준을 반영하여 활용할 수 있을 것이다.

Ⅲ. 결론

본 연구는 엔터프라이즈 UX의 사용성 개선을 목적으로 새로운 평가 기준 개발을 위해 진행되었다. 엔터프라이즈 UX는 복잡한 기능과 낮은 시스템의 완성도로 인해 사용성이 낮은 상태로 개발 및 이용되는 경우가 많으며, 업데이트 및 개선이 필요함에도 엔터프라이즈 UX의 특수성을 반영한 전용 평가 기준이 존재하지 않아 평가 및 개선의 방향성을 설정하기가 쉽지 않은 실정이다. 이에 본 연구는 연구 데이터 공유 플랫폼 ‘RDP(Research Data Platform)’ 서비스를 통해 엔터프라이즈 UX 서비스의 사용성 평가 실험을 진행하고 그 결과를 바탕으로 엔터프라이즈 UX를 효과적으로 평가 및 개선할 수 있는 엔터프라이즈 UX 전용 평가 기준을 제안하였다.

본 연구를 통해 제안된 엔터프라이즈 UX 평가 기준의 긍정적인 영향 및 가능성은 다음과 같다. 첫째, 엔터프라이즈 S/W의 전용 UX 평가 기준으로써, 범위가 넓은 일반적인 UX 평가 기준과는 달리 엔터프라이즈 UX 의 특수성을 고려해 제작되었다는 점에서 독자적인 평가 기준이라는 의미를 지닌다고 할 수 있으며 새로운 서비스를 설계하거나 실제 기업에서 사용 중인 기존 서비스를 평가하는 과정에서 새로운 기준점 역할을 수행할 수 있을 것으로 사료된다. 둘째, 평가 지표의 우선 위와 중요도를 통해 살펴본 바와 같이 엔터프라이즈 S/W의 구성에 있어 효율성이 충족되지 않으면 기업용 S/W로써 성공적인 서비스를 제공하기 어렵다는 것을 알 수 있었고, 이에 엔터프라이즈 S/W의 효과적인 개발을 위해 고려되어야 할 사용성에 대한 기준을 효율성과 관련한 평가 지표 중심으로 재정립하여 평가의 효용을 높일 수 있을 것으로 기대된다. 셋째, 시간 및 경제적으로 여유가 부족한 상황에서 효과적으로 엔터프라이즈 UX의 평가를 진행할 수 있도록 평가 우선순위를 제공하여 관련성이 낮은 평가 기준을 평가에 적용하는 과정에서 발생하는 시간적, 경제적 비효율성 문제를 축소시킬 수 있을 것으로 기대된다.

본 연구는 엔터프라이즈 UX의 사용성 개선 측면에서 유의미한 평가 기준을 제안하였으나, 다음과 같은 한계점을 지니고 있다. 첫째, 엔터프라이즈 S/W가 다양한 도메인과 사용 환경에서 분야별 특수성을 반영하여 개발 및 사용되고 있기 때문에 본 연구에서 제시한 평가 기준을 전 분야의 엔터프라이즈 소프트웨어의 특수성을 고려한 절대적인 평가 기준으로 활용하기에는 부족한 점이 있을 것으로 사료된다. 둘째, 본 연구에서 제안한 평가 기준을 활용한 사용성 평가 진행 이후 평가 결과에 따라 추후 서비스의 개선이 어떻게 이루어졌는지, 평가 이후 엔터프라이즈 UX의 사용성 개선의 효과 및 한계를 파악할 수 있는 추가적인 결과 분석이 필요하다.

이 같은 이유로 후속 연구에서는 평가 기준 적용 대상을 다양한 분야의 도메인 및 사용 환경에서 사용되는 엔터프라이즈 S/W로 확장하고 실제적인 검증을 추가적으로 수행하는 과정이 필요하다. 결국, 엔터프라이즈 S/W의 도메인을 정의하고 도메인별 엔터프라이즈 S/W의 사용성 평가를 통해 본 연구의 기준을 검증하고 보완하는 연구가 필요한 것이며, 이러한 추가 연구를 통해 엔터프라이즈 UX 평가 기준을 각 도메인의 특수성을 고려해 수정 및 보완함과 동시에 도메인의 특성을 반영한 각각의 기준을 분리하여 마련하는 연구도 추가적으로 이루어져야 할 것이다.