A Study on the User Experience according to the Method and Detail of Recommendation Agent's Explanation Facilities

추천 에이전트의 설명 방식과 상세도에 따른 사용자 경험 차이에 관한 연구

Abstract

As the use of recommended agents has become more active, the "Explain Facilities" is drawing attention as a way to solve the black-box problem that could not explain internal logic to users. This study wants to look at how the description Method and Detail affects to user experience. The Explanation method was divided into 'why the agent did a particular action' and 'why not do a particular action' and the detail condition were divided into 'high or low'. Studies have found that 'why method' have a positive effect on users' transparency, trust, satisfaction, and behavioral intention to use, and 'high detail condition' higher the user' Psychological reactance. In addition, it was found that the explanation methods and detail influenced the 'Explanation' perception through interaction and tended to affect satisfaction and intention to adopt recommendation. This study suggested that careful attention is needed to determine the method and detail of the Explanation facilities in the context of the recommended agent, based on the research findings that it affects the user experience through the interaction of the method and detail.

추천 에이전트의 활용이 활발해지면서 사용자에게 내부 논리를 설명할 수 없던 블랙박스 문제를 해결하는 방법으로 '설명 기능'이 주목을 받고 있다. 본 연구는 '설명 기능'의 유무에 따른 사용자 경험을 살펴보는 것에서 한 걸음 더 나아가 설명 방식과 상세도에 따라 어떠한 영향이 있는지 살펴보고자 한다. 설명 방식은 '에이전트가 특정 행동을 한 이유'를 설명하는 why 방식과 '특정 행동을 하지 않는 이유'를 설명하는 why not 방식으로 구분하였으며 상세도 조건은 상세도 높음/상세도 낮음으로 구분하였다. 연구 결과 why 설명 방식이 사용자의 투명성, 신뢰도, 만족도, 재사용 행동 의도에 긍정적인 영향을 주는 것을 발견하였으며, 상세도가 높을수록 심리적 반발에 대한 인식이 높아진다는 것을 확인하였다. 또한, 설명 방식과 상세도는 상호작용을 통해 '설명' 인식에 영향을 주었으며, 만족도와 추천 수용 의도에 영향을 준다는 경향성이 발견되었다. 본 연구는 사용자 경험에 긍정적인 영향을 주는 설명 방식과 적절한 상세도에 대해서 시사점을 제시하였으며, 설명 방식과 상세도의 상호작용을 통해 사용자 경험에 영향을 준다는 연구 결과를 통해, 추천 에이전트 맥락에서 설명 기능의 방식과 상세도를 결정하기 위해서는 세심한 주의가 필요하다는 제안을 하였다.

I. 서론

추천 에이전트(Recommendation Agents)는 사용자의 요구, 선호도, 인적사항, 과거 활동 등을 기반으로 조언을 제공하는 소프트웨어로 정의된다[1]. 또한, 온라인 소비 상황에서 일련의 단계를 거쳐 사용자의 의사결정 과정에 도움을 주는 도구로 활용되고 있다. 즉, 추천 에이전트는 과도한 정보로 인해 발생하는 구매자의 노력을 감소시키고 결정의 질을 향상하며, 제품 선택 확신에 긍정적인 영향을 주는 역할을 하고 있다[2]. 이러한 추천 에이전트는 현재 해외 아마존(Amazon)뿐 아니라 국내 아시아나 항공, 삼성 카드 등 다양한 산업 환경에서 활용되고 있다. 추천 에이전트의 활용이 늘어나면서 추천 에이전트를 고도화하기 위한 학술적인 연구 역시 활발하게 진행되고 있다. 기술적인 측면에서 이루어지고 있는 연구는 추천 정확도, 알고리즘 개발 등이 있으며, 사용자와 에이전트의 상호작용 맥락에서는 신뢰감을 주는 추천 에이전트의 특성을 살펴본 연구 등이 진행되고 있다.

추천 에이전트에 관한 활용과 연구가 활발해지면서, 설명 기능(Explanation Facilities)이 주목을 받고 있다. Johnson and Johnson(1993)은 설명 기능이 복잡한 시스템과 사용자 사이에서 원인과 결과를 묘사하는 역할을 한다고 정의하였다[3]. 사용자와 추천 에이전트의 상호작용 맥락에서 설명 기능을 살펴본 선행연구들에 의하면 설명 기능은 추천 에이전트가 추천을 생성하는 내부 논리를 설명함으로써 투명성을 높이고, 사용자의 초기 신뢰도 형성과 함께 추천 결과 수용 가능성에도 긍정적인 영향을 주는 것으로 밝혀졌다[4].

본 연구에서는 단순히 설명 기능의 유무에 따라 사용자 경험이 어떤 변화를 일으키는지 살펴보는 것이 아니라, 어떻게 설명을 하는 것이 긍정적인지, 얼마나 자세히 설명하는 것이 효과적인지 살펴보고자 한다. 이를 위해 설명 기능의 방식과 상세도가 사용자 경험에 어떠한 영향을 주는지 실증적인 연구방법을 통해 알아보고자 하였다. 설명 방식은 ‘에이전트가 특정 행동을 한 이유’를 설명하는 why 방식과 ‘에이전트가 특정 행동을 하지 않은 이유’를 설명하는 why not 방식으로 구분하였으며, 설명 상세도는 ‘에이전트 행동의 원인’만을 설명하는 낮은 설명 상세도 조건과 원인과 ‘에이전트 행동 결과의 예시’를 설명하는 높은 설명 상세도 조건으로 구분하였다.

II. 이론적 배경

1. 추천 에이전트와 설명 기능(Explanation facilities)

추천 에이전트는 네트워크를 통하여 인적사항, 선호도 등 사용자 정보를 획득하고 데이터베이스를 활용하여 가공 및 선별 과정을 거쳐 적절한 정보만을 사용자에게 제공하는 역할을 한다[1]. 이러한 추천 에이전트는 온라인 쇼핑, 미디어 콘텐츠 추천 등 다양한 분야에서 활용되고 있는데 주로 ‘챗봇’(Chat Bot)의 형태로 추천 에이전트를 형상화하여 사용자와 직접 대화하고 적합한 추천을 제공하는 형태가 대중적으로 활용되고 있다. 챗봇은 채팅(Chatting)과 로봇(Robot)의 합성어로, 인공지능 기술을 적용한 로봇과 사람이 상호작용 할 수 있는 시스템을 의미한다[5]. 따라서 본 논문에서 역시 추천 에이전트의 역할을 하는 챗봇과 사용자의 상호작용 맥락에서 연구를 진행하고자 한다. 추천 에이전트에 관한 선행연구들을 살펴보면 추천 성공률을 높이기 위한 알고리즘이나 추천 정확도 등에 관한 연구가 활발히 진행되고 있다. 그러나 추천 결과가 아닌 추천 절차에 의해 발생하는 블랙박스(Black-Box) 문제에 관한 실증적인 연구는 충분히 이루어지지 않고 있다. 추천 에이전트의 블랙박스 문제는 추천 결과를 제공하지만 ‘왜 그런 결과가 도출되었는지?’, ‘어떤 절차로 인해 추천이 생성되었는지?’ 등과 관련된 사용자의 질문에 시스템이 답해주지 않고 있으므로 발생하는 문제로 시스템에 대한 신뢰에 부정적인 영향을 미친다[6].

‘설명 기능’은 이와 같은 블랙박스 문제의 해결책으로 주목을 받고 있다. Buchanan(2007)은 설명 기능의 내용 구성으로 how와 why를 제시하였다. 설명 기능의 how는 ‘추천 결과까지 이어지는 내부 논리 과정과 이유’에 대한 내용을 의미하며, why는 ‘에이전트가 사용자에게 질문한 물음의 정당성과 중요함’을 의미한다[7]. 즉 설명 기능의 구성 내용은 ‘추천이 생성되는 내부 논리 설명’과 ’에이전트의 질문에 대한 설명’이라고 볼 수 있다. 이처럼 설명 기능은 블랙박스 문제의 원인인 시스템 내부 논리와 과정을 사용자에게 직접 설명하기 때문에 블랙박스 문제를 근본적으로 해결할 수 있다. 추천 에이전트 맥락에서 설명은 ‘추천 결과가 어떻게 생성되었는지’, ‘에이전트가 사용자에게 질문한 이유가 무엇인지’, 등에 대한 설명을 제공하는 것으로 정의할 수 있으며, 추천이 생성된 이유와 추천 에이전트 행동의 이유를 사용자가 이해할 수 있도록 하는 기능을 의미한다[8]. 즉, 추천 에이전트에서 설명 기능은 추천 에이전트의 내부 논리를 설명함을 통해 시스템 투명성을 높이고 초기 신뢰를 형성할 수 있는 기능으로 정의할 수 있으며, 추천 에이전트의 설명 기능이 사용자의 신뢰도와 만족도 등에서도 긍정적인 효과를 가져온다는 선행연구가 진행되었다[9].

2. 설명 방식과 설명 상세도

추천 에이전트의 설명 기능에 관한 관심이 높아지면서, 설명 기능을 정의하기 위한 다양한 시도가 진행되고 있다. 선행연구들을 종합하면, 설명 기능을 구성하는 요소는 설명 구성 내용, 설명 방식, 설명 시기, 설명 전달 방법 등이 주로 제시되고 있다. Richardson & Rosenfeld(2018)은 설명 가능성(Explainability)이 있는 시스템을 무엇을(what) 설명하는지, 언제(when) 설명을 전달하는지, 얼마나(how) 상세히 설명하는지 등을 기준으로 설명 가능성 시스템을 분류하였다[10]. ‘설명 시기’에 따라 분류한 선행연구들은 추천 결과의 사후와 사전으로 구분하는 것이 주를 이루고 있는데, 사전에 ‘왜 다음과 같은 질문에 응답이 필요한지’에 대해 설명하는 것과 추천 후에 ‘어떻게 다음과 같은 추천 결과가 생성되었는지.’ 설명하는 방식으로 구분하는 연구가 진행되고 있다. 또한, 설명 전달 방법으로 설명 기능을 구분한 연구에서는 그래픽을 활용하는 방법과 텍스트만을 활용한 방법의 차이를 살펴본 선행연구도 진행되었는데, 연구 결과에 따르면, 사용자의 주요 의사소통 방식인 텍스트를 통해 설명하는 것이 효율적이라는 가능성이 제시되었다[11]. 이는 현재 대중적으로 사용되고 있는 추천 에이전트의 형태인 ‘챗봇’에 설명 기능을 도입하였을 때 효율과 긍정적인 효과를 기대할 수 있음을 의미한다. 추천 에이전트로서의 챗봇은 텍스트를 사용하여 사용자와 대화하기 때문이다. 이처럼 설명 방식을 구분하고 분류하는 연구는 매우 활발히 진행되고 있다. 그러나 구성 내용, 방식, 시기 등 설명 기능의 특성이 사용자 경험에 어떤 영향을 미치는지 실증적으로 검증한 연구는 아직 부족한 상황이다.

본 연구에서 중점적으로 살펴보고자 하는 설명 기능의 요소는 설명 방식과 설명 상세도이다. Ribera(2019)는 설명 기능이 전달해야 하는 내용에 관해서 연구를 진행하였다. 연구 결과, ‘시스템이 한 행동이 무엇인가?’(what), ‘왜 시스템은 그 행동을 하였는가/하지 않았는가?’(why), ‘시스템이 특정 행동을 하게 하려면 어떻게 해야 하는가?(how)를 최종 사용자들에게서 생성될 수 있는 질문으로 정의하였으며, 이에 대한 답변을 설명 기능이 제공해야 한다고 주장하였다[12]. 또한, Rivera(2019)는 일반 사용자의 경우 시스템 행동의 이유를 의미하는 why와 관련된 물음에 답할 수 있는 설명이 중요함을 강조하였다. 이외에도 Zhang(2018)은 사용자가 질문할 수 있는 why 물음을‘왜 해당 결과가 도출되었는지’(why), ‘왜 다른 대안은 도출되지 않았는지.’(why not)로 구분하였으며 이 질문에 대응하여 답할 수 있는 설명 방식을 정의하였다[11]. 따라서 본 연구에서는 추천 에이전트의 설명 방식을 시기, 전달 방식 등으로 구분하지 않고 ‘왜 에이전트가 특정 행동을 했는지 혹은 하는지?’(why) ‘왜 에이전트가 특정 행동을 하지 않았는지 혹은 하지 않을지?’(why not)로 구분하여 실증적인 연구를 진행하고자 한다.

또한, 본 연구에서는 ‘설명 상세도’에 따라 사용자는 어떠한 영향을 받는지 그리고 설명 방식과 설명 상세도에서 상호작용 효과가 발견되는지 검증해보고자 한다. ‘설명 상세도’란 추천 에이전트가 얼마나 자세히 설명을 진행하는지를 의미한다. 설명 기능 분야에서 설명 방식, 설명 시기, 전달 방법 등에서 다양한 연구들이 진행되고 있으나 아직 설명 상세도에 따른 연구는 미흡한 상황이다. 특히 순수 텍스트만을 사용하여 추천 결과와 설명을 서술하는 ‘챗봇’과 같은 형태의 에이전트는 설명 상세도가 높을수록, 설명해야 하는 내용이 많아지는 것을 의미하기 때문에 사용자는 많은 양의 글을 읽어야 하고, 이는 사용자 경험에 부정적인 영향을 미칠 수 있다. 따라서 단순히 자세한 설명이 긍정적인 경험을 만들 수 있다고 단정 지을 수는 없으며 이를 살펴볼 수 있는 연구를 통한 검증이 필요하다.

투명도란 추천 에이전트를 활용하는 사용자의 신뢰에 영향을 미치는 요인으로, 추천 결과가 생성된 이유를 설명하는 에이전트의 능력을 뜻한다. 또한, 추천 에이전트의 설명 기능이 사용자가 이해할 수 있는지 파악하기 위한 척도로 활용되고 있다[14]. Kizilcec(2016)은 시스템 투명도를 3가지 수준으로 조작하여 신뢰에 어떠한 영향을 미치는지 살펴보는 실험을 진행하였다. 그 결과 자신의 기대보다 낮은 점수 평가를 받은 사용자는 시스템 투명도가 높을수록 시스템을 신뢰한다는 사실을 발견하였다. 그러나 투명도가 가장 높은 조건에서는 역으로 너무 많은 정보로 인해 신뢰가 악화된다는 사실을 발견되었다[13]. 즉, 사용자의 신뢰를 높이는 시스템을 설계하기 위해서는 적절 수준에 해당하는 투명도가 필요하다는 것을 알 수 있다. 특히 추천 에이전트 맥락에서는 사용자가 직접 찾아볼 수 있었던 기회가 에이전트가 선별해주는 행동으로 대체되기 때문에 ‘설명 기능’이 에이전트가 사용자의 선택권을 제한하고 있는 이유를 전달하는 것과 같은 의미로 해석될 가능성이 있다. 때문에, 사용자는 자신의 자유를 침해받는다는 ‘심리적 반발’을 경험할 가능성이 있는데, ‘심리적 반발’이란 자신의 자유가 위협받았다고 느낄 때 본인의 자유를 회복하려는 동기를 의미한다. 이는 시스템 사용을 중지하거나 신뢰가 악화되는 등 사용자 경험에 부정적인 영향을 미칠 수 있다[15]. 따라서 너무 높은 상세도의 설명이 심리적 반발을 유발하고 사용자 경험 전반에 부정적인 영향을 미치지 않는지 실증적인 연구가 필요한 상황이다. 본 연구는 사용자 경험에 긍정적인 영향을 주는 적절한 설명 상세도를 발견하기 위하여 설명 상세도를 높고 낮음으로 구분하고자 한다. 높음 조건에서는 에이전트 행동의 원인과 예시를 들어 설명하고 낮음 조건에서는 에이전트 행동의 원인만을 설명하는 조건으로 구성하여 사용자 경험에 어떤 차이가 있는지 살펴보고자 한다.

3. 연구 목적

본 연구에서는 추천 에이전트와 사용자가 상호작용하는 맥락에서 설명 기능의 방식과 상세도가 사용자 경험에 어떤 영향을 미치는지 실증적으로 살펴보고자 한다. 본 논문에서 살펴본 사용자 경험의 요인은 다음과 같다. 첫째, 신뢰와 투명도 평가에 정적인 영향을 미치는 변인으로 사용자가 추천 에이전트의 설명을 인지했는지를 의미하는 설명(Explanation), 둘째, 추천 에이전트의 설명을 사용자가 이해할 수 있는지를 파악하는 투명성(Transparency), 셋째, 추천 에이전트가 선택의 폭을 제한하고 자유를 위협한다고 느끼는 정도를 파악하기 위한 심리적 반발(Psychological reactance). 또한, 신뢰도, 만족도, 재사용 행동 의도, 추천 수용 의도를 조사하여 전반적인 사용자 경험을 파악하고자 한다. 추천 에이전트의 설명 방식은 선행연구에 따라 ‘에이전트가 왜 그러한 행동을 하는지’(why), ‘에이전트가 왜 특정 행동을 하지 않는지’(why not)로 구분하였다. 또한, 설명 상세도가 높을수록 사용자 경험에 긍정적인 영향을 주는 것이 아니라 적절한 상세도가 필요하다[13]는 선행연구 결과를 참고하여 why/why not 설명 방식에 따라 적절한 설명 상세도에 차이가 있는지, 설명 상세도를 높음/낮음으로 구분하여 설명 상세도에 따라 사용자 경험에 차이가 발생하는지 살펴보고자 한다.

Ⅲ. 연구방법

1. 실험 참가자

실험 참가자 모집은 ‘챗봇’과 대화하는 것에 문제가 없는 20세 이상의 성인을 대상으로 진행하였다. 참가자는 설명 상세도(높음/낮음)에 따라 두 개의 집단으로 분류되었으며, 집단 구분에 상관없이 why 방식과 why not 방식의 추천 에이전트를 모두 경험하도록 요구되었다. 체험 순서에 따른 효과를 통제하기 위해 사전에 무선으로 선정된 순서에 따라 실험을 진행하였으며, 실험 참가자는 남성 23명, 여성 39명으로 모집하였으며 평균 연령은 22.62세(SD = 4.31) 였다. 실험 종료 후 2명의 불성실 응답자를 제외하여 총 60명의 실험 데이터를 획득하였다.

2. 실험진행

본 연구는 챗봇을 통해 해외 여행지를 추천받는 상황을 가정하여 진행되었으며, 실제 온라인 상황을 반영하고자 온라인 환경에서 실험을 시행하였다. 또한, 현실과 유사한 실험환경 구성을 위해 구글 사이트 도구를 활용하여 가상의 홈페이지를 제작하여 활용하였고, 챗봇은 단비(Danbee Ai)를 활용하여 사용자와 챗봇이 자유롭게 대화하는 경험이 가능하도록 구현하였다. 참가자는 설문 페이지에서 실험 진행 방법과 유의 사항을 확인하고 링크를 통해 홈페이지로 이동하여 챗봇 버튼을 클릭하고 대화를 진행하였으며, 체험이 종료된 후에는 설문 페이지로 돌아와 에이전트에 대한 평가를 진행하였다. 설명 상세도 조건에 따라 구분된 참가자에게 두 가지 설명 방식의 챗봇을 무선의 순서로 경험하도록 실험을 구성하였으며, 온라인 실험 특성상 제작된 실험 처치물을 제대로 숙지하거나 체험하지 않고 평가 문항으로 넘어가는 문제를 방지하기 위해 평가 단계에서 여행지 추천에 대한 퀴즈를 활용하여 응답자가 실험 처치물을 제대로 인지하고 있는지 확인하였다.

3. 측정 변인

설명(Explanation)은 추천 에이전트가 사용자에게 제시하는 추천 결과가 만들어진 이유를 설명하는 것을 의미하며, 에이전트를 향한 신뢰와 투명도 평가에 정적인 영향을 미친다[13]. 본 연구에서는 참가자가 설명 기능을 인지하고 있는지를 조사하기 위해 ‘에이전트는 여행지가 나에게 추천되는 이유를 설명한다.’를 포함한 두 개의 문항으로 설명을 측정하였다.

투명성(Transparency)은 추천 결과가 생성된 이유를 설명하는 에이전트의 능력을 뜻하며, 사용자의 신뢰를 구축하는 중요 요소이다[14]. 설명에 대한 사용자의 인식과 추천 생성 이유를 이해하였는지를 조사하기 위해 ‘에이전트의 설명은 추천을 받아들이는 것에 도움을 준다.’ 등의 세 개의 문항으로 투명성을 측정하였다.

심리적 반발(Psychological reactance)은 자신의 자유가 위협받았다고 느낄 때 본인의 자유를 회복하려는 동기를 의미한다[15]. 실험 조건에 따라 추천 에이전트가 사용자의 선택권 자유를 위협한다고 느끼는 정도를 조사하기 위해 ‘에이전트는 여행지에 선택에 대한 나의 자유로운 결정을 제한하는 것 같다.’를 포함한 4개의 문항으로 심리적 반발을 측정하였다.

신뢰도(Trust)는 추천 에이전트가 만들어낸 정보를 믿거나 능력을 믿으려는 사용자의 의도를 의미한다. 신뢰는 시스템의 의도, 시스템의 역량에 대한 신뢰로 구성되는데[16], 본 논문에서는 에이전트의 능력에 대한 신뢰를 조사하기 위해 선행연구의 문항을 활용하여 ‘나는 추천 시스템에 대해 확신을 가질 수 있다.’를 포함한 3개의 문항으로 신뢰를 측정하였다.

만족도(Satisfaction)는 인지된 품질과 연관되어있는 개념으로서 본 연구에서는 설명 방식과 상세도에 대한 만족과 품질 평가를 조사하기 위해 ‘나는 에이전트 이용에 대해 대체로 만족한다.’ 등의 3개의 문항으로 만족도를 측정하였다[17].

재사용 행동 의도(Behavioral Intention to Use)는 에이전트 사용 혹은 추천 결과의 제품 구매라는 사용자 의사결정에 영향을 주는지 판단할 수 있는 사용자의 태도를 의미한다[16]. 본 연구에서는 추천 에이전트에 관한 사용자의 태도 중 제품의 구매 측면이 아닌 에이전트를 다시 사용할 것인지를 알아보고자 하였다. 따라서 ‘나는 미래에 이런 유형의 추천 시스템을 선호할 것이다.’ 등 3개의 문항으로 재사용 행동 의도를 측정하였다.

추천 수용 의도(Intention to Adopt Recommendation)는 사용자가 추천 결과를 받아들일 의지를 확인할 수 있는 개념으로서[18], 온라인 쇼핑 맥락에서는 해당 제품을 구매할 것인지 판단하기 위해 구성된 문항이다. 본 연구에서는 추천 에이전트가 만들어낸 추천 결과를 받아들이고 향후 활용할 용의가 있는지 물어보는 것을 통해 사용자가 추천 결과를 받아들이려는 의도를 조사하고자 하였다. 따라서, ‘나는 추천된 여행지에 가보고 싶다.’ 등 4개의 문항으로 추천 수용 의도를 파악하였다.

표 1. 측정 변인 별 설문 문항

Ⅳ. 실험 처치물 설계

1. 실험 처치물 제작

아시아나 항공의 ‘아론’, 삼성 카드의 ‘샘’과 같이 에이전트에게 특정한 이름을 부여하는 것을 고려하여, 본 논문에서는 why 방식으로 설명하는 챗봇의 이름을 ‘레보’, why not 방식의 챗봇을 ‘토니’로 명명하였다. 챗봇과의 대화 시나리오는 온라인에서의 추천 상황의 현실성과 사용자의 과거 경험에 따라 평가가 달라지는 경향을 최소화하기 위해 해외 여행지를 추천받는 상황을 가정하였으며, 사용자들이 가보았을 법한 유명 여행지는 선택지에서 제외하였다. 설명 상세도를 높음/낮음으로 나누어 참가자 집단을 구분하였으며, 각 집단에 따라 why 방식과 why not 방식의 챗봇을 모두 경험하는 2X2 혼합 설계로 실험을 구성하였다. 실제 챗봇과 대화하는 상황과 유사한 실험환경을 구성하기 위해 구글 사이트 도구를 활용하여 [그림 1]과 같이 가상의 홈페이지를 제작하였으며 챗봇 버튼 외의 다른 버튼은 모두 비활성화하였다. 실험환경을 데스크톱, 노트북 등으로 제한하여 실험을 통제하였고 설문 문항을 통해 이를 확인하였다. 대화 흐름은 챗봇 소개, 사용자 나이 질문, 체류 예정 기간 질문, 선호도에 따른 질문으로 총 4번의 상호작용 후에 추천 결과를 받게 되는 것으로 구성하였으며, 구글의 Dialog flow와 같이 높은 상세도의 자연어 처리를 지원하는 챗봇 개발 플랫폼 단비(Danbee.Ai)를 활용하여 참가자가 자유로운 응답에 반응할 수 있도록 챗봇을 구현하였다[19].

그림 1. 가상 홈페이지 화면

2. 실험 시나리오

설명 기능의 선행연구를 참고하여 ‘챗봇’의 설명을 ‘에이전트가 질문하는 이유’, ‘추천 결과가 도출된 이유’로 구성하였으며, 설명 방식과 상세도에 따른 시나리오는 다음 [표 2]과 같다. 또한, 실험의 현실성을 위해 두 가지 설명 방식 조건에서 같은 응답을 하더라도 다른 추천 결과를 받을 수 있도록 하였다.

표 2. 설명 조건에 따른 에이전트 응답 예시

Ⅴ. 연구 결과

1. 설문 문항 신뢰성 검증

설문 문항의 신뢰성을 검증하기 위해 신뢰도 분석을 진행한 결과, 설명(.71), 투명성(.82), 심리적 반발(.86), 신뢰도(.78), 만족도(.81), 재사용 행동 의도(.86), 추천 수용 의도(.82)으로 모든 항목에 대하여 Cronbach’α 값이 0.7 이상으로 분석되어 측정 변인의 신뢰성이 검증되었다.

2. 종속 변인 측정 결과

2.1 설명

설명 방식과 설명 상세도가 설명에 미치는 영향에 대하여 반복 측정 분산 분석(Repeated Measures ANOVA)을 실시한 결과, 설명 방식에 따라 유의한 차이가 발견되지 않았다[F(1, 58) = .73, p = .40]. 또한, 설명 상세도에 따른 설명에 대한 인식도 유의한 차이가 발견되지 않았다[F(1, 58) = 1.02, p = .32]. 반면, 상호 작용 효과에서는 유의한 차이가 발견되었다[F(1, 58) =6.59, p < .05, η_p²= .10].

2.2 투명성

설명 방식과 설명 상세도가 투명성에 미치는 영향에 대하여 반복 측정 분산 분석(Repeated Measures ANOVA)을 실시한 결과, 설명 방식에 따라 유의한 차이가 발견되었다[F(1, 58) = 4.70, p < .05, η_p²= .08]. why 방식으로 설명했을 때(M = 5.27, SD = .98) why not 방식으로 설명한 조건(M = 5.03, SD = .97)보다 투명성에 대한 인식이 높았다. 반면, 설명 상세도에 따른 유의한 차이는 나타나지 않았으며[F(1, 58) = .79, p = .38], 상호작용 효과 또한 유의하지 않았다[F(1, 58) = 1.64, p = .21].

2.3 심리적 반발

설명 방식과 설명 상세도가 심리적 반발에 미치는 영향에 대한 반복 측정 분산 분석(Repeated Measures ANOVA)결과, 설명 방식에 따른 유의한 차이가 발견되지 않았다[F(1, 58) = 1.72, p = .20]. 반면, 설명 상세도에 따른 유의한 차이가 발견되었다[F(1, 58) = 6.07, p < .05, η_p²= .10]. 설명 상세도 높을 때(M = 3.09, SD = 1.08) 설명 상세도가 낮은 집단(M = 2.38, SD = 1.16)보다 심리적 반발에 대한 인식이 높았다. 반면, 상호작용 효과는 유의하지 않았다[F(1, 58) = .28, p = .60].

표 3. 종속 변인 통계 결과

2.4 신뢰도

설명 방식과 설명 상세도가 신뢰도에 미치는 영향에 대하여 반복 측정 분산 분석(Repeated Measures ANOVA)을 실시한 결과, 설명 방식에 따른 유의한 차이가 발견되었다[F(1, 58) = 4.40, p < .05, η_p²= .07]. why 방식으로 설명했을 때(M = 4.13, SD = 1.07) why not 방식으로 설명한 집단(M = 3.89, SD = 1.03)보다 신뢰도에 대한 인식이 높았다. 반면, 설명 상세도에 따른 유의한 차이는 발견되지 않았으며[F(1, 58) = .00, p = .95], 상호작용 효과 또한 유의하지 않았다[F(1, 58) = .29, p = .59].

2.5 만족도

설명 방식과 설명 상세도가 만족도에 미치는 영향에 대하여 반복 측정 분산 분석(Repeated Measures ANOVA)을 실시한 결과, 설명 방식에 따른 유의한 차이가 발견되었다[F(1, 58) = 8.30, p < .05, η_p²= .13]. why 방식으로 설명했을 때(M = 4.89, SD = 1.06) why not 방식으로 설명한 집단(M = 4.56, SD = 1.15)보다 만족도에 대한 인식이 높았다. 반면, 설명 상세도에 따른 유의한 차이는 발견되지 않았으며[F(1, 58) = .03, p = .87], 상호작용 효과 또한 유의하지 않았지만[F(1, 58) = 3.69, p = .06] 유의확률이 .06으로 경향성을 확인할 수 있었다.

2.6 재사용 행동 의도

설명 방식과 설명 상세도가 재사용 행동 의도에 미치는 영향에 대하여 반복 측정 분산 분석(Repeated Measures ANOVA)을 실시한 결과, 설명 방식에 따른 유의한 차이가 나타났다[F(1, 58) = 8.52, p < .05, η_p²= .13]. why 방식으로 설명했을 때(M = 5.11, SD =1.11) why not 방식으로 설명한 집단(M = 4.70, SD = 1.31)보다 재사용 행동 의도에 대한 인식이 높았다. 반면 설명 상세도에 따른 유의한 차이는 나타나지 않았으며[F(1, 58) = .22, p = .64], 상호작용 효과 또한 유의하지 않았다[F(1, 58) = 1.59, p = .21].

2.7 추천 수용 의도

설명 방식과 설명 상세도가 추천 수용 의도에 미치는 영향에 대하여 반복 측정 분산 분석(Repeated Measures ANOVA)을 실시한 결과, 설명 방식에 따른 유의한 결과가 발견되지 않았다[F(1, 58) = 2.60, p = .11]. 또한, 설명 상세도에 따른 유의한 차이가 나타나지 않았다[F(1, 58) = .06, p = .81]. 상호작용 효과 역시 유의한 차이는 나타나지 않았으나[F(1, 58) = 3.61, p = .06] 만족도와 마찬가지로 경향성이 발견되었다.

Ⅵ. 논의

실험 결과, 설명 방식에 따라 투명성, 신뢰도, 만족도, 재사용 행동 의도에서 유의한 차이가 발견되었다. 구체적으로는 ‘에이전트가 왜 특정 행동을 했는지.’ 설명하는 why 조건에서 측정 변인들을 높게 평가하는 것을 확인할 수 있었다. 즉 선행연구에서 발견한 설명 기능의 장점인 투명성 신뢰도 등에 긍정적인 영향을 주기 위해서는 why not 방식의 설명보다 why 방식의 설명이 더 효과적이라는 결론을 내릴 수 있다.

또한, 설명 기능의 적절 상세도를 판단하기 위해 높음/낮음으로 구분한 설명 상세도에 따른 차이도 발견할 수 있었다. 설명 상세도 저 집단은 에이전트 행동의 원인에 관해서 설명하였고, 고 집단은 에이전트 행동의 결과에 대한 예시까지 설명하였다. 실험 결과 설명 상세도 높음 집단에 배정받은 참가자는 설명 상세도 낮음 집단에 배정받은 참가자에 비해 심리적 반발이 더 높은 것으로 나타났다. 심리적 반발이란 참여자가 자신의 자유를 위협받았다는 것을 의미한다. 즉 설명 상세도가 높았던 참가자들이 자신의 자유를 추천 에이전트가 침해한다는 감정을 더 많이 느꼈다는 것을 의미하고, 높은 설명 상세도가 부정적인 경험을 유발하였다는 것을 의미한다. 심리적 반발과 소비자를 연구한 Dillard와 Shen(2005)은 소비 상황에서 소비자들이 자유에 대한 위협을 받는다면 위협의 존재를 거부하거나 대상을 폄하하는 등의 반응이 나타난다고 하였다[20]. 또한, 인공지능과 심리적 반발을 살펴본 선행연구에서는 심리적 반발이 인공지능 평가에 부정적인 영향을 미친다는 것을 발견하였다[15]. 그러나 본 연구에서는 심리적 반발 외에 설명 상세도에 따른 유의한 차이는 발견되지 않았다. 이는 본 실험에서 조작한 높은 정도의 설명 상세도의 수준이 심리적 반발은 유발하지만, 다른 사용자 경험에는 영향을 미치지 않을 정도라는 것을 의미한다. 즉, 본 실험보다 높은 설명 상세도 수준은 심리적 반발은 물론 만족도, 신뢰도 등에서 부정적인 영향을 유발할 수 있고, 에이전트를 폄하하거나 존재를 거부하는 사용자 행동이 발견될 수 있음을 의미한다.

또한, 설명 방식과 상세도는 상호작용을 통해 ‘설명’(Explanation)에 영향을 미치는 것으로 드러났다.

그림 2. 설명에 대한 설명 방식과 상세도의 상호작용 효과

‘설명’은 설명 기능의 역할을 인지하는 정도를 나타내는 척도로 신뢰도와 투명도에 정적인 영향을 미치는 것으로 정의된다[14]. 구체적으로 상세도 조건에 따라 설명 방식의 차이가 있는지 알아보기 위해 단순 주 효과 검정을 실시한 결과, 낮음 상세도의 경우 why not 방식(M = 5.11, SD = 1.13)과 why 방식(M = 4.92, SD = 1.24)에서 설명에 대한 인식의 차이가 없었던 반면(p = .23), 높음 상세도의 경우 why 방식(M = 5.48, SD = .83)이 why not 방식(M = 5.08, SD = 1.23)보다 설명에 대한 인식이 유의하게 높은 것을 발견하였다(p = .02). 이는, 설명 상세도가 높고 why 방식으로 설명을 제공하였을 때, 설명 기능에 대한 인식이 높다는 것을 보여준다. 또한, 통계적으로 유의하지는 않았으나, 만족도와 추천 수용 의도 측정 변인에서도 설명 방식과 상세도가 상호작용을 통해 영향을 준다는 경향성이 발견되었다. 만족도의 경우 why 설명 방식을 취한 에이전트의 경우 자세히 설명할수록 만족도가 높았던 반면 why not 설명 방식을 취한 에이전트는 자세히 설명할수록 만족도가 낮아지는 경향이 발견되었다. 추천 수용의도는 설명 상세도가 낮은 경우 why not 설명 방식의 에이전트에 대한 추천 수용 의도가 높았던 반면 설명 상세도가 높은 경우에는 why 방식의 에이전트에 대한 추천 수용 의도가 높아지는 것을 확인할 수 있었다. 이는 why not 방식과 같이 ‘에이전트가 특정 행동을 하지 않는 이유’를 설명하는 방식을 활용할 때, 행동을 하지 않음으로써 발생하는 예시까지 설명하는 것은, 오히려 사용자 경험에 부정적인 영향을 미친다는 것을 의미하며, 반대로 ‘에이전트가 특정 행동을 하는 이유’를 설명하는 방식에서는 예시를 설명하는 것이 긍정적인 영향을 미친다는 것을 의미한다. 이는 앞서 살펴본 개인의 자유를 박탈하는 심리적 반발감과도 영향이 있을 것으로 예상된다. 사용자에게 특정 추천을 하는 이유를 설명한 why 방식에 비해 추천하지 않는 이유를 설명하며 사용자의 선택권이 제한된다는 사실을 직접 설명한 why not 방식은 자세히 설명할수록 심리적 반발에 대한 인식이 높았을 것이며, 기술 통계량에서도 그러한 경향이 발견되었다.

그림 3. 만족도, 추천 수용 의도에 대한 설명 방식과 상세도의 상호작용 효과

Ⅶ. 연구의 시사점 및 한계점

1. 연구의 시사점

이 연구의 시사점은 다음과 같다.

첫째, 기존 설명 방식에 관하여 분류 기준과 구성 내용 등에 대한 분석에서 그쳤던 선행연구에서 구체적으로 ‘에이전트가 특정 행동을 하는 이유’를 설명하는 why 설명 방식이 사용자 경험 변인 중 투명성, 신뢰도, 만족도, 재사용 행동 의도에 긍정적인 영향을 준다는 사실을 검증하였다. 이는 기존 설명 기능 유무를 살펴본 연구에서 설명 기능의 존재가 긍정적인 사용자 경험을 구성한다는 결과[9]에서 한 걸음 더 나아가 설명 기능의 다양한 방식 중 why not 방식보다 why 방식이 더 효과적이라는 것을 검증했다는 의의를 가지고 있다.

둘째, 설명 상세도를 높음/낮음으로 구분하여 실험을 진행한 결과 추천 에이전트 행동의 원인과 더불어 예시를 추가로 설명한 높음 집단에서 사용자의 심리적 반발이 높아진다는 사실을 발견하였다. 이는 추천 에이전트가 사용자에게 적합한 추천 결과를 선정하는 과정에서 설명 기능이 추천 결과 이외의 상품, 콘텐츠들을 제외한다는 사실을 자세히 설명한다는 의미를 담고 있기 때문으로 해석된다. 즉 설명 상세도가 높은 집단에서는 자신이 받은 결과 이외에 다른 결과들은 받을 수 없는 이유에 대해서 더 자세히 설명을 듣게 되었기 때문에 사용자의 선택권에 대한 자유를 침해받았다는 감정을 느끼게 되고 그 결과 심리적 반발이 높아졌을 것으로 판단된다. 본 연구에서는 심리적 반발 변인만이 설명 상세도가 높아짐에 따라 높은 평가를 받았지만, 실험에 사용된 것보다 설명 상세도가 높아질수록 선택권에 대한 자유를 침해한다는 감정에 정적인 영향이 있을 것으로 예상된다. 또한, 선행연구 결과와 같이 높아진 심리적 반발은 만족도, 신뢰도 등 전반적인 사용자 경험에 부정적인 영향을 미칠 가능성이 존재한다. 즉 사용자 경험에 적절한 설명 상세도를 유지하는 것이 바람직하다는 선행연구의 결과를 뒷받침하는 사실을 실험을 통해 살펴보았다는 의의를 가질 수 있다[13]. 또한 통계적으로는 유의하지 않았으나, 사용자의 심리적 반발이 why 방식보다 why not 방식에서 높게 측정되었다. 따라서 why not 방식의 설명 기능을 구현할 때에는 설명 상세도에 따라 더욱 세심한 주의가 기울여야 한다.

셋째, 설명 방식과 설명 상세도가 상호작용을 통해 사용자 경험에 영향을 미친다는 것을 발견하였다. 구체적으로 why not 방식의 설명 방식은 설명 상세도가 높아짐에 따라 설명, 만족도, 추천 수용 의도에서 부정적인 영향을 미친다는 경향성을 발견하였고, 반대로 why 방식의 설명 방식은 설명 상세도가 높을수록 긍정적인 영향을 미친다는 경향성이 발견되었다. 즉 설명 방식에 따라 적절한 설명 상세도가 다를 수 있음을 의미하며, 추천 에이전트 맥락에서 설명 기능을 제공하기 위해서는 우선 설명 방식을 결정하고, 그 방식에 따라 적절한 상세도를 고려해야 사용자의 설명에 대한 인식과 만족도, 추천 수용 의도에서 긍정적인 결과를 기대할 수 있을 것이라는 시사점을 발견하였다. 이는 설명 기능에 대한 전반적인 인식과 사용자 경험에서 주로 사용되는 만족도와 추천 에이전트의 최종 목표라고 할 수 있는 추천 수용 의도에 영향을 미치는 요소이기 때문에, 주요한 판단 기준으로 활용될 수 있다.

2. 연구의 한계점

이 연구의 첫 번째 한계는 실험 참가자가 대부분 20대로 한정되어 있다는 것이다. 따라서 연령별 사용자 경험의 차이를 파악하기 어렵다. 연령에 따라 선호하는 챗봇의 차이가 있을 수 있으며, 이는 추천 에이전트 평가에 영향을 줄 수 있다. 따라서 본 연구만으로 전 연령대에 일반화하기에는 어려움이 있으며, 추후에는 다양한 연령별로 살펴볼 필요가 있다.

둘째, 설명 기능의 다양한 분류 방식 중 설명 방식과 설명 상세도 수준만을 살펴보았다는 것이다. 앞서 살펴본 것과 같이 설명 기능은 방식과 상세도 외에도 시기, 내용 등으로 구분될 수 있다. 따라서 본 연구의 결과는 방식과 상세도에만 한정되어 있고, 이를 설명 기능의 전반적인 결과라고 확대하기에는 한계가 존재한다.

셋째, 실험에서 사용된 설명 방식이 한정되어 있다는 것이다. 본 연구에서는 선행연구에 따라 사용자의 why 질문에 답할 수 있는 두 가지 설명 방식(why/why not)을 사용하였다. 그러나 실무에서 적용하고자 하는 설명 방식은 이보다 더 다양할 수 있으며, 추후 연구에서 설명 방식에 따라 구체적인 검증을 진행하는 연구를 제안하는 바이다.

넷째, 설명 상세도 역시 다양한 수준을 다루지 않고 두 수준만을 살펴보았다. 설명 상세도는 단순히 자세히 설명한다는 의미가 아니라, Arrieta(2020)의 연구와 같이 설명 내용 중 어떤 것을 추가로 제공하는 것인지로 판단할 수 있다. 본 연구에서는 설명의 시기를 에이전트 행동 후인 사후로 통제하였으며 해당 설명 시기에서 제공할 수 있는 내용을 선행연구에 따라 예시와 단순화를 통한 원인 설명으로 구성하였다[21]. 실무에서는 기업이 공개할 수 있는 정보에 따라 제공할 수 있는 설명 내용이 제한될 수 있다. 따라서 본 연구의 결과를 실무에 바로 적용하기에는 무리가 있으며, 설명 내용에 대한 구체적인 분석이 선행되어야 한다.

다섯째, 실험의 시나리오가 해외 여행지 추천으로 제한되었다. 본 연구에서는 사용자의 특성과 도메인 지식 수준에 따라 다른 설명이 필요하다는 선행연구 결과를 참고하여 참가자 간의 차이를 최소화하고자 해외 여행지 추천을 실험 처치물로 활용하였다[12]. 따라서 본 연구의 결과를 모든 분야에 적용하기에는 무리가 있다. 하지만 본 연구에서는 추천 결과에 대한 만족도를 조사한 것이 아니라 설명 방식과 수준에 따른 사용자 경험 변화에 집중하여 살펴보았다. 따라서, 해당 분야의 사용자 특성을 고려한다면 충분한 시사점을 제공할 수 있다.

Ⅷ. 결론

본 연구는 추천 에이전트 맥락에서 설명 방식과 상세도에 따라 사용자 경험이 어떠한 영향을 받는지 구체적으로 파악하고 이를 실증적으로 검증해보고자 하였다. 설명 상세도는 에이전트 행동의 원인만을 제시하는 ‘낮음’ 집단과 에이전트 행동의 원인과 예시를 제공하는 ‘높음’ 집단으로 구분되었으며, 설명 방식은 ‘왜 에이전트가 특정 행동을 했는가’를 설명하는 방식(why)과 ‘왜 에이전트가 특정 행동을 하지 않았는가’를 설명하는 방식(why not)으로 구분하여 2x2 혼합설계 연구를 진행하였다.

그 결과 why 설명 방식을 적용하였을 때 사용자의 투명성, 신뢰도, 만족도, 재사용 행동 의도가 긍정적인 영향을 받는다는 것을 확인할 수 있었으며, 설명 상세도가 높았을 때 사용자의 심리적 반발이 높아진다는 사실을 발견하였다. 나아가 설명 방식과 상세도는 상호작용을 통해 설명에 유의한 영향을 발견하였으며, 만족도와 추천 수용 의도에서도 경향성을 발견하였다. 즉 본 연구는 사용자 경험에 긍정적인 영향을 주는 설명 방식을 구체적으로 검증하였다는 점과 설명 상세도에 따라 사용자의 심리적 반발이 높아질 수 있음을 발견하였다는 것에 의의가 있으며, 추천 에이전트에 설명 기능을 적용하기 위해서는 방식과 상세도에 따라 적절한 고려가 필요하다는 시사점을 제시할 수 있다. 그러나 본 연구는 해외 여행지 추천 맥락과 why, why not 방식만을 비교했다는 한계를 가지고 있다. 추천 에이전트가 다양한 분야에서 활용된다는 점과 실무에서는 공개할 수 있는 정보가 제한된다는 점을 고려하여 설명 방식과 설명 상세도를 선정하기 위해서는 제시한 고려 요소를 검증하는 단계를 거쳐 결정되어야 할 것이다.