Journal of the Korea Society of Computer and Information (한국컴퓨터정보학회논문지)

Korean Society of Computer Information (한국컴퓨터정보학회)
권호 표지
DOI QR코드

DOI QR Code

A Study on the Effects of Chatbot Characteristics on Continuous Usage Intention: Focusing on the Post-Acceptance Model

  • Youngkwon Jung (Graduate School of Business IT, Kookmin University) ;
  • Hyunchul Ahn (Graduate School of Business IT, Kookmin University)
  • Received : 2023.05.26
  • Accepted : 2023.06.14
  • Published : 2023.06.30
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, we propose a model to explain the intention to continue using chatbots based on the Post-Acceptance Model(PAM). We suggest anthropomorphism, personalization, and autonomy as antecedents. To validate the proposed model, we collected 441 responses from a survey and analyzed them using PLS. The survey included examples in the form of images depicting high and low levels of anthropomorphism, personalization, and autonomy in chatbots, aiming to investigate their effects. The study selected participants aged 20 to 70, covering a range of practical chatbot service users. The collected data were empirically analyzed using the PLS(Partial Least Squares) structural equation modeling(SEM) approach. The bootstrap resampling technique was employed during the SEM analysis to calculate model fit indices and confidence intervals. The results show that anthropomorphism and personalization significantly impact perceived usefulness and confidence. Autonomy did not directly affect perceived usefulness, but it strongly affected confirmation, which indirectly influenced perceived usefulness. These findings can help chatbot service providers develop strategies to increase customers' intention to continue using chatbots.

본 논문에서는 후기수용모델(PAM)을 기반으로 챗봇의 지속적 사용의도를 설명하는 모델을 설계하고, 선행요인으로 의인화, 개인화, 자율성을 제안하였다. 제안 모델을 검증하기 위해 챗봇 사용 경험이 있는 441명을 대상으로 설문을 수집하고, PLS 구조방정식 모델을 사용하여 실증적으로 분석하였다. 설문에서 챗봇의 의인화, 개인화, 자율성의 수준을 높고 낮은 예시를 그림으로 제공하여 그 효과를 조사했으며 실질적인 챗봇 서비스의 사용이 스스로 가능한 20대부터 70대의 연령대를 실험 대상으로 선정하였다. 구조방정식 모델링 수행 시 부트스트랩핑 기법을 사용하여 모델의 적합도 및 신뢰구간을 계산하였다. 분석 결과 의인화와 개인화가 지각된 유용성과 확신에 유의한 영향을 미치는 것으로 나타났다. 자율성은 지각된 유용성에 직접적인 영향을 미치지는 않았지만, 확신에 강한 영향을 미쳐 간접적으로 지각된 유용성에 영향을 미치는 것으로 나타났다. 이 연구 결과는 챗봇 서비스 제공자가 고객의 지속적인 챗봇 사용 의도를 증대시키는 전략을 개발하는데 기여할 수 있을 것이다.

Keywords

I. Introduction

4차 산업혁명 시대의 도래로 AI, 빅데이터 등 새로운 지능정보기술을 융합한 IT서비스가 우리의 일상에 제공되고 있으며 그에 대한 의존도가 증가하고 있다. 특히 코로나19 팬데믹 기간 동안 비대면 환경 중심의 IT서비스가 우리 생활에 확산된 이후, 지능정보기술을 기반으로 비대면 대화서비스를 제공하는 챗봇에 대한 관심이 높아지고 있다. 챗봇은 텍스트나 음성 또는 이 모두를 통해 자연어를 사용하여 사용자와 대화를 수행하는 컴퓨터 애플리케이션으로 정의되며 대화 시스템 또는 'artificial conversational entities'라고도 한다[1]. 사용자는 챗봇과 상호 작용하여 제품 또는 서비스 관련 정보를 얻는다.

챗봇은 접근성, 유연성 및 낮은 비용으로 인해 최종 사용자와 기업 모두의 편의를 위해 사용된다. 때문에 오늘날 거의 80%의 기업이 챗봇을 사용하거나 조만간 통합하여 사용자와 연중무휴로 소통하고 문제를 해결할 계획을 세우고 있다[2]. 많은 기업들은 자사의 메신저 플랫폼을 활용하여 고객들에게 좀 더 적극적이고 다양한 서비스를 제공하고 있으며 기업 경쟁력을 유지하기 위해 전통적인 분야의 기업들은 기술 혁신의 도입으로 가능해진 새로운 디지털 서비스, 제품 및 상호 작용 채널을 중심으로 디지털 전략을 구축함으로써 고객 경험을 변화시키고 있다[3].

최근 챗봇에 대한 관심이 높아지면서, 챗봇 서비스의 수용 또는 이용의도를 분석한 연구들이 발표되어 왔다. 이들 연구에 따르면 챗봇은 사용자에게 더 가깝고 개인적인 상호작용을 하도록 설계되었기 때문에 사용자가 챗봇과 상호작용하는 방식은 일반적인 정보기술 서비스에서 이루어지는 방식과 많은 면에서 차이가 있다. 챗봇은 대화를 통한 인간과의 상호작용을 통해 고도화되며 이런 인간과의 상호작용과 첨단 기술을 기반으로 발전하는 챗봇의 인식과 수용도에 대한 연구가 진행되면서 챗봇의 지속적인 사용에 영향을 미칠 수 있는 요인에 대한 관심이 높아지고 있다[4].

이러한 배경에서 본 연구는 챗봇 사용자들을 대상으로 챗봇의 지속적 사용의도에 영향을 미치는 요인들을 여러 각도로 도출하고, 이들이 챗봇에 대한 지속사용의도에 어떤 영향을 미치는지 살펴보고자 한다. 챗봇 수용을 주제로 한 기존 연구에서는 챗봇에 대한 수용 행동을 다른 정보기술 서비스와 동일하게 주로 기술수용모델 혹은 그 유사·확장 모델들에 기반하여 설명하고자 하였다. 하지만 본 연구는 지속적인 사용의도를 효과적으로 설명하지 못하는 기술수용모델을 채택한 챗봇과 관련한 기존 연구들의 한계를 극복하기 위해 기대-확신 이론과 기술수용모델에 이론적 토대를 둔 후기수용모델을 기반으로 챗봇의 지속사용 의도에 영향을 미치는 요인들을 살펴보고자 한다. 또한 챗봇의 고유한 특성으로 의인화, 개인화, 자율성을 선행요인으로 하여 각 요인이 지속사용의도에 미치는 영향을 다각도로 분석하고자 하였다. 이를 통해 챗봇 사용자의 니즈를 충족하고 챗봇 플랫폼의 성장이 메신저 기반 커머스 플랫폼의 미래 성장동력으로 인식되는데 도움이 되는 것을 본 연구의 목표로 삼는다.

이후 본 연구의 구성은 다음과 같다. II장에서는 챗봇과 챗봇의 특성을 나타내는 의인화, 개인화, 자율성에 대한 이론적 배경을 살펴보고, III장에서는 후기수용모델에 기반한 연구모델과 연구가설을 제시한다. 이어 IV장에서는 연구모델의 실증 분석을 위한 실험 설계와 실험 결과를 제시한다. 마지막으로 V장에서는 연구의 결과와 시사점, 그리고 연구의 한계점과 향후 연구방향을 제시한다.

II. Theoretical Background

1. Chatbot

챗봇은 채팅과 로봇의 합성어로 사용자와 대화로 상호 작용하는 대화형 에이전트의 일종으로서 AI 기술을 기반으로 텍스트 형식의 대화를 통해 사용자의 언어를 이해하고 사용자의 지시를 수행하거나 사용자의 질문이나 관련 정보에 대한 답변을 제공하는 대화형 소프트웨어로 1960년대 상담 치료 목적으로 개발된 Eliza를 시작으로 하여[5], 현재는 애플 시리, 구글 어시스턴트 등 AI 기술이 결합된 새로운 서비스 제공 플랫폼으로 진화하고 있다. 챗봇은 텍스트 또는 채팅 교환을 통해 인간과 의사소통하기 위해 사용되는 자동화된 프로그램으로서 사용자는 이러한 프로그램과 상호작용하여 제품 또는 서비스 관련 정보를 얻는다[6]. 챗봇은 접근성과 유연성이 좋고 적은 비용으로 운영할 수 있어 기업과 사용자 모두의 편의를 위해 사용되고 있다[7]. 현재는 AI 기반의 챗봇으로 진화되어 인간을 대신하여 사용자들에게 빠르고 쉽게 필요한 정보를 제공하고 있다.

AI 기술이 급속도로 발전함에 따라 대화형 에이전트(챗봇)가 점진적으로 인간 대신 일자리를 차지할 것으로 예상된다. 특히 챗봇은 현재 고객 서비스 직업을 획기적으로 변화시키고 있다. 오늘날 챗봇은 영업, 지원, 마케팅 등 여러 분야에서 연중무휴 24시간 서비스를 제공하고 있다. 구체적으로, 판매 기능을 수행하기 위해 챗봇이 가장 많이 사용되고 있으며(41%), 지원(37%), 마케팅(17%)이 그 뒤를 잇고 있다. 더 중요한 것은 전체 매출의 26%가 챗봇 상호작용에 의해 처리되는 것과 함께 매출을 평균 67% 향상시켰다는 것이다[8]. 챗봇 사용과 관련하여 챗봇 사용자를 대상으로 한 설문조사에 따르면, 가장 많은 응답을 받은 항목은 생산성이었으며 설문 응답자들은 챗봇이 도움과 정보를 제공해 사용하기 쉽고 빠르다는 것이 가장 큰 장점이라고 했다[9].

2. Post-Acceptance Model(PAM)

후기수용모델(Post-Acceptance Model, 이하 PAM)은 기술수용모델(Technology Acceptance Model, 이하 TAM)의 개선된 모델로, 기대-확신 이론(Expectation–Confirmation Theory, 이하 ECT)을 기반으로 하여 초기 기술 채택 후 사용자 행동과 관련된 구성을 통해 지속적 사용 의도를 설명할 수 있는 모델이다[10]. 전통적인 TAM은 정보기술의 수용에 미치는 영향을 설명하기 위하여 인지된 유용성과 인지된 용이성을 주요 요인으로 하는 모델이다[11]. TAM은 주로 정보기술을 사용하려는 사용자의 의도에 초점을 맞추고 있지만, 초기 기술 수용에 초점을 두고 있어 정보 기술 수용의 다양성과 지속적 이용 의도에 대해서는 설명력이 부족하다는 한계가 있다. ECT는 소비자 만족도, 구매, 구매 후 행동의 관계를 설명하는 이론으로, 많은 연구에서 상품과 서비스의 재구매에서 소비자 행동을 파악하는 데 유용한 이론으로 입증되었다[12].

정보기술 수용을 대상으로 한 전통적인 연구들은 정보기술을 처음 채택하기로 한 개인의 결정을 대상으로 연구를 수행하였으며, 개인이 정보기술의 지속적인 사용 또는 사용중단을 하게 된 배경에 대해서는 큰 관심을 두지 않았었다[13]. 반면 정보시스템의 성공은 초기의 수용보다 정보시스템에 대한 사용자의 지속적인 사용이 더욱 중요하다는 것을 역설하며 ECT를 바탕으로 설계된 PAM은 실제 시스템 사용의 중요성과 시간이 지남에 따라 사용자가 그 시스템을 지속적으로 사용하는지를 설명하는데 초점을 맞추고 있어 2000년대 이후 학계의 주목을 받고 있다.

3. Anthropomorphism

의인화(anthropomorphism)란 인간과 유사한 특성, 동기, 의도 또는 감정을 시스템이나 비인간 에이전트에 주입하여 인간의 속성을 지니도록 하는 것이다[14]. 챗봇의 장점으로 여겨지는 자연스러운 상호 작용은 에이전트의 의인화와 관련이 있다[15]. Duffy[16]는 의인화된 소셜 로봇은 사람들이 로봇이 인간의 추론 능력을 가지고 있다고 믿도록 강요하기보다는 행동에 대한 사람들의 기대를 활용해야 하며 모든 인간과 기계의 상호작용 문제에 대한 해결책으로 볼 것이 아니라 인간과 기계 사이의 상호작용의 언어를 제공하기 위해 더 연구될 필요가 있다고 했다.

의인화는 일반적으로 인간화된 대상과 사람들 간의 연결감을 높이며, 사용자들을 더욱 매료시키고 흥미로운 상호작용을 유도하며, 소비자의 결정적인 행동에 영향을 미친다[17]. Waytz et al.[18]은 제품이 손과 팔 제스처와 같은 인간적 특성을 나타낼 때 사람들이 더욱 신뢰한다는 사실을 확인하였다. 또한 Wolfl et al.[19]은 인간의 모습을따라한 웹사이트 디자인이 잠재적인 소비자의 신뢰를 높이고 구매 의향을 향상시킨다는 것을 확인하였다. 인간적 화법 같은 요소를 가진 챗봇은 고객의 태도, 만족도 및 챗봇을 제공하는 회사에 대한 감정적 연결에도 영향을 미칠 수 있다[20]. 온라인 소매 환경에서 인간과 유사한 챗봇은 고객의 온라인 쇼핑 웹사이트와 제품에 대한 태도에 영향을 미치는 데 효과적이었다[21].

4. Personalization

개인화란 제품이나 서비스를 개인 혹은 집단에 맞춤화하여 제공하는 것으로 챗봇의 경우 사용자 정보와 대화를 통해 사용자가 요구하는 정보를 획득하고, 이를 토대로 사용자에게 차별화된 서비스를 제공할 수 있다[22]. 맞춤형 고객 서비스와 더불어 새로운 서비스의 제공을 결정하고 그 효과를 평가하는 것은 회사의 경영에 중요한 요소가 될 수 있다[23]. 이러한 사용자의 개별 정보에 기반하여 정보가 기술과 결합하여 사용자 간의 상호작용을 만들어 내는 것을 개인화 마케팅이라고 한다[24].

Thomas and Fischer[25]에 따르면 사용자는 챗봇이 제공하는 다양한 특성이 자신의 선호도와 일치하는지 확인함으로써 챗봇과의 상호작용에 대한 상당한 긍정적 인상을 가지게 된다. 또한 사용자가 챗봇의 특성이나 모양을 사용자의 취향에 맞게 선택할 수 있을 때 더 호감도가 높고, 더 신뢰할 수 있으며, 더 유용한 것으로 나타났다[26]. 다른 연구에서는 연구 참가자의 성격 유형과 일치하는 컴퓨터의 메시지 스타일이 참가자가 컴퓨터를 전문가로 인식하고 더 능력있게 인식하게 한다는 것을 발견했다[27].

Liang et al.[28]은 개인화 기술이 정보 과부하를 처리하고, 사용자 만족도를 위해 웹 사이트를 보다 쉽게 사용할 수 있도록 개선하며, 온라인 비즈니스가 고객과 일대일 마케팅의 관계를 구축할 수 있도록 지원하는 강력한 수단이라는 사실을 확인하였다. 소비자가 개인화된 추천을 받을 때 일반적인 추천을 받았을 때보다 구매하는 경향이 있으며 기업은 맞춤형 추천을 제공하는 것의 중요성을 인지하고 있다. 기업의 회사의 목표를 달성하기 위하여 적절한 수준으로 맞춤형 추천 서비스를 제공해야 한다[29].

5. Autonomy

자율성(Autonomy)이란 자유의지를 가지고 선택적 경험을 통해 행동하는 것을 말하며[30], 팀 구성원이 의사 결정을 내릴 자유가 있다고 믿는 정도를 의미한다[31]. 로봇은 데이터를 기반으로 자율적인 의사결정을 할 수 있고 상황에 적응할 수 있으며[32], 서비스 로봇은 시스템 기반의 자율적이고 적응 가능한 인터페이스로, 상호 작용하고, 통신하고, 조직의 고객에게 서비스를 제공하고 있다[33]. 증가하는 인구의 수요와 로봇과 AI의 상대적인 능력으로 인해 지난 수십 년 동안 인간과 기계 간의 상호 작용이 크게 증가했다. 기계가 점점 더 자율적으로 작동함에 따라, 기계의 역할은 기본 컨트롤러의 역할에서 자동화와 제어권을 공유하는 능동적인 팀 동료로 변모했다[34].

Liu and Liao[35]는 인간의 로봇의 자율성에 대한 수용과 거부는 인지된 유용성과 편의성에 의해 주요하게 영향을 받는다는 것을 확인하였다. 구체적으로 사람들은 자율 로봇이 사람들의 일이나 일을 더 잘 하도록 도울 수 있다고 생각하는데, 이를 유용성으로 인식한다. 또한 사용자가 자율 로봇이 자신에게 유용하다는 것을 인정하더라도 기술을 사용하기가 너무 어려우며 로봇을 사용하는 데 필요한 노력이 성능 효율성을 능가할 수 있다.

대부분의 서비스 로봇은 사람의 명령과 통제의 정도에 따라 자율성 수준이 정해진다. 구체적으로 사람이 내린 명령에 대해서만 서비스를 제공하는 자율성 수준이 낮은 로봇은 비자율적 서비스 로봇이며, 사람의 통제없이 로봇이 스스로 모든 서비스를 제공하는 자율성 수준이 높은 로봇은 자율적 로봇이다[36]. 로봇에 의한 자동화된 동작의 주된 목적은 인건비 절감을 통해 효율성을 높이기 위한 인력의 대체이다. 로봇 공학이 시작된 이래로 인간 노동의 대체는 중요한 문제 중 하나였으며 연구자들은 로봇이 인간의 노동에 미치는 경제적 관점에 대해 연구하였다[37]. 아울러 서비스 로봇 도입이 사람의 근무 시간을 줄이고 노동 시간당 매출을 개선하며 인력 투입을 감소시키고 생산성 향상에 유용하다는 것도 연구를 통해 확인되었다[38].

III. Research Model

1. Research Model

본 연구는 최근 관심이 증대되고 있는 챗봇에 대한 사용자의 지속적 이용의도에 영향을 미치는 다양한 요인들을 식별하고, 이들의 영향 관계를 분석하고자 한다. 전술했듯이 TAM은 기술 사용 의도를 결정하는데 중점을 둔 모델로서 기술 수용 이후에 지속적 사용 의도를 설명을 할 수 없는 한계가 있다. 이에 본 연구에서는 챗봇과 같은 인간과의 상호작용을 기반으로 하는 미래 성장 플랫폼을 지속적으로 사용하는데 영향을 주는 선행 요인을 연구하기 위한 목적으로 다음의 Fig. 1과 같이 PAM 기반의 연구모델을 설계하였다.

CPTSCQ_2023_v28n6_169_f0001.png 이미지

Fig. 1. Research Model

2. Hypotheses

챗봇은 AI 기술과 결합하여 매우 발전된 형태로 사용자에게 지능형 서비스를 제공하고 있다. 특히 많은 학자들은 로봇의 의인화에 대한 사람들의 인식이 소비자로서의 행동 의도에 영향을 미친다는 것에 주목했다[39]. 본 연구에서는 챗봇의 의인화를 통해 사용자는 마치 인간과 대화를 하는 것으로 느낄 수 있고 의인화 수준이 높을수록 챗봇을 사용함에 있어 더욱 유용하며 확신할 수 있다는 가설을 제시하였다. Moussawi and Koufaris[40]는 지능형 개인 비서의 의인화가 시스템에 반영됨으로써 사용자는 시스템을 인간과 유사하다고 인식하며 의인화가 사용자의 신뢰를 높일 수 있다고 했다. 또한 Blut et al.[41]은 서비스 로봇의 기능적 특성인 유용성이 의인화가 사용의도에 영향을 미치는 관계에 있어 주요한 매개변수임을 확인했다.

개인화는 사용자의 프로파일을 바탕으로 사용자에게 적합한 정보를 제공하는 것이다. 변성혁, 조창환[42]은 개인화 서비스의 혜택이 유용성의 개념으로 설명될 수 있다고 했으며, 이준기 등[43]은 사용자가 개인화 서비스의 유용함을 느끼기 위해서는 자신에게 필요한 정보가 맞춤형으로 제공된다고 인식되어야 하고 이것이 이용의도로 이어질 수 있다고 하였다. 또한 사용자 요구와 선호도를 고려해 더 수준 높은 개인화 서비스를 제공하게 되면, 잠재적 이익이 손실보다 더 크다는 기존 연구들도 있다[44],[45].

한편 자율성을 제공하는 서비스는 사용자가 다른 활동에 참여할 시간과 노력을 절약할 수 있도록 하여 사람의 작업을 대신한다[46]. Kahlert et al.[47]은 자율성이 사용자에게 개인화된 메시지를 제공할 수 있는 개인 정보 수집을 포함하며 요청된 작업을 효율적으로 수행할 수 있도록 도와주어 유용성을 높인다고 했다. Xie et al.[48]은 자동화 수준이 자율성 수준과 일치할 때 AI 기술에 대해 신뢰할 수 있고 전체 시스템이 균형을 이룬다고 했으며, Rodel et al.[49]는 자율 주행차의 관점에서 차량의 자율성 수준이 시스템에 대한 신뢰에 영향을 미친다는 것을 확인했다.

PAM은 TAM에서 제시된 인지된 유용성을 주요 요인으로 채택하여 정보시스템의 지속적인 사용을 탐구한다. 기술 수용 이후에도 사용 유용성은 사용자의 태도에 영향을 주기 때문에 초기 단계의 사용 용이성보다 더 설명력이 높다. 정보시스템의 지속적인 사용은 비용과 노력을 투자하지 않으면 성공할 수 없으며, 이를 설명하기 위해 기대-확신 이론(ECT)과 TAM을 기반으로 한 연구가 실증적으로 수행되었다. 챗봇의 지속적 사용의도에 대해서 Li et al.[50]의 연구가 PAM을 적용한 바 있다. 이와 같은 이론적 배경에서 최종 도출된 연구가설들은 다음과 같다.

H1: 챗봇의 의인화 수준(AN)은 확신(CO)에 정의 영향을 미칠 것이다.

H2: 챗봇의 의인화 수준(AN)은 인지된 유용성(PU)에 정의 영향을 미칠 것이다.

H3: 챗봇의 개인화 수준(PER)은 확신(CO)에 정의 영향을 미칠 것이다.

H4: 챗봇의 개인화 수준(PER)은 인지된 유용성(PU)에 정의 영향을 미칠 것이다.

H5: 챗봇의 자율성 수준(AU)은 확신(CO)에 정의 영향을 미칠 것이다.

H6: 챗봇의 자율성 수준(AU)은 인지된 유용성(PU)에 정의 영향을 미칠 것이다.

H7: 확신(CO)은 인지된 유용성(PU)에 정의 영향을 미칠 것이다.

H8: 확신(CO)은 만족(SA)에 정의 영향을 미칠 것이다.

H9: 인지된 유용성(PU)은 만족(SA)에 정의 영향을 미칠 것이다.

H10: 만족(SA)은 지속적 이용의도(CIU)에 정의 영향을 미칠 것이다.

IV. Empirical Validation

1. Experimental Design

이상의 연구모델을 검증하기 위해 2021년 10월 15일부터 12월 9일까지 온라인 방식으로 설문조사를 실시하여, 총 441명으로부터 설문을 수집하였다. 설문 참가자의 이해를 돕기 위해 본 연구에서는 Fig. 2와 같이 챗봇의 의인화 수준이 낮았을 때의 대화 화면과 의인화 수준이 높았을 때의 대화 화면을 예시로 보여주고 온라인 설문에 응답하도록 하였다. 마찬가지로 챗봇의 개인화 수준과 자율성 수준 역시 낮았을 때와 높았을 때의 대화 예시 Fig. 3, Fig. 4를 먼저 보여준 다음 설문에 응하도록 구성하였다.

CPTSCQ_2023_v28n6_169_f0002.png 이미지

Fig. 2. Example of anthropomorphism levels for a chatbot: Low level(Left) vs. High level(Right)

CPTSCQ_2023_v28n6_169_f0003.png 이미지

Fig. 3. Example of personalization levels for a chatbot: Low level(Left) vs. High level(Right)

CPTSCQ_2023_v28n6_169_f0004.png 이미지

Fig. 4. Example of autonomy levels for a chatbot: Low level(Left) vs. High level(Right)

연구 가설을 검증하기 위한 독립변수로서 챗봇의 의인화 수준, 개인화 수준, 자율성 수준이며 매개변수인 인지된 유용성, 확신, 만족을 측정하고, 최종적으로 종속변수인 지속사용의도를 측정하였다. 챗봇의 사용 경험에 있어 실무적으로 의미있는 사용 경험을 측정하기 위하여 성인을 대상으로 하였으며 IT서비스의 사용이 스스로 가능한 연령대를 고려하여 동일 챗봇을 2회 이상 사용해 본 경험이 있는 20대부터 70대 연령대의 대상자를 실험참가자로 선정하였다. 회수된 설문응답자료의 분석을 위해 IBM SPSS 26과 SmartPLS 4.0을 사용했으며 인구통계학적 분석을 위해 빈도분석을 실시하였다.

이렇게 하여 수집된 총 441건의 설문 응답에 대한 인구 통계학적 특성을 분석한 결과는 다음과 같다. Table 1과 같이 성별은 남성 280명(63.5%), 여성 161명(36.5%)로 남성의 비율이 높았다. 연령대는 20대 100명(22.7%), 30대 100명(22.7%), 40대 145명(32.9%), 50대 87명(19.7%), 60대 3명(0.7%), 70대 6명(1.4%)으로 나타났다. 직업과학력도 각각 회사원이 227명(51.4%), 대학교 졸업이 250명(56.7%)으로 가장 높았다.

Table 1. Demographics of the sample​​​​​​​

CPTSCQ_2023_v28n6_169_t0001.png 이미지

Table 2에서는 챗봇 이용 특성에 대한 결과로 응답자들은 챗봇을 월 2~3회사용 130명(29.5%)로 가장 높았으나 월 4~6회사용 125명(28.3%)으로 챗봇의 월 사용 빈도가 2~6회 정도인 경우가 전체 응답의 57.8%를 차지하였다. 챗봇 사용 기간은 1~2년 155명(35.1%)로 설문 응답 기준 2019년부터 챗봇을 사용하고 있는 응답자가 가장 많았다. 챗봇을 사용하는 디바이스의 형태로는 모바일 159명(34.9%), 챗봇 사용 업종으로는 금융 169명(38.3%)로 나타났다.

Table 2. Chatbot usage status of the sample​​​​​​​

CPTSCQ_2023_v28n6_169_t0002.png 이미지

2. Experimental Results

본 연구에서는 SmartPLS 4.0을 이용하여 PLS 구조방정식 모델을 적용해 가설을 검증하고자 하였다. 그 전에 먼저 반영적 측정모델의 평가 기준인 내적 일관성, 집중타당성, 판별타당성을 확인하였다. 내적 일관성 신뢰도는 동일한 잠재변수를 측정하기 위해 여러 개의 측정변수를 사용하는 경우 신뢰도를 측정하는 방법이다. D-H rho_A는 반영적 측정모델에서 잠재변수의 신뢰성을 측정할 때 사용된다. D-H rho_A 값은 0에서 1 사이의 범위를 가지며, 값이 높을수록 잠재변수의 신뢰도가 높다고 해석할 수 있다. 크론바하 알파는 측정도구 내부의 항목들이 동일한 개념을 측정하는 데 얼마나 일치하는지를 나타내는 지표로 일반적으로 0.6~0.9 사이가 수용범위로 인정된다.

집중타당성(convergent validity)은 측정도구의 항목들이 내적으로 일관성을 가지고 있는지 확인하는 개념으로 서, 개념신뢰도(CR)와 평균분산추출(AVE)을 이용해 확인한다. CR이 0.7 이상, AVE가 0.5 이상일 때, 집중 타당성을 갖춘 것으로 판단한다. 판별타당성(discriminant validity)은 PLS-SEM에서 사용되는 중요한 개념으로, 다른 구성개념들과의 구별력을 평가한다. 즉, 구성개념들이 서로 구별될 수 있는지를 확인하여 측정 모델의 타당성을 평가하는 데 사용된다. 판별 타당성을 평가하기 위해 주로 Fornell-Larcker, rho_C 등을 활용한다.

본 연구에서는 Table 3, Table 4와 같이 크론바하 알파값이 0.7~0.9, AVE가 0.5이상, CR이 0.8이상으로 내적일관성, 집중타당성, 판별타당성이 모두 확보되었다.

Table 3. Results of reliability and validity indexes

CPTSCQ_2023_v28n6_169_t0003.png 이미지

Table 4. Fornell-Larcker criterion results​​​​​​​

CPTSCQ_2023_v28n6_169_t0004.png 이미지

PLS를 이용한 경로분석을 위해 부표본 5,000회의 샘플링과 Percentile Bootstrap 방법을 사용하여 신뢰구간을 계산했으며, 양측 검증 방식을 적용하였다. 다중공선성 및 적합도 분석을 위해 VIF값과 R-Square값을 확인했을 때 VIF값은 1.05~1.318 사이로 나타나 모두 5 이하의 값으로 나타났고, 결정계수를 통한 모델의 설명력은 Table 5와 같이 0.043~0.232로 나타나, 약한 설명력을 갖는 것으로 나타났다.

Table 5. R-square​​​​​​​

CPTSCQ_2023_v28n6_169_t0005.png 이미지

전체적인 경로분석 결과는 다음의 Table 6과 같다.

Table 6. Results of hypotheses tests​​​​​​​

CPTSCQ_2023_v28n6_169_t0006.png 이미지

우선 챗봇의 특성을 나타내는 변수 중 의인화 수준은 확신(경로계수 0.125, t = 2.299, p = 0.022)에 대해 정(+)의 영향을 미치는 것으로 나타났다. 따라서 H1은 채택되었다. 의인화 수준은 인지된 유용성(경로계수 0.092, t = 1.769, p = 0.077)에 정(+)의 영향을 미치는 것으로 나타났다. 따라서 H2는 90% 신뢰수준 하에서 채택되었다. 개인화 수준은 확신(경로계수 0.093, t = 1.922, p = 0.055)에 대해 정(+)의 영향을 미치는 것으로 나타났다. 따라서 H3 역시 90% 신뢰수준 하에서 채택되었다. 개인화 수준은 인지된 유용성(경로계수 0.141, t = 2.936, p = 0.003)에 정(+)의 영향을 미치는 것으로 나타났다. 따라서 H4는 채택되었다. 자율성 수준은 확신(경로계수 0.149, t = 2.984, p = 0.003)에 대해 정(+)의 영향을 미치는 것으로 나타났다. 따라서 H5는 채택되었다. 반면 자율성 수준은 인지된 유용성(경로계수 0.075, t = 1,499 p = 0.134)에 정(+)의 영향을 미치는 것으로 나타났으나, 통계적으로 유의하지 않은 것으로 나타났다. 따라서, H6은 기각되었다. 확신은 인지된 유용성(경로계수 0.408, t = 11.559, p = 0.000)에 대해 정(+)의 영향을 미치는 것으로 나타났다. 따라서 H7은 채택되었다. 그러나 확신은 만족(경로계수 -0.049, t = 1.018 p = 0.309)에 부(-)의 영향을 미치는 것으로 나타났으며, 통계적으로도 유의하지 않은 것으로 나타나 H8은 기각되었다. 인지된 유용성은 만족(경로계수 0.269, t = 5.477, p = 0.000)에 대해 정(+)의 영향을 미치는 것으로 나타났다. 따라서 H9는 채택되었다. 마지막으로 만족은 지속사용의도(경로계수 0.42, t = 11.8, p = 0.000)에 대해 정(+)의 영향을 미치는 것으로 나타났다. 따라서 H10은 채택되었다. 전체 연구 가설에 대한 결과는 Table 7과 같다.

Table 7. Results of hypotheses tests​​​​​​​

CPTSCQ_2023_v28n6_169_t0007.png 이미지

V. Conclusion

본 연구는 사용자의 챗봇 서비스에 대한 지속적인 사용에 영향을 미치는 다양한 요인들을 도출하고, 이들 간의 인과관계를 모형화하여 검증하는 것을 목표로 하였다. 구체적으로 본 연구는 의인화, 개인화, 자율성의 수준에 따라 챗봇 서비스의 지속적인 사용 의도가 어떻게 영향을 받는지 PAM을 기반으로 모델을 설계하고, 실제 사용자들을 대상으로 설문을 수집하여 해당 모델을 검증하고자 하였다.

본 연구의 주요 결과는 다음과 같다. 챗봇 서비스의 의인화와 개인화는 그 수준이 높을수록 지속적 사용에 유의한 영향을 미쳤다. 그러나 자율성 수준은 지각된 유용성에 유의한 영향을 미치지 못하는 것으로 나타났다. 이것은 챗봇이 자율적으로 응답하는 수준이 높아져도 현재의 기술로는 사용자가 원하는 만큼의 유용한 결과를 제공하지 못하는 것으로 사용자들이 인식하고 있다고 해석할 수 있다. 의인화와 개인화는 인지된 유용성과 확신에 모두 유의한 영향을 미치는 요인으로 확인되었다. 자율성은 확신에 유의한 영향을 미쳤으나 인지된 유용성에는 통계적으로 유의한 영향을 미치지 않았다. 확신은 인지된 유용성에 유의한 영향을 미쳤으나 만족에 미치는 영향은 통계적으로 유의하지 않았다. 즉, 챗봇에 있어 확신은 인지된 유용성을 매개로 만족에 간접적인 영향을 미칠 뿐, 직접적인 영향을 미치지는 못하는 것을 확인하였다. 인지된 유용성은 만족에 유의한 영향을 미쳤고 만족은 지속사용의도에 유의한 영향을 미쳤다. 이상 본 연구의 결과는 서비스 제공자들이 챗봇 서비스를 계속 사용하려는 고객의 의도를 높이는 방법에 대한 주요 시사점을 제시하고 챗봇 사용자의 인식과 반응을 이해하기 위한 보다 포괄적인 관점을 제공함으로 써 현재의 디지털 시대에 가상 환경에서 지능형 서비스를 제공하는 기업들의 장기적이고 지속 가능한 전략 개발에 기여할 수 있을 것으로 예상된다.

본 연구의 학술적 의의는 다음과 같다. 우선 본 연구는 의인화, 개인화, 자율성이 챗봇 사용자의 지속적 사용 의도에 미치는 영향을 확인함으로써, 인간-컴퓨터 상호작용에 관한 기존 지식에 대한 발전과 미래에 나아가야 할 연구의 방향에 기여한다. 이를 통해 사용자가 챗봇을 어떻게 인식하는지와 챗봇의 디자인이 사용자 인식에 미치는 영향에 대한 깊은 이해를 제공하며, 이는 챗봇 디자인 및 개발에 대한 미래 연구를 지원할 것이다.

또한 본 연구는 챗봇의 지속사용의도을 설명하는데 있어 PAM이 좋은 이론적 틀이 될 수 있음을 확인했다는 측면에서 의의가 있다. 챗봇이 기업들에 의해 도입되기 시작한 지 충분한 시간이 지났고 ChatGPT와 같이 거대언어모델(Large-scale Language Model)에 기반한 대화형 AI 기술이 최근 빠르게 발전하여 앞으로 챗봇의 적용범위가 더 확대될 것으로 전망되고 있는 점을 고려할 때, 향후 연구는 신기술로서의 챗봇 수용보다 생활의 일부로서 챗봇의 지속사용을 중심으로 이루어질 가능성이 높을 것이다. 이런 점을 고려할 때, 챗봇의 지속사용을 선도적으로 연구한 본 연구가 향후 이어질 후속연구들에 좋은 참조가 될 수 있을 것으로 기대한다.

본 연구의 실무적 의의는 다음과 같다. 첫째, 이 연구는 챗봇 디자이너와 개발자에게 실무적인 의의를 제공한다. 디자이너와 개발자는 사용자 만족도를 향상시키고 지속적사용을 촉진하기 위해 의인화와 개인화 및 자율성의 관점에서 챗봇 디자인을 최적화할 수 있다. 둘째, 고객 서비스 또는 마케팅에 챗봇을 사용하는 기업에게 중요한 실무적인 의의를 제공한다. 이 연구는 기업이 챗봇 디자인을 최적화하고 사용자 만족도를 향상시키며 지속적 사용 가능성을 높이는 데 사용할 수 있는 로드맵을 제공할 수 있다. 본 연구의 결과에 따르면 챗봇 사용자의 인지된 유용성에 가장 크게 영향을 미치는 요인은 개인화이며, 그 다음은 의인화이다. 자율성의 경우, 인지된 유용성에 직접적인 영향을 미치지 못하는 것으로 나타났다. 이러한 각 요인의 상대적인 영향관계를 고려해 로드맵을 설계한다면, 챗봇 서비스 제공 기업은 고객 참여도와 충성도를 향상시키기 위해 보다 효과적인 챗봇 전략을 개발할 수 있을 것이다.

이러한 학술적, 실무적 의의를 갖고 있지만, 본 연구는 다음과 같은 한계점들을 갖고 있다. 첫째, 본 연구에서는 학생, 직장인, 주부를 대상으로 설문을 수집하였다. 회사원이 아닌 자영업, 전문직 등 다양한 직업군의 설문을 토대로 연구를 진행한다면 향후 더욱 의미있는 결과를 얻을 수 있을 것이다.

둘째, 본 연구에서는 PAM을 기반으로 선행변수인 의인화, 개인화, 자율성에 한정하여 연구를 진행하였다. 그러나 챗봇의 지속적인 사용에 대한 영향 요인으로 많은 다른 변인들을 고려하지 못했다. 특히 실증분석에서 구조모형의 설명력을 가늠하는 R-square값이 전반적으로 낮게 측정되었는데, 이는 제시된 변인 외에 다른 외생변수이 더 중요한 변인일 수 있음을 시사한다. 예를 들어, 기업에서는 인건비 감소와 효율성 증대를 위해 많은 분야에서 인력을 대체하는 챗봇 서비스에 많은 투자를 하고 있는데, 과연 사용자들이 챗봇 서비스가 사람을 대체해도 될 정도로 충분한 신뢰를 받고 있는지에 대한 조사가 본 연구에서는 미흡했다. 그러므로 챗봇의 지속적 사용에 신뢰가 어떤 영향을 미치는지, 그 외에 다른 어떤 요인들이 챗봇의 지속 사용에 영향을 미칠 수 있는지에 대해 후속 연구에서 분석해 볼 필요가 있다.

셋째, 본 연구의 설문조사는 2021년 10월부터 12월 사이에 진행되었는데, 해당 시점이 오래되다 보니 현 시점에는 챗봇에 대한 사용자의 인식과 행동에 변화가 발생했을 가능성이 있다. 이에 후속연구에서는 과연 실제로 챗봇 사용자의 인식과 행동에 변화가 있는지, 있다면 어떤 방향으로 변화가 발생했는지를 심층적으로 살펴볼 필요가 있다.

References

  1. F.A.J. Almahri, D. Bell, and M. Merhi, "Understanding student acceptance and use of chatbots in the United Kingdom universities: a structural equation modelling approach," 2020 6th International Conference on Information Management (ICIM), pp. 284-288, March 2020, DOI:10.1109/ICIM49319.2020.244712. 
  2. A. Muhammad, Y. Jiang, Y. Shubin, and L.S.M. Correia, "I, Chatbot: Modeling the determinants of users' satisfaction and continuance intention of AI-powered service agents," Telematics and Informatics, Vol. 54, November 2020, 101473, DOI: 10.1016/j.tele.2020.101473. 
  3. D.R. Cardona, A.H.A. Janssen, N. Guhr, M. H. Breitner, and J. Milde, "A Matter of Trust? Examination of Chatbot Usage in Insurance Business," Proceedings of the 54th Hawaii International Conference on System Sciences, pp. 1-10, January 2021, DOI: 10.24251/HICSS.2021.068. 
  4. L.K. Fryer, M. Ainley, A. Thompson, A. Gibson, and Z. Sherlock, "Stimulating and sustaining interest in a language course: An experimental comparison of Chatbot and Human task partners," Computers in Human Behavior, Vol. 75, pp. 461-468, October 2017, DOI: 10.1016/j.chb.2017.05.045. 
  5. N.M. Radziwill and M.C. Benton, "Evaluating quality of chatbots and intelligent conversational agents," Software Quality Professional, June 2017, Vol. 19 Issue 3, pp. 25-36, 2017. DOI: 10.48550/arXiv.1704.04579. 
  6. X. Luo, S. Tong, Z. Fang, and Z. Qu, "Frontiers: Machines vs. humans: The impact of artificial intelligence chatbot disclosure on customer purchases," Marketing Science, Vol. 38, No. 6, pp. 937-947, September 2019, DOI:10.1287/mksc.2019.1192. 
  7. A. Przegalinska, L. Ciechanowski, A. Stroz, P. Gloor, and G. Mazurek, "In bot we trust: A new methodology of chatbot performance measures," Business Horizons, Vol. 62, No. 6, pp. 785-797, November-December 2019, DOI:10.1016/j.bushor.2019.08.005. 
  8. Forbes, "AI Stats News: Chatbots Increase Sales By 67% But 87% Of Consumers Prefer Humans," Retrieved from https://www.forbes.com/sites/gilpress/2019/11/25/ai-stats-news-chatbots-increase-sales-by-67-but-87-of-consumers-prefer-humans/?sh=70264d3f48a3. 
  9. P.B. Brandtzaeg and A. Folstad, "Why people use chatbots," International Conference on Internet Science, Springer International Publishing, pp. 377-392, November 2017, DOI:10.1007/978-3-319-70284-1_30. 
  10. A. Bhattacherjee, "Understanding Information Systems Contin uance: An Expectation-Confirmation Model," MIS Quarterly, Vol. 25, No. 3, pp. 351-370, September 2001, DOI: 10.2307/3250921. 
  11. F.D. Davis, "A technology acceptance model for empirically testing new end-user information systems: Theory and results," Doctoral Dissertation, Massachusetts Institute of Technology, December 1985. 
  12. R.L. Oliver, "A cognitive model of the antecedents and consequences of satisfaction decisions," Journal of Marketing Research, Vol. 17, No. 4, pp. 460-469, November 1980, DOI: 10.1177/0022243780017004. 
  13. J. Han and D. Conti, "The use of UTAUT and post acceptance models to investigate the attitude towards a telepresence robot in an educational setting," Robotics, Vol. 9, No. 2, 34, May 2020, DOI: 10.3390/robotics9020034. 
  14. N. Epley, A. Waytz, and J.T. Cacioppo, "On seeing human: a three-factor theory of anthropomorphism," Psychological Review, Vol. 114, No. 4, 864, October 2007, DOI: 10.1037/0033-295X.114.4.864. 
  15. E. Kang and Y.A. Kang, "Counseling Chatbot Design: The Effect of Anthropomorphic Chatbot Characteristics on User Self-Disclosure and Companionship," International Journal of Human-Computer Interaction, pp. 1-15, January 2023, DOI: 10.1080/10447318.2022.2163775. 
  16. B.R. Duffy, "Anthropomorphism and the social robot," Robotics and autonomous systems," Vol. 42. Nos. 3-4, pp. 177-190, March 2003, DOI:10.1016/S0921-8890(02)00374-3. 
  17. P. Aggarwal and A.L. McGill, "When brands seem human, do humans act like brands? Automatic behavioral priming effects of brand anthropomorphism," Journal of Consumer Research, Vol. 39, No. 2, pp. 307-323, August 2012, DOI:10.1086/662614. 
  18. A. Waytz, J. Heafner, and N. Epley, "The mind in the machine: Anthropomorphism increases trust in an autonomous vehicle," Journal of Experimental Social Psychology, Vol. 52, pp. 113-117, May 2014, DOI:10.1016/j.jesp.2014.01.005. 
  19. S. Wolfl, J.M. Feste, and L.D.K. Peters, "Is somebody there? Anthropomorphic website design and intention to purchase from online stores," AMCIS 2019 Proceedings, 18, July 2019. 
  20. T. Araujo, "Living up to the chatbot hype- The influence of anthropomorphic design cues and communicative agency framing on conversational agent and company perceptions," Computers in Human Behavior, Vol. 85, pp. 183-189, August 2018, DOI:0.1016/j.chb.2018.03.051.  https://doi.org/10.1016/j.chb.2018.03.051
  21. S. Sivaramakrishnan, F. Wan, and Z. Tang, "Giving an "e-human touch" to e-tailing: The moderating roles of static information quantity and consumption motive in the effectiveness of an anthropomorphic information agent," Journal of Interactive Marketing, Vol. 21, No. 1, pp. 60-75, December 2007, DOI: 10.1002/dir.20075. 
  22. A.F. Smeaton and J. Callan, "Personalisation and recommender systems in digital libraries," International Journal on Digital Libraries, Vol. 5, pp. 299-308, August 2005, DOI: 10.1007/s00799-004-0100-1. 
  23. T.P. Liang, H.Y. Chen, and E. Turban, "Effect of personalization on the perceived usefulness of online customer services: A dual-core theory," Proceedings of the 11th International Conference on Electronic Commerce, pp. 279-288, August 2009, DOI: 10.1145/1593254.1593296. 
  24. T.H. Beak, and M. Morimoto, "Stay away from me, examining the determinants of individual avoidance of personalized advertising," Journal of Advertising, Vol. 41, No. 1, pp. 59-76, March 2012, DOI:10.2307/23208321. 
  25. C.G. Thomas and G. Fischer, "Using agents to personalize the web," Proceedings of the 2nd International Conference on Intelligent User Interfaces, pp. 53-60, January 2007, DOI: 10.1145/238218.238287. 
  26. J. Xiao, J. Stasko, and R. Catrambone, "The Role of Choice and Customization on Users' Interaction with Embodied Conversational Agents: Effects on Perception and Performance," Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, pp. 1293-1302, April 2007, DOI: 10.1145/1240624.1240820. 
  27. Y. Moon, "Personalization and personality: Some effects of customizing message style based on consumer personality," Journal of Consumer Psychology, Vol. 12, No. 4, pp. 313-325, January 2002, DOI: 10.1016/S1057-7408(16)30083-3. 
  28. T.P. Liang, H.J. Lai, and Y.C. Ku, "Personalized content recommendation and user satisfaction: Theoretical synthesis and empirical findings," Journal of Management Information Systems, Vol. 23, No. 3, pp. 45-70, December 2006, DOI: 10.2753/MIS0742-1222230303. 
  29. L. Wang, Y. Liu, and J. Wu, "Research on financial advertisement personalised recommendation method based on customer segmentation," International Journal of Wireless and Mobile Computing, Vol. 14, No. 1, pp. 97-101, February 2018, DOI: 10.1504/IJWMC.2018.090005. 
  30. M. Gagne, and E.L. Deci, "Self-determination theory and work motivation," Journal of Organizational Behavior, Vol. 26, No. 4, pp. 331-362, June 2005, DOI: 10.1002/job.322. 
  31. B.L. Kirkman, B. Rosen, P.E. Tesluk, and C.B. Gibson, "The impact of team empowerment on virtual team performance: The moderating role of face-to-face interaction," Academy of Management Journal, Vol. 47, No. 2, pp. 175-192, April 2004, DOI: 10.5465/20159571. 
  32. U. Pagallo, "Robots in the cloud with privacy: A new threat to data protection?," Computer Law & Security Review, Vol. 29, No. 5, pp. 501-508, October 2013, DOI: 10.1016/j.clsr.2013.07.012. 
  33. J. Wirtz, P.G. Patterson, W.H. Kunz, T. Gruber, V.N. Lu, S. Paluch, and A. Martins, "Brave new world: service robots in the frontline," Journal of Service Management, Vol. 29, No. 5, pp. 907-931, September 2018, DOI:10.1108/JOSM-04-2018-0119. 
  34. P. Madhavan, and D.A. Wiegmann, "Similarities and differences between human-human and human-automation trust: an integrative review," Theoretical Issues in Ergonomics Science, Vol. 8, No. 4, pp. 277-301, July 2007, DOI: 10.1080/14639220500337708. 
  35. Y. Liu and S. Liao, "Would Humans Want to Work Side-by-Side with Autonomous Robots: The Effect of Robot Autonomy on Perceived Usefulness, Ease of Use and Desire for Contact," Proceedings of the 2021 International Conference on Control and Intelligent Robotics, pp. 671-675, June 2021, DOI: 10.1145/3473714.3473830. 
  36. M. Tambe, D. Pynadath, and P. Scerri, "Adjustable autonomy: A response," In International Workshop on Agent Theories, Architectures, and Languages, Springer, Berlin, Heidelberg, pp. 354-356, July 2000, DOI:10.1007/3-540-44631-1_29. 
  37. M. Decker, M. Fischer, and I. Ott, "Service Robotics and Human Labor: A first technology assessment of substitution and cooperation," Robotics and Autonomous Systems, Vol. 87, pp. 348-354, January 2017, DOI: 10.1016/j.robot.2016.09.017. 
  38. T. Shimmura, R. Ichikari, T. Okuma, H. Ito, K. Okada, and T. Nonaka, "Service robot introduction to a restaurant enhances both labor productivity and service quality," Procedia CIRP, Vol. 88, pp. 589-594, January 2020, DOI: 10.1016/j.procir.2020.05.103. 
  39. M.C. Han, "The impact of anthropomorphism on consumers' purchase decision in chatbot commerce," Journal of Internet Commerce, Vol. 20, No. 1, pp. 46-65, January 2021, DOI: 10.1080/15332861.2020.1863022. 
  40. S. Moussawi, and M. Koufaris, "Perceived intelligence and perceived anthropomorphism of personal intelligent agents: Scale development and validation," Proceedings of the 52nd Hawaii International Conference on System Sciences, January 2019, DOI:10.24251/HICSS.2019.015. 
  41. M. Blut, C. Wang, N.V. Wunderlich, and C. Brock, "Understanding anthropomorphism in service provision: a meta-analysis of physical robots, chatbots, and other AI," Journal of the Academy of Marketing Science, Vol. 49, No. 4, pp. 632-658, July 2021, DOI:10.1007/s11747-020-00762-y. 
  42. S.H. Byun and C.H. Cho, "The Effect of the Anthropomorphism Level and Personalization Level on AI Financial Chatbot Recommendation Messages on Customer Response," The Korean Journal of Advertising and Public Relations, Vol. 22, No. 2, pp. 466-502, April 2020, DOI:10.16914/kjapr.2020.22.2.466. 
  43. Z.K. Lee, H.J. Choi, and S.A. Choi, "Study on How Service Usefulness and Privacy Concern Influence on Service Acceptance," The Journal of Society for e-Business Studies, Vol. 12, No. 4, pp. 37-51, 2007. 
  44. X. Guo, X. Zhang, and Y. Sun, "The privacy-personalization paradox in mHealth services acceptance of different age groups," Electronic Commerce Research and Applications, Vol. 16, pp. 55-65, March 2016, DOI:10.1016/j.elerap.2015.11.001. 
  45. T. Lee, "The impact of perceptions of interactivity on customer trust and transaction intentions in mobile commerce," Journal of Electronic Commerce Research, Vol. 6, No. 3, pp. 165-180, August 2005. 
  46. L. Lucia-Palacios and R. Perez-Lopez, "Effects of home voice assistants' autonomy on instrusiveness and usefulness: direct, indirect, and moderating effects of interactivity," Journal of Interactive Marketing, Vol. 56, No. 1, pp. 41-54, November 2021, DOI: 10.1016/j.intmar.2021.03.005 
  47. M. Kahlert, E. Constantinides, and S.A. De Vries, "The relevance of technological autonomy in the customer acceptance of IoT services in retail," Proceedings of the Second International Conference on Internet of things, Data and Cloud Computing, No. 12, pp. 1-7, March 2017, DOI: 10.1145/3018896.3018906. 
  48. Y. Xie, R. Zhou, A.H.S. Chan, M. Jin, and M. Qu, "Motivation to interaction media: The impact of automation trust and self-determination theory on intention to use the new interaction technology in autonomous vehicles," Frontiers in Psychology, Vol. Vol. 14, 1078438, February 2023, DOI: 10.3389/fpsyg.2023.1078438. 
  49. C. Rodel, S. Stadler, A. Meschtscherjakov, and M. Tscheligi, "Towards autonomous cars: The effect of autonomy levels on acceptance and user experience," Proceedings of the 6th International Conference on Automotive User Interfaces and Interactive Vehicular Applications, pp. 1-8, September 2014, DOI: 10.1145/2667317.2667330. 
  50. L. Li, K.Y. Lee, E. Emokpae, and S.B. Yang, "What makes you continuously use chatbot services? Evidence from chinese online travel agencies," Electronic Markets, Vol. 31, No. 3, pp. 575-599, January 2021, DOI:10.1007/s12525-020-00454-z.