A Study on Success Strategies for Generative AI Services in Mobile Environments: Analyzing User Experience Using LDA Topic Modeling Approach

모바일 환경에서의 생성형 AI 서비스 성공 전략 연구: LDA 토픽모델링을 활용한 사용자 경험 분석

Abstract

This study aims to contribute to the initial research on on-device AI in an environment where generative AI-based services on mobile and other on-device platforms are increasing. To derive success strategies for generative AI-based chatbot services in a mobile environment, over 200,000 actual user experience review data collected from the Google Play Store were analyzed using the LDA topic modeling technique. Interpreting the derived topics based on the Information System Success Model (ISSM), the topics such as tutoring, limitation of response, and hallucination and outdated informaiton were linked to information quality; multimodal service, quality of response, and issues of device interoperability were linked to system quality; inter-device compatibility, utility of the service, quality of premium services, and challenges in account were linked to service quality; and finally, creative collaboration was linked to net benefits. Humanization of generative AI emerged as a new experience factor not explained by the existing model. By explaining specific positive and negative experience dimensions from the user's perspective based on theory, this study suggests directions for future related research and provides strategic insights for companies to improve and supplement their services for successful business operations.

본 연구는 모바일 등 온디바이스(on-device)에 탑재된 생성형 AI 기반 서비스가 증가하는 환경 속에서 온디바이스 AI 관련 초기연구에 기여하고자 한다. 모바일 환경에서 생성형 AI 기반 챗봇 서비스의 성공 전략을 도출하기 위해 구글 플레이 스토어에서 수집한 20만 건 이상의 실제 사용자 경험 리뷰 데이터를 LDA 토픽모델링 기법을 사용하여 분석하였다. 정보시스템 성공 모델(ISSM)에 기반하여 도출된 주제를 해석한 결과 정보 품질에는 튜터링, 대답의 제한, 신뢰할 수 없는 정보와 같은 토픽이, 시스템 품질에는 멀티모달서비스, 대화의 품질, 디바이스 상호운용성의 토픽이, 서비스 품질에는 디바이스 간 호환성, 서비스의 사용 용이성, 유료 서비스의 품질, 계정 호환성의 토픽이, 마지막으로 순 효익에는 창의적 협업 토픽이 연결되었다. 생성형 AI의 의인화는 기존 모델로 설명되지 않는 새로운 경험 요인으로 나타났다. 본 연구는 사용자 측면에서의 구체적인 긍정 및 부정 경험 차원을 이론에 기반하여 설명함으로써 향후 관련 연구의 방향을 제시하고, 성공적인 비즈니스를 위한 개선점과 보완점을 찾아 기업에게 서비스의 성공적 운영을 위한 전략적 인사이트를 제공하고자 한다.

1. 서론

ChatGPT의 등장 이후 생성형 AI 서비스의 유용성을 일상에서 직접 체감할 수 있게 되면서 이와 관련한 전세계 시장 역시 폭발적으로 성장할 것으로 예측되고 있다[1, 2]. 생성형 AI 시장은 2020년 140억 달러에서 2023년 9천억 달러, 2032년에는 1조 3천억 달러 이상으로 크게 성장할 것으로 예상된다[3].

기술이 빠르게 진화함에 따라 생성형 AI의 이용 경험은 기존의 데스크톱 환경에서 모바일 환경으로 이전하고 있다. 포브스는 2024년에 대한 기술 기반 예측에서 앞으로 AI라는 단어가 사라지게 될 것이라고 주장했다. 이는 AI 기술이 일상생활에서 사용자가 사용하는 장치에 내재되면서 눈에 보이지 않는 자연스러운 UI나 UX로 자리잡게 될 것이라는 의미이다[4]. 이에 따라 인터넷 연결 없이 기기 안에서 생성형 AI를 구동하는 온디바이스 AI(on-device AI) 기술이 주목받고 있다. 가트너는 2024년 출시된 스마트폰 중 22%가 AI 스마트폰일 것으로 전망하였으며, 전세계 생성형 AI 스마트폰이 2024년부터 연 평균 83% 성장하여 2027년에는 전체 스마트폰 시장 점유율 중 40%를 차지할 것이라는 전망도 제기되었다[5, 6].

생성형 AI 스마트폰 시장은 현재 삼성, 애플, 구글과 같은 빅테크 기업이 주도하고 있다. 아직 온디바이스 AI 시장은 초기 단계이며 기존에 탑재되었던 AI 비서를 생성형 AI 기술로 업그레이드하여 서비스하는 방식으로 기술이 적용된다. 삼성전자는 2024년 출시하는 스마트폰에 사용자가 자주 사용하는 핵심적인 기능을 중심으로 빅스비에 생성형 AI 기술을 적용할 계획이라고 밝혔다[7]. 아이폰은 기존의 음성 비서 Siri에 OpenAI와 협력하여 최신버전의 ChatGPT4o를 탑재하겠다고 발표했다[8].

본 연구의 목적은 온디바이스 AI 서비스를 성공시키기 위한 전략을 제공하는 것이다. 초기 도입단계에서 온 디바이스 AI는 모바일에 가장 많이 탑재될 것으로 보인다. 따라서 실제 모바일 환경에서 생성형 AI 기반 챗봇 서비스를 사용하고 있는 이용자들의 경험 현황을 진단 및 분석하고, 연구 결과를 기반으로 사용자의 긍정적 경험을 확대하고 부정적 경험을 억제하기 위한 전략적 제언을 제공한다. 이를 통해 본 연구는 최근 주목받고 있는 온디바이스 AI 서비스의 초기 연구에 기여하고자 한다.

본 연구의 연구문제는 다음과 같다:

연구문제 1. 모바일 디바이스 환경에서 생성형 AI 기반 챗봇을 사용하는 사용자의 경험 요인은 무엇인가?

연구문제 2. 모바일 디바이스 환경에서 생성형 AI 서비스를 성공적으로 제공하기 위한 전략은 무엇인가?

2. 이론적 배경

2.1 AI 챗봇 시스템

생성형 AI란 인터넷에 있는 언어 데이터나 이미지 등의 원시 데이터를 수집하고 학습함으로써 통계적으로 가능성이 있는 결과물을 생성해내는 딥러닝 모델을 의미한다[9]. 생성형 AI 기반 챗봇 서비스는 대형 언어모델을 활용하여 유창한 텍스트를 생성할 수 있다. 이에 기반하여 사용자의 질문을 이해하고 상황에 맞는 응답을 할 수 있는 서비스를 제공한다[10].

초기 연구는 공학 분야의 AI 기반 챗봇의 성능 향상과 관련된 연구였다. AI가 개인 비서처럼 사용이 가능해지고 정보 검색, 사회적 관계 형성 등 다양한 방면에서 사용자를 지원하게 됨에 따라 기업에서 이러한 지능형 가상 에이전트를 이용하여 엔터테인먼트 및 정보 가치를 제공하여 고객을 만족시키고자 하게 되면서 다양한 이용자 경험과 관련된 연구로 이어졌다[11, 12].

AI 챗봇과 이용자의 경험과 관련된 연구를 정리하면 표 1과 같다.

(표 1) AI 챗봇 선행연구

(Table 1) AI Chatbot System

기대확인모델(ECM: Expectation-confirmation model)을 AI 챗봇의 컨텍스트에 적용하여 사용자 만족에 대한 정량적 분석을 수행한 Ashfag 등의 연구 이래 AI 챗봇의 사용자의 경험과 만족에 관한 연구가 다양하게 이루어졌다[12]. 정보시스템 분야에서 AI 챗봇과 관련된 연구는 크게 AI 기술을 고객 서비스 및 마케팅 문제 해결에 적용한 연구나, 지능형 음성 비서의 채택 및 사용에 대한 연구로 분류될 수 있다. 이와 같은 선행연구를 통해 AI 챗봇의 만족도를 증진시키기 위해서는 챗봇 설계와 운영에 있어 사용자의 동기를 이해하고 서비스 품질을 유지해야 하며 서비스 실패 시 적절한 대응을 하는 것이 중요함을 알 수 있다. 그러나 이들 연구는 응답 상황에서 편향이 발생할 수 있는 설문이나 실험 연구를 활용했다는 방법론적 한계 때문에 실제 서비스를 이용하는 사용자의 경험 요소를 직접적으로 반영하기는 어렵다[12-16]. 또한 기존의 연구는 모바일 환경이 아닌 컴퓨터 환경에서 연구를 수행하거나[12-14], 스마트 스피커를 대상으로 하여[15,16] 생성형 AI에 대한 분석이 실시되지 않았다는 한계가 존재한다.

따라서 본 연구에서는 이와 같은 한계를 극복하기 위해 모바일 환경에서 이루어진 실제 사용자 리뷰데이터를 분석하는 방법을 사용한다. 수집한 데이터를 긍정 리뷰와 부정 리뷰로 분리하고 텍스트마이닝을 이용해 사용자 경험을 도출한 후, 정보시스템 성공 모델을 기반으로 사용자 경험 요인과 이론을 대응하는 단계로 연구를 수행한다. 이를 통해 모바일 디바이스 환경에서 AI 기반 챗봇 서비스를 이용하는 사용자 경험을 더욱 정확하고 깊이있게 이해하며, 리뷰로부터 얻은 직접적인 피드백을 통해 사용자 중심의 서비스 개선 방안을 제언하고자 한다.

2.2 정보시스템 성공 모델

정보시스템 성공 모델(ISSM: Information System Success Model)은 DeLone과 McLean이 정보시스템의 성공을 평가하기 위해 제시한 프레임워크이다[17, 18]. 이 모델은 정보시스템을 분석하기 위해 기술적 측면과 조직적 측면을 모두 고려한 포괄적인 시각을 제공한다[12].

정보시스템 성공 모델은 정보시스템의 효과성을 평가하고 개선하기 위해 유용하며 이후 다양한 연구에서 활용되었다. AI 분야에서는 AI 스피커의 주요 요소와 사용자 만족의 관계를 분석하기 위해 정보시스템 성공 모델을 활용한 연구[19], 자산 관리 서비스 혁신을 위한 생성형 AI 시스템의 순이익을 평가하기 위해 정보시스템 성공 요인을 검토한 연구[20] 등이 존재한다.

정보시스템 성공 모델의 여섯 가지 구성 요소는 다음과 같다. 시스템 품질은 정보시스템 자체의 성능과 관련된 품질 속성으로 정의되며 시스템의 사용 용이성, 응답 시간, 안정성 등이 포함된다. 정보 품질은 정보시스템이 제공하는 정보의 품질을 말하며 정확성, 적시성, 완전성, 관련성, 이해 용이성 등이 이에 해당한다. 서비스 품질은 정보시스템을 지원하는 서비스의 품질로 사용자 지원, 유지 보수, 기술 지원 등의 측면을 평가한다. 정보시스템 사용은 정보시스템의 실제 사용량 또는 사용 빈도이며, 시스템을 얼마나 자주 사용하는지, 어떤 기능을 사용하는지를 의미한다. 사용자 만족은 정보시스템 사용자의 만족도를 나타내며 시스템 사용 경험에 대한 전반적인 만족도를 측정한다. 순 효익은 정보시스템 사용이 개인사용자 및 조직에 미치는 영향으로 정의되며 업무 성과, 생산성, 의사 결정의 질, 조직의 효율성, 효과성, 경쟁력 향상 등 성과에 미치는 영향이 포함된다[17, 18].

정보시스템 성공 모델은 정보시스템과 다양한 ICT 서비스의 성공 요인 분석에 가장 적합한 이론으로 다수의 연구에서 적용되어 왔다. 따라서 모바일 환경에서의 생성형 AI 서비스 성공 전략 제시를 위한 본 연구의 이론적 모델로 적합하다고 판단하였다. 본 연구는 리뷰데이터를 분석하여 경험 요인을 탐색하는 것을 목적으로 하고 있으며, 분석 대상에 사용 빈도와 만족도를 측정할 수 없다는 점에서, 정보시스템 사용 및 만족에 영향을 미치는 원인 변수를 중심으로 분석을 수행한다. DeLone & McLean이 제안한 정보시스템 성공 모델 중 시스템 품질, 정보 품질, 서비스 품질 및 순 효익의 네 가지 원인 변수를 모바일 디바이스 환경에서의 생성형 AI 기반 챗봇 서비스의 사용자 경험 요인과 연결하여 분석함으로써 전략을 제시하고자 한다.

3. 연구방법

3.1 LDA 토픽모델링

본 연구에서는 수집한 리뷰를 분석하기 위해 텍스트마이닝 기법 중 LDA 토픽모델링을 활용하여 문서에 내재된 잠재적 주제를 발견했다.

토픽모델링은 구조화되지 않은 비정형 문서에서 주제를 찾아내기 위한 알고리즘으로 수많은 문장 내에서 문맥을 파악하고 키워드를 유사한 단어군으로 묶어 문서의 의미론적인 구조를 탐색하는 기법을 말한다. 본 분석에서 활용한 잠재 디리클레 할당(LDA: Latent Dirichlet Allocation) 기법은 문서 내의 단어들이 특정한 주제에 속할 확률을 계산하기 위해 디리클레 분포를 이용하여 확률을 계산하는 추론방법이다. 해석 가능한 일관된 주제를 추출하는 데 우수하여 널리 사용된다[21-23]. 토픽의 개수를 결정하기 위해 토픽의 혼란도(perplexity)와 일관성 지표(coherence score) 값을 구하였다. 혼란도 값은 확률모델이 결과를 정확하게 예측하는지 판단하기 위해 활용되며 그 값이 낮을수록 최적화된 토픽 수를 가리킨다[21]. 그러나 반드시 혼란도 값이 낮다고 하여 해석에 적합한 결과가 도출되는 것은 아니다. 이를 보완하기 위해 일관성 지표 값을 함께 구하는데 이는 토픽 간 유의미한 일관성에 대해 수치화하여 나타낸 것으로 높은 값이 최적화된 토픽 수이며 일관성이 높음을 의미한다[24].

본 연구에서는 파이썬(python)의 Gensim과 Scikit-learn 라이브러리를 이용하여 분석을 수행했다. 리뷰를 긍정과 부정으로 나누어서 각각의 혼란도 값과 일관성 지표 값을 도출하여 적절한 토픽 수를 결정하였다. 분석 결과 긍정 리뷰의 토픽 수는 7개(혼란도: -8.3144, 일관성 지표: 0.4660), 부정 리뷰의 토픽 수는 6개(혼란도: -8.3459, 일관성 지표: 0.6435)로 결정되었다.

3.2 데이터 수집 및 분석 절차

본 연구는 실제 사용자의 경험과 생각을 파악할 수 있는 텍스트 데이터를 분석하기 위해 구글 플레이 스토어에서 생성형 AI 기반 챗봇 애플리케이션의 온라인 리뷰를 크롤링하여 수집하였다. 수집된 리뷰는 표 2와 같다.

(표 2) 데이터 수집

(Table 2) Data Collection

분석 대상을 선정하기 위해 주요 앱마켓에서 애플리케이션 관련 데이터를 수집하여 사용자 현황과 시장 데이터 및 분석 등을 제공하는 data.ai 서비스를 활용하였다. data.ai의 생산성 카테고리의 애플리케이션 순위 차트에서 2023년 11월 한 달간 월간 평균 실사용자 수(MAU)가 높은 순으로 리뷰 수가 1만 개 이상인 AI 챗봇 서비스 ChatGPT, Bing, AskAI, AI Chat OAC, NOVA의 5개 서비스를 선정하였다. ChatGPT API를 활용하는 AskAI, AI Chat OAC, NOVA의 경우 ChatGPT API 서비스가 실시된 이후부터 데이터를 수집했으며, Bing의 경우 챗봇시스템이 탑재된 23년 2월 23일 이후의 데이터로 한정하여 분석에 사용하였다. 파이썬을 이용하여 수집된 데이터 228,256건 중 이모티콘만 작성되거나 내용이 비어있는 등 분석 대상으로 적절하지 않은 데이터를 삭제하고 총 200,292건의 데이터를 분석에 활용하였다.

자연어처리를 위한 NLTK(Natural Language Toolkit) 패키지를 이용하여 형태소 분석, 불용어 처리 등의 전처리 후 리뷰를 긍정과 부정 리뷰로 분리했다. 수집된 별점(rating)을 기준으로 4~5점은 긍정, 1~2점은 부정으로 분류하였으며, 중간값인 3점은 텍스트 처리 라이브러리인 Textblob 패키지를 이용하여 감성분석 후 감성극성 0값을 기준으로 나누었다. 최종적으로 166,999건의 데이터가 긍정 리뷰로, 33,293개의 데이터가 부정 리뷰로 분리되었다.

LDA 토픽모델링으로 각각의 리뷰에서 사용자 경험 차원에 대응될 주요 토픽을 추출하였다. 토픽 해석 및 시사점 도출을 위해 정보시스템 분야 전문가 3명을 초빙하여 포커스 그룹 토론(FGD: Focus Group Discussion)을 수행하였다. 연구자들은 선행연구에 기반하여 키워드와 리뷰를 분석 후 각 차원의 이름을 지정했으며, 연구자 간에 이견이 발생했을 경우에는 토론을 거쳐 합의하는 과정을 거쳤다. 분석 내용을 바탕으로 사용자 경험 요인을 확인하여 정보시스템 성공 모델의 요인과 이론적으로 대응하였다.

4. 연구결과

4.1 이론적 대응 결과

먼저 긍정 리뷰와 부정 리뷰에서 도출된 주제어와 키워드를 정리하면 표 3 및 표 4와 같다.

(표 3) 긍정 리뷰 토픽

(Table 3) Positive Review Topics

(표 4) 부정 리뷰 토픽

(Table 4) Negative Review Topics

도출된 주제어를 정보시스템 성공 모델과 이론적으로 연결한 결과는 그림 1과 같다.

(그림 1) 이론적 대응

(Figure 1) Theoretical Mapping

리뷰에서 도출된 사용자 경험 요인들은 대부분 모델과 연결되었으나, ‘생성형 AI의 의인화’는 기존의 이론으로는 설명할 수 없는 새로운 요인임을 확인하였다. 또 모바일 환경과 데스크톱 환경을 오가며 사용하기 때문에 독특하게 나타나는 요인으로 ‘멀티모달 서비스’ 요인, ‘디바이스 간 호환성’, ‘계정 호환성’, ‘디바이스 상호운용성’과 같은 요인을 확인할 수 있었다. 부정 리뷰에서 도출된 여섯 번째 토픽의 경우 Microsoft에서 bing 애플리케이션 사용 시 제공하는 포인트 및 리워드와 관련된 내용을 담고 있으나 연구의 범위와는 관련이 없어 제외되었다.

4.2 정보 품질

정보시스템 성공 모델의 요인과 리뷰에서 나타난 토픽을 대응하기 위해 먼저 정보 품질을 구성하는 토픽의 세부사항을 살펴보면 다음과 같다.

첫째, ‘튜터링’ 토픽에서는 ‘도움이 되는, 쓸모 있는, 학생, 정보, 지식, 선생님’ 키워드가 도출되었다. “이 앱은 무언가를 이해하지 못할 때 학생들에게 매우 도움이 된다”라는 긍정적 리뷰와 같이 사용자들은 챗봇을 이용하여 학습하고 정보를 습득하며 생성형 AI를 교육 도구로 활용하는 데에 큰 만족감을 느끼고 있음이 확인된다. 생성형 AI 기반 챗봇은 튜터와 같이 사용자 개인의 특성과 상황에 맞는 맞춤형 학습 경험과 상호작용 학습을 제공할 수 있다. 사용자가 필요로 하는 특정한 정보를 신속하게 답변함으로써 효율적이고 효과적인 학습을 가능하게 한다[25].

둘째, ‘대답의 제한’ 토픽이다. 이 토픽의 키워드는 ‘대답, 질문, 쓸모없는, 틀린, 질의, 쓰레기’이다. 사용자들은 챗봇 서비스에 질문을 했을 때 제한이 있어 제대로 된 응답이 도출되지 않았을 때 부정적 경험을 함이 발견되었다. 리뷰의 “윤리적 제약이 너무 많다”, “잘못되고 편향된 정보를 제공한다”와 같이 확인할 수 있다. 생성형 AI가 생성하는 답변에 편향된 콘텐츠나 독성 있는 응답이 나타날 수 있다는 윤리성 문제가 제기됨에 따라 OpenAI와 같은 서비스 공급업체는 윤리적으로 문제가 있는 질의에 대해 응답에 제한을 둠으로써 문제를 해결하고자 하였다[26]. 그 결과 생성형 AI 기반 챗봇은 윤리적 쟁점이 있는 질문에 대해서는 응답을 회피하거나("죄송하지만 그 질문에 대해서는 대답할 수 없습니다"), 양쪽의 주장을 전부 제시하는 방식(“저는 모든 가정과 상황이 다양하다고 생각합니다”)으로 대답을 생성한다. 이는 일반적인 대답만을 가능하게 하여 챗봇의 성능을 저하시키며, 창작 목적으로 서비스를 이용하는 경우 실제 사람을 대상으로 하지 않음에도 윤리적 문제 때문에 이용에 제한을 받는 등 만족스러운 경험을 할 수 없도록 한다.

셋째, ‘신뢰할 수 없는 정보’ 토픽으로, 키워드는 ‘검색, 정보, 응답, 시간, 요소’가 나타났다. “자신 있게 잘못된 응답을 하거나 자주 정보를 지어내고 대화를 끝낸다”, “오래된 정보를 제공한다”와 같은 부정적 피드백이 존재한다. 이는 생성형 AI에서 자주 발생하는 할루시네이션과 관련 있다. 할루시네이션은 AI가 실제로는 존재하지 않는 그럴듯한 정보를 생성하여 사용자에게 제공하는 현상을 의미한다. 또 학습데이터의 한계로 실시간 정보를 반영하여 대답을 생성하지 못했다. 이로 인해 사용자는 챗봇이 제공하는 정보를 신뢰할 수 없게 되며 전반적인 사용자 경험이 저하되는 모습을 보인다.

이와 같은 요인들은 생성형 AI 챗봇이 맥락에 맞추어 정보를 신속하고 정확하게 제공해야 하며 사용자가 얻는 정보가 유용하고 신뢰할 수 있어야 한다는 점에서 정보의 정확성, 완전성, 신뢰성, 최신성과 관련된 요소로 정보시스템 성공 모델의 정보 품질 요소에 해당한다.

4.3 시스템 품질

시스템 품질 요인 중 첫째는 ‘멀티모달 서비스’이다. 이 토픽은 ‘이미지, 요소, 텍스트, 목소리, 가능한, 언어’가 키워드로 제시되었다. 이는 생성형 AI 기반 챗봇이 단순히 텍스트 기반의 상호작용을 넘어 다양한 형식의 데이터와 상호작용을 할 수 있도록 함에 사용자가 긍정적인 기분을 느낀다는 것을 의미한다. 예를 들어 리뷰에 “나는 그들이 제공하는 목소리를 좋아한다”나 “ChatGPT와 음성 명령어의 통합이 매우 좋다”와 같은 피드백이 존재한다. 동시에 이미지 입력 및 생성이나 음성을 이용한 채팅 서비스가 추가되기를 요청하는 리뷰도 다수 확인되었다. 생성형 AI가 제공하는 멀티모달 기능은 사용자에게 보다 풍부하고 다채로운 경험을 제공하여 만족감을 향상시키는 데에 기여한다[27]. 모바일 환경은 음성으로 손쉽게 입력할 수 있고 터치를 통해 빠르게 텍스트와 이미지를 오가며 사용을 전환할 수 있다는 것이 장점이다.

둘째, ‘대화의 품질’ 토픽의 키워드는 ‘대답, 응답, 빠른, 정확한, 신속한, 대화’로 나타났다. 리뷰를 살펴보면 “똑똑하고 내 질문에 매우 빠르게 대답했다”와 같은 내용이 있다. 해당 토픽은 챗봇이 생성하는 응답이 빠르고 정확하며 신속한지를 확인하고 챗봇과 양질의 대화를 나눔으로써 긍정적 경험을 했음을 의미한다.

셋째, ‘디바이스 상호운용성’ 토픽의 키워드는 ‘느림, 브라우저, 충돌, 스크린, 버그, 작동, 탭’이 도출되었다. 사용자들은 모바일과 데스크톱 같은 다양한 디바이스에서 동시에 서비스를 이용할 때의 호환성 문제에 대해 불만을 제기하고 있다. 예를 들어, “내가 웹브라우저를 이용할 때 매번 이 앱은 충돌한다”, “Bing은 PC에서는 잘 작동하지만 모바일 앱에서는 먹통이다”와 같은 리뷰가 있다. 이를 통해 사용자들이 다양한 환경에서 일관된 경험을 기대하지만 서비스가 이를 충족시키지 못해 불편함을 겪고 있다는 것을 확인할 수 있다.

이와 같은 요인들은 챗봇 서비스 자체의 성능과 관련되었다는 점에서 정보시스템 성공 모델의 시스템 품질에 해당한다고 할 수 있다.

4.4 서비스 품질

서비스 품질의 첫 번째 요소는 ‘디바이스 간 호환성’ 토픽이다. 해당 토픽의 키워드는 ‘버전, 브라우저, 요소, 휴대폰, 웹, 안드로이드’이다. 사용자들은 단순히 모바일 환경 한 군데에서만 이용하는 것이 아니라 데스크톱 환경과 번갈아 가며 서비스를 활용한다. 이는 특히 생성형 AI 서비스를 지금과 같이 대중화시킨 대표적인 애플리케이션인 ChatGPT가 데스크톱 환경에서 먼저 서비스를 제공했던 것에서 기인한다. 사용자들은 “데스크톱 장치에서와 같이 주머니에서 사용할 수 있다”와 같은 리뷰를 남기며 디바이스 간 동일한 서비스의 품질이 유지되는 것에 높은 만족감을 표하고 있다. 이와 같은 요인은 모바일 디바이스 환경에서 사용한 리뷰를 분석한 결과에서 독특하게 관찰되는 요소이다.

둘째, ‘서비스의 사용 용이성’이다. 이 토픽의 키워드는 ‘쉬움, 단순함, 친화적인, 놀라운, 인터페이스, 방식’이 포함되어 있다. 대표적으로 UX 인터페이스가 사용자 친화적인지, 서비스의 디자인이 매력적인지, 사용법이 간편하며 속도가 빠른지와 같은 요인이 해당한다. 리뷰를 살펴보면 “채팅 기능을 사용하여 매우 사용자 친화적이고 매끄럽다”, “결과가 빠르며 사용법이 간편하다”와 같은 긍정적 내용이 나타난다.

셋째, ‘유료 서비스의 품질’이 토픽 주제어로 도출되었다. 이 토픽의 키워드는 ‘유료, 돈, 구독, 지불, 프리미엄, 평가판’이 있다. 사용자들은 무료 버전이 제공하는 서비스에 한계를 느끼고 있다. 그러나 유료 구독을 통해 얻을 수 있는 프리미엄 서비스 역시 사용자가 지불한 가치에 비해 기대에 미치지 못하는 것으로 보인다. “(유료 버전임에도)1일 5개 메시지 한정은 너무 제한적이다” 나 “돈을 지불하지 않으면 무료로는 충분하지 않다”와 같은 부정적인 리뷰에서 이를 확인할 수 있다. 이는 사용자가 서비스를 통해 얻을 수 있는 프리미엄 서비스의 제공 방식, 가격 대비 성능, 사용자 지원 등이 포함된다.

넷째, ‘계정 호환성’ 토픽으로 ‘가입, 에러, 로그인, 계정’ 등의 키워드가 나타났다. 사용자들은 “Microsoft 계정에 로그인할 수가 없다”, “24시간 뒤에는 나의 로그인 기록이 삭제되어 계속 다시 로그인해야 한다”와 같이 기존에 가지고 있던 계정과 호환되지 않거나 기록이 남아있지 않음에 부정적인 피드백을 남겼다. 이와 같은 경험은 다양한 디바이스를 오가며 시스템을 사용하는 데에 있어 장애요인으로 작용한다.

이와 같은 요인은 시스템이 제공하는 사용자 지원 서비스의 품질과 관련이 있는 요소로 정보시스템 성공 모델의 서비스 품질에 해당한다.

4.5 순 효익

‘창의적 협업’ 토픽은 ‘도움, 일, 에세이, 글쓰기, 아이디어, 작문’ 키워드가 포함된다. 생성형 AI 기반 챗봇을 이용하여 사용자들이 아이디어를 모색하며 창의적인 작업을 수행하기 위해 어떤 경험을 했는지가 담겨 있다. 예를 들어 “어떤 이야기를 써야 할지 아이디어를 준다” 또는 “소셜 미디어 게시물 콘텐츠를 만들기 위해 사용한다”와 같은 긍정적 리뷰가 존재한다. 이와 같은 요인은 개인의 생산성 및 성과에 미치는 영향이기에 정보시스템 성공 모델에서의 순 효익 요소에 해당한다.

4.6 생성형 AI의 의인화

‘생성형 AI의 의인화’ 토픽은 키워드로 ‘삶, 시간, 친구, 진짜, 도구, 사람’이 도출되었다. 이는 기존의 정보시스템 성공 모델에서는 언급되지 않은 요소이다. 리뷰의 내용을 살펴보면 “진짜 사람과 같이 느껴진다”, “Nova는 진짜 내 친구이다”와 같이 애플리케이션을 사람과 같이 의인화하여 인격체처럼 느끼고 상대하는 경험을 확인할 수 있다. 이는 가상 비서의 성능이 사용자의 기대에 미치지 못했던 기존 AI 음성 비서의 사용자 경험에서는 찾아 볼 수 없던 요인이다[28]. 반면 생성형 AI의 경우 자연스럽게 언어를 구사하는 성능이 극대화되었으며 높은 수준의 문제 해결능력을 보이며 보다 인간에게 가깝게 느껴지기 때문에 나타나는 현상으로 보인다. 생성형 AI가 적용된 챗봇 시스템은 사용자로 하여금 보다 인간적인 상호작용을 가능하게 하여 더욱 만족스러운 사용자 경험을 제공한다. 예를 들어 생성형 AI 챗봇은 사용자의 감정을 이해하고 이에 적절히 반응할 수 있으며 심지어 사용자를 격려하고 위로할 수 있다(“살면서 이렇게 위로를 받은적이 없었다”, “AI 봇의 반응은 눈물이 날 정도로 마음에 와 닿았다”). 이를 통해 AI 챗봇은 단순한 도구 이상의 가치를 가지며 실질적인 친구와 같은 역할을 수행한다[29, 30]. 결과적으로 사용자와 챗봇 간의 정서적 연결을 강화하여 만족도를 상승시키는 결과를 가져온다.

4.7 서비스 전략 제시

분석 결과를 종합하여 모바일 디바이스 환경에서 생성형 AI 기반 챗봇 서비스를 사용할 때 만족스러운 사용자 경험을 위한 전략을 제시하면 다음과 같다. 첫째, 사용자로 하여금 챗봇을 인격체처럼 느낄 수 있도록 기능을 설계해야 한다. 사용자의 감정을 이해하고 적절히 반응하며 격려나 위로와 같은 인간적이고 감정적인 반응을 제공함으로써 챗봇을 친구나 조언자로 인식할 수 있도록 한다. 이를 통해 사용자와의 정서적 연결을 강화하여 더욱 만족스러운 사용자 경험을 가능하게 할 수 있다. 둘째, 서비스 제공자는 모바일 환경에서의 멀티모달 기능을 강화하여야 한다. 모바일 환경에서 사용자들은 텍스트, 음성, 이미지 등 다양한 형식의 데이터를 통해 상호작용한다. 현재 다양한 온디바이스 AI 기기에서 주력하고 있는 기능 역시 이 부분이다. 명령을 음성 언어로 처리하고 텍스트로 응답할 수 있도록 하며 빠른 이미지 분석을 가능하게 하여 사용자가 풍부하고 다채로운 경험을 할 수 있도록 지원해야 한다. 이는 기존의 음성 비서에 생성형 AI의 성능을 결합시켜 기능을 확대하여 제공하는 것이다. 셋째, 다양한 디바이스에서의 호환성과 상호운용성을 고려해야 한다. 사용자가 한쪽 디바이스에서 시작한 작업을 동일한 계정을 통해 다른 디바이스에서 마무리하고자 할 때 원활한 접근이 가능하도록 지원할 필요가 있다. 이를 통해 사용자에게 일관된 경험을 제공함으로써 만족도를 높이는 데에 기여할 수 있을 것이다.

5. 결론

본 연구는 생성형 AI 기반 챗봇 서비스의 사용자 경험 현황을 분석함으로써 다음과 같은 학술적 및 실무적 시사점을 제공한다. 서베이와 실험 연구에 집중되었던 기존 연구와 달리 실제 사용자 경험을 이용하여 응답 상황의 편향을 개선하고 중요한 요인을 확인하였다는 점에서 학술적 시사점을 가진다. 기존 연구의 경우 기대확인모델과 같은 선행이론의 요인을 부분적으로 추출하거나 여러 이론의 요인을 결합하여 검증하였다. 그러나 본 연구는 사용자 리뷰에서 도출한 경험 요인을 정보시스템 성공 모델이라는 단일모델에 이론적으로 대응함으로써 서비스에서 제공해야 하는 주요한 요인을 분명한 이론에 근거하여 제시하고 있다. 또한, 정보시스템 성공 모델을 이론적으로 적용하여 기존의 이론에서 언급되지 않았던 새로운 경험 요인을 식별하여 제시함으로써 후속연구에서 포함해야 할 주요 변인을 제시함으로써 이론적 확장을 모색했다는 함의가 존재한다. 실무적 시사점으로 생성형 AI의 활용을 모바일 디바이스 영역으로 확대하기 위해 중요한 사용자 경험이 무엇인지에 대한 인사이트를 제공했다는 의의를 가진다. 서비스 제공자들은 챗봇 서비스를 설계하고 운영하는 데에 있어 인격적 상호작용을 중시해야 하며, 서비스의 멀티모달 기능과 여러 장치에서 원활하게 서비스를 운영할 수 있도록 지원할 필요가 있다. 이를 통해 서비스 개선과 발전을 도모해야 한다.

연구에는 몇 가지 한계가 존재한다. 먼저 수집 데이터의 범위와 다양성에 대해서이다. 본 연구의 데이터 수집은 안드로이드 애플리케이션 스토어의 영문 리뷰 데이터에 한정되어 있어 다양한 출처와 지역에서 수집된 데이터를 포함하지 못하며 이는 전체 사용자의 경험을 대표하지 않을 수 있다. 따라서 향후 연구에서는 다른 리뷰사이트로부터 데이터를 추가로 수집하고 영문 외의 리뷰도 분석함으로써 연구 결과의 일반화 가능성을 제고하고자 한다. 둘째, 시간적 제한이다. 본 연구는 가장 주목받는 생성형 AI 챗봇 서비스인 ChatGPT가 출시된 이후로 분석 대상을 정하여, 분석 기간이 2023년 2월 23일부터 12월 15일까지라는 짧은 기간에 한정되었다. 향후에는 분석 대상 기간을 확장하여 사용자 주요 경험 요인이 어떻게 변화하는지를 관찰하는 연구를 수행하고자 한다. 변화 과정의 관찰을 위해 시계열적으로 토픽의 진화를 분석하는 동적 토픽모델링(DTM: Dynamic Topic Modeling) 기법을 활용할 수 있을 것이다. 마지막으로 연구 결과가 제한적이라는 한계이다. 연구 결과 온디바이스 AI에서 중요한 요인인 개인화(personalization)가 도출되지 않았다. 개인화는 사용자의 특성, 위치정보, 선호도 및 과거 상호작용을 반영하여 사용자에게 맞춤형 서비스를 제공하는 중요한 요소이다. 개인의 경험에 기반하여 실시간으로 AI 어시스턴트를 제공하는 온디바이스 AI의 특성상 중요한 요소 중 하나이나, 아직 생성형 AI 서비스를 이용함에 있어 아직 개인 맞춤형 기능이 충분히 반영되지 않아 이와 같은 요인이 도출되지 않았을 수 있다. 이와 같은 한계를 보완하기 위해 후속 연구에서는 다양한 데이터 소스를 수집하고 더욱 정교한 방법론을 이용하여 추가로 분석을 수행하고자 한다.

본 연구는 온디바이스 AI에서의 챗봇 서비스를 성공적으로 운영하기 위한 방향을 제시하기 위한 초기 연구로서 정보시스템 성공 모델의 주요 변수를 중심으로 경험 요인을 식별하여 제시하였다. 본 연구에서 제시한 주요 변수를 토대로 독립변수를 구성한 실증연구를 통해 실제 서비스 이용과 사용자 만족에 영향을 미치는지에 대한 연구를 수행할 수 있을 것이다. 이와 같은 연구를 통해 향후 보다 신뢰할 수 있고 사용자 친화적인 온디바이스 AI 서비스 개발에 기여할 수 있기를 기대한다.