Male, Female, or Robot?: Effects of Task Type and User Gender on Expected Gender of Chatbots

태스크 특성 및 사용자 성별이 챗봇의 기대 성별에 미치는 효과에 관한 연구

Abstract

We aim to investigate the effects of task type and user gender on the expected gender of chatbots. We conducted an online study of 381 participants who selected the gender (female, male, or neutral) for chabots performing six different tasks. Our results indicate that users expect human- gendered chatbots for all tasks and that the expected gender of a chatbot is significantly different depending on the task type. Users expected chatting, counseling, healthcare and clerical work to be done by female chatbots; professional and customer service work were expected to be done by male chatbots. A tendency for participants to prefer chatbots of the same-gendered as themselves is revealed in several tasks for both male and female users. However, this homophily tendency is stronger for female users. We conclude by suggesting practical guidelines for designing chatbot services that reflect user expectations.

1. 서론

인공지능 (AI) 기술의 발전으로 대화형 인터페이스(conversational interface)는 현대생활에서 필수적인 커뮤니케이션 방법으로 자리 잡았다[14]. 음성 혹은 문자를 통해 사용자와 대화를 진행하는 챗봇 에이전트(chatbot agent)는 대표적인 대화형 에이전전트이며 다양한 영역에서 활용되고 있다. 특히 코로나로 인해 언택트 시대에 비대면 접촉에 대한 필요성이 증가하면서 챗봇은 효율적인 사용자 접점 대안으로 부상하고 있다.

최근 대화형 인터페이스의 보급 및 발전으로 인해 사용자와 챗봇 사이의 대화를 증진하는 방법에 대한 연구들도 역시 활발히 진행 중이다[8,13]. 사용자와 에이전트 사이의 감성적 커뮤니케이션은 관계 유지 및 신뢰성 구축을 위한 중요한 요소로 알려져 있다[6]. 또한 연구자들은 대화 스타일[9], 서체[2], 공감적 반응[29], 미묘한 언어적 표현[10] 등을 통해 사용자가 인지하는 챗봇의 인간성(humanness)을 증진할 수 있다는 것을 발견했다. Morrissey와 Kirakowski[17]에 따르면 사용자들은 성실성, 매너, 철저함, 독창성 등에 기반하여 챗봇의 자연스러움을 평가한다. 이렇게 인간성과 관련된 챗봇의 특성이 사용자의 행동 및 태도에 미치는 효과에 관련된 연구는 활발하게 진행된 반면, 성별 및 프로파일과 같은 챗봇의 정체성(identity)을 어떻게 디자인할 것인지에 대한 연구는 미비한 것이 사실이다. 나아가 챗봇이 수행하는 과제의 특성에 따라 챗봇의 정체성이 어떻게 설계되어야 하는지에 대한 논의 역시 부족하다.

그렇다면 수행하는 과제의 특성에 따라 챗봇의 프로필은 어떻게 설정되고 디자인되어야 하는가?이 를 답하기 위해 우리는 먼저 인간과 인간 상호작용 상황에서 직업 및 과업에 따라 상대방에 대해 어떤 기대를 갖고 있는지 살펴볼 필요가 있다. 인간과 인간의 상호작용 상황에서 기대되는 상대방의 성별은 사회적 규범과 기대에서 비롯된 직업의 유형의 영향을 받는 것으로 알려져 있다[16]. 사람들은 변호사, 은행원, 의사, 버스 운전사는 남성일 가능성이 더 높다고 가정하는 반면, 판매원, 비서, 은행원, 학교 교사는 여성일 가능성이 더 높다고 가정한다[16]. 그러나 지금까지 인간에 대한 이런 사회적 기대가 챗봇에도 동일하게 적용되는지에 대한 연구는 부족했던 것이 사실이다. 사회적 단서는 사회적 기대에 영향을 미치며, 특히 성별과 성격은 대인관계에 중대한 영향을 행사한다[17]. 따라서 우리는 사회적 신념과 관계된 에이전트의 특성이 사용자의 기대와 태도에 영향을 미치는 중요한 사회적 단서로 작용할 수 있다고 가정할 수 있다[12,20].

본 연구의 목적은 인간 대 인간의 관계에서 작동하는 사회적 기대가 인간 대 챗봇 상호작용에서도 유사한 효과를 행사하는지 검증하는 것이다. 구체적으로 우리는 챗봇이 수행하는 과제의 특성에 따라 사용자가 챗봇에게 어떤 성별을 기대하지를 알아보고자 하였다. 본 연구는 사용자가 챗봇에게 기대하는 성별을 남성(male), 여성(female), 중성(neutral)의 세 가지 범주로 분류하였다. 로봇과의 상호작용이라는 연구의 맥락을 반영해서 인간 대 인간 상호작용 상황에서는 다루기 어려운 “중성” 및 “무성(gender-free)”의 조건을 연구 디자인에 포함하였다. 이를 바탕으로 우리는 다음과 같은 첫 번째 연구 질문을 제시하였다.

• 연구 질문 1. 챗봇이 수행하는 과제의 특성이 사용자가 챗봇에게 기대하는 성별 (남성, 여성, 중성)에 유의미한 영향을 행사하는가?

나아가 사용자의 성별 역시 사용자가 챗봇에게 기대하는 성별에 영향을 미칠 수 있다. 인간 대 인간 커뮤니케이션 환경에서 남성의 지배적인 상호작용 특성으로 인해 여성은 여성과의 상호작용을 선호하는 것으로 알려져 있다[23,28]. 첫 번째 연구 질문의 결과가 타당하다면, 사용자가 챗봇과의 상호작용에 있어서 자신과 동일한 특성을 지닌 에이전트를 선호하는 경향이 있는지와 관련한 다음의 연구 질문을 추가적으로 검토할 수 있다.

• 연구 질문 2. 사용자의 성별은 사용자가 챗봇에게 기대하는 성별에 유의미한 효과를 미치는가?

본 연구의 결과에 따르면 모든 과제에 대해서 사용자들은 중성의 챗봇보다 인간의 성별을 지닌(human-gendered) 챗봇을 선호하였으며, 기대하는 챗봇의 성별은 과제의 특성에 따라서 다르게 나타났다. 또한 남성과 여성 사용자 모두 자신과 동일한 성별의 챗봇을 선호하는 것이 발견되었다. 본 연구의 결과는 사용자 중심의 챗봇 시스템 디자인을 위한 가이드라인으로 활용될 수 있다. 시장에 출시된 300개의 챗봇을 분석한 결과 챗봇의 성별은 남성 30%, 여성 35%, 중성 30%로 나타났지만, 해당 분류에 대한 명확한 기준은 존재하지 않았다[24]. 하지만 본 연구 결과에 따르면 챗봇 서비스가 제공하는 과제의 특성 및 사용자의 특성에 따라 챗봇의 프로필을 상이하게 설정하는 것이 효과적이다. 추후 연구에서는 성별 외에 외모, 성격, 대화 스타일 등 기계 에이전트의 다양한 정체성과 관련된 연구가 수행가능하다.

2. 문헌 연구

가상 에이전트의 성별에 대한 사용자들의 기대와 관련된 기존 연구들은 상반된 결과를 낳았는데, 이런 상반된 결과는 인간과 에이전트가 상호작용하는 맥락 및 상황의 차이 때문에 발생했다.

로봇이 사용자를 설득하는 상황에서 사용자들은 자신과 다른 성별의 로봇에게 설득당할 확률이 더 높았으며, 설득하는 내용의 주제도 유의미한 변수로 작용했다[25]. 사용자들은 주제의 성격과 성별이 더 일치한다고 판단하는 경우 컴퓨터의 제안을 수용할 가능성이 더 큰 것으로 나타났는데, 사용자들은 스포츠와 같은 남성적 주제에 대해서는 남성 컴퓨터를, 패션과 같은 여성적 주제에 대해서는 여성 컴퓨터를 선호했다[11]. 그러나 온라인 쇼핑[15,21]과 사진 분류 작업[3]에 관해서 성별에 대한 선호 현상은 발생하지 않았다.

가상 에이전트의 성별 관련 연구들은 외형적 특성을 중심으로 에이전트 정체성을 조작했다[3, 5, 11, 15, 21, 25]. 하지만 텍스트 기반으로 메시지를 주고받는 상황에서는 외형과 같은 시각적 단서의 많은 부분이 생략되며, 다른 요인들이 상호작용에 영향을 미칠 수 있다. 따라서 본 연구는 이렇게 외형과 같은 비언어적 단서가 생략된 상황에서 성별과 관련된 챗봇의 정체성이 사용자의 기대에 영향을 미치는지를 알아보고자 한다.

3. 연구 방법

3.1 연구 디자인

본 연구의 목표는 챗봇의 수행 작업에 따른 사용자의 챗봇에 대한 기대 성별을 알아보는 것이며, 이를 위해 온라인 실험을 수행했다. 현재 시장에 제공되는 다양한 챗봇 서비스에 대한 현황[26] 및 문헌[13]을 바탕으로 수행과제를 총 6가지(채팅/잡담, 상담, 건강관리, 사무 업무, 전문 업무, 고객 서비스)로 분류하였으며 각각의 과제에 대한 자세한 설명은 Table 1과 같다.

Table 1. Task classification performed by a chatbot agent.

본 연구는 디자인을 통한 연구(research through design)방법론에 기반한 스토리보드 중심의 온라인 실험을 수행했다[27]. 스토리보드에 사용자가 각각의 과제를 수행하는 상황이 묘사되었으며, 스토리보드 디자인 가이드라인에 따라서 총 6개의 스토리보드가 제작되었다[27]. 실험 참여자들은 각각의 상황이 묘사된 스토리보드를 읽은 뒤, 자신이 상호작용할 챗봇의 성별을 고르도록 안내되었다. Fig.1은 건강관리를 수행하는 챗봇과 상호작용하는 상황에 대한 스토리보드의 예시이다. Fig.1의 첫 번째부터 세 번째 단계는 사용자의 상황과 해당 상황에서 챗봇이 제공하는 과제에 대한 묘사이다. 마지막 단계에서 참여자들에게 챗봇의 성별을 선택하는 상황이 제시되었다.

Fig. 1. Example of the storyboard design depicting a healthcare chatbot scenario.

본 실험 수행 전, 스토리보드 유효성 검증을 위해, 각각의 스토리보드가 연구자들이 의도한 과제를 잘 표현하였는지에 대한 평가를 수행했다. 유효성 검증 결과는 p<0.01 수준으로 모두 유의미하게 나타났으며, 이는 스토리보드에 의도된 과업이 명확히 묘사되었음을 의미한다.

스토리보드에 표시된 작업에 대해 실험참여자가 기대하는 챗봇의 성별을 확인하기 위해, 챗봇의 성별 (남성, 여성, 중립)에 대한 선택지가 각각의 스토리보드 하단에 제시되었다. 참가자들은 스토리보드에 묘사된 6가지 과업에 대해 기대하는 챗봇의 성별을 선택했다. 수집된 데이터는 분할표(contingency table) 형태로 구조화되었으며, 이에 대해 범주형 자료 분석을 수행했다.

3.2 데이터 수집

실험참여자들은 최근 HCI 연구에서 실험 수행 및 데이터 수집을 위해 널리 활용되고 있는 Amazon MechanicalTurk(AMT)를 통해 모집되었다[6,19]. 총 381명의 참여자가 참여했으며, 참여자 나이의 평균값은 30.9살, 표준편차는 9.9로 나타났다. 참여자의 40.2%는 여성이었다.

3.3 데이터 분석

본 연구는 피험자 내 설계 디자인(within-partic-ipant experimental design)을 채택했다. 수집된 데이터는 변수의 빈도 분포를 나타내는 분할표로 변환되었다. 범주형 자료 분석을 위해 Pearson 카이 제곱 검정을 사용하여 적합도 검정, 독립성 검정, 동질성 검정을 수행했다.

4. 결과

4.1 챗봇 수행 과제에 따른 기대 성별

첫 번째 연구 질문에서 우리는 6개의 과제에 따라 기대되는 챗봇의 성별을 조사했다. Table 2는 결과에 대한 분할표이다. 카이 제곱 분석을 통해 검증되었으며, 독립성 및 동질성 검정 또한 함께 수행되었다. 그 결과 챗봇의 수행 과제와 기대 성별의 교차표는 유의미하게 나타났으며, 챗봇에 대한 기대 성별은 수행 과제에 따라 유의미하게 달랐다 (χ²(10, N=381) =60.915, ρ<0.001).

Table 2. Results of Expected Gender of Chatbot by Task.

챗봇 수행 과업에 따른 기대 성별 분포에 유의미한 차이가 있음을 확인한 후, 과제별 기대되는 성별의 자세한 내용은 Table 2의 세부 분포를 통해 확인할 수 있다. 참여자들은 모든 과제에서 성별이 있는 챗봇을 선호했지만, 선호하는 챗봇의 성별이 여성 혹은 남성이냐는 챗봇이 수행하는 과제의 특성에 따라 상이했다. 사용자들은 전문적인 업무와 고객 서비스 업무를 제외한 4가지 과제에 있어서 챗봇이 여성이기를 기대하는 성향을 보였다.

과제에 따른 기대 성별의 차이를 통계적으로 검증하기 위해, 일표본 카이검정을 추가적으로 수행하였으며, 결과는 Table 3과 같다. 모든 과제에서 챗봇에 대한 기대 성별의 차이는 유의미했으며, 이는 과제의 성격이 챗봇의 기대 성별에 유의미한 영향력을 행사할 수 있음을 의미한다.

Table 3. Results of One-Sample Chi-square test by task.

4.2 사용자 성별의 효과

연구 질문 2에 답하기 위해 우리는 사용자의 성별이 챗봇의 기대 성별에 영향을 미치는지 추가적으로 검증했다.Table 4는 6개의 과제에서 사용자 성별에 따른 챗봇의 기대 성별에 대한 비율을 나타낸다. 카이 제곱 분석 결과 모든 과제에서 챗봇에 대한 기대 성별이 사용자의 성별에 따라 유의미하게 다르게 나타나는 것으로 나타났다 (chatting: χ²(2, N=381)= 35.005, ρ<0.001; counseling: χ²(2, N=381)=23.172, ρ<0.001; healthcare:χ²(2, N=381)=18.231, ρ<0.001;  clerical work: χ²(2, N=381)=18.002, ρ<0.001; pro- fessional work: χ²(2, N=381) = 35.005, ρ<0.001; customer service: χ²(2, N=381)=35.005, ρ<0.001).

Table 4. Percentage of expected gender of a chatbot by participant’s gender in the six categories of the task.

사용자 성별에 따른 챗봇의 기대 성별을 파악하기 위해, 조건 당 0.0167로 유의수준을 조정하는 Holm-Bonferroni 보정을 사용하여 사후 이항 검정을 수행했다. 그 결과 여성 사용자들은 채팅, 상담, 건강관리, 사무업무의 4개 과제에 대해 유의미하게 여성 성별을 지닌 챗봇을 선호했다. 그러나 전문 업무와 고객 서비스에 있어서는 그 차이가 발견되지 않았다.

한편 남성 사용자는 채팅, 상담, 사무, 전문 업무, 고객 서비스에서 남성 챗봇을 유의미하게 선호했지만 건강관리 업무에 관해서만 여성 성별의 챗봇을 선호했다. 또한 남성 사용자의 경우, 여성 사용자보다 동성 선호 경향이 상대적으로 약하게 나타났다. 예를 들어, 여성 사용자의 경우 여성 챗봇의 선호도가 남성 챗봇보다 3배 이상 높았다. 반면 남성 사용자의 경우 여성 챗봇과 남성 챗봇에 대한 기대 비율의 차이는 약 8.3%에 불과했다. 해당 결과는 모든 사용자에게서 동질 선호 경향이 발생하지만, 동성 성향의 정도는 여성 사용자에게서 더 강하게 나타나는 것을 암시한다.

5. 논의

5.1 의인화 된 챗봇에 대한 기대

모든 과제에 대해서 중립의 성별의 페르소나를 가진 챗봇이 가장 선호되지 않았다. 성별이 부여된 챗봇을 사용자들이 기대한다는 해당 연구 결과는 인간의 성별을 모사하는 로봇에게 사용자가 긍정적인 평가를 한다는 기존의 연구 결과와 일치한다[4,25]. 이는 컴퓨터와 대화할 때 인간이 무의식적으로 컴퓨터에게 사회적 및 관계적 의미를 부여한다는 Compu-ters Are Social Actors(CASA)모델을 통해 설명할 수 있다[22]. 챗봇은 사용자와 주로 텍스트 기반의 의사소통을 맺음에도 불구하고 사용자는 인간적인 속성을 지닌 챗봇과의 상호작용을 기대하는 것이다.

5.2 수행 과제에 따른 챗봇의 기대 성별

본 연구는 챗봇에 대한 기대 성별의 차이가 과업별로 다르게 나타나는지를 확인하고자 했다. 그 결과, 사용자들은 전문 업무 및 고객 서비스 업무를 수행하는 챗봇이 남성이기를 기대하는 반면, 채팅, 상담, 건강관리, 단순 사무 업무를 수행하는 챗봇은 여성이기를 기대하는 것으로 나타났다. 이런 결과는 직업이 성 역할에 대한 사회적 규범을 반영한다고 가정하는 사회적 역할 이론(social  role theory)을 통해 뒷받침될 수 있다. 성 역할에 대한 기대는 인간을 넘어 가상 에이전트에게도 적용되는 것이다. 나아가 인간의 챗봇 에이전트에 대한 기대 및 통념을 고려한다면 더 사용자 친화적인 인간-에이전트 상호작용을 디자인할 수 있을 것이다.

5.3 성별에 대한 유사성-매력 효과

두 번째 연구 질문은 사용자 성별이 챗봇의 기대 성별에 영향을 미치는지 알아보았다. 그 결과, 여성 사용자는 모든 과업에서 챗봇이 여성이기를 기대하는 경향이 높았다. 세부적으로 채팅 및 사무작업에서는 매우 높은 유사성 선호 효과가 나타났지만, 전문 업무 및 고객 서비스 업무에서는 상대적으로 낮은 유사성 선호 효과가 나타났다. 반면 남성 사용자는 채팅, 상담, 사무, 전문업무, 고객 서비스에서는 남성 챗봇을 크게 선호한 반면, 건강관리 업무에 있어서는 여성 챗봇과의 상호작용을 기대했다. 여성 사용자에 비해 남성 사용자의 유사성 선호 효과는 약하게 나타났다.

요약하자면 모든 사용자에게서 자신과 유사한 에이전트를 선호하는 유사성-매력 효과(similarity at-traction tendency)가 나타났지만[1], 해당 경향은 여성 사용자에게서 더 강하게 나타났다. 인간과 인간 의사소통 맥락에서 여성이 남성보다 집단 내 편향이 더 강하다는 점을 고려할 때[23], 이런 내집단 편향 경향은 인간-챗봇 상호작용 맥락에서도 적용될 수 있음을 알 수 있다. 따라서 챗봇의 정체성을 디자인할 때 챗봇이 수행하는 업무의 성격뿐 아니라 사용자의 특성도 고려해야 한다는 결론을 도출할 수 있다.

6. 결론

우리는 챗봇의 수행 과제 특성 및 사용자 성별에 따른 챗봇의 기대 성별을 살펴보았다. 그 결과, 챗봇 수행 과제 특성에 따라 사용자들은 챗봇이 특정 정체성을 갖고 있기를 기대하는 것을 확인할 수 있었다. 나아가 사용자의 성별 또한 챗봇의 기대 성별에 영향을 미치는 것을 확인할 수 있었는데, 사용자들은 자신과 성별이 같은 챗봇을 선호하는 경향을 보였다. 추후 연구에서는 시장에 출시 중인 실제 챗봇 서비스에 대한 사용자의 태도를 평가해 볼 수 있을 것이다. 또한 챗봇의 성별뿐 아니라, 성격 및 대화방식과 같은 다양한 챗봇의 정체성을 조사할 수 있을 것이다.

본 논문의 연구 결과는 챗봇 디자인에 대한 가이드라인을 제공할 수 있다. 특히 챗봇과 같은 가상에 이전트가 더 각광받고 있는 언택트 시대에서 서비스의 지속적 사용을 위해 에이전트의 정체성을 사용자 친화적으로 디자인하는 것은 매우 중요하다고 할 수 있다. 본 연구의 결과를 바탕으로 과제의 성격을 고려해서 챗봇의 정체성을 디자인한다면 좀 더 사용자 친화적인 서비스를 제공할 수 있을 것이다.