Development of Evaluation Indicators and Analysis of Usability on Learning with a Robot for the Elderly - the case of Content using the Humanoid Robot 'LiKU'

장노년층을 위한 로봇 활용 교육의 사용성 평가 지표 개발 및 평가 분석 - 휴머노이드 로봇 'LiKU'의 콘텐츠 사례

Abstract

To solve the digital divide of the elderly, various institutions are educating how to use various smart devices for the elderly. However, it cannot be expected to have a great effect due to the disadvantages of instructor-to-face education and the learning characteristics of the elderly. Accordingly, educational contents using digital devices using robots for the elderly were developed. In this study, Evaluation Indicators were developed to evaluate the usability of digital education using robots. Also, by using usability evaluation based on the developed Evaluation Indicators, we tried to verify the usability of education using robots and to confirm the possibility of expanding the application area. In order to successfully apply the developing robot technology to various fields, it is essential to verify the usability of contents using robots, and this study on Evaluation Indicators and Evaluation methods is expected to serve as a foundation.

가속화 되고 있는 노령화로 인해 장노년층의 디지털 격차 문제는 점점 심화되고 있다. 이를 해결하기 위한 다양한 스마트 기기 활용 교육이 이루어지고 있지만 기존 강사 대면 교육의 한계와 장노년층의 학습적 특징 등으로 큰 효과를 기대하기는 어려운 실정이다. 이에 장노년층을 위한 휴머로이드 로봇을 활용한 디지털 교육 콘텐츠가 개발되었다. 본 연구에서는 로봇을 활용한 디지털 교육의 사용성을 평가하기 위하여, 먼저 교육 콘텐츠의 사용성을 분석하고, 그 측정지표를 효율성, 이해성, 운영성, 학습성 그리고 만족성으로 정의하였다. 그리고 각 측정지표의 측정방법을 개발하여, 이를 기반으로 기존 대면 교육과 로봇을 활용한 교육의 사용성 평가를 실시함으로써 로봇 활용 교육의 사용성을 검증하고, 그 활용 영역의 확대 가능성을 확인하였다. 발전하고 있는 로봇 기술을 다양한 분야에 성공적으로 적용하기 위해서는 로봇 활용 콘텐츠의 사용성 검증이 필수적이며, 이러한 측정지표 및 측정방법에 대한 연구는 그 기초가 될 것으로 기대된다.

I. 서론

과학기술정보통신부에서 발표한 ‘2018 디지털 정보격차 실태조사' 보고서에 따르면 장애인, 저소득층, 농어민, 장노년층의 4대 정보 취약계층 가운데 장·노년층의 디지털 정보화 수준이 가장 낮으며 그 정도는 연령이 높을수록 심화 되어 있다[1]. 노년층의 디지털 기술에 대한 접근성이 떨어지는 문제는 삶의 질과도 밀접한 관련이 있으며, 사회적 소통을 가로 막는 소외 현상을 심화 시킨다는 점에서 이를 개선하고자 하는 디지털 교육 방안들이 시도 되고 있다.

그러나 현재 실행되고 있는 장·노년층 대상 디지털 교육은 대부분 특정 시간과 장소에 모여 일회성으로 이루어진다는 점에서 한계점을 지니고 있다. 거동이 불편한 어르신들의 특성을 고려하지 못하고 있으며, 특히나 반복 학습을 필요로 하는 계층임에도 불구하고 일회성 교육에 그치고 있다. 이러한 문제점들을 보완하기 위하여 특정 장소에 모이지 않고도 개별적으로 반복 학습이 가능한 휴머노이드 로봇을 활용한 스마트 기기 교육 콘텐츠를 서울디지털재단의 지원을 받아 (주)토룩에서 개발하었다.

본 연구에서는 노년층의 격차해소를 위한 로봇 활용 디지털 교육의 사용성 평가지표를 개발하고, 이를 바탕으로 교육 로봇이 기존 교육 방식을 대체할 수 있는 학습효과와 사용성을 지니는지 확인하고자 하였다.

II. 관련 동향 및 연구

장노년층을 위한 디지털 격차 해소 문제는 2001년 ‘정보격차 해소에 관한 법률(제7811호)’이 제정되면서 매년 다양한 시행계획을 통해 범정부 차원에서 이루어지고 있으며, 서울시 50플러스 재단의 ‘캠퍼스 센터’ 및 SK텔레콤의 ‘알기 쉬운 스마트폰 교실’ 등과 같은 디지털 격차 해소를 위한 다양한 프로그램들이 시도되고 있다[2][3].

실생활의 디지털화와 장노년층의 증가는 장노년층을 위한 UI/UX 기술 개발로도 이어지고 있는데, 스마트시니어 세대의 문화향유를 위한 인지 반응 맞춤형 UI/UX 기술 개발의 일환으로 시니어 대상을 위한 UI/UX 가이드라인이 개발 활용 되고 있다[4][5]. 또한 시니어 행동 특성의 이해를 통해 시니어 제품에 필요로하는 인터랙션 요소 지표들을 도출하여 디자인의 방향성을 제시하는 연구들도 진행되고 있다[6][7].

사용성 평가를 위해서는 사용성이란 무엇인지에 대한 정의 및 사용성을 이루고 있는 요소들에 대한 분석이 우선되어야 한다. 이러한 사용성에 대한 연구에 피터 모빌의 허니콤 모형과 스테판 앤더슨의 사용사 경험계층 구조 모델이 많이 참고 되고 있다. 허니콤 모형은 웹사이트에 관한 사용성을 평가 하는데 중점을 둔 것으로 유용성, 사용성, 가치성, 매력성, 접근성, 신뢰성, 검색 성의 7가지 구성요소로 이루어져 있으며, 어떤 요소가 중요하기 보다는 모든 요소가 균형 있게 갖추어지는 것이 중요하다고 강조하고 있다. 이러한 허니콤 모형은 웹 사이트가 아닌 다양한 분야에 적합한 형태로 재구성하여 사용성을 분석하는데 다양하게 연구 활용되고 있으며[8], 본 연구에서는 5가지 요소로 재구성 하였다. 사용자 경험 계층 구조 모델은 매슬로(Maslow)의 인간 욕구 5 단계 이론을 수용함으로써 심리학을 적용한 사용자 경험 계층을 도출하여, 하위 단계는 근본적인 요구(기능과 신뢰성)가 필요하지만, 사용자를 진정으로 참여시키기 위해서는 편의성, 재미 및 개인적인 의미가 필요 하다고 보고 있다[9]. 본 연구에서 교육 콘텐츠 의사 용성과 함께 휴머로이드 로봇이 주는 신선함과 친근함이 교육적 사용성을 높일 수 있다는 이론적 근거라 할 수 있다.

III. 로봇 콘텐츠의 개발 및 측정지표 개발

1. 교육용 휴머노이드 로봇

장노년층의 디지털 교육을 위한 로봇으로 친근한 디자인을 가진(주)트룩의 휴머노이드 를 활용한 교육 콘텐츠가 개발되었다. 로봇의 활용은 상황별로 필요한 설명과 표현을 제공할 수 있으므로 시간과 장소의 제약 없이 반복적인 학습의 효과를 기대 할 수 있을 것으로 기대되고 있다.

그림 1. 휴머노이드 로봇 ‘LIKU’

특히 친근한 외모의 휴머노이드 로봇 ‘LiKU’는 스스로 판단하고 행동을 결정하며, 정교한 감각으로 개연성 있는 반응을 보여 학습자와의 상호작용을 높이도록 개발되었다. 또한 생동감 있는 감정과 행동 표현을 통해 노령자의 학습자와의 친밀한 유대감을 높였으며, 반복된 학습을 통해 학습자를 파악하고 이해하도록 개발되었다.

2. 활용 교육 콘텐츠

장노년층의 디지털 격차 해소를 위한 교육 내용으로는 카카오톡 사용법을 선정하였다. 카카오톡은 전 연령대에서 사용율이 높으며, 사회적인 관계를 맺는 것 뿐만 아니라 현재 다양한 부가 기능과도 연동되어 사용되고 있기 때문에 실질적으로 장노년층이 가장 많이 사용하고 있는 앱인 동시에 가장 배우고 싶어 하는 앱이기도 하다.

그림 2. 카카오톡 기능 교육 앱 화면

개발된 교육용 앱 콘텐츠는 휴머로이드 로봇과 연동되어 특정 화면이나 사용자가 특정 버튼을 클릭하였을 때 그 상황에서 필요한 설명을 제공, 사용자가 어떻게 조작했느냐에 따라 수행하고자하는 목적을 완료하는데 도움이 되는 내용을 설명하도록 개발되었다. 교육은 로봇에 의한 교육 진행 방식을 설명하는 오프닝 세션과 실제 교육 내용이 진행되는 튜토리얼 세션, 설명 후 실제로 사용하면서 피드백을 주는 실습 세션으로 구성되었다.

그림 3. 튜토리얼 교육 내용

3. 로봇 교육의 활용역량 평가를 위한 측정지표 개발

로봇을 활용한 교육의 효과를 평가하기 위해서는 교육의 효과란 무엇인지 정의되어야 한다. 표1은 효과적인 교육의 활용역량에 대한 기준이 무엇인지 정의한 항목이다.

표 1. 효과적인 교육의 활용역량 기준 정의

[표 1]에서 1-5는 로봇이 교육 프로세스를 수행하면서 제공되는 사용성으로 실제 교육 효과에 직결될 수 있는 척도라 할 수 있다. 이중 4, 6의 경우는 기존 교육방식과 비교 가능한 척도로 실제 로봇 교육이 기존 교육방식을 개선하였는지를 측정하는 지표라 할 수 있다. 5의 경우 로봇이 도입된 학습 형태가 가질 수 있는 반복 학습의 용이성이 실제 학습성에 도움을 주는지에 대한 척도라 할 수 있다.

표 2. 로봇 교육 효과의 측정지표

위에서 정의한 로봇의 효과적인 교육 사용성을 측정하기 위해 [표 2]의 측정 지표들을 개발하였으며, 만족도 측정을 위한 설문의 경우 다음 [표 3][표 4]와 같이 로봇 활용 교육과 기존 강사 교육 만족도 설문을 별도로 구성하여 설계 하였다.

표 3. 로봇 활용 교육 만족도 조사 설문내용

표 4. 기존 강사 교육 만족도 조사 설문내용

교사 교육 방식 및 로봇 교육 방식의 종합적인 평가비교를 위해서는 개별적인 측정지표들에 가중치를 부여한 종합 평가 지수를 개발하였다.

IV. 사용성 평가

디지털 격차해소를 위한 로봇 활용 교육의 사용성을 확인하기 위해서는 기존 교사주도 교육과의 사용성 비교가 필요하였으며, 이러한 사용성 비교를 통해 로봇 활용 교육의 실효성을 입증하고자 하였다.

1. 실험 설계

1.1 평가 태스크 정의

사용성 평가를 위한 평가 태스크는 카카오톡 교육 콘텐츠를 기반으로 하여 교육되는 주요 기능들로 구성하였으며 다음 [표 6]와 같다.

표 6. 카카오톡 활용 교육 평가 태스크 정의

1.2 평가 진행 절차

각 교육 형태별로 평가 프로세스를 구성하여 각 단계별로 기록해야 할 사항들을 [표 7]에서 정리하였다.

표 7. 교육 형태별 평가 진행 순서

로봇 교육의 경우 개별적으로 교육이 이루어지며, 기존교사 주도 교육의 경우 그룹별로 이루어지도록 설계하였다.

2. 사용자 평가 실험

피평가자의 경우 65세-79세의 노년층으로 카카오톡의 사용 경험이 있으나 그 사용능력이 상중하로 골고루 분포된 두 그룹을 구성하여 각각 기존 교사 교육과 로봇 활용 교육을 실시하였다.

그림 4. 교사 주도 교육 및 개별 평가 실시 화면

그림 5. 로봇 활용 교육 및 평가 실시 화면

3. 사용자 평가 결과

3.1 교육 효율성

교사 수업방식의 경우 로봇교육 방식과 같은 양의 교육 콘텐츠에 대해서 최대한 비슷한 구성을 통해 진행하였으며, 단체 수업 방식은 참여자 모두에게 동일 한 시간 동안 이루어짐에 따라 참여자 모두 동일한 시간으로 측정되었다. 교육 형태별 교육 수행 완료 여부 및 수행 시간 측정을 통한 교육 효율성의 경우, 교사 수업 방식에 비해 개인별로 부족한 부분을 다시 들을 수 있는 로봇 교육 방식이 피평가자별로 편차(표준편차 0:18) 가높은 편이였지만, 교사 교육 방식(1:02)에 비해 평균적으로 로봇 교육 방식(0:41)이 단축된 교육 소요시간을갖았으며 이에 따라 같은 양의 교육 내용 대비 교육 효율성이 높다고 평가되었다.

그림 6. 교육 형태별 평균 소요시간

3.2 교육 이해성

교육 이해성의 경우 수업을 듣는 동안 발생하는 실수 및 도움 요청 등을 기반으로 측정하였으며 교사 수업방식의 경우 관찰자 한명 당 두 명 이하의 학습자를 관찰 기록하였다. 교사 수업 방식의 경우 대면적 수업형식으로 인하여 교사 혹은 다른 피평가자에게 도움을 요청하는 횟수가 매우 높았다. 실제 이해보다 과도한 도움을 요청하는 경향이 있었을 수 도 있으나 이는 곧 수업이 산만해 지는 결과를 초래해 수업의 흐름을 방해하는 요소이기도 하였다. 반면 로봇 교육의 경우 일대일 방식으로 진행되어 실습 시 발생하는 도움 요청이 현저히 줄어든 것을 확인할 수 있었으며, 불필요하거나 습관적인 질문 성향들은 나타나지 않았다. 이에 따라 교육 형태별 에러율은 교사 교육 방식이 평균 16.2의에러율을 보였으며, 로봇 교육 방식은 평균 3.67로 더 낮은 에러율을 보였다.

그림 7. 교육 형태별 평균 에러수

3.3 운영성

로봇의 튜토리얼 세션와 기존 교사의 수업 세션 중 발생하는 오작동시 적절한 도움이 제공되는지에 대한 운영성은 에러지원율을 통하여 측정하고자 하였다. 그 결과 개별 교육이 진행되는 로봇교육이 여러 명을 지원해야 하는 교사 교육에 비해 더 나은 운영성을 제공하였음을 확인 할 수 있었다. 이는 교사 교육의 교육생이 늘어날수록 더 큰 격차가 발생 할 수 밖에 없을 것으로 예상되며, 이러한 낮은 운영성은 교육 중도 포기자들을유발시킨다는 점에서 반드시 고려되어야 할 사용성이라 할 수 있다.

그림 8. 교육 형태별 에러지원율

3.4 학습성

교육 방식에 따라 수업이 종류한 후, 6개의 태스크를 수행 할 수 있는지 평가하여 학습성을 측정하였다. 1차 습득률의 경우 대체로 기존 교사 교육이 높았지만 Task1, 3을 제외하고는 사실상 모든 태스크가 사실상 50%(부분성공) 이하의 성적을 거두었다. 비교적 간단하고, 학습 후 비교적 오래지 않아 실시한 평가임에도 학습 효과가 두 교육 방식 모두 높지 않음을 확인할 수 있었는데, 이는 장노년층의 학습 능력 및 이를 유지 할 수 있는 기억 능력이 매우 떨어지는 것을 나타내며, 추후 이를 고려한 학습 콘텐츠의 분량 및 교습방법의 개선이 필요함을 나타낸다. 교육방식 별 성공률의 경우 교사 교육방식이 평균 37%의 성공률을, 로봇 교육 방식이 평균 35%의 성공률을 보였으나 두 방식 모두 부분 성공 (50%) 보다 낫은 성공률을 보였으며, 따라서 대부분의 피 평가자들이 반복 학습의 필요성을 요청하였다.

그림 9. 교육 형태별 학습률

기존 교사 교육 방식은 대체로 단체 수업 방식으로 인하여 교사 및 학습자들의 시간 조정 및 장소 섭외 등의 문제점뿐 만 아니고, 비용 부분에서도 반복적 시행에 어려움이 존재한다. 반면 로봇 교육 방식의 경우 일대일 교육으로 쉽게 재 수업이 시행될 수 있으며, 선택적으로 개인이 필요한 부분을 반복 학습이 가능하다. 따라서 로봇 교육 방식의 장점인 재교육의 용이성이 효과를 나타낼 수 있는지 알아보기 위해 1차 평가 후 부족한 부분에 대해 2차 평가를 실시하였다. 2차 평가는 1차 평가 시 실패나 포기에 해당하는 테스트에 대해서만 실시하였으며, 부분성공 이상의 테스트에 대해서는 1차 평가 시 측정치를 그대로 사용하여 반복습득률(2차 학습률)을 측정하였다.

그림 10. 로봇 교육 방식의 1, 2차 평가 태스크 성공률

1차 평가의 낮은 성공률에 비해 2차 평가 결과는 대부분 높은 성공률을 보였다. 이는 반복적 학습이 효과가 있음을 보여 주는 것이였으며, 대부분의 피평가자들은 최종 성공한 태스크라 할지라도 추후 학습내용의 숙지를 위해서는 반복적인 추가 학습이 필요하다는 의견이여서 노년층의 교육에 있어서 주기적 반복 학습의 필요성을 확인할 수 있었다.

3.5 매력성

교육 형태별 만족도의 경우 교사 교육 방식의 경우 평균 4.25(표준편차 0.72)의 만족도로 측정되었으며, 로봇 교육 방식이 평균 4.46(표준편차 0.46)의 만족도로 측정되어 일대일 방식의 새로운 로봇 교육 방식의 만족도가 기존 단체 교육 형태의 교사 교육 방식 보다 높은 만족도를 보였다.

그림 11. 교육 형태별 만족도

이는 장노년층이 로봇을 활용한 콘텐츠를 수행하기에 로봇에 대한 거부감이나 괴리감은 갖지 않는 다는걸알 수 있으며, 실제로 대부분의 피 평가자들은 교육 중 로봇이 요구하는 친밀 행위(예: 머리 쓰다듬기 등)에 대해 기꺼이 반응하였으며, 로봇의 애정 표현에 대해 (예: 좋아해요 등) 매우 흡족해 하며 화답하기도 하였다.

3.6 사용성 종합 평가 지수

교사 교육 방식 및 로봇 교육 방식의 개별 측정지표를 통합한 종합 평가 지수는 각각 64.65점과 83.34점으로 산출되어 로봇 교육의 활용효과가 더 좋은 것으로 평가되었다. 스마트기기에 익숙하지 않은 장노년층 사용자는 수업 중에도 자주 에러를 발생시키거나 질문을 하는 경향이 강한데 반해 교사주도 교육은 이를 지원하기가 어려웠다. 그러나 로봇활용 교육은 본인의 의사에 따라 여러 번 반복 학습 및 실습이 가능하고 애러발생시 지원율이 높았기 때문에 학습성 및 종합적 사용성이 높게 측정되었다고 분석된다.

그림 12. 교육 형태별 사용성 종합 평가지수 비교

V. 결론

로봇 활용 교육이 장노년층의 스마트 교육에 효과적으로 활용 될 수 있는 지를 확인하기 위하며 로봇 활용 교육의 사용성에 대해 분석하였으며 그 요소로 효율성, 정확성, 이해성, 학습성, 만족성을 도출하였다. 이러한 사용성의 요소들을 측정하기 위한 측정지표로는 에러율, 에러지원율, 습득률, 반복 습득률, 만족도를 개발하였다.

이러한 측정지표를 기반으로 한 사용성 평가에서 로봇 활용 교육은 기존 교사 교육에 비해 전반적으로 개선된 사용성을 보였다. 주로 그룹으로 이루어지는 기존교사 대면 교육은 시간과 장소를 정하고 이동해야 한다는 점에서 이동성이 떨어질 수 있는 장노년층의 신체적특성를 반영하지 못하며, 반복적인 질문으로 진도를 확인 받고 싶어 하는 학습적 특성에도 교사가 모든 학습자를 개별적으로 지원할 수 없다. 그러나 로봇 활용 교육은 시공간의 구애 없이 개별적으로 교육 진행에 따라 맞춤형 지원을 받을 수 있으며 교육 내용의 반복을 통해 실제 학습성이 크게 개선될 수 있음을 확인하였다. 로봇 교육이 장노년층의 디지털 활용 교육에 활용되기 위해서는 장노년층을 위한 다양한 스마트 교육 콘텐츠 개발 및 장노년층과의 학습 피드백을 높이기 위한 로봇 UI/UX 개선 노력이 필요하다.

다양한 도움을 필요로 하는 장노년층을 위한 로봇의 활용은 비단 교육적 부분에 그치지 않는다. 따라서 장노년층을 위한 로봇의 활용 분야는 확장될 것이고, 이를 위해서는 다양한 분야에 적합한 로봇 활용의 사용성 연구가 수반되어야 한다. 향후연구에서는 다양한 분야의 로봇 활용 사용성 측정지표 개발 및 로봇 활용 가이드라인을 통해 로봇 사용성에 기여하고자 한다.