Development of a English Vocabulary Context-Learning Agent based on Smartphone

스마트폰 기반 영어 어휘 상황학습 에이전트 개발

Abstract

Recently, mobile application for english vocabulary learning is being developed actively. However, most mobile English vocabulary learning applications did not effectively connected with the technical advantages of mobile learning. Also,the study of mobile english vocabulary learning app are still insufficient. Therefore, this paper development a english vocabulary context-learning Agent that can practice context learning more reasonably using a location-based service, a character recognition technology and augmented reality technology based on smart phones. In order to evaluate the performance of the proposed agent, we have measured the precision and usability. As results of experiments, the precision of learning vocabulary is 89% and 'Match between system and the real world', 'User control and freedom', 'Recognition rather than recall', 'Aesthetic and minimalist design' appeared to be respectively 3.91, 3.80, 3.85, 4.01 in evaluation of usability. It were obtained significant results.

1. 서 론

모바일 기기를 이용한 학습은 뛰어난 접근성과 이동성, 편의성 등으로 학습자에게 학습을 보다 풍부하고 용이하게 할 뿐만 아니라 다양한 현장학습을 지원하여 새로운 시대의 교육적 필요에 부합하는 학습 도구로서 잠재적인 교육적 가치가 확인되고 있다.

이러한 관심 속에서 스마트폰 애플리케이션의 경향을 분석해보면, 앱스토어에 나와 있는 100여 개의 앱을 분석한 결과, 영어 학습 애플리케이션의 대부분은 영어 어휘학습 애플리케이션은 39%, 회화 애플리케이션은 20% 등으로 조사되었다[1]. 또한, 플레이스토어에서 제공하는 영어교육용 애플리케이션 중 영어 어휘학습 애플리케이션이 전체의 25%를 차지한다[2]. 이는 애플리케이션을 통하여 영어 단어 학습을 원하는 학습자의 요구가 적지 않으며 애플리케이션을 활용한 영어 어휘 학습이 새로운 학습 유형으로서의 가능성이 있음을 확인하였다[3].

그러나 대부분의 영어 어휘 학습 어플리케이션은 모바일의 기술적 장점을 효율적으로 학습과 연결시키지 못하였고 이에 대한 영어 어휘 학습 앱에 대한 연구는 아직 부족한 실정이다. 그러므로 본 논문에서는 스마트 폰을 기반으로 위치기반 서비스, 인식 기술, 증강현실 기술이 적용하여 맥락학습을 보다 합리적으로 실천하는 모바일 증강현실 영어 어휘 학습 에이전트를 개발하고자 한다. 제안된 학습 에이전트는 기존 모바일 학습 기기들이 가진 모바일 특성을 확대하여 상황 이동성, 지능적 에이전트 접근성, 예측 확장성의 기술적 장점을 제공한다. 또한 학습자의 시각으로 들어오는 텍스트 정보 및 위치 정보를 기반으로 학습자의 상황에 적합한 학습 어휘를 자동으로 추천하고 추천된 학습 어휘와 관련된 정보를 지능적으로 제공하여 학습의 효과를 높이도록 한다.

본 논문의 구성은 다음과 같다. 2장에서는 모바일 영어 어휘 학습, 상황학습과 증강현실 기술을 이용한 학습의 사례 그리고 지능형 에이전트의 사례를 살펴본다. 3장에서는 본 논문에서 제안하는 에이전트 구조와 GUI 설계한다. 4장에서는 제안한 에이전트의 실험 결과를 분석하고 마지막으로 5장에서는 결론 및 향후 연구 과제에 대하여 기술한다.

 

2. 관련 연구

2.1 모바일 영어 어휘 학습

스마트폰을 이용한 모바일 학습은 시대적인 요구에 부응하는 새로운 학습 매체를 활용한 교육 방법이다. 특히 영어 어휘학습 애플리케이션은 수업 등 일정한 장소에서 배운 어휘만으로는 학습자에게 필요한 어휘를 모두 습득하게 할 수 없기 때문에 학습자가 원하는 장소와 시간에 즉시 학습할 수 있는 비형식적 교육의 가장 적합한 형태이다. 여러 연구에서도 모바일 스마트 폰 기기의 특성으로 긴 텍스트를 읽는 것보다는 단어 목록을 통해 단어를 학습하는 것이 가장 알맞은 형태의 학습 방법임이 증명되었다[4,5].

2.2 상황학습과 증강현실

위치 정보를 기반으로 하는 상황 학습은 교실에서 강의를 통해 얻어진 지식보다 실생활의 맥락에서 습득된 지식이 실용적이며 현실의 문제의 해결에도 전이가 더 쉽고 학습의 효과도 최대로 나타날 수 있다는 점에서 주목을 받고 있다[6]. 위치 정보 기반 서비스를 기반으로 하는 상황 학습 사례는 주변 물체에 라벨을 붙여 단어를 상기 시켜주어 학습에 도움을 주는 TANGO(Tag Added LearNing Objects)라는 영어 어휘 학습 시스템[7], RFID(Radio Frequency Identification) 태그와 리더의 무선통신 기술을 이용하여 학습자의 위치와 상황을 인지하고 그에 부합하는 영어 상황 학습시스템[8] 등이 있다.

증강현실 기술을 활용한 학습은 학습개체에 대한 직접 조작활동에 의한 경험 중심 학습이 이루어지고 학습장면에 대한 감각적인 몰입형 환경이 제공되어 실재감 및 상호작용이 높다. 또한 맥락인식에 기반하기 때문에 학습 현존감이 높을 뿐만 아니라 이동성 중심의 협력학습을 가능하다는 점에서 주목 받고 있다. 증강현실 기술을 활용한 학습 사례를 보면, 기하학의 공간적 개념을 학습하기 위한 증강 현실 콘텐츠[9], 과학교과 수업에 적용한 도교대학 Mono-Gatahari 프로젝트[10] 등이 있다.

2.3 지능형 에이전트

지능형 에이전트는 학습자의 환경이나 학습자의 성향이 바뀌더라도 기계학습을 통해 학습자의 의도를 보다 정확하게 이해하여 에이전트를 적절하게 변화시켜 대응할 수 있다. 이러한 기계학습을 이용한 지능형 에이전트를 활용한 학습 사례를 살펴보면, 베이지안 네트워크(Bayesian Network)를 이용하여 자연어를 통해 학습자의 의도를 추론하고 해당 정보를 제공하는 대화형 에이전트[11], 다중 에이전트 기반의 정보 개인화 시스템에서 신경망으로 전문가 지식을 모델링하는 다중 에이전트[12] 등이 있다.

 

3. 제안한 에이전트

3.1 설계방향

기존의 모바일 어휘 학습 프로그램은 이동성, 접근성, 확장성, 그리고 신속성이라는 모바일의 기술적 장점을 제대로 반영하지 못하고 있다. 그래서 본 논문에서는 이러한 모바일의 특성을 극대화할 수 있도록 하였다. 첫째, 학습자들이 단순히 이동 중에 영어 어휘 학습을 하는 것에서 한 걸음 더 나아가 이동환경과 연관성이 깊은 어휘를 학습하도록 하는 상황 학습 환경을 제공한다. 둘째, 인터넷에 연결된 환경이므로 영어 어휘 학습과 관련된 학습 자원에의 접근과 취득이 용이하다는 특성에서 한 걸음 더 나아가 학습자의 학습 상황에 따라 자동으로 학습 자원을 제공하고 학습자가 학습할 가능성이 높은 어휘를 미리 예측하여 제공하는 지능적 에이전트로 확장한다.

한편, 영어 어휘학습을 어떻게 해야 하는 가에 대한 해답을 찾기 위한 다양한 연구가 진행되었는 데, 효과적인 영어 어휘 학습을 위한 방안들을 정리하면 다음과 같다[13]. 첫째, 읽기를 통해서 어휘를 문맥에서 자주 반복되면 자연스럽게 장기기억에 저장되도록 하는 방식이 가장 이상적이다. 둘째, 어휘들 사이의 유사성이 학습을 더 쉽게 만들 수 있다. 셋째, 한번 보고 암기할 수 있는 어휘는 거의 없기 때문에 어휘를 학습하는 데 중요한 것은 어휘 반복 횟수만이 아니라 주기 학습(spaced repetition)이 장기 기억에 더욱 효과적이다. 즉 학습자들은 최소한 6번 내지 7번의 반복이 단어를 습득하는 데 필요하고 암기한 영어 어휘를 정기적으로 복습하는 것이 중요하다. 그러므로 제안된 에이전트는 이러한 효과적인 영어 어휘학습 방안들이 내재되도록 구현한다.

3.2 제안된 에이전트의 구조

본 논문에서 제안하는 시스템의 구조는 Fig. 1과 같이 화면 텍스트 인식 및 위치 정보 모듈, 학습자선호 어휘 추출 모듈, 추천 어휘관련 정보 추천 모듈, 화면 관리 모듈로 구성된다.

Fig. 1.System diagram.

3.3 화면 텍스트 인식 및 위치 정보 모듈

화면 텍스트 인식 및 위치 정보 모듈(Screen Text Recognition & Location Information Module)은 스마트 폰의 화면에 나타나는 정보들 중에서 텍스트 정보를 인식하는 모듈로 영상 전처리 모듈, 텍스트 인식 모듈, 텍스트 변환 모듈, 위치 정보 모듈로 구성된다.

영상 전처리 모듈은 현재 위치에서 화면을 통해 보이는 상호명, 현수막 등에서 학습자가 선택한 부분에서 검출된 텍스트 영역을 글자 영역과 배경 영역으로 분리[14,15]한 다음, 이미지에서 추출된 이진화된 글자 영역에서 연결 요소 분석을 통하여 각각의 자소를 찾아 글자 단위로 병합하여 개별 문자 단위로 추출한다[16].

텍스트 인식 모듈에서는 문자 추출은 입력된 영상에서 추출된 특징 벡터와 인식 대상 문자들 간의 특징 벡터 사이의 거리 (Manhanttan distance)를 이용하여 표시 건수까지의 최종 인식결과를 추출하게된다. 텍스트 변환 모듈에서는 인식된 문자를 거리 척도 (Levenshtein Distance)[17]을 이용하여 지역 데이터베이스의 상호명과 가장 유사한 문자열을 찾는다. 즉 인식된 텍스트와 지역 데이터베이스의 현재 위치 주변의 상호/업종을 비교하여 업종명과 상호명을 출력한다. 단, 업종명은 한국표준산업분류에 따른다. 만약 일치하는 상호명이 없으면 현재 위치 정보를 이용하여 표시 거리내의 주변의 상호/업종명을 출력한다.

지역 데이터 베이스는 전국 상호명 데이터베이스 중에서 D시의 A 지역의 업종명과 관련된 유의어, 반의어, 학습장, 상황문 등의 데이터를 가지고 있다.

3.4 학습자 선호 어휘 추론 모듈

화면 텍스트 인식 및 위치 정보 모듈(Screen Text Recognition & Location Information Module)은 학습자의 선호도 및 어휘 학습 서비스 사용시 행동 패턴을 분석하여 미리 정해진 학습자 프로파일과 비교하여 스마트 폰의 화면에서 표시되는 건수와 표시되는 거리내의 어휘 데이터들 중에서 학습자가 가장 선호하는 어휘 정보를 추론 엔진을 통하여 결정한다. 이 모듈은 맥락 전처리 모듈, 학습자의 선호도 모듈로 구성된다.

맥락 전처리 모듈은 학습자의 다양한 정보를 일정한 형식의 맥락 정보로 처리한다. 학습자의 선호도 모듈은 학습자의 선호도를 학습하는 데 Rule Engines과 Naive Bayesian classifier로 구성된다. Rule Engines은 학습자의 선호도에 대한 규칙 정의 및 관리하는 역할을 한다. 정의된 규칙들은 베이지안 분류기를 통해 학습자에게 가장 적합한 어휘를 제공한다. 즉 학습자 프로파일을 바탕으로 베이지안 분류기를 사용하여 사람의 개입 없이 학습자의 맥락에 적합한 어휘를 추천한다. 학습자의 맥락은 학습자 프로파일 히스토리를 사용하여 학습한다. 학습자는 많은 양의 어휘 정보 리스트를 보고 싶은 것이 아니라 학습자의 선호도를 기반으로 상황 정보에 적절한 어휘 정보를 원한다. 학습자 선호도가 담긴 학습자 프로파일은 가변적이지만 현재 학습자의 어휘에 대한 선호도를 담고 있다.

3.5 학습 어휘 관련 정보 추천 모듈

학습 어휘 관련 정보 추천 모듈(Information Recommendation Module related to Learning Vocabulary)은 학습자 선호 어휘 추론 모듈을 통하여 추천된 학습 어휘를 기반으로 학습자의 학습 패턴에 따라 부가적인 학습 어휘 정보를 지능적으로 추천하는 모듈이다. 즉 학습 어휘는 증강현실 화면에서 추출된 텍스트 정보(예, 의원)들 중에서 학습자 선호어휘 추출 모듈을 통해 결정되고 이 어휘와 관련된 학습장, 상황문 등의 정보를 학습자의 상황에 따라 지능적으로 제공한다.

유의어(Synonym) 모듈은 학습 추천 어휘와 비슷한 의미를 가지는 어휘를 제공하고 반의어(Antonym) 모듈은 학습 추천 어휘와 그 뜻이 서로 정반대되는 관계에 있는 어휘를 제공한다. 하지만 학습장(workbook) 모듈은 추천된 어휘와 관련하여 예전에 학습한 적이 있는 어휘들의 목록으로 학습자의 선호도와 학습 주기를 고려하여 추천된다. 학습한 어휘를 학습장에 등록하면 등록된 날짜를 기준으로 학습자에게 최소한 7번 이상 주기적으로 제공하여 복습할 수 있도록 한다.

상황문(Context Sentence)모듈은 추천된 어휘와 관련이 있는 장소에서 사용될 수 있는 상황 회화문을 출력하는 모듈이다. 영어 어휘 학습에 있어서 읽기를 통해서 어휘를 문맥에서 자주 반복되면 자연스럽게 장기기억에 저장되도록 하는 방식이 가장 이상적이기 때문에 습득할 어휘를 실제 실생활의 문맥에서 자주 활용할 수 있도록 한다.

각 모듈의 입력 값(Data sources)은 학습자의 프로파일과 학습 어휘 데이터이다. 학습자 프로 파일은 학습 어휘와 관련된 정보에 대한 학습자의 선호도를 가지고 있다. 두개의 입력 값이 시스템이 사용할 수 있는 데이터로 변환(Data transform)하기 위한 변환과정을 거친다. 변환된 데이터가 유사성 측정법(Similarity Measurement)에 의해서 값을 산출한다. 유사성 측정으로 산출된 데이터는 값이 큰 순서대로 학습자의 선호도가 반영한 학습 어휘들을 추천한다.

3.6 화면 관리 모듈

화면 관리 모듈(Screen Management Module)에서는 인식된 한글 텍스트들 중에서 표시해야할 거리 및 표시해야할 건수를 선택하면 조건에 따라 결정된 어휘가 화면에 표시된다. 거리는 10m, 30m, 50m, 100m, 500m, 1000m 중에서 하나를 선택할 수 있고 건수는 1건, 3건, 5건, 10건 중에서 하나를 선택할 수 있다. 원하는 학습 어휘를 선택하면 자동으로 관련된 항목들이 화면에 나타나는 데 유의어, 반의어 등을 선택하면 관련된 정보가 나타난다. 또한 화면 하단의 유의어, 반의어, 학습장, 상황문을 클릭하면 증강현실 화면에 현재 추천된 어휘와 관련된 정보가 표시된다.

 

4. 실험 결과 및 고찰

4.1 실험 개요

제안된 시스템의 개발 환경은 Table 1과 같다. 스마트폰의 기능 중에서 카메라, 위치 센서, 지자기 센터, 디지털나침반 센서를 활용한다.

Table 1.Environment of system development

제안된 시스템을 이용한 시뮬레이션은 아래의 상황으로 가정하였다. 첫째, D시의 1개 지역으로 한정하고 상호명, 현수막 등의 데이터베이스만 구축하여 사용한다. 학습자의 위치에서 바라 볼 수 있는 상호명 또는 현수막은 제한적이므로 지역을 한정하더라도 유의미한 결과를 도출할 수 있다. 둘째, 화면 텍스트 인식 모듈은 한글 문자를 인식하도록 개발이 최적화되어 한글과 영문이 혼용되거나 영문으로만 된 간판, 현수막의 경우는 별도로 고려하지 않았다.

4.2 구동 실험

Fig. 2는 D시의 A 지역을 스마트폰으로 비추었을 때의 증강현실 화면으로 현재 위치(GPS, WiFi 등 이용), 방향(EWSN), 주소 등이 표시한다. 화면의 위쪽은 의 위도 및 경도 등 GPS 정보 표시(“296 NW | 36.351215 127.387750 | GPS”)와 현재 위치의 주소 “대전시 서구 둔산동 1454”가 표시된다.

Fig. 2.Recognized letters on the screen.

화면 상단의 ‘지도’를 클릭하면 현재 위치에 대한 증강현실 화면 위에 지도 표시 여부를 선택할 수 있다. 거리 또는 건수를 적절하게 선택하면 인식된 상호명 중에서 조건에 따라 화면에 표시된다.

증강현실 화면은 현재 화면과 이전 화면 정보의 이동 거리를 비교하여 일정 거리(화면 좌우/상하)를 벗어났지 않을 경우에는 글자 패턴을 재인식하지 않고 기존 글자 위치에 있는 패턴을 그대로 사용하지만 그렇지 않고 화면을 벗어난 경우에는 재인식한다. 가로 방향 패턴인지 세로 방향 패턴 인지를 판단하여 해당 전체의 글자를 한 단어 형태로 인식하는 데 만약 가로/세로 방향 패턴 판단이 어려울 경우에는 글자 단위로 패턴을 인식한다. 글자 패턴이 인식된 경우에는 녹색으로 표시하고 그렇지 않은 경우에는 물음표(?)로 표시하거나 표시하지 않는다. 설정값에 따라 단위 글자는 개별글자로 표시하고 연속 글자인 경우에는 단어로 표시한다. 하지만 한글과 영문이 혼용된 간판이나 영문으로 된 간판의 경우에는 예외로 처리하여 인식하지 않는다.

증강현실의 화면 크기(1920 × 1080)를 기준으로 글자 패턴을 인식을 할 수 있는 화면상의 픽셀 단위 영역 크기는 가운데 영역(1320 × 780)으로 제한한다. 이 크기는 가로 왼쪽 300픽셀, 오른쪽 300픽셀, 세로 위쪽 150픽셀, 아래쪽 150픽셀을 제외한 크기이다. 또한 패턴 인식을 할 수 있는 글자의 크기는 20 × 20 픽셀 이상의 크기로 제한한다. 인식된 상호명/업종명이 나타나는 화면으로 인식된 상호명이 속한 업종명은 파랑색, 인식된 상호명은 검은 색으로 표시된다.

원하는 상호명/업종명 부분을 화면 터치하면 Fig. 3처럼 증강현실 화면은 비활성화되어 화면이 고정되고 화면 중 가운데 영역에 반투명의 흰색이 배치된다. 하위 메뉴의 유의어, 반의어, 학습장, 상황문에서 이전 상태로 되돌아가기 위해서는 반투명의 흰색 부분을 터치한다. 반투명의 흰색 바깥 부분을 터치할 경우에는 증강현실 화면으로 되돌아간다.

Fig. 3.Synonym, Workbook, Context Sentence.

만약 유의어를 선택한 화면으로 hospital(병원) 등이 나타나고 반의어는 비활성화되어있는 데 이 경우에는 해당 어휘가 없음을 의미한다. 학습장에는 disease(병), pathogenesis(발병), cashier(수납창구), emergency room (응급실)이 나타나고 상황문을 선택하면 의원에서 사용 가능한 회화문이 나타난다.

4.3 평가

본 논문에서 구동 실험은 20명의 학습자들로 하여금 D시의 A 지역을 방문하여 임의로 이동하면서 어휘 학습을 하도록 진행하였고 제안한 에이전트의 성능 평가를 위해서 정확도(Precision)와 유용성(usability)을 측정하였다. 정확도는 화면에 나타난 어휘의 수에서 학습하기를 원하는 어휘의 비율로 구한다.

Table 2에서 학습어휘의 정확도는 평균 89%로 나타났는데 이처럼 정확도가 높은 이유는 추출된 문자열을 지역 데이터베이스의 데이터와 비교하여 유사성이 높은 문자열로 인식하기 때문에 텍스트 인식율이 높다. 또한 학습 어휘에 대한 유의어와 반의어는 단순히 학습 어휘와 관련된 정보를 제공하기 때문에 정확도가 높게 나타나지만 학습장 또는 상황문은 추천된 내용이 학습자의 선호도나 학습자가 처한 상황에 따라 추천됨으로 상대적으로 낮은 결과가 나타났다.

Table 2.Evaluation of precision

한편, 유용성은 사용자인터페이스의 사용법이 얼마나 편리하고 쉽게 사용할 수 있는 지를 평가하는 것으로 Nielsen의 usability heuristics을 사용한다. Table 3의 유용성 평가 결과를 살펴보면, ‘Match between system and the real world’ 항목에서는 증강 현실 기술로 인해 실생활의 환경과 모바일 기기의 내용이 서로 분리되지 않고 실생활 속의 내용을 자연스럽게 표시하기 때문에 상대적으로 높은 결과 값이 나타났다. ‘Recognition rather than recall’ 항목에서는 지능적인 에이전트로 자동으로 학습할 내용을 추천함으로써 프로그램 실행시 필요한 명령을 최소하였으며 또한 추가 명령은 화면의 하단에 배치하여 기억할 필요없이 언제든지 필요한 개체, 옵션 등을 쉽고 직관적으로 찾을 수 있어서 높은 결과가 나타났다. 또한 ‘Aesthetic and minimalist design’ 항목에서는 글자 크기, 폰트 등이 적절하고 요구된 정보가 한 화면에 정리되어 출력되기 때문인 것을 분석되었다. 하지만 ‘Help users recognize, diagnose, and recover from errors’ 항목과 ‘Help and documentation’ 항목은 각각 3.13, 3.01 로 상대적으로 낮은 결과 값을 보이는 데 이것은 에이전트의 자동화 특성과 직관적인 터치로 명령이 실행되기 때문에 명령에 대한 별도의 도움말 제공되지 않기 때문이다.

Table 3.Evaluation of usability

 

5. 결론 및 향후 과제

본 논문에서는 스마트 폰을 기반으로 위치기반 서비스, 문자 인식 기술, 증강현실 기술이 적용하여 맥락학습을 보다 합리적으로 실천하는 모바일 증강현실 영어 어휘 학습 에이전트를 개발하였다. 제안된 에이전트는 화면 텍스트 인식 및 위치 정보 모듈, 학습자선호 어휘 추출 모듈, 학습 어휘관련 정보 추천 모듈, 화면 관리 모듈로 구성된다. 특히 모바일 특성인 이동성, 접근성, 확장성, 신속성의 특성을 상황 이동성, 지능적 에이전트 접근성, 예측 확장성으로 기술적 장점을 극대화하고 효과적인 영어 어휘 학습이 가능하도록 개발되었다. 그리고 실험 결과에서도 학습어휘의 정확도는 평균 89%로 높은 결과를 얻었고 유용성 평가에는 사용자들의 에러 인식, 진단, 복구에 도움(3.13)과 도움말과 사용설명서(3.01)를 제외하고는 대체적으로 사용자들이 만족하고 있음을 알 수 있다. 향후에는 전국의 학습자들에게 서비스하기 위해서는 지역 데이터베이스를 확장이 필요가 있으며 또한 다양한 형태의 어휘 학습을 위하여 관용어, 속담, 속어, 연어, 혼용되는 단어, 뉘앙스 등의 학습영역의 데이터를 활용할 수 있도록 기능을 확장할 필요가 있다.