Mobile Augmented Reality Application for Early Childhood Language Education

유아 언어 교육을 위한 모바일 증강현실 어플리케이션

Abstract

In this paper, we implement an Android application for infant language education using marker-based augmented reality. Combining animal word markers (noun), size/color word markers (adjective), and action word markers (verb) in puzzle form to make a simple sentence, the application shows virtual contents related to the content of the sentence. For example, when an animal marker is showed up on a camera, the corresponding animal appears. Additionally, when the motion markers are combined, the animal's appearance changes into an animation in which it acts. When a user touched a marker, user can hear the sound of the word, which gives an auditory effect, and by adding the rotation function, user can see the animation in any direction. Our goal is to increase infants' interest in learning language and also increase the effectiveness of education on the meaning of words and the structure of simple sentences, by encouraging them to actively participate in language learning through visual and auditory stimuli.

본 논문에서는 마커기반의 증강현실을 이용한 유아 언어교육 안드로이드 응용프로그램을 구현하고자 한다. 동물을 나타내는 단어(명사) 마커, 크기/색상을 나타내는 단어(형용사) 마커, 동작을 나타내는 단어(동사) 마커를 퍼즐 형태로 조합하여 간단한 문장을 완성하면, 문장의 내용과 관련된 가상 콘텐츠를 보여준다. /예를 들어, 동물 마커를 카메라에 비추었을 때 해당하는 동물의 모습이 나타나고 부가적으로 동작 마커를 조합할 경우 동물의 모습이 해당하는 동작을 하는 애니메이션으로 변화한다. 사용자가 스마트폰 화면에 나타난 마커를 눌렀을 때 해당하는 단어의 소리를 출력하게 하여 청각적 효과를 더 했고 모델의 회전기능을 더해 애니메이션을 방향에 관계없이 볼 수 있게 하였다. 시각적, 청각적 자극을 통해 유아 스스로 언어 학습에 적극 참여 할 수 있게 유도함으로써 언어학습의 흥미를 높이고 단어의 의미 및 간단한 문장구조에 대한 교육효과를 증대시키는 것을 목표로 한다.

그림 1. Vuforia SDK를 사용한 마커-기반 증강현실 Fig. 1. Marker-based augment reality using Vuforia SDK

그림 2. 제안된 어플리케이션에서 사용된 형용사, 명사, 동사 단어 카드 마커의 예 Fig. 2. Examples of word markers (for adjective, noun, verb) used in the proposed application

그림 3. 동사 단어 카드와 명사 단어 카드 조합 Fig. 3. Combination of verb word cards and noun word cards

그림 4. 형용사 단어 카드를 조합하여 렌더링된 고양이 모델의 크기 조절 Fig. 4. Scaling the rendered cat model by adding/combining adjective word markers

그림 5. 형용사 단어 카드를 조합하여 렌더링된 모델의 색상 조절 Fig. 5. Changing the color of rendered models by adding/combining adjective word markers

그림 6. 조각맞추기 퍼즐처럼 제작된 마커 Fig. 6. Markers created like jigsaw puzzle pieces

그림 7. 버튼을 클릭하여 렌더링된 모델 회전 Fig. 7. Rotating the rendered model by clicking on a button

그림 8. 다수의 모델이 같은 동작 수행하도록 구성 Fig. 8. Making multiple models do the same action

그림 9. 관찰을 용이하게 하기 위해 렌더링된 모델을 x축에 대해 회전 Fig. 9. Rotating the rendered model around the x-axis for a better view

그림 10. 스마트폰과 태블릿에서 어플리케이션 실행 및 기능 확인 Fig. 10. Running our application on a smart phone and a tablet and testing its functionalities