Mobile Voice Note File Management Service For Improving Accessibility of the Blind

전맹인의 접근성 향상을 위한 모바일 음성 메모 파일 관리 서비스

Abstract

Recently, people with disabilities also search for and collect information from the web through smart devices, and save collected information on smart devices or take notes. For non-disabled people, various memo applications are provided on the market, so it is more convenient to choose according to their preference. However, existing memo services are limited for use by blind people due to the importance of visual information. The problem with blind people when using smart devices is that the screen is not recognized, so it is not possible to check in which location the menu of the application exists. In addition, it is difficult to input and manipulate text, and systematic file management and control are not possible. Therefore, in this paper, we propose the development of voice memo service that blind people can use only voice and hearing information and can operate menu with Bluetooth remote controller. We will develop a system that includes a comprehensive voice file management function for storing, searching, playing, and deleting files, rather than simply storing voice files.

1. 서 론

 최근 장애인들도 일반인과 마찬가지로 스마트 기기를 통해 웹에서 정보를 검색 및 수집하며, 수집된 정보를 스마트 기기에 저장하거나, 메모하는 행위가 일상화되고 있다[1, 2]. 음성 녹음 어플리케이션은 높은 사용 편리성으로 스마트폰의 필수이자 기본 어플리케이션이 되었다. 비장애인의 경우 시중에 다양한 메모장 어플리케이션들이 제공되고 있어 취향에 맞게 골라 쓰는 편이지만 기존 음성 녹음 서비스들은 시각적인 정보가 중시되어 전맹인이 서비스를 이용할 수 없다는 한계가 있다[3]. 이런 한계는 음성 메모장 어플리케이션에만 국한되지 않고, 스마트 기기를 사용해야 하는 상황에서 같은 문제를 발생시킨다. 전맹인이 스마트 기기를 사용할 때의 문제점으로는 화면 인지가 불가하여 어플리케이션의 메뉴가 어떤 위치에 존재하는지 확인할 수 없다. 두 번째, 문자의 입력 및 조작이 어렵다. 스마트폰의 접근성 지원 기능을 이용하여 문자를 입력할 수 있지만, 문자가 제대로 입력되었는지 확인이 어려우며, 메모하고 싶은 상황이 발생할 때 즉각적으로 입력하기 어렵다. 마지막으로 체계적인 파일 관리 및 제어가 불가하다. 스마트 기기의 특성상 다양한 파일과 폴더를 포함한다. 각 폴더 안에는 수많은 개별 파일들이 목록 나열형으로 제공되어 사용자가 직접 드래그 및 터치를 통해서만 파일을 탐색하고 실행할 수 있다[4].

 따라서 본 논문에서는 전맹인이 청각 정보만으로도 이용 가능하며, 스마트폰의 화면을 터치하여 조작하는 부담을 줄이기 위해 블루투스 리모컨으로 조작이 가능한 음성 메모 서비스의 개발을 제시한다. 리모컨 제어를 이용하여 음성 파일을 단순 저장만 하는것이 아니라 파일을 저장, 검색, 재생, 삭제하는 종합적인 음성 파일 관리 기능이 포함된 시스템을 개발하고자 한다.

2. 관련 연구

2.1 기존 음성 녹음 서비스 사례

 기존에 음성 녹음 서비스 어플리케이션으로는 보이스 노트[5]와 오디오 노트[6]가 있다(Fig. 1). 보이스 노트와 오디오 노트 모두 시각적인 정보만을 이용해서 실행부터 종료가 가능하다. 또한 녹음 중간에 부가기능이 존재하지 않아 녹음 도중 다른 작업을수행하기 불가능하다는 단점이 있다. 녹음 파일을 찾을 시 파일명을 검색하거나 파일 목록을 수동으로 조작하여 찾는 방법이 존재하며 폴더 기능은 없어서 모든 파일을 한 목록에서 찾아야 하는 단점이 있다. 또한 파일명 검색을 위해서는 키보드 타이핑이 필요하여 화면을 보지 못하는 전맹인이 사용하기에는 어려움이 존재한다.

Fig. 1 ScreenShot of (a) Voice Note (B) Audio Note.2.2

 기존 음성 녹음 서비스의 한계기존에 존재한 음성 녹음 서비스는 시각 정보에만 의존해야 하기에 시각을 사용하지 못한다면 이용 불가능하다는 한계가 존재한다. 이는 대부분의 어플리케이션들이 화면의 터치를 통한 조작만이 유일한 수단이기 때문이다. 화면을 터치하여 작동시키는 방법은 전맹인들에게 어렵고 한계가 있는 작업으로 실질적으로 사용이 불가능하다. 또한 대다수의 음성 어플리케이션 안에는 파일을 폴더별로 관리하는 기능이존재하지 않는다. ‘메모’라는 개념은 저장 후 원하는 시점에 다시 찾아보기 위한 목적을 갖고 있지만 이의부재는 서비스 이용의 한계점을 가져다준다. 따라서 기존에 없던 폴더 관리 기능을 추가하여 필요한 메모를 찾을 때 편리성을 증대할 필요가 있다. 마지막으로, 기존 파일 찾기 기능에는 파일을 목록으로 내리거나 검색을 하여 찾는 방법 외엔 존재하지 않았다. 시각에 의존한 검색 방법의 한계점을 발견하였고 이를 개선해야 한다. 따라서 본 논문에서는 위의 문제점들을 개선하여 시스템을 설계 및 개발하였다.

3. 음성 메모 시스템 설계

3.1 시스템 목표 및 개요

 본 시스템은 전맹인이 시각 정보 없이도 메뉴를 사용하여 자유롭게 음성 메모를 할 수 있는 어플리케이션 개발을 목표로 한다. 음성으로 어플리케이션의전반적인 사용이 가능하도록 하기 위해 첫째, 어플리케이션의 시작부터 메뉴 관리 및 파일 관리에 이르기까지 음성 안내 및 명령 기반으로 처리하였다. 그 후 홈 메뉴, 파일 목록, 폴더 목록의 부분은 음성 명령만으로 조작에 한계를 극복하기 위해 리모트 컨트롤러와 함께 병행하여 효율적인 사용이 가능하도록 보완하였다. 둘째, 파일을 더 효율적으로 관리할 수 있도록 폴더와 파일의 리스트를 제공하였다. 폴더와 파일은 기본적으로 생성과 삭제가 되어야 하고 파일명과 폴더명을 바꿀 수 있도록 설계하였다. 마지막으로, 검색의 폭을 넓히기 위해 단순히 목록을 내려서 파일을 찾을 수 있게 할 뿐만 아니라, Speech-To-Text(STT) 엔진을 사용하여 파일명을 말할 시 음성인식을 통해 파일 검색이 가능하도록 설계하였으며, 시스템의 이름을 소리메모라고 정하였다.

3.2 시스템 주요 기능 설계

 어플리케이션의 시작부터 끝까지 모든 사용은 음성 안내로 가능할 수 있기 때문에 모든 구간에서 음성 안내를 제공한다. 본 시스템의 주요 기능은 크게‘녹음’, ‘폴더 선택’, ‘파일 선택’, ‘파일 재생’으로 구성된다. 다음 Fig. 2는 본 시스템의 인터랙션 상태 전이도이다.

 녹음 기능은 리모콘의 실행 버튼을 누를 시 녹음이 시작되고, 녹음이 시작된 후 해당 버튼을 다시 누르면 종료가 된다. 녹음을 하는 중간에 일시 정지 버튼을 누를 경우, 저장/ 이어서 녹음/ 재녹음/ 종료의 녹음의 부가 기능을 추가하였다. 이는 녹음 중간 개개인의 편리성을 고려한 기능이다.

 폴더 선택 과정은 폴더 관리 메뉴의 서브 메뉴인폴더 생성과 폴더 이동을 통해 수행된다. 폴더 생성메뉴를 선택하면 폴더명을 말한 후 폴더가 생성된다. 폴더 이동 메뉴에서는 폴더 목록에서 원하는 폴더의 삭제 및 이동을 가능하도록 설계하였다.

 파일 선택 과정은 2가지의 방법으로 파일을 찾을 수 있도록 하였다. 목록에서 찾는 방법과 파일명을말하여 음성인식을 통한 방법이다. 파일 이름 말하기메뉴가 실행되면 파일명을 말하도록 음성 안내가 나오고 인식된 파일명과 일치하는 파일이 존재한다면 해당 파일이 재생되는 형식이다. 일치하는 파일이 존재하지 않으면 파일 찾기 메뉴로 되돌아간다. 파일목록 메뉴는 파일 목록이 저장된 순대로 나열되고, 모든 파일명이 순차적으로 음성으로 안내된다.

 파일 재생 과정은 파일 바로 재생 메뉴를 선택하여 최근 파일이 재생된다. 이 과정은 파일 찾기 메뉴에서 원하는 파일을 찾았을 경우 해당 파일을 재생하도록 설계하였으며, 재생이 완료되면 Fig. 2의 (A)Top Level Menu로 돌아가도록 설계하였다.

Fig. 2. Transition Diagram of the System.

4. 구현 및 결과

4.1 시스템 구성 및 개발 환경

 본 논문에서 제안하는 음성 녹음 관리 서비스의 시스템 구성도는 Fig. 3과 같다. 본 서비스의 개발환경은 안드로이드 스튜디오이고 코드는 Java 언어로 작성하였다. 기본적으로 녹음이 가능해야 하므로 MediaRecorder API[7]로 녹음 기능을 구현하였고, 파일의 저장은 따로 데이터베이스를 가지지 않고 어플리케이션 데이터의 일부로서 외부 저장소에 폴더별로 구분하여 저장하도록 하였다. 시각 정보를 대신하기 위한 음성 안내가 필요하므로 화면 안내와 메뉴안내 등의 화면 해설을 위해서 Text-To-Speech(TTS) API[8]를 사용하였으며, 사용자로부터의 텍스트 입력을 대신하는 음성 입력은 STT API[9]를 사용하였다. 이때 음성 입력이란 저장과 검색 단계에서 파일 제목을 사용자가 직접 입력해야 할 때 음성으로 입력받아 텍스트로 변환하는 것을 의미한다. 마지막으로 개발 단계와 사용자 테스트 진행시 사용된 블루투스 리모컨은 Mocute 사의 032X_S10[10]을 사용하였다.

Fig. 3 System Configuration.

4.2 구현 및 결과

4.2.1 메뉴 인터페이스의 구현

 전맹인은 어플리케이션 화면을 눈으로 경험해본적이 없기에 복잡한 화면 구조에 대한 이해가 없는 전맹인에게는 화면 인터페이스는 불필요하다. 따라서 청각 정보를 중요하게 사용하는 소리메모의 화면은 가장 단순한 기능의 나열을 가져야 한다. 소리메모의 메뉴 레이아웃은 하나의 행에 세로로 메뉴 버튼을 배치하였다. 메뉴 화면에서 사용자가 블루투스 리모컨으로 상, 하 버튼을 입력하면 위, 아래로 메뉴에 대한 포커스의 이동이 일어나며 포커스를 얻은 메뉴에 대해서는 TTS로 메뉴명을 읽어주어 사용자가 자신이 어떤 기능을 선택할 수 있는지 알 수 있도록 구현하였다. 포커스의 이동은 ArrayList에 XML에서 얻어온 메뉴들을 적재시켜 포커스를 처리하는 방식으로 메뉴 인터페이스를 구현하였다.

 메뉴 인터페이스는 사용자가 모든 메뉴를 외우고 있지 않는 이상, 리모컨으로 메뉴들을 이동하며 탐색하여 자신이 원하는 기능을 찾는 것이 훨씬 효율적이다. 따라서 리모컨의 버튼과 각 메뉴들이 매핑되어 있어야 했다. 상, 하 방향 버튼은 이동에 따라 포커스를 획득한 메뉴에 대해 해당 이름 읽어 주도록 구현하였으며, 좌, 우 방향 버튼의 경우 상위/하위 메뉴로 이동하게 설정하였으며, 각 액티비티 별 flag를 설정하여 해당 flag로 이동할 수 있도록 구현하였다.

Fig. 4. Screenshot of (a) Recording Menu (b) Recording(c) File Save.

4.2.2 녹음 기록 및 저장 기능

 녹음 기록 및 저장 기능은 크게 5가지의 기능으로 구현하였다. 녹음 시작, 녹음 중지, 녹음 저장, 재녹음 및 홈 메뉴로 돌아가기, 이어 녹음하기이다. 녹음 기능은 MediaRecorder API를 사용하여 구현하였다. 녹음 시작 기능은 녹음 객체 생성 후 객체 속성을 설정한다. 객체 속성에는 레코딩 할 파일의 저장 경로, 포맷, 인코더 등의 기본 정보를 설정 후 녹음을시작하도록 구현하였다. 녹음 중지 기능은 녹음 상태를 나타내는 flag를 확인하여 녹음을 중지 시킨다.녹음 저장 기능은 녹음 메뉴 화면을 별도로 호출하여 실행한다. 녹음 화면(RecordActivity)에서 사전 설정한 파일 경로를 녹음 메뉴(MenuActivity)로 전달하여 저장 메뉴를 실행하면 파일명을 변경하고 저장하도록 구현하였다. 재녹음 및 홈 메뉴 돌아가기는 기능은 각각 다르지만 구현 방법은 동일하다. 녹음된 파일 객체에 대하여 delete 메서드를 수행하여 저장된 파일을 삭제하는 방식으로 구현하였다. 마지막으로 이어 녹음하기 기능은 최초 녹음한 파일과 이어 녹음될 파일을 ArrayList에 누적 저장하도록 하였다. 이때 DefaltMp4Builder라는 외부 라이브러리를 이용하여 ArrayList에 존재하는 파일들을 하나의 파일로 병합하였다.

4.2.3 파일 관리 기능

 파일 관리 기능은 폴더 관리 기능과 파일 찾기 기능을 포함한다. 폴더 관리 기능은 폴더 설정, 폴더생성, 폴더 목록, 폴더 삭제의 과정으로 구현된다. 폴더 설정은 폴더가 설정되어 있지 않으면 파일에 대한저장 및 검색 등의 접근이 불가하기에 어플리케이션최초 실행 시 가장 먼저 폴더 설정하도록 하였다. 폴더 생성은 Speech To Text(STT) 기능을 실행하여 사용자로부터 폴더명을 입력받고, 입력받은 결과 값 텍스트를 문자열 Array List 변수에 저장한다. 이때,exists() 함수를 사용하여 저장소 변수에 저장된 결과 값 텍스트와 동일한 폴더명이 존재하는지 확인한다. 폴더 목록은 LayoutInflater를 활용하여 사용자가 폴더를 생성할 때마다 값을 전달받아 동적 생성으로 뷰를 추가하여 상위 또는 하위 폴더로 이동 후 해당 레벨의 폴더가 나열 되도록 하였다. 폴더 삭제기능은 사용자의 실수로 버튼 입력이 일어나 폴더가 삭제되는 것을 방지하고자 삭제 시 두 가지 조건을 검사하도록 하였다. 첫 번째 조건은 폴더 내에 파일이 존재하면 삭제할 수 없도록 하였다. 두 번째 조건은 삭제를 위해서 6초라는 제한 시간 내 두 번의 버튼입력이 일어나야 삭제가 가능하도록 설정하였다.Fig. 5는 폴더 관리 기능의 구현 화면이다.

Fig. 5 Screenshot of (a) Folder Manage Menu (b) CreateFolder Menu (c) Folder List.

 파일 찾기는 목록에서 찾기와 음성으로 찾기 방법으로 제공한다. 먼저 목록에서 찾기는 파일 기능은 폴더 목록 구현과 구조면에서 동일하다. 리모컨의상, 하 이동 후, 실행 버튼이 발생하면 해당 파일의 파일명과 파일 경로 전달하여 호출하여 재생한다. 음성으로 파일 찾기 기능의 구현은 다음과 같다. “음성으로 파일 찾기” 메뉴를 실행하면 STT가 실행되고, 파일명을 음성으로 입력한다. 입력받은 파일명을 리스트에 저장하여 반환한다. 결과로 반환된 ArrayList의 0번에서 데이터를 가져와 exists() 함수를 이용하여 외부 저장소 현재 폴더 안에 파일이 존재 여부 판단 후, 파일이 존재할 경우 PlayActivity로 파일경로와 파일명 전달한다. 파일이 존재하지 않을 경우, “파일을 찾지 못했습니다”라고 안내 멘트를 음성출력하고 다시 파일 찾기 메뉴로 돌아간다.

Fig. 6. Screenshot of (a) File Search Menu (b) FileSearch by Name (c) File List

5. 사용성 평가

5.1 평가의 목적 및 평가 방법

 사용성 평가의 목적은 소리메모 서비스가 기존의 음성 녹음 서비스와 비교했을 때 사용성이 합리적인가를 검증하기 위해서이다. 기존 음성 녹음 서비스 중 소리메모와 가장 비슷한 기능을 수행하고 있는‘보이스 노트’를 타 서비스로 설정하여 사용자 테스트를 실행하였다. 평가에 참여할 피실험자는 총 11명 의 정상인 대학생으로 구성하였다. 전맹인이 실험하는 것과 유사한 환경을 위해서 소리메모 실험에 참여하는 실험자는 모두 안대를 착용하도록 하였다. ‘보이스 노트’의 실험에서는 화면을 보고 시각 정보에 의존해서 사용해야 하므로 사용자가 화면을 볼 수 있게 하되 사용방법에 대한 사전 설명은 하지 않았다. 실험은 동일한 기능의 Task는 사용 시간과 시도횟수를 측정하여 직접 비교하였으며, 소리메모에만 있는 기능에 대해서는 사용 시간 및 시도 횟수 측정뿐만 아니라 설문조사를 통해 기능 만족도 평가를 추가로 진행하였다.

 실험은 2가지로 진행하였으며, 실험 1은 두 시스템 간 공통 기능인 ① 기본 폴더에 저장, ② 파일 목록에서 파일 찾기(파일 10개 기준), ③ 파일 목록에서파일 찾기(파일 20개 기준)에 대하여 진행하였으며, 실험 2는 소리메모에만 존재하는 기능 ① 폴더 변경 후 찾기, ② 음성으로 파일 찾기로 진행하였다. 각2회씩 태스크를 수행하며 수행 시간과 재시도 회수를 측정하였다.

5.2 실험 결과 및 결론

 총 11명의 비장애인을 대상으로 보이스노트와 소리메모 각각에 대하여 2가지 실험에서 수행 시간과 재시도 횟수를 측정하여 평균을 구하였다. 결과는 Table 1과 같다.

Table 1. Result of Test

 먼저 실험 1의 Task1은 보이스 노트는 평균 27.5초가 소요되었고 소리메모는 평균 36.3초가 소요되었으며 재시도 횟수는 보이스노트가 1.5회 소리메모가 1.3회로 나타났다. Task2에서는 보이스 노트는 평균 15.7초가 소요되었고 소리메모는 평균 31.8초가 소요되었다. 재시도 횟수는 보이스노트가 0.6회 소리메모가 0.8회이다. Task3은 Task2와 동일하게 목록에서 파일찾기를 수행하였다. 단 파일 목록에 존재하는 파일의 개수에 차이를 두고 찾아야 하는 파일의 깊이(depth)를 다르게 두어 시간의 변화가 유의미한지를 확인하였다. 보이스 노트는 평균 19.2초 소요되었고 소리메모는 평균 38.7초가 소요되었으며, 재시도 횟수는 보이스노트가 0.8회 소리메모가 0.7회로 측정되었다.

 실험 2의 Task1는 소리메모는 27.5초가 소요되었고 재시도 횟수는 평균 1.5회였다. 마지막으로 Task2에서는 15.7초가 소요되었고 재시도 횟수는 평균 0.6회였다. 또한 Task 4, 5의 평가에 대해서 만족도 검사를 추가로 실시한 결과, 5점 만점에 4.72점의 만족도점수를 획득하였다.

 사용자 테스트 결과 전체 수행 내용에 대하여 Task 별 소요 시간이 소리메모가 보이스 노트보다 평균약 37초, 1.5배가 더 소요되었으나, 재시도 횟수에 대해서는 값이 같거나 소리메모가 더 적었다는 유의미한 결과를 발견하였다. 보이스노트는 비장애인을 위한 콘텐츠로 시각 정보를 완전히 노출하여 사용하게 했고, 소리메모는 안대를 착용하여 시각 정보가 전혀없는 상황에서 청각 정보에만 의존하여 테스트하였기 때문에 이 결과는 매우 의미 있는 결과라고 볼 수 있다. 한 번에 많은 정보를 받아들여 처리할 수 있는 시각 정보의 특성과 상반되게 청각정보는 정해진 시간 내에 받아들일 수 있는 정보의 양이 매우 한정되므로 기능 수행에 소요되는 시간이 불과 평균 7초밖에 더 걸리지 않았다는 것은 유의미한 결과로 해석할 수 있는 것이다.

6. 결 론

 본 논문에서는 전맹인들을 위해 시각 정보가 없어도 음성명령과 간단한 블루투스 리모컨 조작만으로 이용할 수 있는 음성메모 관리 서비스 소리 메모를 구현하였다. 본 시스템은 안드로이드 환경에서 구현되었으며, 리모컨 제어를 이용하여 음성 파일을 단순저장만 하는 것이 아니라 파일을 저장, 검색, 재생, 삭제하는 종합적인 음성 파일 관리 기능을 제공하였다. 또한 시스템 전체적으로 인터랙션에 대한 음성안내를 제공하여, 현재의 메뉴 및 상태를 인지할 수 있도록 하여 사용의 편리성을 향상시켰다. 11명의 사용자를 대상으로 한 사용성 평가를 통해 소리메모의사용 효율성을 확인하였다. 사용성 평가를 통해 정상인이 화면을 보면서 음성 메모하는 것과 전맹인이 리모컨과 음성 명령을 사용하면서 음성 메모 것을 비교 결과는 전맹인의 사용이 정상인의 사용한 결과에 비해 시간은 약간 더 소요되지만 정확도는 차이가 없으므로 리모컨 조작과 음성 인식을 이용한 소리메모는 전맹인에게 효율성이 높음이 확인하였다. 또한, 보이스노트는 비장애인을 위한 콘텐츠로 시각 정보를 완전히 노출하여 사용하게 했고, 소리메모는 안대를 착용하여 시각 정보가 전혀 없는 상황에서 청각정보에만 의존하여 테스트하였기 때문에 이 결과는 매우 의미 있는 결과라고 볼 수 있다.

 향후 블루투스 리모컨의 연결에 대해 인앱에서 자동으로 페어링 할 수 있도록 하여 블루투스 리모컨과 디바이스를 연결하는 단계의 번거로움을 서비스에서 배제시키고 더불어 재생 시 배속을 조절하는 기능을 추가한다면 보다 더 사용 편의성을 극대화할 수 있을 것으로 기대한다. 또한 리모컨을 이용한 메뉴제어 기법은 다양한 스마트 기기의 제어에 활용한다면 전맹인들의 제한된 스마트폰 사용에 활용의 폭을 넓힐 수 있을 것으로 기대된다. 마지막으로 음성을 통해 스마트폰에 메모할 수 있게 함으로써 전맹인의 일상에서 다양한 메모 작성과 기억의 기록할 수 있을 것으로 기대한다.