시각장애인의 학습을 위한 텍스트 추출 및 점자 변환 시스템

HunMinJeomUm: Text Extraction and Braille Conversion System for the Learning of the Blind

Abstract

시각장애인의 수는 증가하고 있지만 시각장애인을 위한 점역 교재는 부족하여 본인의 의지에 관계 없이 교육권을 침해받는 경우가 많다. 본 논문에서는 시각장애인의 교육권을 보장하기 위해 점자책으로 나오지 않는 교재나 문서, 사진 등을 보호자의 도움 없이도 혼자 쉽게 공부할 수 있게끔 도와주는 학습 시스템을 다룬다. 장애인 접근성을 고려하여 어플리케이션과 웹페이지를 설계하고 점자 키트는 아두이노와 점자 모듈을 이용하여 제작한다. 이 시스템은 다음과 같은 기능들을 지원한다. 첫째, 원하는 문서 또는 사진을 선택해 OCR을 이용하여 텍스트를 추출한다. 둘째, 추출한 텍스트를 음성과 점자로 변환한다. 셋째, 회원가입 기능을 제공하여 추출된 텍스트를 다시 볼 수 있도록 한다. 다양한 실험을 통해 점자 출력, 음성 출력이 정상적으로 작동하는 것을 확인하고 높은 OCR 인식률을 제공하는 것을 알 수 있었다. 또한, 시각이 완전히 차단된 상태에서도 어플리케이션이 손쉽게 이용 가능하다는 것을 확인했다.

The number of visually impaired and blind people is increasing, but braille translation textbooks for them are insufficient, which violates their rights to education despite their will. In order to guarantee their rights, this paper develops a learning system, HunMinJeomUm, that helps them access textbooks, documents, and photographs that are not available in braille, without the assistance of others. In our system, a smart phone app and web pages are designed to promote the accessibility of the blind, and a braille kit is produced using Arduino and braille modules. The system supports the following functions. First, users select documents or pictures that they want, and the system extracts the text using OCR. Second, the extracted text is converted into voice and braille. Third, a membership registration function is provided so that the user can view the extracted text. Experiments have confirmed that our system generates braille and audio outputs successfully, and provides high OCR recognition rates. The study has also found that even completely blind users can easily access the smart phone app.

Ⅰ. 서론

과거에 비해 시각장애인들의 수는 통계적으로 증가하고 있다. 하지만, 시각장애인들의 직업은 다양하지 않다. 시각장애인들의 대부분은 원치 않음에도 안마사를 택한다. 공부를 통해 전문적인 직업을 얻고 싶어도, 필요한 도서가 없는 경우가 많기 때문이다. 이를 해결하기 위해, 시각장애인들을 위한 장애인 도서관(점자 도서관) 과 점자 도서 또한 생겨나고 있지만 시각장애인 수에 비하면 턱없이 부족하다.^[1]

EBS 문제집은 수능 시험 문제와 70%가 연계된다. 수능을 보는 시각장애인들에게 이는 필수적이다. 하지만다른 비장애인 학생들과 다르게 시각장애인 학생들은 8 월이 되어서야 이 책을 점역본으로 받아볼 수 있다. 연계율이 70%인 EBS 교재를 다른 학생들에 비해 늦게 볼 수 있다는 것은 하나의 차별로 볼 수 있다.^[2] 보호자들이 시각 장애인들을 위해 모든 교재나 문제집을 일일이 점역하기에도 한계가 있다. 이를 통해 우리는 시각장애인들을 위한 책이 부족할 뿐만 아니라, 시각 장애인들이 원하는 책을 제 때 볼 수 없어 교육권을 침해당하고 있다는 것을 알 수 있다.

본 논문에서는 점자책으로 나오지 않은 교재나, 문서, 사진 등을 보호자 없이도 시각장애인 스스로 공부할 수 있게끔 도와주는 시스템의 기능을 다룬다. 사용자가 변환하고자 하는 문서, 사진 등을 선택하면 이에 따라 텍스트, 음성, 점자로 출력해준다. 그리고 회원가입 기능을 통해 변환한 문서나 사진의 텍스트를 다시 볼 수 있도록 하는 기능도 제공한다. 이러한 기능들을 수행하는 시각장애인을 위한 학습 시스템의 이름을 ‘훈민점음(HunMinJeomUm)’ 이라고 명명한다.

훈민점음의 어플리케이션과 웹페이지는 장애인 접근성^[3]을 고려하려 설계되었다. 그리고 점자 키트는 점자 표시 모듈과 아두이노를 사용하여 제작했다. 어플리케이션의 메뉴는 크게 파일 불러오기, 사진 불러오기, 카메라 촬영이 있다. 파일 불러오기를 클릭하면 자신이 원하는 pdf, hwp, docx, ppt 등 여러 형식의 파일을 불러올 수 있다. 사진 불러오기를 클릭하면 갤러리에서 원하는 이미지를 선택할 수 있다. 카메라 촬영을 클릭하면 직접 원하는 사진을 찍을 수 있다. 각 메뉴에서 선택된 파일이나 이미지들은 서버로 전송되어 전처리, OCR, 후처리 과정을 거쳐 텍스트가 추출된다. 추출된 텍스트는 화면에서 다시 볼 수 있고 음성으로도 들을 수도 있다. 어플리케이션에서는 점자 키트와 연동되어 점자로도 읽을 수 있다.

본 논문의 구성은 다음과 같다. Ⅱ장에서는 본 논문과 관련된 유사한 제품들을 비교 분석하고 영향을 받은 연구 및 기술들을 설명하였다. Ⅲ장에서는 훈민점음에 대한 설계 및 구현 내용을 기술하였다. Ⅳ장에서는 실험 및 결과를 분석한다. Ⅴ장에서는 연구 결과 및 향후 계획에 관해 설명한다.

Ⅱ. 관련 연구

1. 관련 제품

본 논문에서 참고한 제품들을 아래 표 1로 정리하였다.

표 1. 관련 제품 정리표

Table 1. Related products

관련 제품 정리표 보면 각각 제품마다 장단점이 존재한다. ‘eDotXPressReport’는 대부분의 공공 기관에서 채택해서 사용하는 솔루션이다. 하지만 최종 파일이 PDF여야만 하고 전자 정보 단말기가 있어야만 한다. ‘오돌톨뷰어’는 텍스트 파일만 사용 가능하고 ‘Tactile’은 사진을 직접 찍어야만 한다. 그리고 둘 다 텍스트를 음성으로 변환하는 기능은 제공하지 않는다.

훈민점음은 이런 관련 제품들의 약점을 보완하고 개선하는 방향으로 개발을 진행했다. 세 가지 제품 모두 정해진 파일에서만 텍스트를 추출할 수 있다는 약점이 존재한다. 훈민점음에서는 pdf, hwp, docx, ppt, jpg, jpeg, png 등의 다양한 형식의 파일과 이미지 모두 텍스트로 변환이 가능하도록 하였다. 그리고 훈민점음에서는 추출된 텍스트를 음성으로도 출력 가능하도록 하였다. ‘eDotXPressReport’에서는 음성 출력이 가능하지만 전자 정보 단말기가 있어야만 한다는 약점이 있다. 하지만 훈민점음에서는 별다른 장치 없이도 스마트폰 앱이나 웹 페이지에서 텍스트의 음성을 들을 수 있도록 하였다. 추가적으로 장애인 접근성을 고려하여 최대한 단순한 UI를 구성해 시각 장애인이 보호자 없이도 사용함에 불편함이 없도록 하였다. 또 회원가입 기능을 통해 자신이 추출한 텍스트를 저장하여 다시 볼 수 있도록 하고 커뮤니티 기능을 제공해 텍스트 추출이 잘못된 부분이나 오류, 그리고 여러 정보들을 사용자들끼리 공유할 수 있도록 하여 다른 관련 제품들과 차별성을 두었다.

2. 이미지 보정

장수환의 논문^[7]에서는 바코드 인식률 향상을 위해 OpenCV를 사용했다. 라벨 영역 인식을 위해 가우 시안 필터를 통해 노이즈를 제거하고 이미지의 그 라디언트와 방향을 얻은 후 edge 검출을 통해 외곽선을 찾아 그려준다. 그리고 정면 이미지 전환을 위해 영역을 반듯이 전환하고 조명 명암을 제거한다. 이와 같은 전처리 과정을 통해 이후의 텍스트 추출 인식률을 높였다.

김재정의 논문^[8]에서는 YOLO와 CNN을 이용하여 실시간 자동차 번호 인식 시스템을 구현하였다. 그리고 잡음 제거를 위한 blur 처리, ostu 알고리즘을 이용한 이진화를 통해 흑백 영상으로 변환하는 전처리를 거쳤다. 그래서 다른 알고리즘과 비교했을 때 97.5%의 높은 OCR 정확도를 획득했다.

이에 훈민점음은 OCR의 인식률을 높이기 위해 전처리 과정을 거친다. 이미지를 흑백으로 만든 후 이진화 처리를 한 뒤 양방향 필터를 적용하여 잡티 제거를 한다. 그리고 OCR을 한 후 맞춤법 검사, 텍스트 교정 등의 후처리 과정을 거친다. 이러한 과정들을 통해 OCR 의 인식률을 향상시켰다.

3. Optical Character Recognition (OCR)

백종경의 논문^[9]에서는 OCR을 이미지 스캔으로 얻을 수 있는 문서의 글자 이미지를 컴퓨터가 편집 가능한 글자형식으로 변환하는 기술이라고 하였다. 그리고 이미지가 아닌 파일들은 이미지화를 거친 후 전처리와 후처리 과정을 거쳐 이미지 서식 인식률을 높였다.

이에 훈민점음 또한 pdf, hwp, docx, ppt등 이미지가 아닌 파일들은 이미지화한 후 OCR을 진행하였으며 후처리 과정을 통해 인식률을 높이도록 했다. 그리고 OCR 엔진으로는 구글의 Cloud Vision API^[10]를 선정하였다.

Ⅲ. 시스템 설계 및 구현

1. 개발환경

본 논문에서 점자 키트는 Arduino UNO와 점자 표시 모듈로 구성된다. 점자 표시 모듈 1세트는 5V 솔레노이드 18개로 구성되어 있으며 본 논문에서는 여러 글자를 나타내기 위해 점자 표시 모듈 2세트를 사용한다. 그리고 보조배터리와 SMPS(Switching Mode Power Supply)를 이용하여 전력을 공급한다. 또한 애플리케이션과의 데이터 송/수신을 위해 HC-06 블루투스 모듈을 사용한다.

아래의 표2는 하드웨어 개발환경에 대한 표이다.

표 2. 하드웨어 개발환경

Table 2. Hardware development environment

SW 개발환경을 다음 표3에 제시하였다.

표 3. 소프트웨어 개발 환경

Table 3. Software development environment

 

3. 전체 시스템 설계

시스템은 앱을 중심으로 사용자가 올린 이미지나 파일의 텍스트를 백엔드 서버에서 추출해서 데이터베이스에 저장하고 Arduino UNO와 블루투스 통신을 통해 점자로 변환한다. 추출된 데이터는 음성으로도 들을 수 있으며 앱과 웹의 사용자들은 게시판을 통해 정보를 공유할 수 있다.

아래 그림 1은 훈민점음의 시스템 구성도이다.

그림 1. 시스템 구성도

Fig. 1. System diagram of HunMinJeomUm

앱에서 텍스트를 음성으로 출력하는 Text-To-Speech 기능은 Android의 TTS^[22]를, 웹페이지에서는 Speech Synthesis API^[23]를 이용한다. 웹페이지에서는 점자 출력 기능이 존재하지 않지만 관리자 기능을 추가하여 데이터베이스 내의 게시판과 회원 목록을 웹을 통해 관리할 수 있도록 했다. 백엔드 서버에서는 전처리, OCR, 후처리 과정을 거쳐 텍스트를 추출한다. 점자 표시 모듈 1세트는 총 3개의 점자를 표현한다. 한글은 하나의 글자를, 영어 혹은 기호의 경우는 3개의 글자를 한 번에 표현할 수 있다.

4. 이미지 전처리

본 논문에서 백엔드 서버는 어플리케이션이나 웹 페이지로부터 수신한 파일이 pdf, hwp, docx, ppt와 같은 비 이미지 파일이라면 이미지화를 한 후 OCR 인식률을 높이기 위한 전처리를 시작한다.

아래의 그림 2는 이미지 전처리 흐름도이다.

그림 2. 이미지 전처리 흐름도

Fig. 2. Flow chart of image preprocessing

백엔드 서버에서 클라이언트로부터 수신한 바이트 데이터를 가지고 이미지 파일을 생성한다. 생성한 이미지 파일의 경로를 바탕으로 객체를 만들어 OpenCV^[24]의메소드를 적용시켜 전처리를 진행한다. 우선 cvtColor 함수^[25]로 이미지를 흑백화한다. 그리고 adaptiveThreshold 함수^[26]에 각각의 화소마다 입력한 임계 값을 적용해 이미지를 이진화한다. 마지막으로 bilateralFilter 함수^[27]를 사용해 이미지에 양방향 필터를 적용하여 잡티 제거를 한다.

아래의 그림 3은 전처리 전 이미지이고 그림 4는 전처리를 마친 후의 이미지이다.

그림 3. 전처리 전 이미지

Fig. 3. Image before preprocessing

그림 4. 전처리 후 이미지

Fig. 4. Image after preprocessing

5. OCR 기능

본 논문에서 백엔드 서버는 이미지 전처리를 마친 후 OCR을 진행한다.

아래의 그림 5는 OCR이 수행되는 과정을 나타낸 흐름도이다.

그림 5. OCR 수행 흐름도

Fig. 5. Flow chart of OCR

우선 ImageAnnotatorClient 함수^[28]를 사용하여 구글의 Cloud Vision API를 사용하기 위한 클라이언트를 생성한다. 생성된 클라이언트 객체를 통해 API에 접근해 text_detection 함수^[29]를 사용해 이미지의 텍스트를 감지하여 상세 정보를 추출한다. 그리고 text_annotations 함수^[29]로 가져온 텍스트 정보 객체에서 텍스트의 내용을 추출한다. 이때 추출된 텍스트가 있다면 텍스트 후처리 과정으로 넘어가게 되고 추출된 텍스트가 없다면 오류 메시지를 반환하여 클라이언트와의 연결을 끊는다.

7. 텍스트 후처리

본 논문에서 OCR까지 수행한 백엔드 서버는 추출한 텍스트의 후처리를 통해 OCR의 인식률을 더욱더 높인다. 이렇게 후처리까지 끝난 텍스트는 어플리케이션이나 웹으로 다시 송신한다.

아래의 그림 6은 텍스트 후처리 과정을 나타낸 흐름도이다.

그림 6. 텍스트 후처리 흐름도

Fig. 6. Flow chart of text postprocessing

OCR을 통해 추출된 텍스트를 \n(엔터)를 기준으로 한 줄씩 잘라내어 각 줄마다 후처리를 진행한다. 잘라낸 한 줄의 텍스트에 사전에 정의되어있는 단어가 포함되어 있다면 그 단어를 정정하여 바꾼다. 여기서 말하는 사전은 여러 번의 OCR 수행을 거쳐 나온 OCR 오류 단어를 담고 있는 키(오류 단어):값(정정 단어) 쌍을 가지는 사전이다. 이후 단어가 교정된 텍스트는 hanspell 라이브러리^[30]의 spell_checker 모듈에서 check 함수를 사용하여 맞춤법 검사를 진행함으로써 후처리 과정이 완료된다. 그리고 클라이언트에게 결과 텍스트를 반환한다.

아래 그림 7은 후처리까지 마친 후 서버에서 클라이언트에게 반환하는 텍스트를 나타낸 것이다.

그림 7. 서버에서 추출된 텍스트

Fig. 7. Text extracted from the server

9. 점자 키트 설계 및 구현

앱에서 추출된 텍스트는 블루투스를 통해 Arduino UNO로 전송된다. 그리고 전송받은 텍스트는 점자 표시 모듈에 출력이 된다. Arduino UNO에 led 2개를 연결하여 현재 점자 키트가 어떤 상태인지 알 수 있도록 했다. 블루투스 연결이 되지 않으면 led는 점멸하고 연결되면 led가 멈춘다. 텍스트가 점자 키트에 표시되는 중일 때는 파란색 led를 그렇지 않을 때는 빨간색 led가 켜지도록 했다.

아래 그림 8은 점자 키트가 동작하는 과정을 나타낸 흐름도이다.

그림 8. 점자 키트 동작 흐름도

Fig. 8. Flow chart of braille kit operation

아두이노의 전원을 연결하면 블루투스 및 점자 모듈을 초기화한다. 앱 화면에서 점자 버튼을 클릭하면 블루투스 통신을 통하여 문서 내용을 한 줄씩 읽어 문서의 내용을 끝까지 저장한다. 문자열 처리가 완료될 때까지 글자 단위로 분리하여 string_buffer_serial 변수에 저장한다. 한글일 때는 초성, 중성, 종성으로 분리하여 han_braille() 함수를 통해 데이터 저장 및 출력을 하며 한 글자를 나타내고 braille.all_off() 함수와 refresh() 함수를 통해 점자 표시 모듈을 초기화시켜준다.

아래 그림 9는 Arduino UNO와 점자 표시 모듈 2세트로 완성한 점자 키트의 모습이다.

그림 9. 점자 키트

Fig. 9. Braille kit

Ⅳ. 실험 및 결과

본 논문에서는 비장애인들에 비해 스마트폰의 사용 및 훈민점음의 사용이 어려운 시각장애인에서의 상황을 고려하여 총 두 가지의 실험을 진행하였다. 시각장애인들의 대부분은 스마트폰의 TalkBack(손 쉬운 사용) 기능^[31]을 사용하므로 실험을 진행할 때 TalkBack을 사용하였다.

첫 번째로 다양한 환경에서의 OCR 인식률을 확인했다. 흔들림이 많은 사진, 거꾸로 찍은 사진, 그리고 어두운 곳에서 찍은 사진에 따른 정확도를 테스트하였다.

아래의 표4는 각 사진에 대한 OCR 인식률에 대한 표이다.

표 4. 여러 사진에 대한 OCR 인식률

Table 4. OCR recognition rate for multiple pictures

흔들림이 많은 사진으로 실험을 진행했을 때 총 637 글자 중 54글자를 오인식하여 91.5%의 인식률을 보여주고 있고 거꾸로 찍힌 사진으로 실험을 진행했을 때 총 637글자 중 11글자를 오인식하여 98.2%의 인식률을 보여주고 있다. 마지막으로 어두운 곳에서 찍힌 사진으로 실험을 진행했을 때는 총 637글자 중 5글자를 오인식하여 99.2%의 인식률을 보여주고 있다. 여러 환경에서 모두 90% 이상의 높은 OCR 인식률을 보이고 있음을 알 수 있다.

두 번째 실험은 시각장애인과 같은 환경을 설정하기 위한 안대를 준비한 후 비회원으로 사진 등록, 텍스트 출력, 음성 출력, 점자 출력의 과정을 총 2명이 각각 2 번씩 진행했다. 아래의 표5는 두 번째 실험을 진행한 결과를 나타낸 것이다.

표 5. 두 번째 실험 결과

Table 5. Second experiment result

TalkBack의 사용법을 비교적 잘 알고 있는 A의 경우에는 평균 6분이 걸렸고, 그렇지 못한 B의 경우에는 평균 8분이 소요됐음을 알 수 있다. 하지만 4번의 시도 동안 A와 B 두 명 다 모두 성공했으며 2번째 시도에서두 실험자 모두 시간이 절약되었다. 이 실험을 통해, TalkBack의 사용법 숙지 유무에 따라 시간이 오래 걸릴 수는 있지만 시각이 완전히 차단된 상황에서도 훈민점음이 성공적으로 이용될 수 있다는 것을 확인할 수 있다.

Ⅴ. 결론

이 프로젝트에서는 원하는 파일, 책, 문서 등을 OCR 을 사용해서 텍스트를 추출하여 들을 수도 있게 하고 점자로도 읽을 수 있게 하였다. 시각장애인들을 위한 접근성을 고려하여 UI를 설계하고 점자 모듈의 개수를 늘려 좀 더 빠른 시간내에 점자를 읽을 수 있도록 하였다.

OCR 과정 이외에도 흑백화, 이진화, 잡티 제거 등 의전처리 과정과 오류 수정, 맞춤법 검사 등의 후처리 과정을 거쳐 높은 OCR 인식률을 보일 수 있도록 했다. 그리고 실험 결과를 보면 흔들림이 많은 사진, 거꾸로 찍은 사진, 어두운 곳에서 찍은 사진 등 정상적으로 찍히지 않은 사진들의 텍스트 인식률도 모두 90% 이상을 보이는 것을 확인할 수 있었다. 또한, 직접 안대를 쓰고 실험을 하고 시간을 측정한 결과 TalkBack의 사용법 숙지 유무에 따라 소요 시간은 달라질 수 있지만 모두 무리 없이 앱에서 사진 등록, 텍스트 출력, 음성 출력, 점자 출력 등을 사용할 수 있다는 것을 확인했다.

점자 키트는 2글자를 동시에 나타낼 수 있고 총 36개의 솔레노이드 모터를 제어하기 때문에 점자 키트의 크기가 커질 수밖에 없었다. 또한 아두이노는 보조배터리, 점자 표시 모듈과 블루투스 모듈은 SMPS를 사용하여 전원을 공급해야 하기 때문에 휴대성을 확보하지 못했다. 하지만 만약 솔레노이드 모터 대신 압전 선형 모터 등을 이용하여 점자 표시 모듈을 소형화 및 경량화시킨 후 전원 공급 문제를 해결한다면 점자 키트에 대한 휴대성을 확보할 수 있을 것이다. 이렇게 된다면 시각장애인들이 좀 더 편리하게 원하는 교육을 받을 수 있을 것이다.