Ⅰ. 서 론
연령층이 고령화 되면서 노인 복지에 대한 대중의 관심이 증가하고 있으며 실버산업이 주목받고 있다. 더불어 스마트폰 보급률이 높아짐에 따라 노인 세대의 스마트폰 사용률도 증가하는 추세이다. 노인 세대가 모바일 기기에 익숙하지 않고 신체적, 인지적으로 거동이 불편하다는 점 등을 감안하여 긴급한 상황을 대처할 수 있는 안전 시스템 구축이 필요하다. 이와 같은 시스템은 노인 세대 뿐 아니라 장애인, 어린 아이와 같은 사회적 취약 계층에게도 필수적으로 해당되는 사항이다.
본 논문에서는 스마트폰을 기반으로 하는 피보호자 모니터링 시스템의 개발 내용을 소개하고 핵심 기술인상황 인식을 위한 환경음 인식 기술을 소개한다. 환경음 인식은 음성인식 및 화자인식에 비하여 연구의 시작이 늦은 분야이지만, 최근 로봇 또는 모바일 기기의 지능적 상황 인식 및 멀티미디어 자동 인덱싱 및 검색 등을 위한 응용분야에 일반 환경음 인식의 필요성이 증가하여 다수의 연구가 진행되고 있다[1-5].
본 논문에서 소개하는 모니터링 시스템은 서버와 안드로이드 기반의 어플리케이션으로 구성된다. 구축한 서버와, 보호자 및 피보호자가 소지하는 스마트폰 사이의 무선 통신을 이용하여 피보호자의 위치 정보를 실시간으로 확인 할 수 있다. 어플리케이션의 GPS 정보를 이용하여 주변 병원을 탐색할 수 있고, 피보호자가 긴급한 상황임이 판단되면 주변 환경음을 자동으로 녹음하여 보호자가 확인할 수 있는 기능을 지원한다. 환경음을 이용하여 주변 상황을 자동으로 인식할 수 있는 알고리즘을 탑재했으며, 본 연구에서는 이와 관련한 실험 결과를 소개 한다. 본 논문의 일부 내용은 학술대회에서 소개되었다[6,7]. 학술대회 발표 논문에서는 Mel-Frequency Cepstral Coefficient (MFCC) 특징 추출 기법을 이용하여 특징 벡터를 추출하고 은닉 마르코프 모델(Hidden Markov Model, HMM)의 상태 개수와 가우시안 모델 개수만을 변화시켜 인식 성능을 관찰하였으며, 본 논문에서는 Linear Predictive Coefficients Cepstrum(LPCC) 특징 추출 방법과 인식 성능을 비교하여 대폭 확장한 실험 결과를 포함한다.
본 논문은 다음과 같이 구성된다. II장에서는 모바일 기반의 피보호자 모니터링 시스템에 대해 상세하게 소개하고, III장에서는 본 모니터링 시스템에 적용한 환경음 기반의 상황 인식 알고리즘에 관해 소개한다. IV장에서는 본 논문의 실험에 사용된 환경음의 종류와 취득방법에 대해 설명한다. V장에서 실험 방법 및 결과를 소개하고 VI장에서 결론을 맺는다.
Ⅱ. 모바일 기반의 피보호자 모니터링 시스템
본 연구에서 개발한 스마트폰 기반의 피보호자 모니터링 시스템은 안드로이드 기반의 어플리케이션과 서버로 구성되어 있다. 보호자와 피보호자의 스마트폰과 서버 사이의 무선 통신을 이용하여 피보호자의 각종 정보를 실시간으로 확인 할 수 있다. 그림 1은 본 연구에서 개발한 모니터링 시스템의 데이터 흐름도를 나타낸다.
그림 1.모바일 기반 피보호자 모니터링 시스템의 데이터 흐름도 Fig. 1 Data flow diagram of client monitoring system using mobile device
2.1. 위치 추적 기능
본 시스템에서는 보호자가 피보호자의 위치를 실시간으로 확인할 수 있다. 피보호자의 스마트폰이 GPS 정보를 일정 시간 간격으로 웹 서버에 전송하여 피보호자의 현재 위치를 저장한다. 보호자는 웹 서버에 저장된 정보에 접근 할 수 있는 권한을 가진다. 따라서 보호자의 스마트폰을 통해 피보호자의 실시간 위치를 지도상으로 확인 할 수 있다.
2.2. 병원 탐색 기능
피보호자의 위치를 기준으로 주변 병원 위치와 정보를 Google Map에 표시해주는 기능을 지원한다. 이 기능은 Google Map과 지오코드를 이용하여 구현되었다. 지오코드의 Google 서버를 통해 한글 주소를 Google Map에 표시가 가능한 위도, 경도로 바꾸어 주는 기능을 이용하였다. 측정 좌표를 기준으로, 안드로이드에 내장 된 자체 데이터베이스 (SQLite)를 검색해 병원의 주소를 파악하고, 데이터베이스에 저장된 값을 불러와 지오코드에 넣음으로써 최종적으로 병원의 위치를 파악할 수 있다. 공공 정보로 공개되어 있는 병원 정보를 이용해 자체적으로 데이터베이스를 제작하여 기존의 검색 엔진들이 제공하는 병원 정보보다 상세한 분과별 병원정보를 제공한다.
2.3. 긴급 호출 및 상황 인식 지능
본 시스템의 모바일 어플리케이션 프로그램은 피보호자에게 긴급한 상황이 발생했다고 판단되면 자동으로 상황 인식 기능을 작동한다. 긴급 상황은 피보호자가 스마트폰을 떨어뜨리거나 흔드는 상황으로 가정하였다. 즉, 피보호자의 스마트폰이 비정상적인 (Abnormal) 물리적 운동을 감지하면, 어플리케이션이 자동으로 녹음 기능을 활성화 시키고, 주위의 환경음을 녹음하여 파일을 서버로 전송한다. 이때 물리적 운동은 스마트폰에 내장되어 있는 가속도 센서를 이용하여 판별하도록 하며, 중력 가속도 값인 약 9.8m/sec2 에서 ± 5 이상 값의 차이가 발생할 경우를 긴급 상황이라고 간주한다. 긴급 상황 감지 시점으로 부터 10초 동안 녹음 기능을 활성화하여 주변 환경음을 녹음한다. 서버로 전송된 환경음 오디오 데이터는 III장에서 설명할 음향 신호 기반의 환경분류 기법에 의해 분류 및 인덱싱되어 보호자에게 피보호자의 긴급 상황 및 장소를 예측할 수 있도록 정보를 제공 한다.
Ⅲ. 환경음 기반 상황 인식 알고리즘
본 장에서는 모바일 기반 피보호자 모니터링 시스템의 주 기능인 녹음 된 환경음을 인식하여 분류하는 기능에 사용되는 상황 인식 알고리즘을 소개한다.
3.1. 통계적 기반의 패턴인식 기법
본 연구에서는 환경음 기반의 상황 인식 기법을 개발하기 위해 통계적 패턴인식 기법을 사용한다. 통계적 기법에서 패턴의 모델은 각 패턴의 확률 밀도 함수가 되며, Bayes 규칙을 이용하여 인식부에서 입력된 데이터에 대한 확률 값이 가장 큰 모델을 선택함으로써 인식이 이루어진다. 확률 밀도 함수를 구하기 위해서 오디오 샘플의 아날로그 신호의 특징을 벡터 형태로 추출한다. 특징 추출 방법은 다음 장에서 설명한다.
3.2. 특징 추출 기법
3.2.1. LPCC 기법
Linear Predictive Coding/Coefficients (LPC)는 시스템 예측 등의 사용되는 알고리즘으로서, 음성 또는 화자 인식 등에 가장 널리 쓰이는 특징 추출 방법이다[8]. LPC 기법은 현재 시점에서의 신호는 과거 신호의 선형 조합으로 근사화 될 수 있다는 것을 기본 전제로 한다.LPCC 특징 추출 기법은 이러한 LPC 계수를 추출한 후 음성 인식에 효과적인 Cepstrum 계수로 변환한 특징 추출 방법이다. Cepstrum은 로그 스펙트럼을 다시 푸리에(Fourier) 변환한 것으로, 음성 신호처리에서는 성도 모델의 파라미터와 입력 신호에 관한 모델을 선형적으로 분리함으로써 성도 모델 파라미터를 추출하기에 유리한 방법이다. 본 연구에서는 이러한 특징 추출 방법을 환경음 인식 기법에 적용시킴으로써 환경음 스펙트럼의 전체적인 윤곽을 효과적으로 모델링하고자 한다. 그러기 위해서 로그 에너지를 포함한 총 13차원의 LPCC 계수에 1차 미분, 2차 미분을 첨부하여 총 39차원의 특징 벡터를 사용하였다. 그림 2는 본 연구에서 사용한 LPCC 기법의 블록 다이어그램을 나타낸다.
그림 2.LPCC 특징 추출 기법의 블록 다이어그램 Fig. 2 Block diagram of LPCC feature extraction
3.2.2. MFCC 기법
MFCC 특징 추출 기법은 현재 음성 인식 시스템의 특징 추출 기법으로 가장 널리 사용되고 있는 방법이다[9]. MFCC 추출 방법에서는 우선 오디오 샘플의 아날로그 신호를 푸리에 변환을 통해 주파수 영역의 스펙트럼으로 변환한다. 그 후 Mel filter Bank 분석을 통해 얻은 계수를 로그를 취한 후 Discrete Cosine Transform(DCT)을 적용함으로써 Cepstrum 계수로 변환된다. Mel은 사람이 1kHz 이하의 소리를 잘 듣는다는 청각적 특성을 고려하여 1kHz 이하의 주파수 영역을 촘촘히 분석하여 인간의 청각 시스템을 모방한 주파수 스케일을 말한다.
본 연구에서는 13차원의 MFCC 계수(c0-c12)에 1차 미분, 2차 미분을 첨부하여 총 39차원의 특징 벡터를 사용하였다. 그림 3은 일반적인 MFCC 특징 추출 기법의 블록 다이어그램을 나타낸다.
그림 3.MFCC 특징 추출 기법의 Block Diagram. Fig. 3 Block diagram of MFCC feature extraction.
3.3. 음향 모델
본 연구에서는 음향 모델로서 가우시안 혼합 모델(Gaussian Mixture Model, GMM)과 은닉 마르코프 모델 (HMM)을 사용하여 그 성능을 비교한다. GMM은 단일 가우시안 모델을 확장한 것으로서 복수 개의 가우시안 요소가 혼합되어 있는 것을 말한다. 가우시안 요소 별로 각각의 평균과 분산을 갖고 각 요소에 대한 사전 확률 (Prior Probability)을 갖는다. 사전 확률을 가중치로 하여 각 가우시안 요소를 병합함으로써 단일 가우시안이 표현하지 못하는 다양한 패턴의 확률 밀도함수를 모델링할 수 있다. 식 (1)은 관찰 값 x의 확률밀도 함수를K개의 가우시안 요소를 사용한 GMM을 표현한 식을 나타낸다. μx,k와 Σx,k는 각각 k번째 가우시안 요소의 평균과 분산이며 ωk는 k번째 사전 확률이다.
HMM은 음향 또는 음성 신호와 같이 시간에 따라 변하는 비정상적인 (Nonstationary) 특성의 확률 밀도 함수를 갖는 신호를 모델링하는데 유용한 기법이다. HMM은 복수 개의 상태(State)로 이루어지며 각 상태는 확률 밀도 함수로 출력 확률이 정의된다. 현재의 상태는 이전 시간의 상태에 따라 결정되는 마르코프 모델을 따르며, 상태 천이 확률로써 상태 사이의 이동 확률을 정의한다. 시간에 따라 변하는 확률 모델을 가지는 신호의 경우, 관찰된 신호의 값이 어떠한 상태의 확률 밀도 함수에서 발생한 것인지 알 수 없다. 따라서 이러한 문제 해결에 HMM을 이용한 모델링 기법이 효과적으로 사용된다. 본 연구에서는 연속 확률 밀도 함수를 구현하기 위하여 각 상태에 GMM을 이용한 출력 확률을 정의하였다. 단일 상태를 갖는 HMM은 GMM과 동일하다. 식 (2)는 일반적인 HMM의 정의를 나타내며 π,A,B는 각각 상태 초기 확률, 상태 천이 확률, 출력 확률을 나타낸다.
Ⅳ. 음향 환경의 설정 및 데이터 수집
본 논문에서는 상황 인식을 위한 환경음 인식 실험을 위해 표 1과 같이 7 종류의 음향 환경을 설정하였다. 표에 나타낸 것과 같이, 각 음향 환경에 따라 발생할 수 있는 보다 다양한 상황을 고려하여 음향 환경 별로 2~3가지의 세부 상황을 설정하여 환경음을 취득하였다. 두종류의 스마트폰(삼성 Galaxy S2, Sony Xperia Z1)을 사용하였고 동일한 녹음 어플리케이션(Smart Voice Recorder)을 설치하여 환경음을 녹음하였으며, 단일 채널, 16 양자화 비트, 16 kHz의 샘플링 주파수의 녹음 조건을 사용하였다. 각 음향 환경 마다 60개씩 총 420개의 오디오 파일을 취득하였고, 각 녹음 오디오 신호는 10초 정도의 길이를 가진다. 그림 4는 각 음향 환경을 대표하는 오디오 샘플 신호를 시간 축에서 나타낸 그림이다. 오디오 샘플 신호의 파형은 각 환경마다 상이한 형태를 보여준다.
표 1.본 연구에서 설정한 음향환경 Table. 1 Acoustic environments used for the study
그림 4.음향 환경에 따라 취득한 환경음 파형의 예. Fig. 4 Waveforms of environmental sound samples.
Ⅴ. 실험 및 결과
본 장에서는 앞에 설명한 두 종류의 특징 추출 방법(LPCC, MFCC) 과 두 종류의 음향 모델 (GMM, HMM)을 이용하여 실행한 환경음 인식 실험의 과정과 결과를 설명한다.
5.1. 실험 과정
본 논문에서는 Hidden Markov Model Tool Kit(HTK)[10]을 이용하여 환경음 인식 실험을 실시하였다. 총 420개의 환경음 오디오 파일 중 각 환경별로 70%는 모델 훈련에 사용하고 나머지 30%를 인식 테스트에 사용하였다. 보다 많은 양의 데이터를 인식 실험에 사용하기 위해 두 종류의 훈련/인식 테스트 세트를 구성함으로써 총 252개의 오디오 샘플을 테스트에 이용하였다. HTK를 이용하여 앞에서 설명한 LPCC와 MFCC 특징을 추출하였으며, 두 특징 모두 에너지와 1, 2차 미분 계수를 포함하여 총 39차원의 특징 벡터를 생성하였다. GMM과 HMM 모두 가우시안 요소의 개수를 증가시켜 가며 인식 성능을 관찰하였으며, HMM에서는 상태 개수의 변화에 따른 인식 성능을 평가하였다.
5.2. 실험 결과
우선 MFCC와 LPCC 각 특징 별 HMM의 상태 개수에 따른 인식 성능 결과를 비교하였다. 그림 5는 MFCC 특징을 사용하여 HMM의 상태 및 가우시안 요소 변화에 따른 인식 성능을 나타낸다. 그림에서 확인할 수 있는 것과 같이 HMM의 상태가 5개이고 가우시안 요소가 64개일 때 94.44%로 인식률이 가장 좋았다. 이와 비교하여 단일 상태의 경우 현저히 낮은 인식률을 보였다.
그림 5.MFCC를 이용한 HMM 상태 및 가우시안 요소 개수에 따른 인식 성능 비교 Fig. 5 Performance using MFCC for different number of HMM states and Gaussian components
그림 6은 LPCC 특징 추출 기법을 이용한 환경음 인식 성능을 나타낸다. LPCC 기법을 이용했을 때의 상태별 인식 성능이 평균적으로 MFCC 보다 높은 것을 확인할 수 있었다. 상태가 5개이고 가우시안 요소가 8개일 때 96.03%로 가장 높은 인식률을 보였고 가우시안 요소를 증가시킴에 따라 상태 개수별 인식률이 모두 하락하는 것을 확인할 수 있다.
그림 6.LPCC를 이용한 HMM 상태 및 가우시안 요소 개수에 따른 인식 성능 비교 Fig. 6 Performance using LPCC for different number of HMM states and Gaussian components
GMM과 HMM의 환경음 인식 성능 비교를 위하여 전체 가우시안 요소의 개수를 40개로 고정하였다. GMM은 가우시안 요소를 40개로 설정하고, 상태 개수가 5개인 HMM의 경우 가우시안 요소를 8개로 하여 성능을 비교하였다. LPCC 특징 추출 방법을 이용한 실험에서, GMM의 경우 93.65%, HMM의 경우 96.03%의 인식 성공률을 나타냈다. 표 2는 GMM을 사용했을 때의 환경음 인식 실험의 오인식표 (Confusion Matirx)이다. 오인식표에서 환경을 나타내는 기호 (E1-E7)는 표1에서 사용한 것과 같다. GMM의 경우 지하철 플랫폼 환경(E2)을 지하철 내부(E1)나 식당 내부(E5)로 오인식함으로써 인식률 하락을 가져오는 것을 알 수 있다. 표3의 오인식표에서와 같이 HMM의 경우 플랫폼 환경음(E2)의 오인식률을 낮추는 것을 확인했는데, 이는 플랫폼 환경음이 가지는 시간 정보 (차량 진입, 도어 열림, 차량 출발)를 보다 효과적으로 표현함으로써 인식 성능이 향상되는 것으로 생각할 수 있다. 이와 유사하게 MFCC 특징 추출을 이용한 실험에서도 GMM의 경우 지하철 플랫폼 환경을 식당 내부로, 도로변 환경을 버스 내부 환경으로 오인식하는 현상이 많이 나타났으나 HMM을 사용함으로써 93.65%까지 인식 성공률이 증가하는 것을 확인했다.
표 2.LPCC와 GMM을 이용한 환경음 인식 결과의 오인식표 Table. 2 Confusion matrix using LPCC and GMM
표 3.LPCC와 HMM을 이용한 환경음 인식 결과의 오인식표 Table. 3 Confusion matrix using LPCC and HMM
이와 같은 결과는 시간에 따라 변하는 특징을 가지는 환경음의 경우 HMM을 이용하여 음향 모델을 구성하는 것이 효과적이며, LPCC 특징 추출 기법이 MFCC 기법에 비해 환경음 인식 성능이 높은 것을 입증한다. 일반적으로 음성 인식에서는 MFCC 특징 추출 기법이 LPCC 기법에 비해 성능이 좋은 것으로 알려져 있다. 이는 MFCC 기법이 주로 1-2kHz에 존재하는 음성의 성도 특징을 효과적으로 표현하기 때문이다. 이러한 음성 특성에 비해 이에 비해 환경음은 보다 다양한 주파수 영역에 특성이 존재하므로 LPCC 특징 추출 기법이 보다 효과적임을 유추할 수 있다.
Ⅵ. 결 론
본 논문에서는 본 연구진이 개발한 모바일 기반의 피보호자 모니터링 시스템에 대해 소개하고, 본 시스템에 채용된 피보호자 모니터링을 위한 세부 기술과 환경음 인식 기술을 기술하였다. 환경음 인식 실험을 위해 다양한 상황을 고려하여 총 7가지의 음향 환경으로 나누어 환경음을 취득하였고 성능 비교를 위해 MFCC, LPCC 특징 추출 기법을 이용하여 각 오디오 데이터로부터 특징 벡터를 추출하였다. 통계적 기반의 패턴인식 기법을 적용하기 위해 GMM 및 HMM 음향 모델을 기반으로 인식기를 설계하였다. 환경음 인식 실험 결과, 특징 추출 기법에서는 LPCC 기법이 MFCC 기법 보다 우수하고, 음향 모델은 HMM이 GMM에 비해 높은 인식 성능을 나타냈다. LPCC 특징을 사용하고 HMM 모델을 채용함으로써 최고 96.03%의 인식률을 얻을 수 있었다. 이와 같은 결과는 음성에 비해 다양한 주파수 성분이 존재하는 환경음을 표현하는데 MFCC 보다는 LPCC가 효과적임을 나타내며, 시간에 따라 변하는 특성을 갖는 환경음은 GMM 보다는 HMM이 효과적임을 입증하는 것이다. 향후 연구로서 모델 훈련 및 성능 평가에 대량의 음향 데이터를 사용하여 보다 신뢰도 높은 상황 인식 시스템을 구축하는 것에 집중할 것이며, 7가지의 음향 환경 외에 다양한 환경을 추가할 예정이다. 또한 융합 기술의 하나인 Hydroinformatics 분야에서 음향을 이용한 탐지 및 예측 기술, 재난 방지 등에 적용 가능성을 모색할 예정이다.
참고문헌
- R. S. Goldhor, "Recognition of Environmental Sounds," Proc. ICASSP, Vol. 1, pp 149-152, New York, NY, USA, April 1993.
- M. Cowling and R. Sitte, "Comparison of techniques for environmental sound recognition," Pattern Recognition Letters, 24 (2003), pp.2895-2907. https://doi.org/10.1016/S0167-8655(03)00147-8
- R. G. Malkin, Machine Listening for Context-Aware Computing, PhD thesis, CMU, 2006.
- Y. Lee, D.K. Han, and H. Ko, "Acoustic Signal Based Abnormal Event Detection in Indoor Environment using Multiclass Adaboost," IEEE Transactions on Consumer Clectronics, vol. 59, n. 3, pp. 615-622, 2013. https://doi.org/10.1109/TCE.2013.6626247
- M. Keum, H. Ko, "Environmental Sound Recognition for Context-Awareness of mobile device," KSCSP2010, vol 27, no. 1, pp.126-129, 2010.
- C. Lee, S. Oh, J. Jo, H. Ko, W. Kim, "Context Awareness Using Environmental Sound Signal for Mobile Application," KSCSP2014, vol 31, no. 1, 2014.
- S. Ji, and W. Kim, "An Effective Acoustic Model Classifier Using Audio Signal for Context Awareness," 2014 SWGIC, Incheon, Korea, Nov. 2014.
- L.R. Rabiner and R.W. Schafer, Digital Processing of Speech Signals, Prentice-Hall, 1978.
- J.R. Deller, Jr., J.H.L. Hansen, and J.G. Proakis, Discrete-Time Processing of Speech Signals, IEEE Press, 2000.
- The Hidden Markov Model Toolkit (HTK). Available : http://htk.eng.cam.ac.uk.
피인용 문헌
- 심한 소음환경에서 언어장애인 음성 인식률 향상을 위한 단어선정 방법 및 장치 개선에 관한 연구 vol.23, pp.5, 2015, https://doi.org/10.6109/jkiice.2019.23.5.555