System for Detecting Driver's Drowsiness Robust Variations of External Illumination

외부조명 변화에 강인한 운전자 졸음 감지 시스템

Abstract

In this study, a system is proposed for analyzing whether driver's eyes are open or closed on the basis of images to determine driver's drowsiness. The proposed system converts eye areas detected by a camera to a color space area to effectively detect eyes in a dark situation, for example, tunnels, and a bright situation due to a backlight. In addition, the system used a thickness distribution of a detected eye area as a feature value to analyze whether eyes are open or closed through the Support Vector Machine(SVM), representing 90.09% of accuracy. In the experiment for the images of driver wearing glasses, 83.83% of accuracy was obtained. In addition, in a comparative experiment with the existing PCA method by using Eigen-eye and Pupil Measuring System the detection rate is shown improved. After the experiment, driver's drowsiness was identified accurately by using the method of summing up the state of driver's eyes open and closes over time and the method of detecting driver's eyes that continue to be closed to examine drowsy driving.

서 론

졸음운전, 전방주시태만은 자동차 사고 원인 중 가장 사망률이 높은 사고의 원인이다. 졸음운전 사고를 미연에 예방을 위해 여러 기술들이 연구되고 있으며, 생체신호와 영상기반의 방법이 대표적이다. 생체신호를 이용한 졸음 검출 방법은 뇌파(Electroencephalogram), 심전도(Electrocardioram), 근전도(Electromyogram), 안전도(Electrooculogram) 등을 측정하여 졸음이 올 때 변하는 사람의 생체 신호를 분석하여 졸음을 검출하는 방법으로 가장 높은 정확도와 객관성을 갖는다. 또한, 차선이탈경고 장치와 같은 주행패턴 분석 방법으로 졸음을 검출하는 방법 또한 다양하게 사용되고 있다. 예로 국내 에쿠스 등의 고급차에 적용되고 있는 차선이탈경고 장치가 대표적이다. 전방, 측면 카메라와 센서를 통해 차선을 감지하여 차량이 차선을 이탈하면 경고음으로 알려준다. 이외에 여러 자동차 제조업체에서도 차선유지보조장치, 차선이탈방지장치 등이 사용되고 있다. 그러나 이러한 주행패턴 분석과 같은 간접적인 방법은 제약사항이 많기 때문에 최근에는 직접적인 졸음 감지기술의 필요성이 대두되고 있다[1,2,3].

사람의 생체 신호를 분석하는 방법은 실제 운전자에게 접촉하여 측정하는 방법이라 실제 도로를 주행하는 사람에게 적용하기 어렵고, 운전자의 운전 패턴을 이용한 방법이나 주행 분석 방법의 경우도 손의 압력이나 핸들 조작등과 같은 다양한 운전 패턴을 파악하기 어려운 실정이다. 그러나 영상을 이용한 졸음 판단은 운전자의 모습을 모니터링하여 판단하는 방법으로 상당히 신뢰도가 높고 운전자에게 비 접촉식의 방법으로 운전 시 방해가 되지 않아 실용적인 측면에서 우수하여 자동차 제조업체에서도 다양한 연구를 진행하고 있다[4,5].

본 연구에서 제안하는 내용은 CIE 색상 공간과 역방향 히스토그램 평활화 방법을 이용한 기존의 복잡한 방법보다 간단하고 효과적인 조명정규화 방법, 그리고 간략한 연산을 통한 눈 영역의 두께 분포를 이용한 SVM 이진 분류로 눈 개폐상태를 판단하는 방법이다. 주행중인 운전자의 데이터를 수집하여 눈 개폐 상태 여부를 판단하고, 운전자 눈 개폐상태 변화를 분석하여 졸음운전을 판단하는 시스템이다. 먼저 입력된 영상에서 눈 개폐상태 판단을 수행하기 위해 조명상태에 민감한 카메라 기반의 영상을 CIE 색상공간영역으로 변환 후 역방향 히스토그램 평활화를 통해 기존의 색상 공간 변환, 전처리보다 훨씬 효과적인 결과를 얻을 수 있었고, 눈 두께 분포를 특징 값으로 추출하여 SVM 기계학습을 통해 실험 데이터의 개폐상태를 판단한다. 취득한 눈 개폐상태 정보를 이용하여 시간에 따른 폐안 누적의 비율과 연속적인 폐안 상태를 분석하여 졸음 여부를 판단한다. 마지막으로 운전자의 객관적인 졸음 상태를 측정하기 위해 실제 차량에서 촬영된 영상과 유튜브에 공개되어 있는 데이터를 취득하여 시스템의 성능을 측정 및 비교분석하고 평가한다.

본 논문의 구성은 제 2장에서 기존 졸음 감지 시스템에 관한 내용에 대해 기술하며, 제 3장에서는 제안하는 시스템에 대하여 자세히 기술한다. 제 4장에서는 실제 졸음운전 영상을 취득한 환경과 방법에 대해 설명하고, 눈 개폐상태 실험 및 비교 결과와 졸음운전 판단 실험 결과에 대해 기술한다. 제 5장에서는 성능 분석 및 실험 결과와 향후 연구에 대해 기술하면서 결론을 맺는다.

 

2. 졸음 감지 시스템에 대한 관련연구

2.1 운전자 졸음 감지 방법

졸음 감지 시스템에서 졸음을 검출하는 방법으로는 뇌파 신호를 이용한 방법, 심전도를 측정하여 얻어지는 심박 변이도를 이용한 방법, 차량 움직임의 변화를 통해 운전자의 상태를 파악하는 간접적인 측정 방법, 운전자의 얼굴 영상을 이용한 운전자 졸음을 직접 파악하는 방법 등이 연구되고 있다. 먼저 첫 번째로 뇌파를 이용한 졸음 인식 방법은 우리 몸의 대뇌피질의 신경 세포군에서 발생한 뇌전 기활동의 총화를 체외로 도출하고, 이를 증폭하여 두피상에서 기록한 것이다. 뇌파는 기본적으로 델타파, 세타파, 알파파, 베타파로 분류하며 정상 성인의 경우 각성, 안정, 눈 개폐상태가 일어날 시 후두부에서 뇌파를 측정하면 졸음 판단을 위한 데이터를 얻을 수 있다. 또한 개안시 알파파에서는 11∼13Hz의 파형이 나타나므로 이 부분의 파형을 추출하여 졸음을 판단할 수 있다. 두 번째로 심전도를 이용한 졸음 측정 방법은 우리 몸의 표면에서 측정 가능한 심장 운동의 파형을 이용하는 방법이다. 심전도는 P, Q, R, S, T파로 구성되어 있으며 심전도를 이용한 졸음 측정은 주로 R파의 검출분석을 통한 심박 변이도의 시간 영역과 주파수 영역을 해석하여 판단한다. 또한, 교감신경계와 부교감신경의 비율을 이용하여서도 졸음을 판단할 수 있다. 마지막으로 영상을 이용한 졸음 인식 시스템의 경우 운전자에게 직접적인 접촉을 하지 않아 주로 사용되고 있는 방법이다. 주로 차선을 이용한 보조 시스템과 얼굴 영상 기반으로 졸음을 판단하는 시스템이 있다. 차선을 이용한 보조 시스템은 차량의 전면, 후면, 측면 부분에 장착된 카메라와 센서를 통해 주행 중 차선을 실시간으로 감지하여 이탈 및 지정된 패턴을 벗어날 경우 졸음 경고나 휴식을 권하는 시스템이다. 얼굴 영상을 기반의 졸음 판단 시스템은 운전자의 전방에 장착된 카메라 모듈로 운전자의 얼굴 및 행동 변화를 측정하여 운전자가 졸음 상태에 운전을 진행할 시 경고를 알려주는 시스템이다. 이와 같이 현재도 다양한 분야에서 운전자의 상태를 파악하여 사고를 예방하는 지능형 자동차에 대한 연구가 진행되고 있다.

2.2 영상기반 운전자 졸음 판단

영상기반의 졸음 판별은 비접촉식이며 신뢰도가 높은 방법으로 실제 자동차 업체에서 주로 사용되고 있는 방법이다. 얼굴 영상기반의 졸음판단 시스템은 운전자 전방에 장착된 카메라 모듈로 운전자의 얼굴 변화를 감지하여 운전자가 졸음 상태에서 운전을 계속 진행할 경우 위험을 알려주는 시스템이다. 영상을 이용한 방법은 현재도 다양하게 연구되고 있으며, 눈의 경우 졸음의 상태를 판단하는 중요한 단서가 된다. 현재 연구되고 있는 방법으로는 색상 공간을 이용하여 눈 영역 추출 및 개폐상태를 판단하는 방법[6], PCA(Principal Component Analysis)를 활용한 방법[7], 동공의 픽셀 개수를 이용한 방법[8] 등이 연구되고 있다.

PCA를 이용한 방법은 비교적 널리 알려져 있는 방법으로 성능비교를 할 때 주로 사용되는 방법이다. PCA는 분포된 데이터들의 주성분을 찾아주는 원리로 여러 데이터의 성분이 모여 하나의 분포를 이룰 때의 주 성분을 분석해주는 방법이다. 눈 개폐 상태를 판단하기 위해 눈 영상을 학습시켜 개안 상태의 주성분 벡터, 폐안 상태의 주성분 벡터를 얻어 벡터값의 대조를 이용해 Fig. 1과 같이 개폐상태를 분류해낼 수 있다.

Fig. 1.Method using the PCA. (a) Match the images, (B) Not match the images.

동공의 픽셀 개수를 이용하여 눈 개폐상태를 판단하는 방법의 과정은 Fig. 2와 같다. RGB 색상 공간과 동공 영역부분의 표준편차를 이용하여 눈 영역의 값을 분석 후 동공을 추출하고, 역치값을 설정하여 이진화를 수행했다. 개안, 폐안 상태에서의 역치값에 따른 이진화 된 영상의 검은 부분의 전체 픽셀 개수를 측정하여 비교하는 방법을 사용했다.

Fig. 2.Open or closed eye determination method using the pixel distribution of the pupil.

영상을 이용한 방법의 경우 비접촉식으로 운전의 방해가 되지 않아 가장 효과적이지만, 주간환경에서의 차량 이동시 다양한 조명에 노출된다. 그리고 안경과 같은 보조 장치를 착용했을 경우에도 검출에 어려움이 있고 이에 대한 해결 방안이 필요한 실정이다.

 

3. 제안하는 졸음 감지 시스템

3.1 시스템 흐름도

Fig. 3는 본 논문에서 제안하는 졸음 감지 시스템의 흐름도이다. 제안하는 방법은 CIE 색상공간영역과 역방향 히스토그램 평활화 방법을 이용하여 기존에는 일반 카메라에 적외선 센서를 사용하여 구별할 수 있던 것을 제안하는 방법을 통해 터널과 같은 어두운 상황, 역광으로 인한 밝은 환경에서도 처리가 가능한 시스템이다. 그리고 눈의 두께 분포를 이용한 방법으로 개폐상태의 이진 분류를 수행하여 간편하고 빠르게 졸음을 판단할 수 있다. 먼저 입력된 영상에서 얼굴과 눈을 검출한다. RGB색상 공간을 갖는 눈 영역을 CIE L*a*b* 색상 공간으로 변환한 후, 히스토그램 평활화를 통해 밝기 분포가 특정 범위에 밀집된 것을 일정한 분포로 재분배하여 주변 환경이 어둡거나 밝은 눈 영상을 개선한다. 개선된 영상은 최대-최소 평균 명도 값 이진화를 사용하여 결정된 임계 값 보다 높은 픽셀은 모두 흰색, 그렇지 않은 픽셀은 모두 검은색으로 변환된다. 이후, 레이블링을 통해 인접한 화소에 모두 같은 번호를 붙여 눈, 눈썹, 안경, 머리카락 등의 눈 후보영역들을 검출한다. 검출된 영역은 관심영역 설정을 통해 눈 이외의 후보영역을 제거하고 정확한 눈 영역만을 추출한다. 그리고 추출된 눈 영역의 두께분포의 특징 값을 SVM에 학습 및 실험데이터 성능 검증을 수행한다. 마지막으로 PERCLOS와 연속적인 폐안 상태를 복합적으로 사용하여 졸음 상태를 판단한다.

Fig. 3.The proposed system flow chart.

3.2 얼굴, 눈 검출 알고리즘

본 논문에서는 Viola-Jones 얼굴 검출 알고리즘을 사용하여 얼굴과 눈을 검출했다. Viola-Jones 알고리즘은 입력 영상에 대하여 적분을 수행하여 연산양을 줄일 수 있다. 그리고 Haar like feature와 Adaboost를 사용하여 약분류기와 강분류기를 생성한다. 다수의 분류기를 Cascade 구조로 구성하여 연산 속도를 향상시켜 얼굴과 눈을 검출할 수 있었다[9].

3.3 조명 정규화

조명 정규화는 먼저 RGB 색상 공간 영역의 영상을 CIE L*a*b* 색상 공간 영역의 영상으로 변환하여 사용한다. CIE L*a*b*는 색 좌표 L*, a*, b*로 표시하게 되며 L*은 조도, a*는 Red와 Green의 정도, b*는 Yellow와 Blue의 정도를 나타내는 입체 좌표이다. 본 논문에서는 눈 영역의 검출률을 향상시키기 위한 방법으로 RGB 색상 공간 영역을 CIE L*a*b*의 색상 공간 영역으로 변환하였고 조명 변화에 효과적으로 대응이 가능한 L*영역의 값을 이용하여 수행했다[10]. 또한, 역방향 히스토그램 평활화 기법을 이용하여 밝기 분포가 특정한 범위에 밀집된 것을 균등한 분포로 재분배하여 주변 환경이 어둡거나 밝은 영상을 개선했다. 본 논문에서는 식 (1)을 이용하여 기존에 사용되는 순방향 누적 히스토그램 평활화 방법에 추가적으로 역방향 누적 히스토그램 평활화 방법을 추가하여 사용했다. 그 결과 기존 히스토그램 평활화보다 명암대비를 향상 시킬 수 있었다[11]. 그리고 식 (2)와 같이 최소-최대 명도 값을 추출하여 평균을 임계 값으로 결정하는 방법을 사용하여 이진화를 수행했다.

3.4 특징 값 추출

특징 값 추출을 위해 먼저 레이블링 과정을 수행한다. 레이블링은 객체 주변의 연결된 화소를 하나의 객체로 정의함으로써 면적 대비 화소의 개수를 나타내는 밀도의 정보로 설정할 수 있다. 이와 같이 설정된 정보는 영상의 추출된 후보영역들에서 잘못 인식된 후보 영역을 최소화 시킬 수 있다. 본 논문에서는 눈 이외의 후보 영역을 제외하기 위해 각각 지정된 레이블링의 크기 임계 값을 지정하여 임계 값 이하는 연산에서 제외시켜 특징 값을 추출해낸다[12].

이후 관심영역 설정을 통해 영상 전체에 영상처리를 적용하지 않고, 필요 부분만을 영상처리 하여 처리속도 증가와 필요 부분 영역만을 얻어 사용했다. 본 논문에서는 Fig. 4과 같이 x좌표와 y좌표를 임의로 설정하여 필요한 영역만을 사용했다.

Fig. 4.ROI settings.

추출된 눈 영역의 픽셀 분포 값을 이용하여 Fig. 5과 같은 방법으로 특징 값을 추출한다. x축으로 이동하면서 눈 영역의 두께분포 결과를 측정하여 y축 방향으로 투영을 수행한다. 투영 결과를 SVM 특징값으로 학습시켜 눈 개폐상태를 분류한다.

Fig. 5.Feature value extracted by the thickness distribution. (a) State Opening Eyes, (b) State Closed Eyes.

3.5 SVM을 이용한 눈 개폐상태 판단 방법

SVM은 구조적으로 위험을 최소화하는 방법의 근사적 모형 구현이다. SVM은 학습오차 비율의 합으로 범위가 결정되는 시험 오차 항과 학습 머신의 차원에 의존하는 항에 기반을 두고 있다. 이와 같은 두개의 항의 합을 최소화함으로써 우수한 성능을 얻을 수 있다. 본 논문에서는 LibSVM을 사용하여 실험을 진행하였으며, Fig. 6과 같이 5명의 눈 데이터 50프레임의 특징 값을 추출하여 실험을 진행했다[13]. 5명의 개안 상태와 폐안 상태의 이미지를 이용하여 30차원의 두께분포를 특징 값으로 하여 학습 데이터로 학습을 수행했다. 그리고 510프레임의 동영상으로 실험한 결과 Fig. 6과 같은 결과를 얻을 수 있었다.

Fig. 6.The results extracted by the thickness distribution of the feature values. (a) The training data, (b) PERCLOS test Result.

3.6 졸음 판단 방법

본 논문에서는 식 (3)과 같은 방법인 눈감은 시간의 누적을 이용한 PERCLOS 방법을 이용하여 누적 퍼센트(%)에 따라 운전자의 졸음 단계를 나눈다[14,15]. 그리고 추가적으로 즉각적인 졸음을 판단할 수 있는 연속적인 폐안 상태 검출을 복합적으로 사용하는 방법을 제안한다.

연속적인 폐안 상태를 이용한 방법은 Fig. 7과 같이 운전자가 깜박임이 거의 없는 상태에서 1∼2초 정도 지속적인 눈 감김 상태의 Frame이 검출될 경우 사용하는 방법이다.

Fig. 7.Determining the need for using consecutive eyes-closed state.

 

4. 실험 및 결과분석

4.1 데이터 취득 및 실험 환경

실험 환경은 Fig. 8과 같은 영상으로 진행했다. Table 1과 같은 환경에서 제안하는 알고리즘의 성능을 실험했다. 추가적으로 차량에서의 실험은 맑은 날, 흐린 날, 비 오는 날 등 다양한 외부 조명의 상태에서 실험을 진행했으며, 광원의 방향이나 성질 등을 고려하여 실험을 진행했다. 깜박임 검출은 얼굴이 검출된 경우에만 계산했다.

Fig. 8.Test video examples.

Table 1 .Video drivers DB

4.2 조명정규화 실험 및 비교 결과

외부에서 발생하는 강한 광원으로 인하여 운전자의 얼굴 밝기 값이 매번 다르게 변화할 수 있다. 따라서 이와 같은 문제를 해결하기 위해 본 논문에서는 밝기 값 조정에 따라 변화하는 영상을 실제 사람의 눈으로 보는 것 차이가 가장 적은 CIE L*a*b 영역을 사용하고, 영상의 화질 개선 방법 중 하나인 히스토그램 평활화 기법을 응용하여 역방향 히스토그램 평활화 기법을 통해 선명도를 높이는 방법을 사용했다. Fig. 9 (a)는 기존의 여러 조명정규화 방법 중 하나인 RGB 색상 공간 영역을 HSV 색상공간으로 변환하여 히스토그램 평활화를 수행한 결과이고, Fig. 9 (b)는 제안하는 조명정규화 과정을 수행한 결과이다. Positive 영상의 경우 결과 영상의 차이가 거의 없었지만, Negative 영상의 경우 Fig. 9 (a),(b)와 같이 픽셀 분포가 확연히 다른 것을 확인할 수 있다.

Fig. 9.Negative images with the proposed method and existing method comparative test. (a) Negative results with existing methods, (b) The proposed method results Negative Image.

Fig. 9와 같은 Negative 영상에서의 성능 비교를 하기 위하여 총 215 프레임의 Negative 영상을 이용하여 실험을 진행했다. Fig. 10과 같은 Negative 영상 DB는 터널에서의 어두운 상황과 역광으로 인한 밝은 상황에서 주로 촬영된 DB영상이다. 기존의 방법과 제안하는 방법의 성능을 비교한 결과 Table 2의 결과와 같이 32프레임의 Nagative영상을 훨씬 정확하게 추출할 수 있었다.

Fig. 10.Negative DB examples.

Table 2.Comparative results with negative image

4.3 SVM을 이용한 눈 개폐상태 실험 및 비교 결과

본 논문에서 두께분포를 이용하여 SVM 분류를 수행했다. 제안하는 방법은 Table 3의 결과를 보듯이 높은 깜박임 검출률을 확인할 수 있다. 차량 영상 4번째의 경우 눈의 크기가 일반인 보다 작은 사람의 영상을 이용한 경우이다. 그리고 실험실 영상의 경우 차량의 운전 좌석의 위치를 고려하여 거리를 두고 촬영한 영상이다. 마지막으로 유튜브 영상은 유튜브에 업로드된 운전자 영상을 취득하여 실험한 결과를 Table 3과 같이 나타냈다. 또한, 기존의 Eigen-Eye를 활용한 PCA 방법과 동공 영역의 픽셀 개수를 이용한 방법을 구현하여 성능을 평가했다.

Table 3.Vehicles, laboratory inside the eye opening status detection rate

총 8개의 동영상을 이용하여 실험을 진행하였고, 전체 프레임은 총 3,525 프레임 중에 3,175프레임의 눈이 검출되어 90.09%의 검출률이 나왔으며, 기존의 방법보다 개선된 검출률을 확인할 수 있었다.

또한, 안경 착용자에 대해 별도로 실험을 진행하였으며 두꺼운 안경테 착용자와 얇은 안경테 착용자를 이용하여 두께분포를 이용한 SVM을 수행한 결과 얇은테의 안경 착용자의 경우 안경에 반사된 빛으로 인해 약 2% 정도의 오검출률이 증가했고, 두꺼운 안경테를 착용한 경우 눈 후보영역을 완벽하게 제거하지 못하여 약 6% 정도의 오검출률이 증가됐다.

실험 결과 Table 4와 같이 총 738프레임 중에 627프레임을 정상적으로 검출하여 83.83%의 검출률이 나왔으며, 앞서 진행한 기존의 방법보다 개선된 것을 확인할 수 있었다.

Table 4.Glasses wearers eyes open or closed detection rate

4.4 졸음운전 판단 결과

Table 5는 PERCLOS를 이용한 졸음 판단 결과를 3가지의 형태로 Safe, Caution, Danger로 나타냈다. 두 눈의 평균 PERCLOS의 값이 0% 이상 10% 이하의 경우 Safe 상태, 11% 이상 30% 이하의 경우 Caution 상태, 31% 이상의 경우 Danger 상태로 기준 값을 두고 판단하였으며, PERCLOS만을 사용한 실험과 제안하는 PERCLOS와 복합적으로 연속적인 폐안상태를 사용한 방법을 비교 실험했다

Table 5.Drowsiness determined by the results of the proposed drivers drowsiness detection system

졸음 판단 결과, PERCLOS만을 사용한 경우 차량 영상 5번째와 같이 Caution의 상태로 판단됐지만, PERCLOS와 연속적인 폐안 상태를 복합적으로 사용한 경우 폐안 상태가 1초 이상 연속적으로 검출된 부분이 있어서 Danger의 상태로 정확하게 판단 해낼 수 있었다.

 

5. 결 론

본 논문은 색상 모델 변환부터 시작하여 조명 정규화, 얼굴, 눈 검출, 영상 전처리, 눈 영역 추출, 눈 개폐상태 판단, 졸음 상태 판별 등의 영상처리 기술을 이용한 외부조명 변화를 고려한 졸음운전 시스템에 대해 제안했다. 특히 안정화 된 조명 정규화 기술을 응용하여 눈 영역 추출 성능을 향상시켰고, 두께 분포를 이용한 SVM의 수행결과 눈 개폐상태 검출률은 90.09%로 우수한 결과를 얻었고, 안경 착용자의 경우는 83.83%의 결과를 얻을 수 있었다. 또한, 기존의 Eigen-Eye를 활용한 PCA 방법, 동공 영역의 픽셀 개수를 이용한 방법과 비교한 결과 눈 개폐상태 검출률이 개선된 것을 확인할 수 있었다. 그리고 졸음상태 판단을 위해 연속적인 폐안 상태 분석과 공증된 PERCLOS 방법을 복합적으로 이용하여 효과적으로 졸음을 판단해냈다. 특히, 본 논문에서 제안한 방법들은 자동차 운전 중 1초의 시간에도 위험한 상황에서 시간 지연 없이 실시간으로 동작 가능한 시스템이며, 조명 정규화 방법의 경우 기존의 사용하던 복잡한 방법과 달리 간략한 알고리즘으로 터널과 같은 어두운 곳이나 역광으로 인한 밝은 영상의 경우 눈 검출이 어려웠던 부분을 적외선 센서를 사용하지 않고 해결하였으며, 안경 착용자에게도 다소 효과가 있음을 확인할 수 있었다. 또한 눈 두께 분포를 이용한 이진분류의 경우도 기존의 PCA나 동공 영역을 이용한 방법에 비해 간략하고 높은 정확도를 확인할 수 있었다.

향후 연구로는 영상 기술을 이용한 방법에 추가적으로 생체 신호를 이용한 방법을 반영하여 심전도, 뇌전도 등과 같은 다른 생리적 지표와 함께 복합적으로 연구를 진행할 계획이다.