Study on driver's distraction research trend and deep learning based behavior recognition model

Abstract

In this paper, we analyzed driver's and passenger's motions that cause driver's distraction, and recognized 10 driver's behaviors related to mobile phones. First, distraction-inducing behaviors were classified into environments and factors, and related recent papers were analyzed. Based on the analyzed papers, 10 driver's behaviors related to cell phones, which are the main causes of distraction, were recognized. The experiment was conducted based on about 100,000 image data. Features were extracted through SURF and tested with three models (CNN, ResNet-101, and improved ResNet-101). The improved ResNet-101 model reduced training and validation errors by 8.2 times and 44.6 times compared to CNN, and the average precision and f1-score were maintained at a high level of 0.98. In addition, using CAM (class activation maps), it was reviewed whether the deep learning model used the cell phone object and location as the decisive cause when judging the driver's distraction behavior.

본 논문에서는 운전자의 주의산만을 유발하는 운전자, 탑승자의 동작을 분석하고 핸드폰과 관련된 운전자의 행동 10가지를 인식하였다. 먼저 주의산만을 유발하는 동작을 환경 및 요인으로 분류하고 관련 최근 논문을 분석하였다. 분석된 논문을 기반으로 주의산만을 유발하는 주요 원인인 핸드폰과 관련된 10가지 운전자의 행동을 인식하였다. 약 10만 개의 이미지 데이터를 기반으로 실험을 진행하였다. SURF를 통해 특징을 추출하고 3가지 모델(CNN, ResNet-101, 개선된 ResNet-101)로 실험하였다. 개선된 ResNet-101 모델은 CNN보다 학습 오류와 검증 오류가 8.2배, 44.6배가량 줄어들었으며 평균적인 정밀도와 f1-score는 0.98로 높은 수준을 유지하였다. 또한 CAM(class activation maps)을 활용하여 딥러닝 모델이 운전자의 주의 분산 행동을 판단할 때, 핸드폰 객체와 위치를 결정적 원인으로 활용했는지 검토하였다.

I. Introduction

국토교통부 자료에 따르면 2021년 7월 자동차 등록 누적 대수가 2,470만 대를 기록하여 2020년 말 대비는 1.4% 증가하였다[1]. 등록된 자동차의 증가에서 보이듯이 차량에 대한 의존도는 점점 높아지고 있다. 더불어 자율주행차량의 상용화와 함께 운전자의 편의와 안전을 위한 기술과 서비스에 관한 관심이 높아지고 있다. 자율주행차의 연구개발과 상용화를 위해 미국 도로교통안전청은 자율주행차의 자동화 정도와 기술 수준에 따라 4단계, 또는 5단계로 분류하였다[2]. 자율주행 0~2단계는 운전자에게 전방 주시와 운전 환경 모니터링이 요구된다. 3단계는 일부 전방 주시와 모니터링이 요구되며 4단계는 완전 자율주행으로 운전자에게 요구되는 항목이 없다. 추가로 정의된 5단계에서는 운전자가 필요하지 않다. 정의된 단계를 보면 0~3단계에서는 자율주행차임에도 불구하고 운전자의 전방 주시와 일부 조작은 필요하다는 것을 알 수 있다. 또한 완전 자율 주행인 4단계도 운전에 직접 개입하지 않지만, 운전자는 필요로 한다. 현재 상용화 중인 자율주행차량은 0~3단계로 운전자의 조작과 전방주시가 필요하다.

차량 내에서 운전자는 운전뿐 아니라 다양한 장치나 기기에 접근하고 처리하며 다양한 정보를 마주하게 된다. 운전 중 운전자의 휴대전화가 착신되거나 목적지 변경으로 내비게이션 조작을 하는 경우 등 운전 외의 행동은 운전자의 주의 분산을 초래하며 운전자의 안전 운전을 방해한다[3]. 그리하여 운전자가 안전 운행을 방해하는 습관, 동작, 내·외부 환경요인에 관한 다양한 관련 연구가 진행되고 있다. 이에 본 논문은 운전 시 발생하는 운전 조작 및 행동을 정리하고 주의산만을 유도하는 행동을 인식하는 연구들을 조사한다. 조사된 연구들은 운전 중 활용하는 신체(손, 발, 눈), 주의 분산(물리적, 시각, 청각)으로 구분 지어 분석한다. 분석된 결과를 기반으로 안전 운행을 방해하는 대표적인 요소인 핸드폰과 관련된 동작 인식을 실험한다. 실험은 State Farm[4]에서 제공하는 약 10만 개의 데이터를 사용하여 딥러닝과 컴퓨터비전 기술을 활용하여 운전 시 핸드폰을 활용하는 10가지를 동작을 분류한다. 나아가 딥러닝의 문제인 중간 연산을 파악하지 못한다는 한계를 해결하고자 class activation maps(CAM)[5]을 사용하여 이미지의 어떤 특징이 분류에 결정적인 원인이 되었는지 확인한다.

II. Driver’s Behavior Research

1. Related works

본 장에서는 운전자의 주의산만을 초래하는 행동과 관련한 국내외 선행연구를 살펴본다. 선행연구는 운전 행동을 인식하기 위한 연구와 운전 행동이 교통사고에 미치는 영향을 분석한 연구로 나눠진다. 운전자의 운전에 대한 습관과 같은 운전정보는 운전자의 위험 수준을 예측하는 데 중요한 역할을 한다[6]. 또한, 운전 행동 분석 연구를 통해 운전자 모니터링 시스템이나 ADAS와 같은 지능형 교통 시스템을 개선할 수 있다[7]. Gultekin Gunduz et al[6]은 운전 행동 분석을 위해 OBD(On-Board Diagnostics)를사용하여 데이터를 수집하고 운전자의 행동과 관련한 사고의 위험도를 예측한다. 그 밖에도 아래 표 1과 같이 운전자 행동 분석 연구가 활발히 진행되고 있다.

Table 1. Driver behavior analysis research

운전자의 운전 행동이 교통사고에 미치는 영향을 분석한 연구에서, 기승도의 연구[29]에 따르면 운전 중 위험을 탐지하고 반응하는데 걸리는 시간이 길수록 교통 사고율이 높다. 운전 중 대화, 핸드폰 등 전자기기의 사용, 음식물섭취 등의 운전 중 행동이 운전자의 반응속도를 늦추고 이는 교통사고의 원인이 될 수 있다. Gultekin Gunduz et al[6]의 연구 결과에 따르면 운전자의 운전지식, 운전 습관과 같은 운전정보는 교통사고 위험 수준을 예측하는데 중요한 자료가 된다. 최근 자율주행이 발전하고 상용화되고 있기에 운전자의 운전 행동 예측이 필요성에 의문을 가질 수 있다. 하지만 Nasim Arbabzadeh et al[30]의 연구에서는 자율주행상황에서도 운전자와 보행자의 안전을 보장하기 위해서는 실시간 위험을 예측하는 운전자보조시스템이 필수이며 나아가 운전자 행동과 실시간 위험을 데이터로 축적하고 이를 기반으로 사고 발생 위험을 예측한다. 또한 운전자가 일부 운전을 해야 하는 자율주행 2단계에서도 시스템 미숙과 과신으로 주의 산만을 유발한다는 연구가 있다[11]. 나아가 지능형 차량에서 제공하는 서비스는 운전자의 생체 신호를 이용하여 사용자를 인식, 검증 후 진행되며 이 과정에서 생체인식 시스템이 적용된다[31]. 그 외에도 운전자의 주의 분산 행동이 차량 사고에 미치는 영향을 분석한 연구[11, 29], 운전자별 교통 위험 예측에 관한 연구[30], 운전에 대한 심리적 상태가 교통사고에 미치는 영향에 관한 연구[32]가 있다.

Fig. 1. Classify behaviors that cause driver distraction by environment and factors

이들 연구를 분석해 보면, 운전자의 운전 행동은 운전에 필수적인 행동과 운전에 부수적인 행동으로 구분 지을 수 있다. 부수적인 행동들은 대부분 안전 운행에 방해가 될 가능성이 높다. 안전 운전에 필수적인 운전자의 운전 행동은 핸들 조정[9, 10, 33], 크락션 울림[14], 전조등 조작[8], 변속기 조작[12, 28, 30], 와이퍼 조작[30], 전방주시[12, 28, 34], 룸미러 확인[14, 30, 33, 34], 양쪽 백미러 확인[30, 33, 34], 계기판 확인이나 도로 사각지대 확인[30], 신호등 확인이나 보행자 확인[11], 감속 페달 조작[9, 10, 13, 15, 23, 33]과 가속페달 조작[9, 13, 17, 23, 28, 33, 35]이 있다. 본 논문에서는 운전자의 행동에 초점을 두어 운전 행동에 관련된 신체를 통해 구분하여 아래 표 2와 같이 정리하였다.

Table 2. Driving behaviors performed by body

차량을 운전하는 동안 운전자는 핸들조작, 방향 지시등 켜기, 백미러 확인 등의 행동을 반드시 해야 한다. 또한 업무용으로 울리는 핸드폰을 받아 통화를 하거나, 목적지를 수정하기 위해 내비게이션의 목적지를 변경하는 행동을 할 수도 있다. 이러한 행동들은 운전자가 안전 운행을 하는 데 있어서 발생할 수 있는 다양한 상황들에 시간상으로 제대로 대처할 수 없게 하거나, 방해하는 행동이 원인이 되어 안전 운전에 심각한 결과를 초래할 수 있다.

안전 운전 방해 행동과 관련한 선행연구를 살펴보면, 차량 내부요인과 외부요인으로 구분할 수 있다. 차량 내부의 안전 운전 방해요인은 전자기기 조작 및 사용[8-10, 12-14, 18, 21-24, 26, 27, 29, 30, 36-39], 음식물 섭취[9, 12, 18, 23, 29, 30, 37-39], 물건 찾기[11, 14, 22, 37, 39], 아이나 애완견 돌보기[26, 35], 전화 통화하기[9, 11, 12, 13, 14, 18, 21, 22, 23, 26, 27, 30, 33, 35-38], 운전 외의 다른 생각하기[8, 9, 14, 16, 18, 21, 23, 29, 30, 35], 라디오 청취 및 음악 감상[8, 9, 11], 졸음, 약이나 알코올에 의한 인지 저하[8, 9, 11, 19, 33] 등이 있다.

표 2에서는 차량 내부 장치를 통해 발생하는 운전 행동을 보여주고 표 3에서는 차량 내에서 주의 분산을 유도하는 운전자의 행동을 보여준다. 이 연구들은 차량 내부에서 발생하는 요인과 행동들이다.

Table 3. Driver behavior by distraction

그 외 차량 외부에서의 안전 운전 방해 요인은 표 4와 같이 보행자 확인이나 도로 표지판 보기, 공사 중인 도로 주의하기[25], 주변 차량 경적에 집중하기나 앰뷸런스 소리에 집중하기[26] 등이 있다.

Table 4. Driving disturbances that occur outside the vehicle

2. Frequency Analysis

본 논문에서는 운전자의 동작과 관련한 국내외 논문을 조사, 분석하였다. 안전 운전 필수 행동과 방해 행동을 분석하고, 각각의 행동이 언급된 빈도를 조사하고 분석하여 유형화한다. 이러한 연구 결과를 바탕으로 운전자의 안전운전 필수 행동과 안전 운전 방해 행동을 분석하였다.

그림 2는 안전 운전 필수 행동을 연구한 빈도를 기반으로 표현한 결과이다. 안전 운행에 필수적인 행동은 손을 활용하는 행동, 눈을 활용하는 행동, 발을 활용하는 행동으로 구분할 수 있다. 손을 활용하는 운전 행동은 핸들 조정, 크락션 울림, 전조등 조작, 변속기 조작, 와이퍼 조작 등이 있으며, 눈을 활용하는 행동은 전방주시, 룸미러 확인, 양쪽 백미러 확인, 계기판 확인, 신호등 확인, 보행자 확인, 도로 사각지대 확인 등이 있다. 발을 활용하는 행동은 감속 페달 조작과 가속페달 조작이 있다.

Fig. 2. Frequency of Safe Driving Required Actions

그림 3은 차량 내부에서 발생하는 안전 운전 방해 행동의 빈도수를 기반으로 워드클라우드로 표현한 결과이다. 차량 내부에서 운전자의 안전 운전을 방해하는 행동은 조작적/물리적 방해 행동, 시각적 방해 행동, 청각적/인지적 방해 행동으로 구분할 수 있다. 각 유형을 구분 짓는 방법은 조작적/물리적 방해 행동은 운전자가 운전 중 전자기기를 조작하는 행동을 의미하며, 시각적 방해 행동은 운전자가 전자기기를 조작하기 위해 운전 중 시선을 다른 곳으로 돌리는 행동을 의미한다. 그리고 청각적/인지적 방해 행동은 휴대전화 통화에 집중하거나 동승자와 잡담, 또는 운전 외의 다른 생각을 하는 것 등을 의미한다.

Fig. 3. Frequency of behaviors that interfere with safe driving inside and outside the vehicle

조작적/물리적/시각적으로 운전을 방해하는 행동으로는 전자기기 조작 및 사용, 음식물 섭취, 물건 찾기, 아이/ 애완견 돌보기 등이 있다. 이들 운전 방해 행동은 물리적, 시각적으로 주의를 분산시키는 행동들이 있다. 청각적/인지적으로 운전자의 주의를 분산시키는 행동은 전화 통화하기, 운전 외 다른 생각하기, 라디오 청취, 음악감상, 졸음, 약/알콜에 의한 인지력 저하 등이 있다.

차량 외부에서 운전자의 안전 운전을 방해하는 행동은 시각적 방해 행동, 청각적/인지적 방해 행동으로 구분할 수 있다. 차량 외부에서 시각적으로 운전자의 운전을 방해하는 행동은 보행자 확인, 도로 표지판 보기, 공사 중인 도로 주의하기 등이 있다. 그리고 청각적/인지적으로 운전자의 운전을 방해하는 행동은 주변 차량 경적에 집중, 앰뷸런스 소리에 집중 등이 있다.

III. Driver's behavior classification

미국차량공학회(SAE)에서 분류한 자율주행[40] 가운데 4단계인 운전자의 제어가 없는 자율주행차량이 시범 운행하고 있다. 하지만 자율주행 4단계에서도 자동화 차량은 기술 제한 및 법적 요구 사항으로 인해 운전자에게 제어권을 다시 넘겨야 할 수도 있다[41]. 자율주행차량에서 사고를 발생시키는 가장 큰 요소는 외부의 돌발적인 상황이다[42, 43]. 외부의 돌발적인 상황은 자율주행차량 내 운전자의 주의 집중으로 대처하고 방지할 수 있다.

앞서 조사한 내용에 따라 60% 이상의 논문에서 핸드폰 관련 동작 인식을 안전 운행 방해 동작으로 지목하고 있음을 알 수 있다. 이를 통해 해당 요인이 안전 운행을 방해하는 주요 요인 중 한 가지라는 것을 알 수 있다. 그리하여본 연구에서는 운전자의 안전 운전을 위해 핸드폰과 관련된 행동을 포함한 10가지 운전자 행동을 분류한다. 이를 위해 컴퓨터 비전과 딥러닝을 사용해서 운전자의 위험 행동을 분류하는 모델을 구축하는 실험을 진행한다.

1. Experiment data

운전자의 행동을 분류하는 실험을 통해 운전자 행동 중위험 행동을 분류하고자 한다. 데이터는 State Farm[4]에서 제공하는 데이터셋을 사용한다. State Farm에서 제공하는 데이터셋은 약 10만 개의 데이터로 22, 424개의 훈련 이미지, 79, 727개의 테스트 이미지로 구성된다. 이미지는 컬러로 구성되어 있으며, 모든 이미지는 640×480 크기로 제공된다. 데이터셋은 10개의 항목으로 이뤄져 있으며 이는 아래 표 5와 같다.

Table 5. Data set description

State Farm에서 제공하는 이미지는 운전자 위험 행동을 크게 3가지로 분류한다. 첫 번째는 스마트폰 등과 운전 이외의 것을 하기 위해서 집중력을 떨어뜨리는 행동(c1, c2, c3, c4), 두 번째는 다른 기기를 조작하는 과정에서 전방 주시를 태만하게 한 경우(c5, c6, c7, c8), 세 번째로 동승자로 인해서 운전자의 주의력이 분산(c9)되는 경우다. 그림 4는 해당 10가지 분류 항목을 나타내는 이미지다.

Fig. 4. Images corresponding to 10 categories

이미지를 전처리하고, 특징(feature)을 추출하기 위해서 컴퓨터 비전에 주로 사용되는 대표적인 소프트웨어인 OpenCV를 활용한다. 딥러닝을 위해서 PyTorch를 활용한다. 현재 가장 널리 사용되는 Tensorflow에 비해서 디버깅이 편리하고, 디버깅 과정을 시각적으로 확인할 수 있기 때문에 Tensorflow가 아닌 PyTorch를 선택하였다.

해당 모델을 사용해서 실험하고자 하는 것은 ‘운전자의 위험 행동’을 분류하는 것이며, 해당 모델의 평가 F1-Score를 기반으로 한 정밀도를 사용한다.

2. Implementation result

안전 운전을 위한 운전자 행동 분류 모델을 구성하기 위해서 특징추출 및 전처리, 분류 모델 학습, 평가 순서대로 실험을 진행하였다.

특징추출을 위해서 SURF(Speed Up Robust Features)[44]를 사용하였다. 특징추출을 위해서 많이 사용하는 SIFT[45]와 본 연구에서 사용한 SURF는 유사한 성능을 나타낸다. 하지만 SURF가 SIFT에 비해 연산의 복잡도를 줄였다. SURF는 이미지를 비교하기 위한 유사성 불변 표현 및 비교를 위해서 사용되는 알고리즘이다. 적분 이미지(integral image)를 기반으로 차원 축소된 행렬을 사용해서 부호를 비교하여 빠르게 특징을 추출한다. 특징추출이 끝난 이미지를 학습에 적합한 형태로 변경한다. 원본 크기(640x480)의 이미지를 사용하면 학습 시간이 오래 걸리기 때문에 이미지의 특징을 잃지 않으면서 학습효율을 높일 수 있도록 이미지를 축소(128x128 or 256x256) 한다. 전처리 후 분류 모델 학습을 위해 합성곱 신경망(Convolutional Neural Networks, CNN)을 기반으로 한 이미지 처리 딥러닝 모델을 사용해서 학습을 진행한다.

실험은 CNN을 기반으로 한 3가지 모델로 진행한다. 기존의 연구 결과를 기반으로 본 실험의 성능 평가의 기준이 되어줄 모델(baseline model)을 CNN으로 선정하고, 이후 개선을 위해서 ResNet-101[46]과 앞선 실험 결과를 반영하여 개선된 ResNet-101을 사용해서 진행한다. 성능 평가의 기준이 되어줄 모델인 CNN을 사용해서 실험을 진행한 결과, 과적합(overfitting) 문제가 발생한다. 과적합 문제를 해결하기 위해서 Dropout[47]과 Max-Pooling[48] 레이어(layout)을 추가해서 성능 평가의 기준이 되어줄 CNN 모델을 수정하였다.

Dropout 알고리즘은 네트워크 일부를 생략하고 학습을 진행한다. 생략된 네트워크는 학습에 영향을 끼치지 않는다. 모델의 성능을 높이는 방법으로 모델 결합(model combination)을 사용하면 연산에 따른 학습 비용이 높아지게 된다. 모델 결합의 경우 연산 비용이 많이 들어서 빠른 응답이 필요한 경우 해당 모델을 사용하는 데 불편함이 있다. Dropout은 연산 비용과 모델의 응답 성능을 향상시키기 위해 제안되었다. 여러 개의 모델을 결합하거나 만드는 대신 학습이 진행되는 동안 무작위로 일부 레이어을 생략한다. 이렇게 학습 과정에서 무작위로 생략되면 다양한 모델을 학습시키는 것과 비슷한 효과를 누릴 수 있으며, 동시에 연산 비용도 줄어든다. 또한, 이러한 생략과정에서 학습 데이터에 의해 동조화되는 현상(co-adaptation)이 발생할 수 있는데, 무작위로 학습을 생략하기 때문에 동조화 현상을 피할 수 있으므로 정규화(regularization) 효과를 얻을 수 있다.

Pooling 레이어는 feature-map의 크기를 줄이고, 위치나 이동에 좀 더 강인한 성질을 갖는 특징(feature)을 추출할 수 있게 한다. CNN에서 Average Pooling을 사용하게 되면 활성화 함수로 사용하는 ReLU나 Tanh를 사용하게 되면 성능이 더 나빠지는 특성이 있어서 Max Pooling을 많이 사용하게 된다.

그림 5는 CNN을 사용한 학습 곡선이다. Iteration이 계속되어도 학습 오류(training loss)와 검증 오류(validation loss)가 줄어들지 않는 것을 확인할 수 있다.

Fig. 5. CNN Experiment Result

성능 평가의 기준이 되어줄 모델의 경우 Iteration 횟수가 증가해도 학습과 검증 오류 값이 줄어들지 않기 때문에 이미지의 크기와 용도를 고려하여 Residual Block을 기반으로 학습 오류가 적고, 응답성이 좋은 모델 중 하나인 ResNet-101 모델을 적용하였다.

ResNet-101 모델을 사용해서 진행된 실험결과는 그림 6을 통해서 확인할 수 있다. ResNet-101을 사용하면 Iteration이 진행될수록 줄어드는 검증 오류는 줄어드는 반면, 학습 오류는 증가하는 것을 확인할 수 있다. 그리고 Iteration이 10회를 넘어가면서 학습과 검증 오류에 변화가 미미하다는 것을 확인할 수 있다. 이는 ResNet-101의 Iteration의 횟수를 줄일 수 있다는 것으로, 학습량을 줄여서 연산시간을 단축할 수 있다.

Fig. 6. ResNet-101 Experiment Result

Iteration 횟수를 줄일 수 있으므로 ResNet-101에 별도의 레이어를 추가하였다. 그래서 기존의 ResNet-101 레이어을 모두 고정(freeze)하고, 성능향상을 위해 새로운레이어을 추가하였다. 표 6은 기존 ResNet-101 모델에 추가된 레이어다. ResNet-101 모델에 Dropout 레이어를 추가하였다.

Table 6. Layer added to ResNet-101

아래 그림 7은 개선된 ResNet-101을 기반으로 한 학습곡선이다. 학습 오류와 검증 오류가 크게 줄어든 것을 확인할 수 있으며, 기존의 Iteration 횟수보다 약 2배가량 줄어들었다.

Fig. 7. Improved ResNet-101 Experimental Results

아래 표 7은 실험에서 사용된 학습 및 검증 결과이다. 실험에 사용된 3가지 모델의 학습 오류와 검증 오류를 정리한 것이다. 기준 모델인 CNN에 비해서 ResNet-101에 레이어를 추가한 모델이 학습 오류는 8.2배, 검증 오류는 44.6배 작음을 확인할 수 있다. 그림 8은 표 7을 그래프로 표현한 것으로 학습 오류와 검증 오류의 차이점을 시각적 확인할 수 있다.

Table 7. Results of training and validation errors of the model used in the experiment

Fig. 8. Training error and validation error of the model used in the experiment

학습 결과와 비교해서 검증 결과가 높게 나왔기 때문에 f1-score와 정밀도를 사용해서 모델을 최종적으로 검증한다. 표 8는 10개의 분류에 대한 정밀도와 재현율이다. 정밀도와 f1-score는 평균 0.98로 높은 수준을 유지한다.

Table 8. Precision and f1-score for classification

딥러닝 모델이 가지는 특성상 중간 연산 과정을 정확하게 확인하기 쉽지 않다. 실험에 사용된 모델을 중심으로 어떤 데이터를 중심으로 분류를 판단했는지 시각적으로 확인할 수 있는 class activation maps(CAM)을 사용하여 어떤 특징이 분류에 결정적인 원인이 되었는지 확인하였다.

그림 9는 10개 분류에 대한 CAM이다. 10개의 분류에 대한 CAM을 확인하면 모두 적절한 형태로 객체를 인식하고 있다는 것을 확인할 수 있다.

Fig. 9. CAM for 10 classifications

본 논문에서 진행된 실험은 제한된 하드웨어에서 사용할 것을 전제로 진행하였다. 하드웨어 성능이 높지 않을 것으로 예상되기 때문에 저성능의 하드웨어에서 정확도가 높은 것으로 알려진 ResNet-101을 선택하였다[49]. 기존의 ResNet-101에 위험 행동 예측 데이터에 특화된 5개의 레이어를 추가하여 ResNet-101의 성능을 유지하면서 정확도를 높였고 CAM을 사용해서 운전자의 위험 행동을 예측하는 과정을 시각화하여 행동의 특징을 확인할 수 있다. 무엇보다 CAM을 사용해서 위험 예측 과정을 시각적으로 확인할 수 있기 때문에 딥러닝의 판단 과정에서 정의되지 않은 위험 행동을 빠르게 정의 및 추가할 수 있는 기반을 마련하였으며, 관련 연구자들이 위험 행동을 정량적으로 분석할 수 있다.

IV. Conclusions

현재 반자율주행이 상용화되고 있음에도 운전자의 행동을 인식하고 평가하는 시스템은 지속해서 연구 및 활용되고 있다. 본 논문에서는 운전자의 안전 운전을 방해하는 요소를 차량 내부와 외부, 발생 요인을 기준으로 분류하고 조사하였다. 조사한 내용에 따라 60% 이상의 논문에서 안전운행 방해 동작으로 지목한 핸드폰 사용 관련 동작에 대하여 딥러닝을 활용하여 인식하였다. 약 10만 개의 이미지 데이터를 SURF를 통해 특징을 추출하고 CNN, ResNet-101, 레이어를 추가하여 개선된 ResNet-101 모델로 실험하였다. 개선된 ResNet-101 모델이 CNN과 ResNet-101에 비하여 학습 오류와 검증 오류가 확연히 줄었으며 정밀도와 f1-score의 평균은 0.98로 높은 수준을 유지하였다.

딥러닝 모델은 중간 연산 과정을 알 수 없는 블랙박스 모델이기 때문에 실험에 사용된 모델이 어떤 데이터를 중심으로 동작을 분류하였는지 확인이 필요하다. 그리하여 시각적으로 확인할 수 있는 CAM을 활용하여 본 논문에서 활용한 딥러닝 모델이 핸드폰 객체와 위치를 통해 운전자의 동작을 인식하였다는 것을 확인하였다.

운전자의 위험 동작을 인식하는 방법으로 CNN 기반의 딥러닝을 사용하였는데, 정의되지 않은 동작은 위험 요소로 인식할 수 없다는 단점이 있다.

향후 연구로는 반자율주행에서 사용자의 행동을 인식하고 평가하여 이를 적용한 반자율주행 서비스를 연구할 것이며 나아가 완전자율주행에서 외부의 발생하는 위험 요인의 데이터를 수집하여 위험도를 평가하는 연구와 정의되어 있지 않은 운전자의 위험 행동을 인식을 위해서 강화학습을 활용하는 방법을 계속해서 연구를 진행할 것이다.