Development of Access Management System based on Face Recognition using ResNet

ResNet을 이용한 얼굴 인식 기반 출입관리시스템 개발

Abstract

In recent years, there has been developed systems such as a surveillance system and access control using a face recognition function instead of a password or an RFID chip, thereby reducing the risk of falsification. Moreover, deep learning technology has been applied to real-time face recognition technology in video, so it makes possible the development of access control system that improves the accuracy of recognition and efficiency of management. In this paper, we propose a real-time access management system based on face recognition using ResNet. The system is based on web server, which make it possible to manage the access by recognizing the person of the image through the camera and access information stored in the database. It can be accessed by a user application to receive various information. The implemented system identifies a person in real time and allows access control by accurately distinguishing whether they are members or not, and the test results can recognize in 0.2 seconds. The accuracy of recognition rate is up to about 97% depending on the experiment environment. With this system, access can be managed quickly and effectively, even many people rush to it.

1. 서론

얼굴 인식 기술은 IT 응용의 다양한 분야에서 많은 연구가 이루어지고 있으며, 최근에는 감시 시스템, 출입국 관리, 생체인식 기반 출입 관리 등과 같은 실제 환경에 적용되고 있다[1,2]. 이는 신분 확인 시스템에서 사용되는 비밀번호나 PIN(Personal Iden-tification Number), RFID(Radio Frequency Identi-fication) 칩의 단점인 변조의 위험성이 낮으며, 딥러닝 기술이 접목된 고성능의 얼굴 인식이 가능하게 되었기 때문이다[3,4]. 특히 출입관리시스템은 출입자의 인식이 가장 중요한 요소이다. 현재는 편리성과 보안성을 위해서 지문, 홍채 등의 개인의 생체 정보가 활용되고 있지만, 비접촉식 얼굴 인식 기술이 제공하는 사용자 편의성과 모니터링 등 관리의 효율성으로 인해서 그 수요가 증가하고 있다[5,6].기존의 얼굴 인식 기반 출입관리시스템은 PCA 기반의 얼굴 인식 기법, 템플릿 매칭 등의 방식을 이용하거나 OpenAPI 등에서 제공하는 인식 기술을 적용하고 있다[6-9]. 최근에는 얼굴 인식에 특화된 딥러닝 모델이 발전하면서, 정교한 얼굴 인식이 가능한 딥러닝 기반의 인식 방식으로 바뀌고 있으며 이를 적용한 얼굴 인식 성능은 매우 발전하고 있다[10-13]. 본 논문에서는 딥러닝 기술의 하나인 Res Net을 사용하여 실시간으로 대상을 인식하고 출입을 관리하는 시스템을 제안한다. 딥러닝 기술을 사용하여, 카메라에서 얼굴을 캡처해 처리하는 이미지처리 기반 방식보다 뛰어난 보안성을 가지며, 출입 관리의 효율성을 향상할 수 있다. 또한,ResNet은 수많은 데이터로 학습된 모델로 실시간의 정확한 얼굴 인식 성능을 나타낸다. 따라서, 제안한 시스템에서는 단말기에 응시한 얼굴 이미지를 캡처할 필요가 없으며, 실시간 영상을 통해 즉각적인 출입 관리가 가능하다. 본 논문의 구성은 다음과 같다.2장에서는 관련 연구를 소개하고 3장에서 딥러닝을 이용한 얼굴 인식 기반의 출입관리시스템 설계 및 시스템 구성을 설명한다. 4장에서 시스템 구현 및 실험결과를 보이고 5장에서 결론을 맺는다.

2. 관련 연구

2.1 얼굴 인식 출입자 관리시스템

현재 사용되는 출입자 인식 시스템은 ID 카드, RFID 칩 등을 사용하고 있으나 위변조에 취약하다는 문제점이 있다. 이에 이들보다 위변조의 위험성이 적고, 사용 편의성을 높으면서, 일상적인 출입 동작만으로도 관리가 가능한 얼굴 인식을 활용한 시스템의 수요가 늘어나고 있다.

Oketal.[6]은 얼굴 인식을 통한 출입 시스템을 위한 각 사용자의 얼굴 측면 사진, 흔들린 사진, 작은 사진 등에 높은 인식률을 보이는 얼굴 인식 OpenAPI인 Lambda,Betaface,KAIROS 세 가지를 앙상블한모델을 구현하였다. 구현 결과의 인식율은 Betaface는 90.1%,KAIROS는 78.6%임에 반해 새로운 모델은 97.5%의 정확도를 보여주었다. 그러나, 누구인지판별하는데 걸린 시간은 Betaface가 7초, KAIROS는 4초가 걸린 것으로 나타나, 실시간 인식 시스템에는 다소 적합하지 않을 수 있다.

Kwonetal.[7]에서 구현한 시스템은 스마트폰의 카메라와 무선 연결된 컨트롤러가 블루투스로 연결된 출입문 사이의 연동으로 출입 관리를 한다. 얼굴 검출에는 컬러 세그멘테이션, 형태학상 처리, 템플릿 매칭 세 가지 단계로 이루어진다. 얼굴 인식은 검출된 얼굴과 훈련된 세트를 비교하는 작업이며 Eigen-face와 Fisherface를 이용한다. 이렇게 구현한 얼굴인식의 정확도는 87.15%이며 누구인지 판별하는데 걸린 시간은 1.4초 정도였다.

이처럼 기존 연구들에서는 높은 정확도를 가질수록 판별하는데 걸리는 시간은 더 많이 소요된다. 실제로 출입 관리가 필요한 분야에서 요구하는 높은 인식 정확도와 얼굴 판별 시간이 사용자의 불편함을 초래하지 않을 정도의 알고리즘을 적용하는 출입관리시스템 개발이 필요하다. 본 논문에서는 3장의 사전 실험과 4장의 실험결과를 토대로 하여 얼굴 인식시간이 0.2초 미만인 실시간 딥러닝 얼굴 인식을 적용한 시스템 개발을 제안하고., 출입관리시스템에 적용 가능한 효율성을 보이고자 한다.

2.2 딥러닝 기반 얼굴 인식 기술

딥러닝 알고리즘이 활성화되기 이전에 주로 사용된 얼굴 인식은 HandCrafted 방식으로 얼굴 영역이 인식되면 랜드마크(landmark)를 검출하고 정규화등의 전처리를 거친 후 특징점이 추출되어 얼굴이 인식되는 순서였다. 하지만 딥러닝 기술이 적용된 이래로, 인식을 위한 특징점의 추출 등의 여러 과정이딥러닝 모델에서 이루어져 속도와 정확도 측면에서 이전 기술과는 비교할 수 없을 우수한 성능을 보여준다[10].

대표적인 딥러닝 기반의 얼굴 인식 기술의 여러동향은 Kimetal.[2],Leeetal.[8],Hwangetal.[10], Krizhevsk. et al.[12] 등에서 소개하고 있다. 그 중Deep Face는 Facebook이 수집한 대용량 데이터를9개의 국소 연결된 컨벌루션(convolution) 레이어로학습시킨 알고리즘이다[2]. 이 알고리즘은 딥러닝 이전의 기존 방식보다 정확도가 27%가량 향상된 97.35%로 딥러닝의 가치를 증명하였다.VGGFace는 인터넷 검색을 통해 데이터셋을 확보하고 15개의 컨벌루션 레이어로 학습을 시켜 DeepFace의 정확도 보다 1%가 향상된 98.95%의 성능을 보였다[2].

Heetal.[13]의 연구에서는 DeepFace나 VGG 알고리즘보다도 더 향상된 성능을 보이는 ResNet을 제안하였다. 본 논문에서는 최신의 고성능 인식 알고리즘인 ResNet 기반 얼굴 인식을 사용한 출입 관리 시스템을 구현하였다.

3. ResNet을 이용한 실시간 얼굴 인식 시스템의 설계

3.1 시스템 설계

본 논문에서 제안하는 얼굴 인식을 이용한 출입관리시스템은 Fig.1과 같이 웹 서버를 기반으로 동작한다. 출입 장소에 설치되는 카메라를 통해서 입력된 영상의 사람을 판별하여 서버에서 출입 관리가 가능하며 출입 정보가 데이터베이스에 저장된다. 저장된 정보는 사용자 어플리케이션에서 데이터베이스에액세스하여 다양한 정보를 서비스 받을 수 있다. 가장 중요한 요소인 얼굴 인식을 통한 출입자의 판별은 출입이 허용된 구성원의 학습 데이터를 토대로 이루어진다. 그 결과는 출입 관리 정보를 기록하는 데이터베이스에 지속해서 갱신되어 관리된다. 또한, 스마트폰 어플리케이션을 구현하여 관리자나 사용자의 정보 획득 및 편의성을 보장한다.

초기 출입자 정보를 위한 학습 모델은 출입이 허용되는 사람들의 얼굴 이미지의 특징점을 추출한 후 이를 인코딩된 벡터값으로 변환 분류 라벨링하여 구축한다. 출입 시마다 지속해서 학습 모델이 갱신되어같은 사람의 얼굴이 미세하게 변하더라도 혼동 없이 정확하게 인식할 수 있다.

3.2 ResNet 기반 얼굴 인식

CNN(Convolutional Neural Network)의 알고리즘인 ResNet-152는 인간의 능력을 초월하는 인식 성능을 보이며 2015년도 실험 결과에 의하면 3.56%의 오차율을 나타낸다고 알려져 있다[12].ResNet의 주요 기술은 residualblock으로 gradient가 잘 흐를 수 있게 일종의 지름길(skipconnection)을 만드는 것이핵심이며, residual block이 ensemble 모델을 구축한 것과 비슷한 효과를 내므로 성능이 뛰어나다[13].

Fig. 1. System Structure.

3.2.1 사전 실험(pre-experiments)

얼굴 인식의 정확도와 검출 시간은 실시간 출입관리시스템의 핵심 요소라고 할 수 있다. 본 논문에서는 가장 효율적인 얼굴 인식 알고리즘의 구현을 위해서 얼굴 인식을 위해서 빈번히 사용된 기술들의 성능 비교를 시행하였다.

얼굴 영역을 인식하는데 사용된 알고리즘은 HOG(Histogram of Oriented Gradients)[14], MMOD(Max Margin Object Detection algorithm)[15],Opencv의 HAAR[16],DNN(DeepNeuralNetwork)[17] 등이 있다.

각 알고리즘의 성능을 실험하기 위해서, 실제 출입관리시스템이 적용될 장소에서 경제적인 효율성을 극대화하기 위해 일반적인 보급형 웹캠을 이용하여 GPU 환경에서 실험을 진행하였다. 사용한 웹캠은 S사의 SPC-A1200MB를 사용하였으며 해상도는 640× 480이며, FPS는 30, 동영상 화소는 30만이다. 실험에서 측정되는 1초 동안에 보이는 이미지의 개수인 FPS(FrameperSecond)는 실시간으로 동작하여야 하는 시스템에서는 최소 50FPS가 적합하다는 기준으로 성능 평가를 시행하였다.Fig.2는 각각

의 FPS 성능 결과와 인식 영역을 보여준다.

Fig. 2. Face Detector Comparison. (a) HOG Face Detector, (b) MMOD Human Face Detector, (c) Haar Cascade Face Detector, (d) DNN Face Detector

HOGFaceDetector는 얼굴 인식 시스템의 가장 대표적인 HOGFeatures와 SVM을 기반으로 한 얼굴 검출 모델이다. 이를 이용한 얼굴 인식 실험결과에서 FPS는 7.80으로 부드러운 느낌을 주지 못하였고 최소 크기 80×80으로 학습된 모델이므로 이 크기보다 작은 경우 얼굴은 인식하지 못하는 등의 결과를 보여 실시간 얼굴 인식에는 적합하지 않다.

MMODHumanFaceDetector는 CNN으로 학습된 알고리즘으로 얼굴 방향에 크게 상관없이 얼굴을 인식해냈으며, 학습 방법이 아주 간단하고 적은 양의 데이터로도 커스터마이징이 가능하다.GPU 환경에서는 아주 빠른 속도를 보여주지만,CPU 환경에서는 FPS가 0.2의 아주 낮은 속도를 보여주었다. 이러한 제약사항이 따르기 때문에 대중화를 하기에는 적합하지 않을 수 있다.

HaarCascadeFaceDetector는 초기 얼굴 인식 시스템에서부터 가장 일반적으로 사용되는 기술이라고 할 수 있다[18].FPS는 실험에서 34.26으로 실시간에 가까운 성능을 보여주었지만, 정면 얼굴만 인식할 수 있다는 제한사항 때문에 출입자의 움직임이 많은 출입 시스템에서의 인식률은 좋은 성능을 보이지 못했다. 또한,Fig.2의 (c)에서 보이는 바와 같이 사각형으로 표시되는 얼굴 인식 영역이 제대로 표현되지 않아 정면에서도 정확한 인식률을 보이지 못하는 경우가 있다.

반면,DNNFaceDetector를 사용한 얼굴 인식 시FPS는 52.87을 보여주어 실시간으로 작동해야 하는 시스템에 적합하다. 그리고 딥러닝으로 학습된 모델이므로 얼굴의 좌측, 우측, 상, 하, 정면 또는 영상에 포착되는 얼굴의 크기에 크게 구애받지 않고 사람의 얼굴을 찾을 수 있었다.

이러한 결과를 바탕으로 구현한 시스템에서는 Res Net 모델을 사용하였으며, 얼굴 인식의 정확도를 보장하고, 멀리서부터 걸어오는 사람의 얼굴을 포착하여 사용자의 편의성을 향상시킬 수 있다.

3.2.2 ResNet 기반 얼굴 인식

얼굴 인식 과정은 얼굴 검출, 얼굴 랜드마크 검출 및 얼굴 특징 추출의 단계로 구성된다.

먼저, 출입 장소의 카메라에서 입력되는 영상은 Res Net 기반 얼굴 인식 학습 모델과 실시간 얼굴 검출이 가능한 dlib[19]을 이용하여 출입자를 식별하기 위하여 사용된다.

Fig.3의 (a)는 카메라 입력 영상이며,(b)의 얼굴 검출 과정에서 보이는 바와 같이 카메라 영상에서 얼굴 영역이 인식된다. 그 후,(c) Shape Prediction 과정에서 눈썹, 눈, 코, 입 및 얼굴 외각을 표현하는 68개의 랜드마크를 검출한다. 검출된 랜드마크를 파라미터로 입력받은 ResNet 얼굴 인식 모델은 이들랜드마크를 (d)EncodedVectors에서 보이는 것과 같은 128개의 벡터 형태로 변환한다. 이 벡터값이 얼굴 인식에 사용되는 정보이다.

입력 영상의 얼굴에서 생성된 벡터는 Fig. 4에서 보이는 바와 같이 이미 학습된 벡터들의 유클리디안 거리를 구하여 최단 거리에 해당하는 학습 정보와 일치하는 사람으로 인식하게 된다. 본 시스템에서는 실험을 통해서 유클리디안 거리가 0.4 미만이면 인식된 사람의 ID를 반환해주며 0.4 이상이면 출입이 허가되지 않은 사람임을 알리는 unknown을 반환한다.딥러닝으로 학습된 모델을 사용하였기 때문에 수많은 학습된 사진들의 벡터값들과 비교할 수 있기에 더 높은 정확도를 보여주었다.

Fig. 3. Processes of Face Recognition. (a) Input Image, (b) Face Detection, (c) Shape Prediction, (d) Encoded Vectors, (e) Face Recognition Result

3.3 학습 데이터

딥러닝 기반 얼굴 인식 시스템의 구현을 위해서dlib_face_recognition_resnet_model_v1[19]의 대략300만 장의 얼굴 사진을 이용하였다. 이 데이터셋은VGG의 데이터셋과 Face Scrub의 데이터셋[ 20]과더불어 인터넷 검색을 통해 유명 인사들의 사진에서 얼굴 부분만 추출하여 제작한 이미지들로 Fig. 5는몇 가지 예이다. 데이터셋의 총 라벨링 수는 7485개이며 학습을 위하여 정확도에 영향을 끼치는 가중치는 더 높은 성능을 보이는 값을 찾기 위하여 랜덤으로 부여하였고, 학습 완료 시점 유효이미지로 검증한 결과 error는 0.993833였다[19]. 

Fig. 4. The Process of Recognizing a Face.

기존의 모델에 새로운 구성원의 사진을 학습하게 되면, Fig. 6과 같이 인코딩된 벡터값을 동일인의 라벨로 추가하여 학습 모델이 지속해서 갱신된다. 따라서 움직임이 있는 카메라 입력 영상에서도 얼굴 인식이 성공적이며, 얼굴 모습이 비슷한 타인과의 혼동이 없이 정확한 인식이 가능하다.

4. 구현 및 실험결과

제안한 시스템은 OpenCV와 Res Net-10-Archi-tecture를 기반으로 하는 얼굴 검출 모델을 사용하여 실시간 얼굴 인식 시스템을 구현하였다. 구현에 사용한 컴퓨터는 Intel의 I9-9900K의 CPU를 사용하였으며, Memory는 16GB2666MHzDDR42장, 그래픽 카드는 RTX2080TI 2장을 사용하였다

Fig. 5. Image Examples of Training Set.

Fig. 6. Labeling Process on the Same Person Learning Phase. 

출입문에 카메라를 설치하고 입력되는 영상을 서버에서 처리하여 인식된 구성원의 이름을 데이터베이스로 전송한다. 영상을 처리하는 서버는 파이썬을 이용하여 개발되었으며,MySQL 데이터베이스를 사용하였고, 파이썬과 MySQL을 연동하는 PyMySQL로 통합 시스템을 구현하였다. 또한, 스마트폰에서 사용되는 안드로이드 기반 어플리케이션을 제작하였다.

Fig.7은 구현된 시스템의 서버 모니터링을 통해서 카메라에 입력된 사람의 얼굴 영역이 검출되고누구인지 인식까지의 단계를 보여주는 장면이다.

Fig. 7. Example of Face Recognition. (a) Face Detection, (b) Shape Prediction, (c) Face Recognition Result.

Fig.8은 출입문이 개방되면서 사람이 들어오는 과정에서 얼굴이 인식되고 그들의 ID가 표시되는 장면이다. 카메라 설치 장소를 두 군데로 하여 조명 밝기와 출입문 형태, 출입 시각 등을 달리하여 실험한 결과를 보여준다.

Fig. 8. Results of Person Identification (Incoming Scene).

Fig.9는 퇴실 시의 인식 과정을 보여주고 있다. 이때 출입자의 얼굴이 정면을 향하지 않고, 움직임이 빠른 상황이지만, 입실 시의 얼굴과 일치하는 ID를 정확히 구분하고 있다.

Fig. 9. Results of Person Identification (Outgoing Scene).

인식된 사람의 입·퇴실 시각은 얼굴 인식과 동시에 출입 관리 데이터베이스로 전송되어 해당 정보를 갱신한다. Fig. 10은 ID가 21628486인 출입자의 ENTER_TIME과 EXIT_TIME이 갱신된 테이블이며, 뒤이어입장한 출입자의 ENTER_TIME이 갱신된 결과를 보인다.

등록되지 않은 사용자라면 Fig. 11과 같이 un-known이라고 표기하며 출입을 제한할 수 있다.

Fig. 10. Exiting Time Table on DB.

Fig. 11. Capture of a Picture When an Outsider is Detected. 

사용자 어플리케이션은 Fig.12와 같이 스마트폰 앱으로 구현하였으며 구성원은 회원가입을 하여 자신의 계정을 가질 수 있다. 구성원의 아이디는 사원번호와 같은 값을 가지며 사원번호에 따라 그 구성원이 일반 구성원인지, 관리자인지 알 수 있다. 구성원은 ‘내 출퇴근 기록 관리’ 버튼을 통하여 본인의 출입기록을 볼 수 있으며, 관리자의 경우 관리자 로그인을 통해서만 볼 수 있는 하단의 ‘구성원 출퇴근 기록관리’ 버튼을 통하여 구성원 모두의 출입기록을 볼수 있도록 구현하였다.

Fig. 12. Interface of User Application.

Table1은 제안한 시스템의 실시간 얼굴 인식의 정확도이다. 실험 결과 얼굴이 인식되고 입출입 시각정보가 데이터베이스로 전송되는 데까지 걸리는 시간은 201ms로 1초에 5번 정도였고 이를 5 cut이라고 할 때 1cut 당 인식된 구성원이 정확히 인식되는 확률을 구하였다.학습된 사람의 수(NumberofPeople)는 5명, 10명, 20명으로 그룹으로 구성하여 그룹별로 2번씩 총 6번의 실험을 진행하였다.

한 사람을 학습하기 위해서 사용한 학습 이미지의 개수(Photoper Person)가 1장인 경우는 약 93.95%의 정확도를 나타내었고, 학습 이미지의 개수가 10장으로 늘어나면,97.95%로 정확도가 높아졌다. 또한, 학습 이미지가 1개인 초기 단계에서는 구성원이 20명까지 늘어나면서 얼굴 인식률이 86.56%까지 다소 낮아지는 결과를 보이지만, 학습 이미지의 개수가 10장으로 늘어나면서 10명,20명의 경우에도 각 97.6%와 94.48%의 정확도를 보인다.

즉, 한 사람의 출입 빈도가 늘어날수록 축적되는 학습 이미지의 수가 자동으로 증가하여 라벨링 되므로 인식률이 지속해서 향상됨을 알 수 있다. 이를 통해서 시간의 흐름에 따라 동일인물일지라도 얼굴의 변화에도 계속 학습이 되므로, 초기의 이미지만을 활용하는 출입 시스템과 차별되는 장점이 있다.

한편, 본 논문과 유사한 연구로 얼굴 인식 출입관리시스템을 구현한 기존 연구에서 PCA와 같은 알고리즘을 사용하여 인식의 정확도는 최대 87.15%로 나왔으며, 인식 시간은 1.4sec으로 실험되었다[7]. 따라서 본 연구의 실험결과를 통해서 딥러닝 알고리즘이 실시간 얼굴 인식에 매우 적합하다는 것을 알 수 있다. 더불어 딥러닝 알고리즘을 출입관리시스템에 적용하여 사람들이 출입하는 이동 과정을 직접 실험하고 이를 통한 성능 평가를 시행하였으며, 이 결과를 실제 출입관리시스템에 적용 가능할 수 있음을 보였다.

Table 1. The Accuracy of Person Identification

Table 2. Comparison of Person Identification Performance between Proposed System and Other System

5. 결론

오늘날 생체인식 기술이 발전함에 따라 출입기록시스템에도 큰 변화가 찾아오고 있다. 기존의 RFID 칩을 이용한 태깅이나 회사 자체 프로그램에 접속하여 수동으로 출퇴근을 기록하는 방법에서 지문, 홍채인식 시스템이 도입되고 있으나 충분한 검증이 이루어지지 않았고 다양한 문제점이 발견되고 있다.

본 논문에서는 딥러닝 기반 얼굴 인식 기술을 출입관리시스템에 적용한 시스템의 개발을 통해서 그 효율성을 검증하였다. 얼굴이 인식되는데 걸린 시간은 0.2초이며, 그 정확도는 97% 이상이었다. 본 시스템은 실시간으로 대상을 인지 및 판별하여 출입 관리를 하여 별도의 캡처 단말기나 자체 하드웨어의 개발이 요구되지 않는 장점이 있다. 또한, 간단한 카메라 설치만으로도 얼굴 인식 시스템이 구축된 서버를 통해서 구현할 수 있었으며, 출입자는 일상적인 출입과정만으로도 관리할 수 있어 사용자 편의성과 관리시스템의 효율성을 향상할 수 있다. 향후 다양한 실험을 통한 사용자 요구 사항을 파악하여 이를 반영한 보다 발전된 출입관리시스템을 개발하고자 한다.