A Study on User Authentication with Smartphone Accelerometer Sensor

스마트폰 가속도 센서를 이용한 사용자 인증 방법 연구

Abstract

With the growth of financial industry with smartphone, interest on user authentication using smartphone has been arisen in these days. There are various type of biometric user authentication techniques, but gait recognition using accelerometer sensor in smartphone does not seem to develop remarkably. This paper suggests the method of user authentication using accelerometer sensor embedded in smartphone. Specifically, calibrate the sensor data from smartphone with 3D-transformation, extract features from transformed data and do principle component analysis, and learn model with using gaussian mixture model. Next, authenticate user data with confidence interval of GMM model. As result, proposed method is capable of user authentication with accelerometer sensor on smartphone as a high degree of accuracy(about 96%) even in the situation that environment control and limitation are minimum on the research.

스마트폰 기반 금융 산업의 발달로 스마트폰을 이용한 인증 기법에 관심이 높아지고 있다. 다양한 생체 기반 사용자 인증 방식이 존재하지만 아직까지 스마트폰 기반 사용자의 걸음 패턴(gait) 인증 방식은 뚜렷한 발전을 보이고 있지 않다. 본 논문에서는 스마트폰에 기본적으로 탑재된 가속도 센서를 이용해 사용자를 인증하는 방법을 제안한다. 구체적으로, 스마트폰에서 수집한 데이터를 3D 변환하여 자세를 교정하고, 변환된 데이터에서 특징을 추출한 뒤 주성분 분석, 가우시안 혼합 모델링 과정을 거쳐 데이터를 학습 시킨다. 다음으로, 신뢰구간 검증 방식을 사용해 사용자 데이터를 검증했다. 그 결과, 통제 요인과 한계점이 많았던 선행 가속도 연구들과 달리 최소한의 통제 요인과 높은 정확도(약 96%)로 사용자 인증이 가능함을 입증했다.

I. 서론

하드웨어 성능의 비약적인 발전과 모바일 금융 서비스 트렌드의 변화로 인해 스마트폰을 이용한 개인 인증에 대한 관심이 높아지고 있다. 스마트폰 기반 개인 인증 방식으로는 홍채, 얼굴, 지문, 서명 인식 방식이 있으며 현재 지문 인식을 통한 개인 금융 서비스가 활발히 개발되고 있다. 

지문 인식의 경우 높은 정확도와 사용자 친화성이라는 장점이 있지만 지문 도난과 별도의 센서를 필요로 한다. 또한, 지문 인식을 하려면 사용자의 상호작용이 필요하다. 하지만 가속도 센서로 인증을 수행할 경우 사용자의 개입 없이도 원하는 순간에 사용자 인증이 가능하다[1]. 뿐만 아니라, 대부분 최신 스마트폰에 기본적으로 내장된 가속도 센서를 이용하면 별도의 센서 설치가 필요하지 않다.

본 논문에서는 스마트폰에 탑재된 가속도 센서를 이용해 사용자를 인증하는 방법을 제안한다. 우선 전처리 과정을 거친 가속도 데이터에서 특징을 추출한 뒤 주성분 분석과 가우시안 혼합 모델링 과정을 거쳐 모델을 생성한다. 그 뒤 신뢰 구간 검증 방식을 이용해 사용자 데이터를 인증한다.

논문의 전체적인 구성은 다음과 같다. 2장에서는 가속도 센서를 이용한 유사 연구 결과들을 살펴본다. 3장에서는 실험에 사용한 이론과 이론의 적용 방법을 다룬다. 4장에서는 실제 실험 과정과 그 결과를 소개한다. 마지막 섹션에서는 실험 결과가 가지는 의미와 향후 연구 방안을 제안하는 것으로 논문의 결론을 맺는다.

II. 관련 연구

현재까지 진행된 가속도 센서를 활용한 연구는 크게 세 가지로 분류할 수 있다. 첫째, 센서 데이터의 패턴을 분석해 사용자의 행위를 분류하는 선행 연구들이 존재한다[2],[3]. 둘째, 가속도 데이터의 급격한 변화를 감지해 사용자의 돌발 상황 또는 긴급 상황을 찾아내려는 연구 또한 활발히 이뤄졌다[4],[5]. 마지막으로, 본 논문의 주제인 사람마다 다른 고유의 걸음 패턴을 이용한 사용자 식별 및 인증 연구가 있다. 

가속도 센서를 이용해 생체 인증을 하려는 최초의 시도는 2005년에 Ailisto가 발표한 논문 [6]에서 엿볼 수 있다. 실험 결과의 정확도는 높았지만 스마트폰이 아니라 신체의 여러 부위에 부착한 센서를 이용했다는 점에서 사용상의 한계점을 갖고 있다.

Jennifer R. Kwapisz 는 가속도 센서 데이터로 행위 구분과 사용자 인증을 보여줬다[7]. 분석를 위해 신경망 알고리즘을 이용했다. 걷기, 뛰기, 계단 오르기 등 다양한 동작을 수집해 분석에 활용했다는 점에서 의미가 있지만 결과의 정확도가 낮다는 점에서 한계를 가진다.

Claudia Nickel 은 머신 러닝 기법을 이용해 실시간 사용자 인증을 시도했다[8]. 다양한 특징 선택 방법과 기계 학습 기법을 적용해 실험을 수행했으며 약 90% 수준의 정확도를 보여줬다. 또한, 실시간 처리를 고려한 분석 방법 설계를 적용했다는 점에서 의미를 가진다. 하지만 스마트폰의 위치와 움직임을 고정하고, 제한된 구간을 단순한 걸음으로 수집했고, 수집한 데이터에서 실제 걸음에 해당하는 부분을 분석가의 눈으로 판별해 냈다는 점에서 한계를 가진다. 

이 밖에도 가속도 데이터를 이용한 여러 연구가 선행돼 왔지만, 공통적으로 다음과 같은 한계를 가진다. 첫째, 스마트폰의 위치, 자세, 걸음걸이 등 실험의 전제가 되는 제약 조건들이 다양하다. 둘째, 제안하는 분석 방법들의 결과가 신뢰할만한 수준에 이르지 못했다. 본 논문에서 제안하는 방법은 통제요인을 최소화 하면서도 짧은 시간에 높은 정확도로 사용자를 인증할 수 있음을 보여준다.

III. 제안하는 기술

제안하는 기술은 스마트폰에서 수집한 가속도 센서 데이터에 3D 변환을 적용한 값을 이용한다. 학습 단계에서는 3D 변환된 가속도 데이터 군집에서 특징을 추출한다. 다음으로, 주성분 분석(PCA)를 통해 각 특징 값 사이의 상관성을 제거하고, 학습에 사용할 특징 값의 차원을 결정함과 동시에 데이터 군집을 K-L 변환 시킨다. 그 뒤 가우시안 혼합 모델(GMM)로 KL 변환된 특징 데이터를 모델링 한다. 인지 단계에서는 GMM 결과값을 누적 분포 함수(CDF)에 대입해 사용자 인증 여부를 결정한다(Fig. 1).

Fig. 1. Overall process of proposed method

3.1 데이터 수집

스마트폰에서 기본으로 제공하는 가속도 센서 데이터를 수집한다. 안드로이드 기반 스마트폰의 경우 일반적으로 중력 가속도의 영향을 그대로 반영한 TYPE_ACCELEROMETER와 중력 가속도 영향을 제거한 TYPE_LINEAR_ACCELERATION 센서가 존재한다. 가속도 센서는 크게 세 개의 축으로 구성돼 있다. x축은 스마트폰의 측면에 작용하는 가속도를, y축은 위아래 면에 작용하는 가속도를, z축은 스마트폰 앞뒤 면에 작용하는 가속도(m/s²)를 측정한다(Fig 2). 

Fig. 2. 3-axis information of accelerometer sensor(left) and rotation vector sensor(right)

스마트폰 자세 보정을 위해 기기의 현재 자세를 담고 있는 회전 벡터 (TYPE_ROTATION_VECTOR) 센서도 측정한다. 가속도 센서와 마찬가지로 3축 값을 가지고 있으며, x축은 스마트폰의 좌우 기울어짐, y축은 스마트폰의 아래위 기울어짐, z축은 자북을 중심으로 회전한 각도를 의미한다(Fig 2).

두 가지 종류의 센서값(6개의 축)을 모두 데이터베이스에 저장하지 않고, 데이터 전처리 과정을 거친 후 최종으로 얻어진 3축 LINEAR 가속도 데이터값만 저장한다.

3.2 가속도 데이터 전처리

사람들이 스마트폰을 가지고 다니는 방법은 매우 다양하다. 사람의 체형과 이동 방향에 따라 스마트폰의 방향과 받는 힘이 크게 달라질 수 있다. 사용자 고유의 패턴을 추출하려면 가장 큰 두 가지 변수인 사용자의 이동 방향과 스마트폰의 위치(자세)를 보정 해야 할 필요가 있다. 

다양한 위치와 환경 변수를 통일하는 작업에는 컴퓨터 그래픽스 이론 중 하나인 3D 변환(3D transformation) 기법을 이용한다. 다음과 같이 3축을 회전시켜 스마트폰이 어떠한 위치에 놓여 있더라도 동일한 조건에 놓이도록 만들 수 있다.

1. x축 회전/y축 회전: 수평면을 기준으로 스마트폰이 x축과 y축이 기울어진 각도만큼 회전시킨다. 결과적으로 스마트폰을 지표면과 수평인 바닥 위에 올려놓은 것처럼 만든다. 

2. z축 회전: z축 값은 자북을 기준으로 스마트폰이 기울어진 정도를 나타낸다. 각도 값이 0이 되도록 회전한 x축, y축과 달리 z축을 0도 기준에 맞춰 회전하면 일관된 결과를 얻을 수 없다. 다시 말해서, 동일한 사람이 사용하더라도 스마트폰의 방향을 달리하면 완전히 다른 가속도 데이터가 얻어질 수 있다. 

스마트폰이 지표면에 수평으로 놓인 상태에서 앞으로 움직인 다고 가정할 때, 모든 사용자가 정북 방향으로만 이동하면 x축을 의미하는 동-서 움직임을 걸음으로 인한 흔들림으로 간주할 수 있다. 하지만 Fig 3에서 보는 것처럼 실제 이동 방향이 북동쪽 방향일 경우 x축 성분을 그대로 좌-우 성분으로 사용하게 되면 동일한 사용자임에도 북쪽 기준으로 스마트폰을 회전시킨 만큼 데이터 값이 달라져 정확한 판단을 할 수 없다. 

Fig. 3. calibrate position of smartphone toward the direction that user movement

이러한 한계점을 보완하기 위해 힘이 작용하는 방향(실제 이동방향)으로 스마트폰을 회전시켜 방향성을 제거했다. 이를 통해 순수하게 스마트폰이 흔들리는 정도만 가속도 데이터 크기로 남도록 만들었다. 계산식은 아래와 같다.

X = 가속도 센서로부터 얻은 x축 데이터

Y = 가속도 센서로부터 얻은 y축 데이터 

θ_α = 스마트폰의 x축과 실제로 힘을 받는 방향이 형성하는 각도: #

θ_β = 실제로 스마트폰이 회전하는 각도 

· 오른쪽으로 기울어져 있을 경우: 90 - θ_β 

· 왼쪽으로 기울어져 있을 경우: -90 - θ_β

x축과 y축 가속도 값을 기준으로 스마트폰을 회전하게 되면 x축 가속도 데이터 크기는 0에 근접하게 된다. 즉, x축 값의 성분이 y축 값에 녹아들게 된다. 이 방법을 사용하면 사용자가 어떠한 방향과 위치에서 스마트폰을 소지하고 다니더라도 사용자의 고유 패턴을 추출해 낼 수 있게 된다.

3.3 특징 추출

기존 논문들의 경우 대부분 가속도 데이터에서 주기 정보를 추출해 이를 특징에 사용했다. 하지만 주기 정보만으로는 스마트폰의 다양한 위치와 사람의 움직임을 판단하기가 어렵다. 사람마다 서로 다른 발걸음의 세기와 리듬을 파악하기 위해 아래와 같은 5개의 특징을 사용한다.

전체 데이터 영역에서 특징을 추출할 데이터 프레임 크기와 프레임 이동 크기를 결정한 후 값을 추출한다. 데이터 프레임별로 추출해 내는 특징 값과 해당 값을 구하는 공식은 (1),(2),(3)과 같다 [9].

· min: 해당 데이터 프레임 데이터 중 최솟값

· max: 해당 데이터 프레임 데이터 중 최댓값

· mean: 해당 데이터 프레임 데이터의 평균값 

· kurtosis: 해당 데이터 프레임 데이터의 첨도

· skewness: 해당 데이터 프레임 데이터의 왜도

#   (1)

#   (2)

#   (3)

이 방식을 사용하면 x축과 y축, z축 각각 5개의 특징 데이터를 얻을 수 있다. 이 때, 축별 특징 데이터의 전체 개수는 프레임 크기와 이동 정도에 따라 달라진다. 3개의 축을 모두 사용해 패턴 분석을 수행하면 더욱 정확한 분류가 가능하다.

3.4 데이터 학습

3.4.1 주성분 분석(Principal Component Analysis)

주성분 분석은 상관이 있는 변량들의 변동을 줄이는 차원에서 상관이 없는 변량의 집합으로 기준 축을 변환해 특징 벡터를 재배치하는 것을 말한다. 

특징 벡터에 대해 PCA를 적용하는 이유는 다음과 같다. 첫째, PCA로 변환한 특징 값들은 서로 독립적이다. 즉, 특징 값 사이의 상관성을 제거해 특징마다 하나의 독립된 모델을 형성해 분석에 사용할 수 있다. 둘째, PCA 결과로 얻은 고유값 벡터의 누적비율을 계산해 분석 대상 차원을 축소할 수 있다.

특징 벡터에 대해 PCA를 수행하면 공분산 행렬의 고유값(eigenvalue) 벡터(λ₁,λ₂, ..., λ_n)를 얻을 수 있다. n개의 가장 큰 고유값을 선택한 뒤 선택한 고유값과 관련된 고유벡터를 구하고 연결한 변환행렬 W를 만든다. 마지막으로, 특징 벡터(x)를 y = W^T_X 변환식으로 변환하고, 기존의 특징 데이터 군집을 최종적으로 얻어진 y값으로 대체한다.

3.4.2 가우시안 혼합 모델(Gaussian Mixture Model)

특징 배열에 몇 개의 분포가 존재하는지 판단하고 그에 따른 모델을 형성하기 위해 가우시안 혼합 모델(GMM)을 사용한다. 가우시안 혼합 모델은 하나 이상의 가우시안 함수의 합으로 이루어진 모델을 의미한다.

M개의 단순한 확률밀도함수의 선형 결합으로 정의되는 확률밀도 함수는 (4)의 식으로 표현할 수 있다.

#   (4)

만약 2개의 1차원 벡터로 구성된 가우시안 함수가 결합된 모델이 존재할 경우, 두 개의 가우시안 확률 밀도 함수성분(p(x|ωi,θi))과 각 함수가 전체 혼합 확률 밀도 함수에서 차지하는 상대적 중요도(P(ωi)) 값을 얻을 수 있다. 이 때, 평균과 공분산 값을 가진 행렬인 θi와 중요도 P(ωi) 값을 이용해 두 개의 분포를 가진 그래프를 얻을 수 있다. Fig 4는 두 개의 가우시안 분포를 가진 가우시안 혼합 모델 그래프 예다.

Fig. 4. create a gaussian mixture model with a proper number of data distribution

데이터 모델 생성 시 분포의 개수는 임의로 지정이 가능하다. 단, 데이터 분포에 맞는 분포 개수 여부는 여러 개의 분포를 형성한 후, 원래의 데이터를 적용한 차이가 가장 낮은 모델을 선택 가능하다(Fig 4의 경우 두 개의 가우시안 분포를 이룬다).​​​​​​

3.5 사용자 인증

사용자 인증은 통계적 추론 기법 중 하나인 가설 검정 방식을 사용한다. 분산 σ²을 알고 있을 때 크기가 n인 확률 함수의 표본 평균을 x라고 하면, 모평균 μ에 대한 하나의 100(1-a)%의 신뢰구간은 다음과 같이 구할 수 있다. 본 논문에서는 가우시안 분포의 양 끝에 위치한 5%의 데이터를 제외한 95%를 신뢰 구간으로 사용한다.

#   (5)

단일 가우시안 모델의 경우, 판단을 원하는 값이 정규 분포의 신뢰 구간 내에 위치하는지 확인해 인증 여부를 판단할 수 있다. 하나의 특징에 대한 혼합 모델은 두 개 이상의 분포가 존재할 수 있는데, 이 경우 사용자 데이터가 하나 이상의 분포 신뢰 구간에 속하면 해당 데이터를 사용자의 것으로 수용(accept) 한다.

특징 값을 여러 개 사용하는 경우 각 특징마다 각각의 가우시안 혼합 모델을 도출할 수 있다. 이 때, 전체 특징 데이터를 이용해 다차원 가우시안 모델을 만들지 않고 특징별로 하나의 혼합 모델을 사용해 독립적인 계산을 수행한다. 하나의 데이터 군집에서 추출한 각 특징에 대해 신뢰 구간 검증을 수행한 후 모든 특징 값에 대해 수용일 경우에 해당 데이터를 사용자의 것으로 판단한다.

IV. 실험 및 결과

4.1 실험 환경

4.1.1 디바이스 선정 및 수집 환경 구축

본 연구에 사용한 스마트폰은 안드로이드 운영체제가 탑재된 Nexus 5 모델이다. 스마트폰 제조사마다 가속도 센서의 종류와 감도가 조금씩 다른 관계로 하나의 기종으로 실험을 진행했다. Nexus 5의 경우 초당 약 100개 정도(10개 미만의 오차)의 가속도 센서 데이터를 수집할 수 있었다(100Hz). 실험에 사용한 데이터의 개수가 많은 관계로 처리 속도 향상과 분석의 용이성을 보장하기 위해 5초 마다 한 번씩 누적한 데이터(500×3(3축 데이터)=1500개)를 원격 데이터베이스 서버에 전송하도록 했다.

4.1.2 데이터 수집

데이터 수집은 4명을 대상으로 진행 했으며, 실험군은 각기 다른 신장과 몸무게를 가진 성인으로 3명의 남성과 1명의 여성으로 구성했다. 4명 모두 10분여간의 시간동안 계단, 오르막길, 평지와 같이 다양한 구간을 걸으며 데이터를 수집했다. 스마트폰은 바지의 앞주머니에 넣은 상태로 수집을 실시했다(자세 비고정). 실제로 분석에 사용한 데이터 개수는 5만 개로 시간으로 약 8분간 수집한 데이터를 포함한다.

4.2 실험 과정

이 실험은 10 fold 방식으로 실험을 진행했다. 사용자별 데이터의 전체 영역을 10개의 그룹으로 나누고, 9개(90%)의 데이터 영역을 이용해 기계 학습을 수행하고, 나머지 1개(10%)의 데이터로 테스트를 수행한다. 테스트 영역을 차례로 번갈아 가면서 총 10번의 실험을 수행한다. 

사용자 데이터를 분석하기에 앞서 우선 전체 데이터를 100개의 그룹으로 나눈 뒤 랜덤 순서로 100개 그룹 데이터를 섞는다. 

실험 데이터 수집 환경은 통제된 상황이 아닌 다양한 자세와 구간 동작을 포함한다. 랜덤 순서 없이 단순히 10% 데이터 영역을 테스트 데이터로 설정하게 되면 Fig 5와 같이 동일한 사용자의 데이터임에도 완전히 다른 데이터 분포 양상을 확인할 수 있다.

Fig. 5. gaussian mixture model graphs that are not re-arrange the data with random order(bold line is a model of learning data and normal line is a model of testing data)

랜덤 순서 변환과 데이터 영역을 나눈 뒤 다음과 같은 순서로 실험을 진행한다.

1) 데이터 프레임과 이동 크기를 결정한다. 본 실험에서는 3초, 5초, 7초의 데이터 프레임 크기를, 0.01초, 0.1초, 0.5초, 1초의 프레임 이동 크기를 사용했다.

2) 프레임 선택, 이동을 반복하면서 특징을 추출한 뒤 결과 값들을 하나의 데이터 군집으로 모은다.

3) 학습 데이터와 테스트 데이터를 연결한 뒤 주성분 분석을 통해 특징 값들의 상관성 제거 및 분석 대상 차원 개수를 결정한다.

4) 학습 데이터와 테스트 데이터를 다시 분리한 후 학습 데이터의 각 특징별로 가장 낮은 에러율을 보장하는 최적의 분포 개수 결정(p) 한다.

5) 분석 대상 차원 개수(d)와 분포 개수(p) 정보를 이용해 각 특징 벡터별 가우시안 혼합 모델 생성 (만약 d가 3일 경우 min, max, mean 3개의 특징만 모델 생성)한다.

6) 5)에서 만든 특징 벡터별 가우시안 모델에 테스트 데이터를 대입해 신뢰 구간 내에 존재하는 지 확인한다. 이 때 얻은 결과 값이 0.25~97.25% 사이일 경우 모델과 테스트 데이터가 일치하다고 판단하며, 특정 데이터가 여러 분포 중 하나에만 속하더라도 해당 값의 결과를 1로 처리한다.

7) 하나의 데이터 군집에서 추출한 특징 값의 신뢰구간 판단 결과가 모두 1일 때 해당 데이터 군을 사용자 데이터라고 판단한다. 마지막으로, 전체 데이터 중 사용자의 것으로 판단된 데이터의 개수의 비율을 인증 정확도로 간주한다.

4.3 실험 결과

사용자별로 테스트 영역을 옮겨가면서 10번씩 실험한 데이터의 평균값을 구했다. 그 결과, 아래 표와 같이 동일한 데이터 프레임 크기(fs)와 프레임 이동 크기(ms) 조건 하에서 사용자별 인증 정확도 평균값을 하나씩 얻을 수 있다. 

위 표에서 볼 수 있는 결과값은 모두 100분율 값으로, 사용자 인증의 정확도를 의미한다. 즉, 결과값이 100에 가까울수록 사용자 인식률이 높다는 의미를 가진다. 

사용자별로 상위 3개의 정확도와 fs-ms 조합별 평균값 상위 3개를 음영 처리했다. 그 결과 데이터 프레임 크기가 7초(700개)일 때 정확도가 가장 높았으며, 그 중에서도 프레임 이동 단위를 0.5초(50개)로 지정했을 경우가 95.64%로 가장 높은 인식률을 보였다.

Table 1. experiment results matrix

fs: data frame size, ms: moving size(s)

앞서 사용자 데이터에 다양한 동작이 담겨져 있을 때 실험 전에 전체 데이터를 섞지 않으면 정확도가 떨어질 수 있음을 설명했다. 하지만 실제 시스템에서 사용자 인증 시 랜덤으로 인한 시스템 성능 및 인식률이 달라질 수 있다. 

추가적으로 가장 높은 정확도를 보였던 데이터 프레임 및 이동 크기 조합을 이용해 데이터 랜덤 순서 없이 동일한 분석을 수행해 봤다. 그 결과 0.64%의 성능 저하를 확인할 수 있었다. 이 추가 실험을 통해 최적의 데이터 프레임 및 이동 크기 조합을 사용하면 데이터를 랜덤 순서로 재조합하지 않더라도 높은 정확도를 보장할 수 있음을 증명할 수 있다.

Table 2. result of data with random order(up) and not-random order(down)

V. 결론 및 향후 연구

본 연구에서는 스마트폰의 가속도 센서를 이용해 사용자를 인증하는 방법을 제안했다. 지금까지 별도의 센서를 이용하거나 많은 통제 조건 하에서 사용자를 식별하려는 시도는 수차례 있었다. 본 논문에서는 통제 요인을 최소화 한 상태에서 짧은 시간 동안의 사용자 데이터 수집만으로 사용자의 신원을 인증해낼 수 있음을 증명했다. 또한, 3축 데이터를 모두 사용하지 않고 x축 성분이 포함된 y축 가속도 데이터만 이용해 높은 정확도를 얻을 수 있었다. 사람마다 걸을 때 앞뒤좌우으로 흔들리는 패턴도 다르지만 땅을 딛는 힘과 속도 또한 다양하다. 따라서, 본 논문의 실험에서 사용하지 않은 z축 데이터도 함께 실험에 사용하면 더 높은 정확도를 얻을 수 있을 것이다.

하지만 본 논문에서 제안하는 방법을 이용해 실시간 사용자 인증을 수행할 수 있는지는 아직 증명하지 못했다. 또한, 전체 데이터 크기가 작은 상황에서 정확도가 달라지는 정도도 확인하지 못했다. 이러한 제한 조건들을 개선하고 증명할 수 있다면 가속도 데이터를 이용한 인증이 생체 인식의 새로운 트렌드를 가져다 줄 것이라 생각한다.