The analysis of data structure to digital forensic of dashboard camera

차량용 블랙박스 포렌식을 위한 분석 절차 및 저장 구조 분석

Abstract

Dashboard camera is important system to store the variable data that not only video but also non-visual information that state of vehicle such as accelerometer, speed, direction. Non-visual information include variable data that can't visualization, so it used important evidence to figure out the situation in accident. It could be missed to non-visual information what can be prove the case in the just digital video forensic procedure. In this paper, We proposal the digital forensic analysis procedure for dashboard camera to all data in dashboard camera extract and analysis data for investigating traffic accident case. And I analyze to some products in with this digital forensic analysis procedure.

차량용 블랙박스는 실시간으로 차량의 상태를 기록하는 중요한 데이터 처리 장치로 영상뿐만 아니라 충격량, 속도, 방향과 같은 비영상정보를 함께 저장한다. 비영상정보는 시각적으로 확인할 수 없는 다양한 정보를 담고 있어 차량의 사고 당시 환경과 차량의 상태를 파악하는데 중요한 근거로 활용된다. 그러나 영상정보 만을 다루는 일반적인 디지털 영상장치 포렌식 절차를 이용해 차량용 블랙박스 데이터를 분석을 진행하면 사건해결에 중요한 비영상정보를 활용할 수 없다. 본 논문에서 차량용 블랙박스의 모든 데이터를 추출하고 해석하여 사고 조사 환경에 활용할 수 있는 차량용 블랙박스의 디지털 포렌식 분석 절차를 제안한다. 또한 국내 시판중인 차량용 블랙박스를 선정하여 제시한 분석 절차를 이용하여 분석하였다.

I. 서론

차량용 블랙박스는 차량의 전면유리나 대시보드에 설치되어 차량 주변의 영상과 차량에 관련된 각종데이터를 지속적으로 기록하는 장치이다. 조사에 따르면 2012년 120만대였던 차량용 블랙박스 시장 규모는 2014년에는 300만대로 증가하였으며, 차량용 블랙박스 데이터를 사고 규명에 사용한 경험이 있는 사용자도 지속적으로 증가하고 있다. 또한, 차량용 블랙박스를 사용하고 있지 않은 차량 소유자중 설치 의사가 있는 응답자도 80%가 넘는다[4].

차량용 블랙박스는 항시 데이터를 저장한다. 차량용 블랙박스는 영상과 함께 녹화 시간, 충격량, GPS 정보와 같은 비영상정보를 함께 저장하는데, 이렇게 확보한 데이터는 사고의 원인 규명하고 과실 비중을 판단하는 중요한 근거가 된다.

이처럼 사고 규명에 결정적인 역할을 하는 차량용 블랙박스이지만 많은 이유로 저장된 모든 데이터를 사고 조사에 활용하지 못하는 경우가 발생한다. 데이터가 삭제되거나 여러 가지 이유로 정상적인 저장 작업을 완료하지 못해 전용 플레이어로 내용을 확인할 수 없는 경우이다. 제조사의 기술 지원 중단으로 전용 플레이어를 확보할 할 수 없어 비영상정보를 확인할 수 없는 상황도 발생할 수 있다.

현재 정상적으로 접근할 수 없는 차량용 블랙박스 데이터의 포렌식 분석 절차는 영상 정보 복구 관점의 분석 절차에 초점이 맞추어져 있다. 하지만 영상 정보 복구 관점의 포렌식 절차는 사고 당시 상황을 더욱 명확하게 규명하는데 중요한 근거가 되는 비영상 정보를 처리할 수 없는 단점이 있다.

본 논문에서는 포렌식 관점에서 차량용 블랙박스 데이터의 영상정보만을 처리하는 분석 절차의 한계점을 밝히고 영상정보와 비영상정보를 함께 사고 조사에 활용할 수 있도록 분석하는 절차를 제안하였다. 또한 제안한 분석 절차에 따라 실제 차량용 블랙박스 제품이 저장한 영상 및 비영상정보의 저장 구조를 분석하였다.

II. 관련 기술 및 연구

2.1 차량용 블랙박스

차량용 블랙박스는 항공기에서 사용되던 항법 기록장치인 블랙박스와 유사한 역할을 한다. 차량 내부에 설치하여 교통사고 상황을 녹화하는 영상장치의 일종이며 내장, 혹은 외부로 연결한 센서 및 모듈을 통해 수집한 다양한 데이터를 저장한다.

카메라를 통해 촬영된 영상은 영상 코덱의 일종인 H.264를 통해 인코딩되어 저장된다[2]. H.264는 사용 목적과 환경에 따라 적용되는 기술을 ‘프로파일’이라는 기준으로, 재생에 필요한 자원을 ‘레벨’이라는 기준으로 분류한다. ‘프로파일’과 ‘레벨’은 NAL 중 SPS와 PPS에 포함되어 있다. 영상정보는 IDR Picture와 Non-IDR Picture로 나누어진다. IDR Picture는 온전한 이미지를 저장하고 있으므로 그 자체만으로 복호화가 가능하다. 하지만 Non-IDR Picture는 기준이 되는 IDR Picture와의 차이점만을 기록한다. Non-IDR Picture를 복호화 하기 위해서는 IDR Picture와 함께 복호화 진행해야 한다. 일반적으로 하나의 IDR Picture와 다수의 Non-IDR Picture로 저장되는 GOP(Group of Picture) 단위로 저장된다.

차량용 블랙박스에는 충격량 센서가 내장되어 있다. 충격량 센서는 X, Y, Z 3축의 가감속을 감지하는 센서로 수치의 급격한 변화를 통해 교통사고를 인식하는 역할을 한다. 교통사고로 인식된 경우 녹화 상태를 상시녹화 상태에서 이벤트 녹화 상태로 전환한다.

GPS는 지리적 위치를 파악하기 위해 사용한다. 제품에 따라 GPS 수신기를 내장하고 있거나 별도로 연결해야 하지만, 대부분의 차량용 블랙박스는 기본적으로 GPS 신호를 처리할 수 있다. GPS에는 시간, 위도와 경도, 고도, 속도 등 다양한 정보가 포함된다.

차량용 블랙박스가 저장한 데이터는 해당 제품을 위해 제작된 전용 플레이어를 이용해 확인할 수 있다.

2.2 관련 연구

수집한 GPS 데이터를 분석하여 해당 차량의 이동을 시뮬레이션으로 재현할 수 있다[1]. GPS는 지리적 위치와 시간 정보를 포함하기 때문에 대상의 위치를 파악하거나 동선을 확인하고, 이동 속도를 파악할 수 있는 유용한 데이터이다.

디지털 영상데이터를 복구하거나 개선하기 위한 연구는 다양한 방면으로 진행되었다. 단편화 되어 저장된 영상 데이터를 식별하고 재구성하여 정상적인 이미지를 획득하는 연구가 진행되었다.[3] 이 방법을 이용하면 파일 시스템 상에서 삭제되어 단편화된 영상 데이터를 수집할 수 없는 경우에도 영상을 복구할 수 있다. 차량용 블랙박스의 영상은 렌즈에 의한 왜곡이 발생하는데, 감마값을 조정하는 방법을 통해 영상 왜곡을 보정하는 연구와 갑작스런 저조도 환경에 의해 육안으로 식별이 어려운 영상을 개선하는 연구도 진행되었다[5][6].

이처럼 디지털 영상을 복원하고 개선하는 연구는 많이 이루어져 차량용 블랙박스의 영상 분석에 활용되고 있다. 하지만 차량용 블랙박스의 비영상정보를 복구해 사고조사에 적합한 형태로 해석하는 방안은 연구된 바 없다.

III. 차량용 블랙박스 포렌식을 위한 분석 절차 제안

차량용 블랙박스의 데이터를 분석하는 일반적인 방법은 제조사에서 제공하는 전용 플레이어를 이용해 데이터를 재생하는 방법이다. 전용 플레이어를 이용하여 재생하면 일반 영상 플레이어로 확인할 수 없는 다양한 비영상정보를 확인할 수 있다. 하지만 전용 플레이어를 활용한 분석 방법은 제조사의 지원에 의존하므로 제조사가 부도나거나 그밖에 다른 이유로 지원을 기대할 수 없는 경우에는 사고 조사에 어려움을 겪을 수 있다. 또한 차량용 블랙박스 데이터 일부에 훼손이 발생할 경우 정상적인 부분의 데이터도 재생할 수 없는 상황이 생길 수 있다.

이상적인 차량용 블랙박스 분석환경은 전용 플레이어 유무와 관계없이 특정 시간대 영상을 확인하고 이와 관련된 비영상정보를 함께 확인할 수 있는 환경이다. 바이너리 데이터를 직접 해석하고 그 의미를 표시함으로써 영상복구 위주로 진행되는 분석환경의 문제점을 해결할 수 있다. 이러한 사고 조사 환경을 구성하기 위해서는 각 제품의 영상 및 비영상정보의 저장 구조를 파악하는 절차를 통해 데이터를 추출하고 해석해야 한다. 또한 제품별 저장 구조를 체계적으로 축적하여 재분석 시 활용할 수 있어야 한다.

3.1 영상만을 분석하는 차량용 블랙박스 포렌식 분석 절차의 한계

차량용 블랙박스를 일반적인 영상 처리 장치로 취급하여 데이터를 분석할 경우 많은 데이터를 놓치거나 잘못된 데이터 해석을 할 수 있다. 차량용 블랙박스에서 많이 사용하는 영상 코덱은 H.264로 NAL 헤더의 Syncword¹⁾를 기준으로 시그니처 기반의 복구 및 해석을 통해 영상을 추출할 수 있다. 이러한 영상 복구 방법에는 크게 두 가지 문제점이 있다.

첫째, 영상이 녹화된 시점의 비영상정보를 확인할 수 없다. 시그니처 기반의 복구 방법은 파일 시스템이나 파일 구조와 상관없이 수집할 수 있는 장점이 있는 반면, 저장 구조를 파악하지 못했기 때문에 다른 데이터와의 연관성을 만들기 어렵다. 독립적으로 영상 데이터와 충격량 데이터를 수집하더라도 서로의 연관관계를 맺을 수 없는 경우에는 해당 데이터를 사고조사에 활용할 수 없기 때문이다.

둘째, 영상에 표시된 값이 실제 데이터와 오차가 있을 수 있다. 가장 대표적인 예는 시간 관련 데이터이다. 많은 차량용 블랙박스가 영상에 일부 비영상정보를 함께 기록하는데, 보통 촬영 시간이나 충격량값, 속도를 표시한다. 하지만 이러한 데이터가 모두 올바르게 표시되는 것은 아니다. 대표적인 예로 시간 정보가 잘못 표시되어 있을 수 있다. 차량용 블랙박스는 설정을 통해 시스템의 시간을 설정할 수 있는데, 시간을 설정하고 나면 촬영된 영상에는 설정된 시간을 기준으로 시간 정보가 남게 된다. 따라서 차량용 블랙박스의 시간을 올바르지 못한 시간으로 설정할 경우, 잘못된 시간 정보를 기준으로 분석하게 되는 것이다. 하지만 차량용 블랙박스에 저장되는 GPS 신호에는 UTC 기준의 타임스탬프가 저장되어 있다. GPS 신호는 위성에서 수신한 것으로 시스템의 시간설정에 영향을 받지 않기 때문에 보다 더 정확한 시간을 파악할 수 있다.

이처럼 시그니처 기반의 차량용 블랙박스 분석은 기존의 영상 시스템을 분석할 때는 적합하지만 차량용 블랙박스의 모든 데이터를 분석하고 해석하기에는 한계가 있다.

3.2 비영상정보를 포함한 차량용 블랙박스 포렌식 분석 절차

차량용 블랙박스 데이터에 포함된 모든 데이터를 분석에 활용하기 위해 분석 대상의 데이터 저장 구조를 분석해야 한다. 데이터 저장 구조를 분석함으로써 영상정보와 비영상정보를 추출해 낼 수 있으며 촬영된 영상과 그 시점에 저장된 관련 비영상정보를 관련지을 수 있다.

하지만 제품들은 각기 다른 저장 구조를 사용한다. 현재 출시된 대부분의 차량용 블랙박스가 FAT32 파일 시스템, 알려진 영상 컨테이너를 이용하여 영상정보를 저장하는데, 이 경우 영상정보 분석은 비교적 쉽게 분석할 수 있다. 하지만 비영상정보는 데이터를 저장하는 포맷과 위치에 대해 정해진 규격이 없기 때문에 각 제품별로 비영상정보를 저장하는 방법을 분석해야 한다. 한편, 최근에는 기존의 FAT32 파일 시스템과 알려진 영상 컨테이너가 아닌 독자적인 저장 구조를 활용한 제품도 출시되었다. 따라서 차량용 블랙박스의 데이터를 분석하기 위해 비영상정보의 저장 구조뿐만 아니라 영상데이터의 저장 구조를 분석해야 한다.

Fig. 1은 차량용 블랙박스를 분석하기 위한 절차를 나타낸 순서도이다. 정상적으로 접근할 수 없는 데이터에 대해 영상 데이터 분석 절차(점선)를 이용할 때에는 영상 데이터의 저장 구조를 파악할 필요 없다. 시그니처 기반으로 영상 데이터를 수집하여 데이터를 재구성하면 원래의 영상으로 복구할 수 있기 때문이다. 하지만 비영상정보를 추출해 같은 시간에 기록된 영상과 연관 짓기 위해서는 영상정보와 비영상정보의 저장 구조를 분석하는 단계가 선행되어야 한다. 이렇게 분석된 제품별 저장 구조를 데이터베이스에 축적함으로써 재분석에 따른 자원 낭비를 방지하고 새로운 제품을 분석하는데 활용할 수 있는 자료를 확보할 수 있다. 또한 이를 기반으로 차량용 블랙박스의 데이터를 자동으로 분석해 사고조사에 도움을 주는 ‘차량용 블랙박스 자동 분석 환경’을 구성할 수 있다.

Fig. 1. Proposal procedure for analysis dashboard camera with Non-visual information

Table 1. Target devices

IV. 차량용 블랙박스의 저장 구조

차량용 블랙박스의 취급 데이터와 데이터 저장 구조를 분석하기 위해 국내에 출시된 차량용 블랙박스 1채널, 2채널 제품 중 판매율이 높은 제품 중 제조사와 제품의 특징을 고려하여 6종을 선정하였다.

4.1 파일 시스템

차량용 블랙박스는 임베디드 영상장치의 일종이다. 임베디드 제품은 특정한 역할을 수행하기 위한 최소한의 자원으로 구성된다. 파일 시스템 중 가장 적은 자원으로 동작하는 FAT32는 차량용 블랙박스에 적용된 대표적인 파일 시스템이다. 이 파일 시스템의 시간 단위는 2초이며 저널링²⁾과 같은 기능을 지원하지 않는다. 하지만 구조가 간단한 덕분에 저전력·저사양 프로세서에서도 충분히 사용할 수 있는 장점이 있다. 본 논문에서 취급하였던 국내 차량용 블랙박스는 생성된 데이터를 저장하기 위해 1종(Inavi blackgold)를 제외하고 모두 FAT32파일 시스템을 이용하였다.

Inavi사의 Blackgold는 차량용 블랙박스의 실시간 데이터 저장을 위해 독자적인 저장 구조를 이용한다. 일반적인 디지털 데이터의 저장은 저장매체의 일정 영역을 할당해 파일시스템으로 포맷한 후 데이터를 저장하는 방식으로 이루어진다. 하지만 이 제품은 저장매체의 용량과 관계없이 100MB의 영역만을 FAT32로 할당하고 나머지 영역을 미할당 영역으로 남겨둔다. 차량용 블랙박스에 의해 생성된 영상데이터와 비영상정보는 미할당 영역에 독자적인 구조를 이용하여 영상 스트림 단위로 저장한다. 데이터들이 미할당 영역에 저장되기 때문에 일반적인 접근으로는 접근할 수 없고, FAT32로 포맷된 영역에 생성되는 제조사 제공 어플리케이션을 통해서만 녹화 목록 확인, 영상을 추출이 가능하다. 이러한 저장 방식은 파일 단위로 저장하기 위해 메모리에 30초 ~ 1분의 영상을 보관한 후 AVI, MP4와 같은 영상 컨테이너를 이용하여 파일 단위로 저장하는 일반적인 차량용 블랙박스와 달리 스트림 단위로 1초마다 저장하기 때문에 실시간으로 저장 작업을 완료할 수 있다. Fig. 2.는 Blackgold의 파티션 구성과 데이터 저장 구조를 표현한 그림이다.

Fig. 2. Partition and data store structure(Inavi Blackgold)

4.2 저장 단위

차량용 블랙박스는 촬영한 영상과 비영상정보를 파일 단위로 저장한다. 영상 파일은 MP4, AVI와 같이 알려진 영상 컨테이너를 이용하기 때문에 비영상정보를 제외한 일반 영상은 특별한 플레이어 없이 일반적인 영상 플레이어로 재생이 가능하다. 후방 카메라를 연결하여 두 영상을 동시에 처리하는 2채널 차량용 블랙박스의 경우에도 한 영상 파일에 두 영상을 함께 저장한다. 이 경우에는 일반적인 영상 플레이어로는 전방영상만 재생되거나 정상적인 재생이 불가능하다. 전후방 영상을 모두 확인하기 위해서는 다채널 재생이 가능한 플레이어나 제조사에서 제공하는 전용 플레이어를 이용할 수 있고, 별도로 영상을 분리해내는 작업을 통해 별도의 영상파일을 생성함으로써 영상을 확인할 수 있다.

Inavi사의 Blackgold는 데이터를 1초단위로 저장하기 때문에 연속적인 데이터 저장 형태로 저장하기 때문에 파일 단위 저장하지 않는다. 이 제품의 데이터는 데이터 ID를 부여하고 일정 크기마다 더블 링크드 리스트³⁾로 연결하는 구조를 가지고 있다.

4.3 영상정보

차량용 블랙박스에서 사용하는 프로파일은 Base profile와 Extended profile이다. Base profile은 온전한 이미지 I-Slice로 구성된 IDR Picture 와 IDR Picture와의 차이점만 기록한 P-Slice로 구성된 Non-IDR Picture를 사용한다. Extended profile은 Base profile에 추가로 전,후 영상의 영상정보를 이용하는 B-Slice를 Non-IDR Picture에 포함한다. 차량용 블랙박스에서 확인할 수 있는 H.264의 NAL의 종류는 SPS(Profile과 Level 정보), PPS(영상 복호화에 필요한 참조 값)과 영상 스트림을 포함하는 IDR Picture(온전한 이미지), Non-IDR Picture(IDR Picture를 참조한 변화 이미지)를 발견할 수 있다. 차량용 블랙박스에 저장된 영상 스트림인 H.264의 데이터 저장 구조는 Fig. 3.과 같으며, Table 4.은 차량용 블랙박스의 영상 스트림에서 발견할 수 있는 NAL Type 값의 종류이다.

Fig. 3. The data structure of video stream (H.264) in dashboard camera

Table 2. NAL types in video stream of dashboad camera

4.4 비영상정보

차량용 블랙박스는 영상정보 외에도 다양한 센서에 의해 측정된 값을 함께 저장한다. 차량용 블랙박스의 대표적인 비영상정보인 충격량과 GPS 정보는 영상정보와 함께 영상 컨테이너 내에 저장되는데, 영상 컨테이너 별로 MP4의 경우 ‘hint’ 트랙에, AVI는 자막 청크에 저장된다. 비영상정보는 FPS(Frame per seconds)에 따라 영상 수만큼 함께 저장되는 경우가 대부분이다.

충격량 센서의 측정값을 저장 방법은 정해진 기준이 없다. 충격량 데이터의 저장 방법은 제품별로 다르다. Fig. 4.에서 보이는 것과 같이 ASCII를 이용하여 값을 저장하는 제품이 있는 반면 바이너리를 이용하는 제품도 있다. 또한 같은 ASCII 문자를 사용하는 제품이더라도 표현 방법에 차이가 있다. 해당 제품의 충격량을 해석하기 위해서는 해당 제품의 저장 방식을 파악해야 한다.

Fig. 4. GPS data structure by products

GPS 데이터는 GPS 수신 모듈을 통해 위성에서 발신한 GPS 신호를 수신하면서 저장된다. GPS 데이터는 정해진 메시지 포맷으로 저장되기 때문에 대부분의 GPS 데이터는 해당 포맷에 따라 값을 해석할 수 있다. 하지만 일부 제품은 GPS 신호를 자체적인 구조로 변환하여 저장한다. Fig. 5.는 GPS 신호를 서로 다른 포맷으로 저장한 제품의 예이다.

Fig. 5. G-Sensor data structure by products

Inavi사의 Blackgold은 다른 제품들 보다 더 다양한 비영상정보를 취급한다. 본 논문에서는 다루지 않았지만 이 제품은 기존의 비영상정보인 충격량 정보와 GPS 신호뿐만 아니라 방향지시등, 가속·감속 페달의 사용 여부, 변속기의 상태, RPM 수치와 같이 기존의 차량용 블랙박스에서 취급하지 않았던 새로운 비영상정보들을 저장한다. 이 정보들은 사고 순간에 운전자의 행위를 규명할 수 있는 데이터로 속도와 충격량만을 취급하던 기존의 차량용 블랙박스보다 더 다양한 상황을 규명할 수 있다. 이처럼 앞으로 차량용 블랙박스는 사고 상황을 자세히 기록하기 위해 지금보다 더 다양한 비영상정보를 저장하는 방향으로 진화할 것이기 때문에 사고 조사에 활용하기 위해서는 각 데이터를 해석할 수 있어야 한다.

4.5 데이터 관련성

위 절차를 통해 파악된 영상정보와 비영상정보의 데이터 저장 구조를 이용하면 시간대 별로 생성된 데이터를 구분할 수 있다. 데이터를 시간대 별로 나열함으로써 사고 조사자는 재생되고 있는 영상의 시점에 발생한 비영상정보를 확인할 수 있다. Fig. 6.는 비영상정보의 저장 위치에 따라 관련된 영상정보를 표현하는 방식을 나타낸 그림이다.

Fig. 6. Relation of Visual and Non-visual information

모든 비영상정보를 한 영역에 저장하는 경우, 비영상정보에는 관련된 영상 정보를 나타내는 정보가 포함되어 있다. 즉, 영상정보와 일치하는 시간 데이터 또는 저장 위치를 나타내는 오프셋 값이 존재하는데, 이를 이용하면 관련 영상 데이터를 식별할 수 있다. 또 다른 유형은 영상 데이터의 헤더에 포함되거나 영상 스트림 뒤에 저장하는 경우이다. 이 경우 영상정보와 비영상정보가 지리적으로 인접한 곳에 저장되어 있어 물리적인 저장 위치와 저장 순서를 이용하여 연관 관계를 파악할 수 있다.

V. 결론

본 논문에서는 차량용 블랙박스에 저장된 비영상정보를 영상정보와 함께 사고 조사에 함께 활용하기 위한 분석 방안을 제시하였다. 비영상정보를 사고조사에 활용하기 위해서는 영상정보와 비영상정보의 저장 구조와 형태를 분석해야 한다. 영상정보와 비영상정보의 저장 위치 및 형태의 연관성을 파악함으로써 두 정보를 사고 조사에 함께 활용할 수 있다. 실제로 어떤 유형의 저장 구조가 사용되는지 확인하기 위해 시판중인 차량용 블랙박스 제품을 분석하여 영상, 비영상정보의 저장구조를 분석하였다. 각 제품은 동일한 정보를 저장할 때에도 독자적인 저장 구조를 사용하였으며 일부 제품은 볼륨레벨의 독자적인 저장 구조를 사용하는 것을 확인하였다. 앞으로는 차량용 블랙박스의 목적에 맞춰 개발된 새로운 저장 구조를 분석해야 할 것임을 알 수 있다.

향후 연구 계획으로 차량용 블랙박스의 저장 구조를 활용한 ‘차량용 블랙박스 통합 분석 환경’을 구현할 것이다. 차량용 블랙박스의 저장 구조 축적을 위한 데이터베이스를 구축할 것이다. 더불어 이를 바탕으로 분석 대상 데이터를 자동으로 분석하여 각 시간대별 영상과 비영상정보를 함께 표시하는 도구를 개발할 예정이다.