Frame Rearrangement Method by Time Information Remarked on Recovered Image

복원된 영상에 표기된 시간 정보에 의한 프레임 재정렬 기법

Abstract

To analyze the crime scene, the role of digital evidence such as CCTV and black box is very important. Such digital evidence is often damaged due to device defects or intentional deletion. In this case, the deleted video can be restored by well-known techniques like the frame-based recovery method. Especially, the data such as the video can be generally fragmented and saved in the case of the memory used almost fully. If the fragmented video were recovered in units of images, the sequence of the recovered images may not be continuous. In this paper, we proposed a new video restoration method to match the sequence of recovered images. First, the images are recovered through a frame-based recovery technique. Then, after analyzing the time information marked on the images, the time information was extracted and recognized via optical character recognition (OCR). Finally, the recovered images are rearranged based on the time information obtained by OCR. For performance evaluation, we evaluate the recovery rate of our proposed video restoration method. As a result, it was shown that the recovery rate for the fragmented video was recovered from a minimum of about 47% to a maximum of 98%.

1. 서론

과학수사에서 차량용 블랙박스나 CCTV의 동영상은 범죄에 대한 사건을 입증할 중요한 증거물로 활용된다.차량용 블랙박스나 CCTV장치는 제한된 메모리에 용량이 큰 동영상 파일을 기록하기 때문에, 저장 장치 용량에 따라 특정 시점 혹은 메모리에 기록된 일정 용량을 넘기면 자동으로 덮어쓰도록 설계되어 있다.물리적 충격, 혹은 화재로 인한 파손 등으로 저장매체가 다양한 물리적인 손상을 받아 동영상이 메모리에 불완전하게 저장되어 재생이 불가능한 경우도 발생하며, 사건 관련자가 사건은폐를 위해 임의로 저장된 동영상을 지우기도 한다.이때 동영상저장 장치에서 불완전하게 저장된 동영상 파일을 복원하는 것은 하나의 사건을 해결할 수 있는 중요한 증거물로써 활용할 수 있기 때문에 동영상의 복원에 대한 연구는 활발하게 이루어지고 있다[1].

최근까지 연구된 동영상 복원 기법들로는 파일 시스템 기반 복원 기법[2], 파일 카빙 기법[3,4]및 동영상 프레임 기반 복원 기법[5,6]등이 있다. 파일시스템 기반 복원 기법[2]은 파일의 이름, 크기, 위치, 시간에 대한 정보들이 기록되어 있는 메타정보를 활용하여 파일을 복원하는 기법이다.이 기법은 디렉터리엔트리나 MFT(MasterFileTable)엔트리가 덮여 쓰이지 않았다면 복원이 가능하지만 해당 엔트리 정보가 손상되거나 데이터영역의 데이터가 덮어 써지게 된다면 복원이 불가능하다는 문제점이 존재한다.

또 다른 복원 기법으로 파일 카빙 기법(FileCarv- ing)[3,4]이 있다.파일 카빙은 저장매체의 처음부터 끝까지 차례대로 읽으면서 파일이 갖고 있는 고유한 헤더(Header)와 푸터(Footer)시그니처를 확인하여 파일 하나하나를 복원하는 기법이다. 하지만 파일 시그니처 복원 기법은 파일 단위로 복원하기 때문에 파일의 데이터가 일부 덮어 써지거나 존재하지 않는다면 파일복원이 불가능한 문제점이 있었다.

이러한 문제점을 해결하기 위해서, 파일 전체 복원이 아닌 동영상에서 가장 작은 단위인 프레임을 복원하는 기법이 연구되고 있다.일반적으로 동영상을 인코딩할 때, 독립적으로 디코딩이 가능한 인트라 (intra)프레임과 인접 인트라 프레임의 차이를 나타내는 인터(inter)프레임에 대한 특정 시그니처를 분석하여 각각의 프레임을 한 장씩 복원하여 동영상을 복원하는 기법이 영상 프레임 복원 기법[5,6]이다. 특히, 최근 연구된 시간 정보를 활용한 영상 프레임 복원 기법[6]은 프레임과 프레임 사이에 시간 정보를 기록하는 특정 장치에 대해 프레임 헤더 앞부분에 Hex값으로 기록된 시간 정보를 기반으로 동영상을 복원한다.그러나 시간 정보를 활용한 영상 프레임 복원 기법은 시간 정보가 Hex값으로 존재하지 않을 경우 활용할 수 없다.

본 논문에서는 차량용 블랙박스 동영상 프레임에는 시간 정보를 프레임 상단부나 하단부에 표기 한다는 점을 이용한다.이렇게 프레임에 표기된 시간 정보를 광학적 문자 인식(OpticalCharacterRecogni- tion, OCR)을 통해 인식한다.그리고 이렇게 인식된 시간 정보를 통해 프레임들을 재정렬하여 동영상을 복원하는 기법을 제안한다.

본 논문에서는 차량용 블랙박스 동영상 프레임에는 시간 정보를 프레임 상단부나 하단부에 표기한다는 점을 이용한다.이렇게 프레임에 표기된 시간 정보를 광학적 문자 인식(OpticalCharacterRecognition, OCR)을 통해 인식한다.그리고 이렇게 인식된 시간 정보를 통해 프레임들을 재정렬하여 동영상을 복원하는 기법을 제안한다.

2. 기존 프레임 기반 동영상 복원 방법

일반적으로 동영상의 초당 프레임(Frames Per Second, FPS)은 Fig. 1과 같이 키 프레임(Key Frame)인 인트라 프레임과 인터 프레임으로 구성된다. 인트라 프레임은 재생, 편집이 가능한 프레임으로 해당 시간대 프레임의 정보를 모두 가지고 있는 프레임이고, 인터 프레임은 앞의 프레임과 차이가 나는 부분만 표현하는 프레임이다.이때 인터 프레임의 범위는 참조하고 있는 인트라 프레임부터 다음 FPS 의 인트라 프레임 전까지 인터 프레임의 시그니처를 갖고 있는 모든 인터 프레임들의 집합이다.이때 앞에 기준이 되는 인트라 프레임의 정보를 참 고하 여인 터 프레임을 디코딩 할 수 있다.이 방식은 대용량의 동영상을 압축하여 저장하는 가장 효율적인 방법으로써 사용되고 있다[7,8].하지만 인트라 프레임이 손상되면 해당 인트라를 참조하는 모든 인터 프레임은 복원할 수 없는 문제점이 있다.이런 방식으로 동영상 프레임을 압축하는 코덱들은 동영상의 구성 정보(Header Information)와 인트라, 인터 프레임에 대한 시그니처를 표기하여 저장한다.이 시그니처 정보는 코덱 별로 각기 다른 형태를 갖고 있다.이때 코덱별로 시그니처 정보를 분석하여 프레임 데이터 영역을 추출하여 동영상을 구성하는 가장 작은 단위인 프레임을 단일 이미지로 복원하고 해당 프레임 이미지들을 동영상으로 만들 수 있다[5,6].

Fig. 1. The configuration of the videos frames.

Fig.2는 기존 시간 정보를 활용한 프레인 기반 동영상 복원 기법의 개념도이다.그림에서 보는 바와 같이 먼저 저장매체에서 비할당영역을 확인하고 추출한다. 그리고 인트라 프레임에 대한 시그니처를 찾고(SearchFrameSignature) 해당 인트라 프레임의 위치(Offset)와 크기(Length)정보를 통해 인트라 프레임 데이터를 추출하고, 해당 정보들을 프레임 정보 파일에 기록한다.그리고 인트라 프레임 앞에 Hex 값으로 저장된 시간 정보도 추출한다.이렇게 추출된 인트라 프레임들은 실제 동영상의 인트라 프레임인지 검증(VerifiedFrames)한 뒤 검증된 프레임에 대하여 프레임 정보 파일을 업데이트한다.검증된 인트라 프레임 데이터는 디코딩을 통해 이미지 형태로 변환한다.이렇게 복원된 인트라 프레임 군집들의 프레임은 시간 순서에 맞게 정렬되어 있다.하지만 각각의 군집들의 시간 순서는 섞여 있는 경우가 있고, 모든 프레임들이 시간 순서에 맞지 않게 되어있는 경우가 있다.그렇기 때문에 프레임들은 재정렬이 필요한데, 이때 인트라 프레임과 함께 추출한 시간 정보를 활용하여 인트라 프레임을 시간 순서대로 재정렬하고, 프레임 정보파일도 마찬가지로 재정렬한다. 이때 인터 프레임 복원은 인트라 프레임 검증과 시간 순서대로 재정렬된 프레임 정보 파일을 통해 인트라 프레임과 인터 프레임의 범위를 확인하여 하나의 FPS를 구성하는 프레임 데이터를 추출한다. 이렇게추출된 프레임 데이터를 이미지로 변환하고 변환된 이미지들을 동영상으로 구성하여 복원한다.그러나, 최근 생산된 블랙박스나 CCTV에서 인트라 프레임 사이에 별도의 시간 정보를 삽입하지 않는 경우가 많기 때문에, 시간 정보에 해당하는 Hex값이 인트라 프레임 사이에 존재하지 않는다면, 복원된 이미지에 대한 시퀀스를 재구성하는 것은 매우 어렵고 비용이 많이 소모된다.

Fig. 2. Processing step of the conventional frame signature based video restoration technique.

3. 제안한 OCR을 통한 시간 정보를 활용한 프레임 기반 동영상 복원 기법

본 논문에서는 메모리 비할당영역에서 인트라 프레임의 시간 정보에 해당하는 Hex값이 존재하지 않을 때 복원된 동영상 인트라 프레임 상에 표기되어있는 시간 정보를 광학적 문자 인식(OpticalCharac- terRecognition, OCR)을 통해 인식한 후 인트라 프레임을 시간 순서대로 정렬하여 동영상으로 복원하는 기법을 제안한다. Fig.3은 논문에서 제안하는 기법에 대한 전체적인 흐름을 나타낸다.제안한 기법은 Fig.2에서 설명한 기존 프레임 기반 동영상 복원 기법 단계에서 인트라 프레임을 추출하고 검증하는 과정까지는 동일한 방식으로 진행된다.이때 검증이 끝난 인트라 프레임들은 디코딩을 통해 이미지 형태로 변환하는데 이렇게 변환된 모든 이미지에는 동일한 위치에 시간 정보가 표기되어 있다.Fig.3의 점선 박스와 같이 시간 정보 영역을 추출하여 OCR을 통해 시간 정보를 인식한다.이렇게 인식된 시간 정보를 바탕으로 인트라 프레임과 프레임 정보 파일의 데이터를 시간 순서대로 정렬한다.이렇게 정렬된 프레임 정보 파일을 통해 하나의 FPS를 구성하는 인트라 프레임과 인터 프레임 데이터를 이미지 형태로 복원한다. 이렇게 복원된 이미지들을 동영상으로 변환하여 시간 순서대로 재생되는 동영상으로 복원한다.

Fig. 3. Processing of proposed method.

Fig.4는 인트라 프레임의 시간 정보를 OCR을 통해 인식하여 재정렬하는 자세한 과정을 보여준다. 먼저, 비할당영역에서 인트라 프레임을 추출 및 검증한다. 이렇게 검증된 프레임(VerifiedFrames)들은 Fig. 4의 #2F₁Framedecodingimage와 같이 디코딩을 통해 이미지 형태로 변환한다.이렇게 디코딩된 인트라 프레임 이미지의 하단부분에는 시간 정보가 표기되어 있는 것을 확인할 수 있다.이때 차량용 블랙박스의 동영상에 표기되는 시간 정보는 모두 동일한 위치에 존재하기 때문에 해당 영역을 사용자가 지정하여 OCR의 입력으로 사용한다.이렇게 시간 정보영역만 잘라서 OCR의 입력으로 넣는 이유는 차량이 움직이면서 촬영한 영상에는 다양한 문자들이 포함되어 시간 정보가 아닌 다른 문자들도 존재하기 때문에 OCR이 다른 문자들도 인식하여 시간 정보를 판단하는데 어려움이 있다. 또한 잘라낸 이미지를 OCR의 입력으로 사용하면 전체 이미지에 대해 문자를 인식하는 속도보다 더 빠르게 인식하기 때문이다. 이렇게 시간 정보 영역을 지정해 주고 해당 영역의 시간 정보를 OCR을 통해 인식하고, 이렇게 인식된 시간 정보는 인트라 프레임과 프레임 정보 파일의 데이터를 재정렬하는데 사용한다.

Fig. 4. OCR Processing of proposed method.

4. 실험

4.1 실험환경

본 논문에서 제안하고 있는 기법에 적용된 OCR의 성능 측정을 위해, Table1에서 보는 바와 같이 차량용 블랙박스 모델로 촬영된 영상에서 총 1, 500장의 프레임을 추출하여 사용한다.이때 추출한 프레임들의 시간 정보와 OCR을 통해 인식한 시간 정보 간의 비교를 통해 OCR의 시간 정보 인식 성능을 평가한다. 그리고 추출된 프레임의 시간 순서를 섞은 후에 OCR이 인식한 시간 정보를 통해 재정렬 실험을 한다.

Table 1. Blackbox information used in the experiment.

실험에 사용된 이미지는 시간 정보를 표기하는 방식, 문자 크기, 문자 폰트, 배경의 유무 등이 다른 이미지를 사용했고, Fig. 5는 실험에 사용된 3가지 Type에 대한 시간 정보 표기 방법을 보여준다.Fig. 5(a)는 검은색 배경에 흰색 문자로 시간 정보를 표기하여 블랙박스가 촬영되고 있는 영상과 분리되어 있는 Type의 영상이고, Fig.5(b)와 Fig.5(c)는 시간 정보가 촬영되고 있는 영상과 겹쳐져서 표기되는 Type의 영상이다.이때 Fig.5(b)의 경우 낮에 촬영된 영상이고 Fig. 5(c)는 밤에 촬영된 영상이다.

Fig. 5. The image types used to evaluate OCR performance. (a) Type-1, (b) Type-2, and (c) Type-3 time information.

본 논문에서 제안한 동영상 복원에 적용된 OCR 엔진은 각각 CRNN 기반 OCR, EasyOCR 및 Te- sseractOCR을 사용하여 시간 정보를 추출하였다. 본논문에서 사용한 파라미터 조합은 다음과 같다 CRNN[10]의 경우 VGG16-LSTM의 조합으로 이루어진 네트워크 모델을 사용하였고, EasyOCR[11]의 경우 CRAFT-ResNet-LSTM으로 구성된 네트워크와 영어(en)의 문자집합으로 학습된 모델을 사용했다. 그리고 Tesseract[12]는 단일 블록 문장 인식 (psm-6)과 레거시 엔진과 LSTM기반 엔진(Legacy +LSTMengines)이 결합된 엔진(oem-3)을 사용하여 시간 정보를 인식했다.또한 3가지 OCR모두 특정 문자만 인식하게 하는 문자 리스트를 ‘123456789.:/-’ 로 설정하여 시간 정보를 표현하는 문자에 대해서만 인식하여 출력하게 설정하여 실험했다.

4.2 성능 평가

본 논문에서 제안한 동영상 복원 기법의 성능 평가는 OCR의 시간 정보 예측 정확도(Time Infor- mationPredictionAccuracy)를 통해 확인했다. 시간예측 정확도는 전체 실험 데이터(T_tc: Time total count)에 대해서 원래 시간 정보(T_o:Orignal time)와 해당 이미지를 OCR을 통해 예측된 시간(P_s:Predictiontime)과 일치 여부를 통해 구해진다.시간 정보예측 정확도를 구하는 수식은 다음과 같다.

\(A c c_{(T)}=\frac{\sum_{i=0}^{T_{t_{t}}}\left[\left(T_{o}[i] \equiv P_{s}[i]\right) ? 1: 0\right]}{S_{t c}} \times 100\)       (1)

위의 수식과 같이 시간 예측 정확도는 프레임에 표기된 시간 정보의 모든 문자를 완벽하게 인식하는 경우의 확률을 보여준다.그렇기 때문에 프레임에 표기된 시간 정보를 정확하게 인식하여 프레임 정렬에 성공한 정도, 즉 동영상 프레임 시퀀스의 복원율과 동일하기 때문에 제안한 기법의 성능을 평가하는 수치로 사용했다.

Table2는 본 논문에서 사용하고 있는 OCR들의 Type에 따른 시간 정보에 문자인식을 통해 영상 이재 정렬되어 생성된 동영상의 복원율을 보여준다. Type-1의 경우 시간 정보를 표기하는 문자와 배경이 분리되어 있어 시간 정보가 표기된 부분에 노이즈가 거의 없다.이런 특징 때문에 3종류의 OCR은 평균 93.2%의 높은 성능을 확인했다.Type-2의 경우 문자와 배경이 분리되어 있지 않고, 낮에 촬영된 영상으로 시간 정보가 많은 노이즈에 노출되어 있다. 그렇기 때문에 굉장히 낮은 평균 19.2%의 성능을 확인했다. Type-3의 경우 문자가 배경과 분리되어 있지 않지만 밤에 촬영된 영상으로 Type-1과 비슷한 환경을 갖는 프레임이 많았고, 다양한 불빛에 의한 노이즈가 발생하는 것을 확인했다.이러한 특징으로 평균 73.7%의 성능을 확인했다.전체적으로 CRNN 과 Tesseract의 성능이 EasyOCR보다 높은 것을 확인했다.

Table 2. Frame alignment performance by the recognized time information.

Fig.6은 실제 차량용 블랙박스로 촬영된 동영상 프레임을 추출하고, 추출된 프레임을 무작위로 섞은 다음 OCR을 통해 시간 정보를 인식하여 프레임들을재정렬한 실험 결과를 보여준다.Type-1의 경우 시간 정보가 촬영되고 있는 영상과 분리되는 형태(검은색 배경에 흰색 문자)로 표기되어 있다.그렇기 때문에 촬영된 영상의 주변 환경과 조도의 변화와 무관하여 순간순간 변화하는 영상에 시간 정보 표기 영역은 영향을 받지 않는다.이러한 특징으로 Fig. 6(b)와같이 OCR이 높은 정확도로 시간 정보를 인식하여 프레임을 정렬한 것을 보여준다.

Fig. 6. Frame alignment result by recognized Type-1 time information. (a) Unaligned frame groups and (b) Frame alignment results.

Fig.7은 Type-2에 대한 재정렬 실험 결과를 보여준다. Type-2의 경우 시간 정보가 표기된 부분과 촬영되는 영상과 영역이 겹쳐져서 표기가 되어 있다. 이러한 특징 때문에 시간 정보와 대비되는 색상으로 촬영되는 경우 시간 정보 인식에 성공하여 정렬되었지만 시간 정보와 비슷한 배경이 촬영된 시점에는 인식에 실패하여 정렬이 되지 않았다.특히 때문에 시간 정보를 표기한 색상(흰색)과 비슷한 색상의 물체가 시간 정보 위치에 촬영되거나 햇빛 때문에 흰색으로 표기되는 시간 정보에 많은 노이즈를 발생 시켜 시간 정보를 판단하는데 어려움이 있었다. 이렇게 Type-2는 낮에 촬영된 영상으로 대체적으로 영상의 조도가 높아 Fig.7(b)와 같이 OCR이 시간 정보를 인식에 실패하여 정렬하지 못한 것을 보여준다.

Fig. 7. Frame alignment result by recognized Type-2 time information. (a) Unaligned frame groups and (b) Frame alignment results.

Fig.8은 Type-3에 대한 재정렬 실험 결과를 보여준다. Type-3의 경우 저녁시간대에 도심에서 촬영된 영상으로 시간 정보가 표현된 부분에 차량의 헤드라이트와 가로등의 불빛으로 인해 시간 정보에 노이즈를 발생시켰다.하지만 Type-3의 경우 밤에 촬영된 영상으로 전체적인 영상의 조도가 낮기 때문에 Type-1과 비슷한 형태로 시간 정보가 표현된 것 같은 영상이 많이 관찰되었다.Fig.8(b)와 같이 가로등 불빛으로 인한 노이즈가 발생한 프레임은 정렬에 실패한 것을 보여준다.

Fig. 8. Frame alignment result by recognized Type-3 time information. (a) Unaligned frame groups and (b) Frame alignment results.

본 논문에서 제안하고 있는 OCR을 통해 시간 정보를 인식하여 프레임을 정렬하는 방법은 기존의 프레임 기반 복원 기법[5]에서 프레임 군들을 1:1 비교를 통해 재정렬하는 문제점과 Hex시간 정보를 통한 프레임 복원 기법[6]에서 Hex시간 정보가 존재하지 않는 경우 정렬이 불가능하다는 점을 해결할 수 있는 기법으로 사용할 수 있음을 확인했다.

Fig.9은 비할당영역에서 추출된 인트라 프레임의 디코딩된 이미지에 표기된 시간 정보를 인식하여 정렬하는 실험 결과를 보여준다.이때 실험에서 사용된 이미지의 시간 정보 표기 방식은 Type-1이다.Fig. 9(a)는 인트라 프레임을 디코딩하여 이미지로 변환한 것을 보여주고, 촬영된 시점에 따라 군집 번호(#1, #2, #3, #4)를 붙인 것이다. Fig.9(b)는 제안한 기법을 통해 디코딩된 이미지의 시간 정보를 인식하여 시간 순서대로 정렬된 것을 보여준다.

Fig. 9. The results of the proposed method. (a) The part of decoded frame image and (b) rearrangement of decoded frame images using time information.

위 실험들을 통해 본 논문에서 제안하고 있는 OCR을 통해 시간 정보를 인식하여 프레임을 정렬하는 방법은 기존의 프레임 기반 복원 기법[5]에서 프레임 군들을 1:1비교를 통해 재정렬하는 문제점과 Hex시간 정보를 통한 프레임 복원 기법[6]에서 Hex 시간 정보가 존재하지 않는 경우 정렬이 불가능하다는 점을 해결할 수 있는 기법으로 사용할 수 있다는 것을 실험을 통해 확인했다.

5. 결론 및 고찰

본 논문에서는 동영상의 최소단위인 프레임 단위로 복원할 때 영상 프레임에 표기된 시간 정보를 인식하여 프레임을 정렬하는 기법을 제안하고 있다. 제안한 기법을 통한 복원에 대한 성능 평가는 문장 인식 정확도를 통해 확인했다. Type-1과 Type-3은 93.2%와 73.7%로 높은 성능을 보이고 Type-2는 19.2%낮은 성능을 확인했다. 또한 비할당영역에서복원한 프레임 군들의 시간 정보를 인식하여 정렬에 성공한 것을 실험을 통해 확인했다.이에 표기된 시간 정보에 노이즈가 적은 영상에 대해서는 OCR의 성능이 보장되어 기존에 제안되었던 기법들의 문제점을 보안할 수 있는 기법으로 활용할 수 있었다.

제안한 기법은 Type-1의 전체 프레임과 Type-2 의 일부 프레임에서 존재하는 시간 정보에 대해서만 OCR의 문자 인식 성능이 높았다.이는 제안한 기법에서 사용한 OCR들의 문자인식 프로세스가 배경과 문자를 구별하기 위해 영상처리 기법들이 적용하는데 최적의 영상처리 환경변수 값을 조절하여 적용할 수 없기 때문에 낮은 성능을 보였다.또한 오픈소스로 배포되는 딥러닝 기반 OCR의 경우 다양한 환경에 존재하는 문자를 인식하는데 최적화 되어있지만 차량용 블랙박스에 표기된 시간 정보를 인식하도록 학습된 것이 아니기 때문에 성능이 떨어지는 것이었다.

이에 추후 연구로는 Type별로 배경과 문자를 구분하기 위한 다양한 영상처리 기법과 해당 영상처리기법의 환경변수 값에 대한 연구와 딥러닝 OCR을 차량용 블랙박스에 표기된 시간 정보에 대해서만 인식하는 네트워크 학습에 대한 연구를 진행할 예정이고, 실제 동영상에서 다양한 형태로 존재하는 시간 정보 학습데이터 수집하기 어렵다는 문제점은 인위적으로 학습데이터를 생성하여 딥러닝 네트워크를 학습시키는 연구도 진행할 예정이다.