Road Sign Recognition and Geo-content Creation Schemes for Utilizing Road Sign Information

도로표지 정보 활용을 위한 도로표지 인식 및 지오콘텐츠 생성 기법

Abstract

Road sign is an important street furniture that gives some information such as road conditions, driving direction and condition for a driver. Thus, road sign is a major target of image recognition for self-driving car, ADAS(autonomous vehicle and intelligent driver assistance systems), and ITS(intelligent transport systems). In this paper, an enhanced road sign recognition system is proposed for MMS(Mobile Mapping System) using the single camera and GPS. For the proposed system, first, a road sign recognition scheme is proposed. this scheme is composed of detection and classification step. In the detection step, object candidate regions are extracted in image frames using hybrid road sign detection scheme that is based on color and shape features of road signs. And, in the classification step, the area of candidate regions and road sign template are compared. Second, a Geo-marking scheme for geo-content that is consist of road sign image and coordinate value is proposed. If the serious situation such as car accident is happened, this scheme can protect geographical information of road sign against illegal users. By experiments with test video set, in the three parts that are road sign recognition, coordinate value estimation and geo-marking, it is confirmed that proposed schemes can be used for MMS in commercial area.

1. 서 론

도로표지는 운전자에게 주행 중 만날 수 있는 여러 가지 도로의 상황들과 상황별 운전조건을 알려주는 중요한 역할을 수행한다. 그러나 운전자는 감각기관을 이용하여 도로표지뿐만 아니라 차량 간 거리, 주행 속도, 차량 내외부의 돌발 상황 등 다양한 외부 자극들을 인식하고 차량을 조작해야 한다. 따라서 정체구간 운행 및 장시간 운행 등의 경우, 운전자는 운행 중에 발생하는 지속적인 외부자극들로 인한 피로감 누적으로 인해 인지능력의 순간적인 저하 및 졸음등과 같은 상황을 접하게 된다[1,2]. 이러한 상황은 운전자가 도로 상황이나 도로표지를 제대로 인식하지 못하는 문제를 야기할 수 있다.

운전자의 지각능력 한계에 따른 운행 실수를 방지하고자 차량용 내비게이션 시스템(Car Navigation System, CNS)이 개발되어 차량에 적용되었다. CNS의 경우, 최신의 정보 제공을 위한 업데이트는 MMS라는 정보 수집 차량을 이용한 주기적인 도로 정보수집 활동과 사람을 이용한 수집 정보의 분석 및 지도 내 맵핑을 통해 이루어진다. 이 방법은 도로 상황을 실시간으로 수집하는 것이 불가능해 시시각각으로 변화하는 도로 상황에 대응하기에는 부족하다. 따라서 운전자의 주행 경로 상에 존재하는 도로표지의 자동 인식이 반드시 필요하다.

도로표지 인식 과정을 통해 추출된 영상 내 도로표지와 해당 도로표지의 위치 정보는 ADAS 및 자율 주행 자동차를 위한 중요한 정보이다. 영상 내 도로표지와 해당 도로표지의 위치 정보를 한데 묶어 다양한 종류의 위치기반서비스 및 GIS에 연계하기 위해서는 도로표지 영상과 해당 위치값을 같이 묶을 수 있는 낮은 계산복잡도의 결합 과정과 결합이 완료된 콘텐츠에 높은 수준의 보안을 제공할 수 있는 콘텐츠 결합 기법 또한 요구된다.

본 논문에서는 차량에 장착된 카메라에서 획득한 도로영상 정보에서 하이브리드 특성 분석을 이용하여 도로표지 정보를 인식하는 기법, 주행 당시에 획득한 GPS 위치 정보를 도로표지 정보와 묶어 지리정보가 포함된 도로영상을 생성하는 지오콘텐츠 생성기법을 제안한다.

본 논문의 구성을 살펴보면, 먼저 2장에서는 본 논문과 관련된 카메라를 이용한 영상 내 객체의 위치정보를 구하는 기존의 방법들과 지오 콘텐츠를 생성하는 기존의 방법들을 소개한다. 그리고 3장에서는 제안하는 도로표지 정보를 인식하는 기법과 지리정보가 포함된 도로영상을 생성하는 지오콘텐츠 생성기법을 자세히 설명한다. 4장에서는 제안 기법을 이용한 도로영상 내 도로표지 인식 정도와 지오콘텐츠 생성 후 삽입 정보 훼손 공격에 대한 실험 결과를 제시한다. 마지막으로 5장에서는 제안 방법의 요약 및 활용 방안을 제시하는 것으로 논문을 구성한다.

 

2. 관련연구

일반적인 도로표지 자동 인식 과정은 크게 영상내의 도로표지 객체 영역을 검출하는 단계와 검출영역의 도로표지 내용을 분류하는 단계로 나눌 수 있다[3,4]. 검출과 분류 2단계로 나누어 도로표지를 수행하는 이유는 구분 지어야 할 도로표지의 종류가 많기 때문이다. 또한, 도로표지 인식 과정을 통해 추출된 영상 내 도로표지와 해당 도로표지의 위치 정보는 도로망 내 자산 관리 및 교통 정책 수립을 위한 유용한 통계 정보로 활용할 수 있다.

2.1 기존의 도로표지 검출 기법

색상 기반 방식이 가지는 밝기 변화 민감도 문제와 모양 기반 방식이 가지는 계산복잡도 문제는 색상 및 모양 기반 도로표지 검출 기법들을 단독으로 도로표지 검출 과정에 적용하는 것에 걸림돌로 작용하고 있다. 따라서 오늘날의 도로표지 검출 기법들은 색상 및 모양 정보를 이용한 2단계의 검출 과정을 보여주고 있다[3,5]. 먼저 ROI(Region of Interest) 검색을 위해 색상 기반의 검출 방법과 모양 기반의 검출 방법을 동시에 수행하여 두 검출 방법의 결과를 교집합 처리한다. 색상 또는 모양 검출 방법을 단계별로 수행해서 ROI를 검색한다면 각 기법들이 가지는 문제점들로 인해 발생하는 오검출 부분을 포함하고 다음단계의 작업을 수행하므로 좋은 결과를 얻을 수 없기 때문이다. ROI 검출 과정이 끝나고 나면 ROI로부터 객체를 추출하는 국부화 과정이 수행된다. 본 논문에서도 차량 내 탑재가 가능한 도로표지 인식 시스템을 목표로 두고 있기 때문에 검출율과 처리 속도면에서 단일 정보를 이용하는 도로표지 검출 기법보다 나은 성능을 보이는 색상 및 모양 정보 결합 방식을 기반으로 도로표지 인식 기법을 제안하도록 한다.

2.2 기존의 도로표지 분류 기법

분류 단계에서는 검출 과정을 통해 추출된 ROI를 분석하여 추출된 ROI가 도로표지 인지 아닌지를 구분한다. ROI 구분 과정이 끝나면 비로소 분류 작업을 수행해 최종적으로 검출된 도로표지의 종류가 무엇인지를 인식하게 된다. 분류 단계에서는 기본적으로 패턴 매칭 방식에 기반을 둔 기법들로 작업을 수행하고 있다. 도로표지 분류 기법은 분류를 위한 접근 방식에 따라 템플릿 매칭 기반의 분류 기법과 기계 학습 기반의 분류 기법으로 다시 나눌 수 있다.

우선, 템플릿 매칭 기반의 도로표지 분류 기법들을 살펴보면 검출 과정을 통해 수집된 ROI 데이터베이스에서 미리 학습된 도로표지 샘플과 가장 유사한 것이 무엇인지를 찾는 과정이다. ROI가 가지고 있는 기하학적 정보를 학습된 도로표지 템플릿 내의 기하학적 정보화 비교하여 두 정보간의 유사성이 얼마나 높은지를 확인한 후 도로표지를 분류한다[6]. 그러나 템플릿 매칭 기반의 분류 기법 역시 영상이 낮은 대조를 지닐 경우 ROI가 정확하지 않아 인식률이 낮다.

다른 도로표지 분류 기법은 기계 학습 기반의 도로표지 분류 기법이다. 분류 단계를 위해서 주로 사용되는 기계 학습 기반의 방식은 Adaboost, HOG-SVM(HOG with SVM), 다층 신경망 등이 있다. HOG-SVM 방식의 기법은 Adaboost 방식에 비해 높은 인식률을 보이지만 계산복잡도가 높다. Adaboost 방식의 기법은 다른 방식의 기계 학습법보다 계산 속도는 빠르지만 여러 가지 종류의 도로표지에 대하여 분류를 수행할 경우, HOG-SVM 보다 느릴 수도 있다. 신경망 방식의 기법들은 특징점 기반 방식에서 나타난 것처럼 작은 크기의 입력 영상에 대해서는 적절한 분류를 수행하지 못한다.

2.3 일반적인 지오태깅(Geotagging) 기법

지오태깅은 사진과 비디오, 웹사이트, 문자 메시지, QR(Quick Response Code) 코드, RSS(Rich Site Summary) 피드 등과 같은 다양한 형태의 데이터에 지리적 식별을 위한 메타 데이터(Metadata)를 삽입하는 과정을 지칭한다[7]. 지오태깅에 사용되는 지리적 식별 정보들은 주로 위도, 경도 좌표들이다. 초기의 지오태깅 관련 연구자들은 영상에 위치 정보를 태깅하면 다양한 위치 정보 서비스를 제공할 것이라고 주장하였다[8]. 일반적인 좌표 정보 외에 야외촬영 여부, 혹은 사진을 같이 촬영한 사람의 수 등의 데이터도 사용자에게 유용하게 제공할 수 있음을 보여주었다[9,10].

이상의 기법들에서 공통적으로 적용되는 태깅 기법은 JPEG 포맷의 영상의 경우, 위치 데이터를 EXIF(Exchangeable Image File Format)내에 삽입하는 것이다. 그러나 EXIF 헤더 정보에 위치정보를 삽입하는 방식은 태깅 후 영상 편집 및 파일 포맷 변경에 제약이 따르며 편집 및 포맷 변경 시 EXIF 메타데이터의 삭제와 좌표 정보의 수정이 가능하다. 따라서 생성 지오콘텐츠가 교통사고 등과 같은 법률적 판단이 요구되는 상황에서 증거자료로 사용될 경우에는 삽입되는 위치 정보의 무결성을 보장할 수 있는 추가적인 기능이 요구된다.

2.4 지오마킹(Geo-marking) 기법

지오콘텐츠 내의 메타 데이터는 정보 접근의 편의성 및 가공의 용이성을 위해 간단한 형태의 파서(Parser)나 파일의 속성 정보 뷰어를 통해 간단히 접근 가능하다. 그러나 국방, 행정, 보안, 법률 분야 등에서 사용될 수 있는 지오콘텐츠의 경우, 해당 메타데이터는 접근 권한이 있는 사람들에 한해 읽고 변경하는 것이 가능해야 한다. 이러한 문제를 해결하고자 워터마킹(Watermarking) 기법을 응용한 지오태깅 기법이 연구되었다[11]. 제안자는 해당 기법을 ‘지오마킹(Geo-marking)’ 기법으로 명명하였다. 일반적인 워터마킹 기법과 달리, 지오마킹 기법에서는 삽입되는 메타데이터인 좌표 정보를 분석해 각 자리 값별 가중치를 산출하여 콘텐츠 내에 삽입하였다. 이를 통해 지오콘텐츠가 의도 또는 비 의도된 외부의 공격을 받더라도 GIS에서 개략적인 위치를 확인할 수 있도록 하였다. 그러나 본 기법은 자리 값의 순서를 입력변수로 두고 단순한 등차수열 형태로 가중치를 계산하였다. 따라서 최소의미자리와 최대의미자리의 좌표 값들 간의 삽입 횟수의 차가 매우 커지는 문제점이 존재하며 주파수 변환 영역에서 메타데이터 삽입이 진행되어 계산 복잡도가 높다는 단점이 있다.

 

3. 제안한 방법

본 논문에서는 주행하는 차량 내에서 도로표지의 종류와 위치 정보를 자동으로 식별하고 인식된 도로표지 영상에 좌표 정보를 삽입하는 도로표지 자동인식 기법을 제안한다. 이를 통해 자율주행자동차 및 ADAS, ITS를 위한 상황 인식 정보와 도로표지의 공간적 분포 특성 분석을 위한 정보가 제공될 수 있도록 한다. 제안하는 시스템은 Fig. 1과 같이 크게 2가지의 단계들로 구성되어 있다.

Fig. 1.Block diagram for proposed scheme.

첫 번째 단계는 낮은 계산 복잡도를 가지는 객체 인식 방식들 중, 주성분 분석(Principal Component Analysis, PCA)을 이용해 정확도를 높인 도로표지 색상 검출 기법과 에지 기반의 도로표지 모양 분석기법을 결합한 도로표지 검출 기법을 제안한다. 또한 검출된 도로표지의 종류를 주행하는 차량 내에서 빠르게 분류하고자 원근 왜곡을 감안한 템플릿 매칭 기반의 도로표지 분류 기법을 제안한다.

두 번째 단계는 인식된 도로표지 객체 영상과 GPS를 통해 획득된 좌표 정보를 한데 묶은 지오콘텐츠를 생성하고자 좌표 정보의 자리값 특성에 맞는 반복적 삽입 횟수와 도로표지의 비선형적 색상 분포 특성을 감안한 지오마킹 기법을 제안한다.

3.1 하이브리드 특성 분석 기반 도로표지 인식

3.1.1 도로표지 검출

도로표지 검출을 위한 방식들의 경우, 단순한 색상 범위 설정이나 에지 기반의 모양 특성을 이용한 기법들은 SVM이나 신경망 기반의 방식들에 비해 정확도가 낮다. 그러나 주행 중인 차량에서 카메라를 통해 획득되는 영상을 실시간으로 처리하기에는 SVM과 신경망 기반의 기법들은 계산 복잡도가 높다. 따라서 본 논문에서는 낮은 계산 복잡도를 가지는 색상 및 모양 기반 기법들을 결합하여 각각의 방식이 가지는 단점을 상쇄하고 주성분 분석을 이용하여 색상 검출률을 높이는 기법을 제안한다.

카메라를 통해 획득한 도로표지 영상들은 사용 카메라의 속성, 조도의 반사, 날씨, 촬영 각도 등에 따라 다양한 색상과 밝기 값을 보여준다. 따라서 도로표지 영상은 다양한 변수가 포함된 다변량 자료로 해석할 수 있다. 따라서 어떠한 사전 정보 없이 도로표지와 관계있는 색상 분석을 용이하게 하려면 주성분 분석을 통한 색상 정보의 재분포가 필요하다. Fig. 2와 같이 색상 분석 기반의 도로표지 검출 과정을 거치면 최종적으로 도로표지 후보 ROI를 검출할 수 있다.

Fig. 2.Flowchart of proposed road sign color detection scheme based on PCA.

도로표지 색상 특성 분석을 위한 주성분 분석을 수행하기 위해서는 우선 검출하고자 하는 도로표지의 색상별 학습 영상을 준비하는 과정이 필요하다. 본 논문에서 인식하고자 하는 주의 및 규제, 지시 표지의 경우, 표지판에 사용되는 색상은 표지의 종류에 따라 주로 채색되는 색상이 다르나 세 표지 종류 빨강과 파랑, 노란색을 사용하고 있다.

따라서 색상 특성 분석을 위해 학습 영상군 색상에 따라 색상을 분류하여 주성분 분석 과정에 사용하도록 한다. 또한 조도에 따른 색차는 색상 필터링을 위한 장애 요소를 작용하므로 이를 제거하고 공분산 행렬을 생성하기 위해 학습용 도로표지들은 밝기와 크기를 정규화 시키는 과정을 거친다. 정규화된 도로표지 학습영상들은 색상 종류별로 구분한 후 그룹별 영상들을 밝기 변화에 둔감하게 반응하는 HSI 또는 YCbCr 칼라좌표계로 변환하도록 한다. 이때, 빨강과 파랑, 그리고 노랑으로 구분된 학습영상의 색상별 집합을 이라고 하고 HSI 변환 함수를 hist()라고 두면, 칼라 히스토그램을 수행한 학습영상은

와 같이 표현할 수 있으며 이때, c는 그룹의 색상 정보를 의미하며 red, blue, yellow를 원소로 가지고 있다. 그리고 는 HSI 색상 모델에서의 화소별 색상 히스토그램 값을 의미한다.

이 후, 본 단계에서는 색상 그룹별 도로표지 학습 영상들의 칼라 특성을 분석하고자 영상별 칼라 히스토그램 값들을 공분산 취한 후, 공분산 행렬로부터 고유값과 고유벡터를 계산한다.

공분산으로부터 계산한 고유값을 큰 순서대로 나열한 결과인 λ1, λ2, λ3를 통해 각 고유값에 대응하는 고유벡터를 e1, e2, e3 얻는다. 해당 과정이 끝나면 사영 벡터를 생성하고 특징 공간 기술자를 추정하는 과정에 들어간다. 본 단계에서는 전단계에서 구한 고유벡터를 e1, e2, e3를 이용하여 고유 색상 공간으로 사상하기 위한 변동량이 최대인 고유벡터를 추정한다.

이때 Y는 새로운 사상 공간, A는 변환행렬을 의미한다. 그러나 본 기법에서는 변동량이 최대인 고유값을 이용하여 고유벡터를 산출하며 이를 위해 제1성분부터 크기순으로 배열된 학습영상의 변환행렬 A를 다른 학습영상의 변환행렬과 비교하여 단조 감소의 규칙을 벗어나지 않은 벡터들의 원소를 평균 취한 후 한 새로운 변환행렬을 구한다. 해당 과정을 통해 얻은 새로운 색상 사영 공간에서 학습 영상들의 분포 특성을 분석하여 특징 공간 기술자 FSc(u,v)를 생성한다.

주성분 분석을 통해 학습 영상의 고유 색상 공간을 산출하였다고 해도 주성분들 내에는 여전히 학습영상의 잡음들이 포함되어 있다. 하지만 도로표지의 경우, 주의나 규제, 지시 표지에 속하는 모든 표지들은 모두 삼각 또는 사각형, 원형의 형태를 띠고 있다. 따라서 검출된 ROI 영역의 기하학적 형태를 판단할 수 있다면 색상 검출 과정을 통해 추출된 후보 영역이 도로표지인지 아닌지를 정확하게 판단할 수 있다.

에지 검출 및 내부 홀(Hole) 추출을 통해 윤곽선을 추출한 후 기하학적 형태를 파악하기 위해 사용되는 RSD(Radial Symmetry Detector), BCT(Bilateral Chinese Transform), STVUE(Single Target Vote for Upright Ellipse), RPD(Regular Polygon Detector), VBT(Vertex Bisector Transform), STVUT(Single Target Vote for Upright Triangles) 등은 윤곽선 내 모든 점들의 기울기 두 점간을 연결한 선분의 대칭성 여부를 계속해서 비교하므로 계산 복잡도가 색상 기반 검출 방식에 비해 매우 높다. 따라서 본 논문에서는 ROI와 도로표지 템플릿 간 도형 중심(Centroid)을 이용해 겹침 연산을 수행한 후 양 도형간 면적 비교를 통해 도로표지 여부를 결정하는 판정법을 제안한다. Fig. 3의 구체적인 검출 수행 과정은 다음과 같다.

Fig. 3.Flowchart of proposed road sign detection scheme based on shape feature analysis.

첫 번째, 전방 카메라를 통해 촬영된 ROI 영역에 대한 원근 왜곡을 없애고 모양 및 템플릿 매칭을 통한 인식률을 높이고자 ROI에 대한 원근 변환을 수행한다. 두 번째, ROI 영역의 최외각 화소들 중 제일 외각의 좌, 우, 상, 하 화소를 추출하여 화소들을 연결하는 가상의 도형을 만든 후 도형 중심을 계산한다. 그리고 계산된 도형 중심에 도로표지 템플릿들을 겹침 연산 수행하여 양 도형간 면적차를 계산한다. 이때, 템플릿의 크기는 ROI의 최외각 화소를 연결하는 선분들 중 가장 긴 선분의 길이를 이용하여 조정하도록 한다.

mR은 검출된 ROI의 면적을 의미하며 는 i번째 도로표지 템플릿의 면적을 의미한다.

이 후, 원형 및 삼각형, 사각형 템플릿과 ROI 영역간 면적오차를 비교하여 가장 오차가 작은 템플릿을 ROI 영역의 도로표지 형태로 간주한다. 해당 판정정보는 이후, 도로표지 인식단계에서 템플릿 매칭에 활용된다.

3.1.2 도로표지 분류

논문에서는 계산 복잡도를 고려하여 정확하게 화소를 비교하는 것보다는 영상의 유사성 검색을 시도하는 템플릿 매칭 기법을 적용하여 처리시간 최소화를 시도하였다. 제안하는 기법에서는 매칭 영역을 식별하기 위해 도로표지가 검출된 영상 I 및 I의 인접 프레임과 템플릿 영상 T를 상관계수(Correlation Coefficient) 비교 방법을 통해 분류를 수행한다. 상관계수 인식방법 자체는 계산 복잡도가 높으나 화소의 개수를 검출단계에서 많이 경감시키므로 전체적인 계산 복잡도를 높이지 않도록 한다.

이때 R은 유사도 검출 결과값이며 I는 입력영상, T는 템플릿 영상을 의미한다. 그리고 x′ = w-1이며 y′ = h-1이다. 그리고 w와 h는 이때, 입력 영상의 너비와 높이를 나타낸다. R의 전역 최대값을 분석하고 허용 레벨을 설정한다.

위 과정을 거쳐 동일 표지판의 중복 자료 소거가 이루어지면 최종적으로 해당 표지판의 종류를 분류하는 과정으로 접어든다. 감지된 표지판은 파란색 판, 빨간색 원형, 빨간색 삼각형의 3그룹으로 분류된다. 최종적으로 Fig. 4와 같이 도로표지의 분류를 각각의 감지된 객체 내부의 기호 영역을 추출하고 템플릿의 기호 영역과 비교한다.

Fig. 4.Comparison between road sign templates and extracted symbols in road sign templates, (a) indicating signs(red, triangle), (b) extracted symbols using edge extraction method.

3.2 도로표지 영상과 좌표 정보 결합을 위한 지오마킹 기법

도로표지 인식 과정을 통해 추출된 영상 내 도로표지와 해당 도로표지의 위치 정보를 한데 묶어 다양한 종류의 위치기반서비스와 GIS에 연계하기 위해 서는 낮은 계산복잡도의 삽입과 높은 수준의 보안을 모두 만족하는 지오콘텐츠 생성 기법이 요구된다. 본 절에서는 도로표지와 위치 정보의 특징을 반영한 지오마킹 기법을 제안한다.

3.2.1 좌표정보의 자리수 가중치를 반영한 지오마크 생성

GPS수신기에서 수신된 위도, 경도 값을 위치정보 수신부와 같이 획득한다. 먼저 GPS수신기는 위성으로 부터 일정한 NMEA-0183 (national marine electronics association) 규약을 가지고 전송되는 ASCII형태의 데이터를 초당 256바이트를 수신한다. 이후, 저장된 ASCII 데이터를 규약의 속성 정보에 따라 분석하고 위도, 경도 좌표 값과 시간 정보 값을 획득한다. 수신된 위치 좌표 값은 정밀도를 높이기 위하여 상위 자릿수에 가중치를 두어 많은 양의 비트를 생성한다. 그리고 비밀키를 이용하여 비트를 재배열 하여 지오마크 비트열을 생성한다. 이 때, 위치 좌표정보를 입력하기 위해 NMEA-0183 규격의 형태로 들어오는 위도와 경도의 좌표 정보는 일반적으로 사용하는 도, 분, 초 단위로 표시하지 않고 도와 분만을 사용한다.

본 논문에서는 소수점 이하의 위, 경도 분 정보를 삽입 가능 용량을 감안하여 집중적으로 반속 삽입을 실시한다. 이를 통해 지오마크 추출 시 회전, 절삭, 스케일링 등의 영상처리를 하더라도 중요한 위, 경도 좌표 자리 값을 복원할 수 있어 원본 지오마크를 복원할 수 있다. 아래 Fig. 5는 제안하는 지오마크 생성과정을 나타내고 있다.

Fig. 5.Geomark generation using GPS location information.

3.2.2 도로표지 색상의 비선형 분포 특성을 고려한 지오마킹

좌표 정보와 도로표지 인식 정보, 획득된 시간 정보로 구성된 지오마크는 지오마킹 단계를 통해 도로표지 영상 내에 삽입된다. 이 때 추출된 도로표지는 일반적인 자연 영상과 달리 빨간색, 파란색, 노란색, 흰색, 검은색과 같은 특정 색상으로 표현되며 형태 역시 내부의 기호나 외각 테두리에서 강한 에지 성분이 검출된다. 따라서 도로표지 영상은 자연 영상에 대한 워터마킹 기법과 달리 특정 색상으로 구성되고 에지가 뚜렷한 카툰(Cartoon) 영상에 대한 워터마킹 기법과 같은 방식으로 접근하는 것이 타당하다.

본 논문에서는 도로표지 영상에 많이 분포되어 있는 에지 성분을 이용하여 지오마크를 삽입한다. 또한 도로표지의 형태에 따라 우세한 에지 방향 성분이 다르다는 것을 이용하여 지오마킹을 수행한다. 이를 위해 우선 도로표지 영상을 n × n 크기의 블록으로 분할한다. 각 블록에서 에지 성분을 보다 정확하게 검출하기 위해 HSI 공간영역의 I 영역을 이용하며, 모든 방향의 에지 성분을 추출하면서, 돌출한 픽셀값을 평균화하여 잡음에 강인한 소벨 연산자(sobel operator)를 사용한다. 소벨 연산자를 이용하여 각 블록마다 없음, 수직, 45°, 수평, 135°를 가지는 에지 방향 성분을 추출하고, 추출된 성분을 이용하여 에지 히스토그램을 생성한다.

두 번째는 각 블록마다 생성된 에지 히스토그램을 분석하여, 가장 우세한 에지 방향 성분을 지오마크 삽입 대상으로 결정한다. 각 블록마다 우세한 에지 방향 성분이 다르다 것을 Fig. 6에서 확인할 수 있다.

Fig. 6.The superior edge indication of each block in the roal sign image.

각 블록마다 우세한 에지 방향의 화소를 중심으로 근접 화소를 이용하여 지오마크를 삽입한다. 지오마크가 삽입된 후에 우세 에지 방향이 변경되는 것을 방지하기 위하여, 인접한 가로, 세로 각각 3개의 화소를 이용하여 평균을 계산하고, 평균값을 기준으로 지오마크를 삽입하도록 한다.

만약 우세 에지 방향이 수직인 화소의 경우, 인접한 픽셀 값의 평균 를 이용하여 지오마크를 삽입할 수 있다. 이 때, 는

와 같이 표현된다.

이진 비트열 형태의 지오마크 wk ∈ {0,1}는 삽입강도 α와 β를 이용하여 비가시성을 유지하면서 삽입된다.

삽입된 지오마크를 검출하는 과정은 다음과 같이 지오마크 키(key)로 사용되는 에지 맵을 이용하여 지오마크가 삽입된 위치를 확인하고, 3 by 3 크기의 인접한 화소를 이용하여 평균 를 구한다. , 지오마크가 삽입됨으로 변경되는 주변 픽셀의 값을 비교하여

와 같이 지오마크를 검출한다.

 

4. 실험 결과 및 고찰

4.1 도로표지 검출 및 인식

제안하는 도로표지 검출 및 인식 기법의 성능 평가를 위하여 실험용 차량 내에 카메라 및 DGPS 수신기를 탑재하고 휴대 가능한 경량 PC와 연결하여 주행정보 수집 및 표지판 검출 플랫폼을 구현하였다. 그리고 테스트를 위한 도로 주행 영상은 건천과 영천간 고속화 국도와 부산 내 시가지 순환 도로를 대상으로 도로표지 정보를 수집하였다. 차량에 부착된 카메라는 1280*720@15fps의 해상도를 지녔으며 차량은 최대 70km/h를 넘지 않는 범위 내에서 운행하였다. 학습을 위한 데이터는 1020개의 도로표지 학습영상(R 영상: 270, G 영상: 250, B 영상: 250, Y 영상: 250)을 사용하였으며 인식률 평가를 위한 방법은 Ground-Truth 기반의 정밀도(Precision)와 재현율(Recall) 이용하여 평가 하였다. 구체적인 정밀도 및 재현율 산출 공식은 다음과 같다.

이 때, Gi는 Ground-truth 방법을 통해 확인된 i번째 비디오 클립의 객체 집합을 의미하며 Di는 제안기법을 통한 인식 객체의 집합을 의미한다. 또한 이다.

Fig. 7은 테스트용 차량을 이용하여 수집한 도로 주행 영상과 영상 내 도로표지를 인식한 결과를 보여주고 있다.

Fig. 7.Test Results for road sign recognition, (a) Busan, (b) National highway between Yeongcheon and Geoncheon.

테스트용 20개 도로 주행 비디오 클립을 이용하여 제안 기법의 도로표지 인식 성능을 평가하였다. 평가방법은 정확도와 재현율을 기준으로 평가하였으며 그 결과는 Fig. 8과 같다. 그림에서 정확도에 비해 재현율의 수치는 그 값이 작고 일관되지 않음을 보여주고 있다. 그 이유는 정확도의 경우, 계산 방식이 제안 기법이 인식한 객체들 중 올바르게 인식된 것의 비율을 구하는 것임에 반해 재현율의 경우는 Ground-Truth 데이터에서 제안 기법이 인식한 데이터의 비를 구하는 것이기 때문이다.

Fig. 8.Test Results for road sign recognition, (a) precision and recall in each video clip, (b) recognition rate for road sign shapes, (c) recognition rate for road sign colors.

또한 특정 순서대의 비디오 클립은 정확도와 재현율이 모두 좋지 않은 결과를 보여주는데 이는 테스트 영상이 흐린 날씨에 촬영된 것이어서 전체적인 영상의 밝기가 어둡기 때문에 색상 검출 단계에서 ROI 영역을 올바르게 추출하지 못한 것에서 기인한다.

Fig. 8의 (b)와 (c)의 경우, 도로표지의 종류별, 색상별, 모양별 인식률에 대해 보여주고 있다. 각 그림에서 60% 대의 낮은 인식률을 보여주는 도로표지는 빨간색과 노란색 조합의 삼각형의 객체이다. 이는 도로표지 종류 중 주의표지가 가지는 색상 및 모양 특징으로서 도로표지 종류별 인식률에서 주의표지의 인식률이 현저히 낮음을 확인 할 수 있다.

이는 삼각형과 역삼각형의 도로표지가 같이 결합되어 출현하는 구간에서 인식률 저하로 인해 발생하는 것으로서 색상 분할 후, 에지 기반의 모양 검출 과정에서 두 개의 삼각형을 분리하지 못하는데서 기인한 것이다. 이를 해소하기 위해 삼각형 내부의 색상 영역을 검출을 위한 판단 기준으로 추가 설정하면 인식률을 향상 시킬 수 있다.

4.2 도로표지 영상과 좌표 정보 지오마킹

제안하는 지오마킹 기법의 성능을 평가하기 위해 비가시성과 강인성, 두 가지 평가 척도를 이용하여 성능을 확인하였다. 비가시성을 평가하기 위해서는 PSNR(Peak Signal to Noise Ratio)을 이용하였으며 강인성을 평가하기 위해서는 JPEG 압축과 미디언 필터링, 샤프닝, 확대 및 축소 공격을 수행하였다. 성능 평가 결과는 다음과 같다.

4.2.1 비가시성 평가

비가시성 평가를 위하여 인식된 도로표지 객체에 위치 정보 산출 과정을 거쳐 획득된 좌표 정보, 표지정보, 시간 정보를 삽입하였다. 총 200개의 인식된 도로표지에 대해 지오마킹을 수행 후 PSNR을 평가한 결과, 평균 28.31dB의 값을 가짐을 확인하였다. 인식된 도로표지 객체 영상의 평균 크기가 100 × 100이라는 작은 크기이며 삽입량 또한 크기에 비교하여 많은 편이다. 따라서 PSNR의 값이 30dB를 넘는 경우가 많지 않았다. 그러나 Fig. 9와 같이 육안을 통한 정성적 평가로는 변화 정도를 파악하기가 어려움을 확인할 수 있었다. 따라서 2차 가공을 통한 지리정보 서비스나 단순 육안 확인을 위한 용도로는 충분한 비가시성을 보임을 확인하였다.

Fig. 9.Test results for geomarking, original images of (a) a speed-limit sign(circle, red), (b) a direction sign(circle, blue), (c) a speed-limit sign(inverted triangle, red), (d) a roadway narrows(triangle, yellow), geomarked images of(e) a speed-limit sign(circle, red), (f) a direction sign(circle, blue), (g) a speed-limit sign(inverted triangle, red), (h) a roadway narrows(triangle, yellow).

4.2.2 강인성 평가

강인성 평가를 위하여 인터넷 환경에서 수행 될 수 있는 다양한 영상처리 공격에 대한 워터마크의 강인성 실험을 수행하였다. 강인성 실험을 위한 공격으로는 jpeg 압축, 고주파·저주파 필터링, 확대 및 축소을 수행하였다. 강인성 비교를 위해 BER(Bit Error Ratio)와 복원된 좌표 정보의 오차 정도를 확인하였다. 공격 수행 결과, JPEG 압축의 경우에는 최대 38%의 BER이 발생하나 제안 기법을 통해 반복적으로 삽입한 좌표 정보를 오류 복원 기법을 이용하여 복원 가능함을 Fig. 10과 같이 확인하였다. 그러나 Q factor가 40 이상의 압축을 수행할 경우, 오류 복원에 실패하여 최대 11m의 거리 오차가 발생함을 확인하였다.

Fig. 10.Test results of robustness, (a) distance errors against JPEG compression, (b) geomark BER JPEG against JPEG compression.

강인성 공격을 수행한 결과, Fig. 11과 같이 BER이 최대 40%까지 발생하는 것을 확인하였다. 그러나 본 논문에서 제안한 반복 삽입 방법을 이용하여 값의 변동이 취약한 좌표 정보 자리 값들을 집중적으로 삽입한 결과, 오류 복원을 통해 최대 오차가 11m 이내로 발생함을 확인하였다. 11m의 오차는 도로 한 차선의 폭과 맞먹는다. 그러나 도로표지가 인식된 전, 후 비디오 프레임의 정보를 활용한다면 이를 다시 줄일 수 있다. 이를 통해 제안하는 지오마킹 기법이 좌표 정보를 효과적으로 보호할 수 있음을 확인하였다.

Fig. 11.Test results of robustness, (a) median mask attacks, (b) sharpening attacks, (c) rescale attacks.

 

5. 결 론

본 논문에서는 도로표지 인식을 수행하기 위해 하이브리드 특성 분석 기반의 도로표지 검출 단계를 거친 후 템플릿 매칭 및 특징 정보를 이용한 종류 인식 기법, 위치 정보를 도로표지 영상 내에 삽입하기 위해서 워터마킹 기반의 지오마킹 기법을 제안하였다. 검출 단계에서 도로 주행 영상의 획득될 때에 촬영 각도나 날씨 등에 의해 같은 도로표지도 색상과 모양이 다르게 표현되는 문제점을 해소하고자 주성분 분석과 칼라 히스토그램을 이용하여 도로표지에 적합한 고유 칼라 모델을 설계한 후 후보 영역을 추출하였으며 제안하는 지오마킹 기법에서는 좌표의 각 자리 값이 의미하는 값의 크기를 감안하여 좌표의 자리 값별 반복 삽입 가중치를 달리하는 방식을 취함으로써 좌표 정보가 삽입된 도로표지 영상을 누군가가 고의로 훼손하더라도 좌표 정보가 살아남도록 하였다.

제안된 기법들의 성능을 분석하기 위해 도로표지 객체의 인식률과 도로표지 객체 내 좌표 정보 삽입의 비가시성과 강인성을 평가하는 정량적 분석을 수행하였다. 제안하는 도로표지 객체 인식 기법은 색상 및 모양의 단순 특성을 이용하여 색상 정보를 추출하므로 재현율은 다소 낮으나 모양 분석을 통한 도로표지 검출 및 분류 과정에서의 상관도 기반 인식 절차를 통해 정확도가 높은 것을 확인하였다. 또한 산출한 좌표 정보와 도로표지 객체 간 지오마킹 기법 결과물의 강인성 평가를 통해 JPEG 압축과 고주파, 저주파 필터링, 확대·축소 공격에도 삽입된 좌표 정보가 살아남음을 확인하였다.