Performance Analysis of Brightness-Combined LLAH

밝기 정보를 결합한 LLAH의 성능 분석

Abstract

LLAH(Locally Likely Arrangement Hashing) is a method which describes image features by exploiting the geometric relationship between their neighbors. Inherently, it is more robust to large view change and poor scene texture than conventional texture-based feature description methods. However, LLAH strongly requires that image features should be detected with high repeatability. The problem is that such requirement is difficult to satisfy in real applications. To alleviate the problem, this paper proposes a method that improves the matching rate of LLAH by exploiting together the brightness of features. Then, it is verified that the matching rate is increased by about 5% in experiments with synthetic images in the presence of Gaussian noise.

1. 서 론

영상에서 코너(corner)나 블롭(blob)과 같은 특징(feature)을 검출, 기술(description), 매칭하는 과정은 물체 모델링, 물체 추적, 물체 인식, 증강현실과 같은 컴퓨터 비전 응용 분야의 핵심 과정으로, 다양한 방법들이 개발되어 왔다. 특징을 기술한다는 것은 다른 특징과 구분짓기 위해 각 특징이 가진 고유 정보를 찾고 이를 벡터 형태로 저장하는 것으로, SIFT[1]가 대표적인 방법이다. SIFT는 특징 주변의 밝기 그래디언트(gradient) 분포를 활용함으로써 영상의 크기, 회전, 밝기 변화 등에 강인하게 특징을 기술하였다. 다른 대부분의 특징 기술 방법들도 SIFT와 같이 특징 주변의 텍스처(texture) 정보를 활용하였다. 그러나, 텍스처 정보를 활용하는 방법들은 텍스처가 열악한 장면(scene)에서는 유용성이 크게 떨어진다는 제약을 가진다.

텍스처가 열악한 장면에 대한 효과적인 특징 기술 방법으로, LLAH(Locally Likely Arrangement Hashing)[2]는 이웃 특징들 사이의 기하 관계를 이용하여 특징을 기술하기 때문에 특징 주변의 텍스처 정보를 전혀 사용하지 않는다. 따라서, 텍스트, 랜덤 점, 별자리 등의 텍스처가 거의 없는 장면에 대해서도 특징 기술이 가능하다[2-4]. 그러나, LLAH는 특징의 신뢰도에 의한 영향이 매우 큰 데[5], 특징의 신뢰도는 시점에 의한 영상 변환이나 잡음 등에 의해 크게 떨어질 수 있다. 실제 일반적인 텍스처 영상에 대해 LLAH에 의한 특징의 매칭률은 높지 않다[5]. 그러므로, 기존의 LLAH 응용 분야는 높은 신뢰도를 가진 특징 검출이 가능한 분야로 국한되었다. 본 논문에서는 신뢰도가 낮은 특징으로 인한 LLAH의 매칭률 저하를 보완하기 위해 특징의 밝기 정보를 함께 사용하여 특징 기술의 정확도를 개선하는 방법을 제안하고 성능을 분석한다.

 

2. 밝기 정보를 결합한 LLAH

2.1 LLAH

LLAH는 검출된 특징 사이의 기하 관계를 이용하여 특징을 기술하는 방법으로, 텍스트 영상 인식을 위해 개발되었다[2]. 이후, 랜덤 점 마커를 이용한 증강현실 구현[3], 별자리 인식[4] 등 특징 주변에 충분한 텍스처를 가지지 못해 기존의 텍스처 기반 특징 기술 방법으로는 특징 기술이 불가능한 분야에서 효과적으로 활용되고 있다. LLAH는 특징을 기술하기 위해 이웃 특징들의 조합(가장 가까운 N개의 이웃 특징들을 M개 씩 조합)을 구성하고, 각 조합 내에서 G개의 특징으로 만들어지는 기하 도형에 대해 다양한 기하 불변자(geometric invariant) 값을 계산하여 특징 기술자를 생성한다[2]. 결과적으로, LLAH의 성능은 각 특징의 반복성(repeatability), 이웃 특징들의 조합 수, 기하 불변자 종류, 잡음 등의 영향에 의해 크게 달라질 수 있다. 이에, 높은 반복성을 가지고 검출된 특징에 대해 다른 조건의 변화에 따른 성능분석[2,6], 특징의 반복성 향상을 위한 기존 특징 검출 방법의 분석 및 개선[5,7], LLAH의 성능 향상을 위한 특징 기술 알고리즘의 변형[8] 등에 관한 연구가 이루어졌다. 기존 연구를 통해 LLAH의 성능 최적화 또는 상대적인 향상은 기대할 수 있으나, 여전히 특징 사이의 기하 관계라는 국한된 정보만을 이용하기 때문에 LLAH의 절대적인 성능 변화에는 큰 영향을 주지 못했다. 결과적으로, 극히 제약된 기존 LLAH의 응용 분야를 확대하기 위해서는 LLAH의 성능을 크게 향상시킬 수 있는 새로운 패러다임이 마련되어야 한다.

2.2 밝기 정보 결합

LLAH의 성능 향상을 위해 각 특징 및 주변 영역의 appearance 정보를 활용할 수 있다. 그러나, 이러한 appearance 정보를 활용하기 위해 기존 텍스처 기반 특징 기술 방법을 도입하는 것은 계산 효율성이 크게 떨어지며(LLAH의 경우 전체 특징 수 및 이웃 특징 수의 증가에 따라 연산량이 크게 늘어나는데[2,6], 기존 텍스처 기반 특징 기술 방법 역시 연산량이 매우 많음), 무엇보다 LLAH의 원래 목적인 텍스처가 열악한 환경에서의 특징 기술에 적합하지 못하다. 따라서, 기존 LLAH의 계산 효율성을 떨어뜨리지 않으면서 텍스처가 열악한 환경에서도 획득 가능한 appearance 정보를 활용하는 방법이 마련되어야 한다.

본 논문에서는 LLAH의 성능 향상을 위해 각 특징의 밝기 정보를 함께 사용하는 방법을 제안한다. 즉, 기존 LLAH[2]에 의해 계산된 특징 f의 특징 기술자(descriptor)가 df일 때,

여기서, nk는 k번째 이웃 특징, i는 특징의 밝기값을 얻는 함수, ϵ0는 작은 상수 값으로, sgn함수의 입력이 0이 되지 않도록 한다. 결국, f의 밝기와 이웃 특징의 밝기의 평균과의 차이가 양인지 음인지에 따라 df의 부호가 달라진다. 제안 방법을 통해 영상 변환에 의해 이웃 특징 사이의 기하 정보가 훼손되더라도 밝기 정보는 크게 변하지 않기 때문에 특징의 오매칭을 크게 줄일 수 있다. 각 특징의 밝기는 대부분의 응용 분야에서 쉽게 획득 가능한 정보이고, 서로 다른 값을 가지기 때문에 특징 기술을 위한 유용한 정보가 될 수 있다. 또한, 식 (1)의 경우 연산 과정이 매우 단순하여, 특징 기술 과정의 계산 효율성에 거의 영향을 주지 않는다.

 

3. 실험 결과 및 분석

3.1 실험 환경

기존 연구[6]에서 가우시안 잡음(표준 편차 = σ)에 의해 좌표 변환(시점 변환이나 잡음의 영향에 대한 모의실험)을 가지는 랜덤 점을 추적하는 데 있어 이웃 특징들의 조합 수, 기하 불변자 종류(삼각형 면적비, 삼각형 교차비, 선분 길이/각도비), 특징 사이의 거리의 변화에 따른 LLAH의 성능 분석이 이루어졌다. 본 논문에서는 [6]과 동일한 실험 환경에서 밝기 정보를 결합한 LLAH의 성능을 분석한다. 즉, Fig. 1와 같이 700*700의 크기를 가지는 합성 영상에 각각 150 픽셀, 100 픽셀, 70 픽셀의 평균 거리를 가지는 점(특징) 30개, 60개, 120개를 임의로 배치한 영상을 입력으로 사용하였다. 단, [6]과 달리 각 점의 밝기는 0~255 사이의 임의의 서로 다른 밝기를 가졌다1). 여기서, 시간에 따른 각 점의 밝기 변화는 거의 없다고 가정했다. 각 특징의 좌표에 가우시안 잡음을 삽입하기 전후의 영상에 대해 각 특징을 기술하고 서로 매칭하여 올바르게 매칭되는 특징의 비율을 측정하였다. 동일한 과정의 실험을 기존 LLAH와 밝기 정보를 결합한 LLAH에 대해 50번 반복 수행하였다. 밝기 정보의 결합으로 인한 연산량 증가는 매우 미미하여 유의미한 분석이 불가능하였다. 그러므로, 이와 관련된 실험 결과는 생략하였다.

Fig. 1.Random dot images used in experiments. Each dot has different brightness. Number of features: (a) 30, (b) 60, (c) 120.

3.2 실험 결과 및 고찰

밝기 정보의 사용 여부와 상관없이 특징의 수, 기하 불변자의 종류, 이웃 특징의 수, 가우시안 노이즈의 크기 등과 특징의 매칭률의 관계는 [6]의 결과와 다르지 않았다. 그러므로, 본 논문에서는 밝기 정보의 사용에 따른 매칭률 개선 결과만을 제시하고 이를 분석하는 데 초점을 두었다. Table 1-9는 각각 특징의 수, 기하 불변자의 종류, 이웃 특징의 수, 가우시안 노이즈의 크기에 따라 밝기 정보를 사용함으로써 향상된 매칭률 결과(기존 LLAH와 밝기 정보를 결합한 LLAH의 매칭률의 차)를 보여준다. 선분 길이/각도비, 삼각형 면적비, 삼각형 교차비는 각각 G = 3, 4, 5개의 특징을 필요로 하기 때문에, M은 G보다 1 이상 커야 하며, N은 M 보다 1 이상 커야 한다. 그러나, N, M이 일정 크기 이상이 되면 매칭 시간이 너무 길고 매칭률 변화도 크지 않기 때문에 관련 결과는 생략했다. 또한, 표준 편차가 7보다 큰 가우시안 노이즈에 대해서는 매칭률이 매우 낮아 유의미한 자료라고 볼 수 없어 관련 결과를 생략했다.

Table 1.Matching rate [%] improved by using brightness-combined LLAH when the invariant is the length-angle ratio and the number of features is 30

Table 2.Matching rate [%] improved by using brightness-combined LLAH when the invariant is the length-angle ratio and the number of features is 60

Table 3.Matching rate [%] improved by using brightness-combined LLAH when the invariant is the length-angle ratio and the number of features is 120

Table 4.Matching rate [%] improved by using brightness-combined LLAH when the invariant is the triangular area ratio and the number of features is 30

Table 5.Matching rate [%] improved by using brightness-combined LLAH when the invariant is the triangular area ratio and the number of features is 60

Table 6.Matching rate [%] improved by using brightness-combined LLAH when the invariant is the triangular area ratio and the number of features is 120

Table 7.Matching rate [%] improved by using brightness-combined LLAH when the invariant is the triangular cross ratio and the number of features is 30

Table 8.Matching rate [%] improved by using brightness-combined LLAH when the invariant is the triangular cross ratio and the number of features is 60

Table 9.Matching rate [%] improved by using brightness-combined LLAH when the invariant is the triangular cross ratio and the number of features is 120

각 조건에 따라 매칭률의 향상 정도는 다소 차이가 있었으나 전반적으로 밝기 정보를 결합함으로써 LLAH의 매칭률이 크게 향상되었다. 매칭률 향상 크기의 전체 평균은 2.4%였다. 그러나 이는 모든 조건을 포괄하는 수치이기 때문에 매칭률 향상 정도를 효과적으로 표현하지 못한다. 매칭률 향상 정도를 보다 구체적으로 파악하기 위해 각 독립 조건에 따른 향상 정도를 계산하였다. Fig. 2는 결과를 보여준다. 가우시안 노이즈의 크기가 너무 크면 밝기 정보의 사용 여부에 관계없이 매우 낮은 매칭률을 가지며, 향상 결과에 대한 신뢰도도 크게 떨어질 수 있다. 이를 감안한다면, 가우시안 노이즈의 크기가 클수록 매칭률 향상의 크기는 증가한다고 볼 수 있다. 가우시안 노이즈가 증가하면 특징 좌표가 크게 변하면서 원래 매칭되어야 할 특징이 아닌 다른 특징이 더 유사한 특징 기술자를 가질 확률이 증가하는데 밝기 정보를 활용하여 이러한 잘못된 매칭을 보완한 것으로 판단된다. 한편, N 값이 증가할수록, M 값이 감소할수록, 특징의 수가 적을수록(즉, 특징 사이의 거리가 멀어서 가우시안 노이즈에 의한 영향을 적게 받을수록) 매칭률 향상의 크기는 증가했다. 또한, 선분 길이/각도비, 삼각형 면적비, 삼각형 교차비 순으로 매칭률 향상의 크기가 증가했다. 이를 종합해보면, 앞서 언급한대로 가우시안 노이즈를 제외하면 기존 LLAH의 매칭률이 높은 조건에서 밝기 정보 결합으로 인한 매칭률 향상의 크기 역시 증가하는 것을 알 수 있다. 다시 말해, 매칭률이 낮은 조건에서는 단순한 밝기 정보의 사용이 매칭률 향상에 크게 기여하지 못한다는 것이다. 결과적으로, 일부 매칭률이 매우 낮거나(열악한 환경에서의 매칭률 및 매칭률 향상 결과는 신뢰하기 힘듬) 매우 높은(기존 매칭률이 매우 높기 때문에 매칭률 향상의 크기가 매우 작음) 구간을 제외하면, 일관적이고 유의미한 매칭률 향상(약 5%)을 기대할 수 있었다.

Fig. 2.Improved matching rate according to the change of (a) the amount of Gaussian noise, (b) the difference between N and M, (c) the difference between M and G, (d) the number of features, and (e) the type of invariants.

 

4. 결 론

본 논문에서는 LLAH에 의한 특징 매칭률을 향상 시키기 위한 방법으로, 각 특징의 기하 정보와 밝기 정보를 함께 사용하여 특징 기술자를 생성하는 변형한 LLAH 방법을 제안하고, 가우시안 노이즈가 삽입된 합성 영상에 대해 제안된 방법의 성능을 분석하였다. 특징의 수, 기하 불변자의 종류, 이웃 특징의 수, 가우시안 노이즈의 크기 등의 실험 조건 변화에 따라 정도는 차이가 있었으나 전반적으로 밝기 정보의 사용은 LLAH의 특징 매칭률을 크게 향상시켰다. 또한, 실험 결과에 대한 세부 분석을 통해, 특징의 수가 적고(즉, 특징 사이의 거리가 크고), 이웃 특징을 많이 사용할수록 매칭률 향상 효과가 크고, 선분 길이/각도비, 삼각형 면적비, 삼각형 교차비 순으로 매칭률 향상 효과가 크다는 것을 알 수 있었다. 밝기 정보는 정보가용성 및 처리효율성이 매우 좋기 때문에, 기존 LLAH 응용 분야에 적극 활용될 것으로 기대되는데, 이를 위해 본 논문의 분석 결과는 좋은 기초 자료로 활용될 수 있다.

향후, 매칭률이 낮은 열악한 조건에서도 매칭률 향상 효과가 큰 부가 정보를 마련하고, 이를 활용하는 방안에 대한 연구가 필요하다.