Object Recognition Using Local Binary Pattern Based on Confidence Measure

신뢰 척도 기반 지역 이진 패턴을 이용한 객체 인식

Abstract

Object recognition is a technology that detects and identifies various objects in images and videos. LBP is a descriptor that operates robustly to illumination variations and is actively used in object recognition. LBP considers the range of neighboring pixels, the order of combining the neighbors after the comparison operation, and the starting position of combining. In particular, the starting position of the LBP becomes the "most significant bit"; it dramatically affects the performance of object recognition. In this paper, based on the N starting positions, the data most similar to the input data are searched in each of the N feature spaces. Object recognition is performed by the confidence measure that can compare different results of each feature space under the same criterion and select the most reliable result. In the experimental results, it was confirmed that there is a difference in performance depending on the starting position of LBP. The proposed method showed a high performance of up to 12.66% compared to the recognition performance of the existing LBP.

객체 인식은 이미지와 비디오에서 다양한 객체를 검출하고 식별하는 기술이다. LBP는 조명 변이에 강인하게 동작하는 기술자로써, 객체 인식 분야에 활발하게 사용되고 있다. LBP는 이웃 픽셀의 범위, 비교 연산 후 이웃들의 결합 순서, 그리고 결합의 시작 위치를 고려해야 한다. 특히, LBP의 시작 위치는 "최상위 비트"가 되기 때문에 객체 인식의 성능에 큰 영향을 미치게 된다. 따라서, 본 논문에서는 N개의 시작 위치를 기반으로 N개의 특징 공간에서 각각 입력 데이터와 가장 유사한 데이터를 탐색한다. 각 특징 공간의 서로 다른 결과를 동일한 기준에서 비교할 수 있는 신뢰 척도를 정의하고, 가장 신뢰도 높은 결과를 선택함으로써 객체 인식을 수행한다. 실험 결과에서는 LBP의 시작 위치에 따라 성능의 차이가 있다는 것을 확인했다. 또한, 제안한 방법은 기존 LBP 인식 성능과 대비하여 최대 12.66%의 높은 성능을 나타냈다.

Ⅰ. 서론

객체 인식(object detection)은 이미지와 비디오에서 다양한 객체를 검출하고 식별하는 컴퓨터 비전 및 이미지 처리와 관련된 기술이다[1]. 최근, 객체 인식 방법들은 설비[2]-[3], 사람[4, 5, 6], 얼굴 [7]-[10], 식물 [11], 그리고 자동차 번호판 [12] 등 다양한 객체들을 대상으로 연구하고 있다. 그러나 실제 환경(real-world)에는 조명, 각도, 폐색과 같은 예측할 수 없는 변이들이 존재하므로, 객체 인식은 여전히 도전적인 과제이다.

기존 연구들에서는 기술자(descriptor)를 기반으로 객체 인식을 수행했다 [13]-[21]. 특히, 지역 이진 패턴(LBP; local binary pattern) [13]는 많은 관심을 받고 있는 기술자 중 하나이다. LBP는 이미지 매칭, 보행자 및 자동차 대상 탐지 및 추적, 생물학적 및 의료적 이미지 분석에 널리 사용되고 있으며 높은 성능을 나타냈다 [14]. LBP는 연산이 간단하고 계산 복잡도가 낮을 뿐만 아니라 회전 불변성, 그리고 스케일 불변성과 같은 장점이 있다. 뿐만 아니라, 픽셀 간 상대적인 차이로부터 특징을 추출하기 때문에 조명 변이에 강인하게 동작한다. 이에 따라, LBP는 CS-LBP(center-symmetric lbp)[15], MBP(median binary pattern) [16], ALBP(adaptive lbp) [17], staggered multi-scale LBP[6], CT(census transform) [18], 그리고 MCT(modified census transform) [19]과 같은 다양한 방법들로 확장되었다.

일반적인 LBP의 구동원리는 특정한 픽셀의 값을 처리하기 위해 특정 픽셀의 주변의 8개 이웃들을 활용한다. 특정 픽셀과 이웃들 간 값의 차이에 따라 결과값은 0 또는 1의 비트로 변환되고 8개의 비트가 결합됨으로써 8비트의 이진수 값이 된다. 마지막으로, 이진수를 십진수로 변환함으로써 특정 픽셀값이 처리된다. LBP의 결과는 8비트의 이진수로 표현되기 때문에, 원 영상의 픽셀값의 범위와 동일한 값의 분포를 갖게 된다. 즉, 그레이 스케일 불변성이 확보된다고 할 수 있다.

LBP는 이웃 픽셀의 범위, 비교 연산 후 이웃들의 결합 순서, 그리고 결합의 시작 위치에 대해 고려해야 한다. 일반적으로 이웃 픽셀의 개수는 8개로 고정하고 반지름의 길이를 변경하여 이웃 픽셀의 범위를 결정한다. 또한, 특정 픽셀과 이웃들과의 차이에 대한 비교 연산 후 비트를 결합하는 과정에서 결합의 순서를 정할 필요가 있다. 대부분의 LBP 방법들은 시작 위치를 기준으로 시계 방향 또는 반시계 방향으로 비트를 결합한다. 마지막은 결합의 시작 위치이다. 결합의 시작 위치는 8개의 이웃 중 하나가 될 것이며, 시작 위치는 이진수의 최상위 비트에 위치하게 되므로 가장 큰 영향력을 갖는다. MSB 위치의 픽셀에서 조명이나 노이즈가 포함된 경우에는 동일한 클래스의 영상이라고 하더라도 차이가 크게 날것이다. 결과적으로 MSB 위치를 어떻게 설정하는지에 따라 인식 성능이 결정된다고 할 수 있다. 한편, 기존의 많은 연구에서는 시작 위치에 대해 큰 고려없이 사용되어 왔다.

본 논문에서는 LBP에서 결합의 시작 위치에 따른 성능의 차이가 발생한다고 가정한다. 시작 위치는 다양한 데이터셋과 각각의 입력 이미지별로 달리 적용될 수 있도록 유동적으로 설계된다. 이를 위해 가능한 모든 위치를 최상위 비트로 설정하고, 각 위치별로 LBP 연산을 수행한다. 다양한 시작 위치별로 생성된 LBP 이미지를 기반으로 객체 인식을 위한 특징 공간을 각각 구성한다. 또한, 특징 공간 안에서의 신뢰 척도(confidence measure)를 정의한다. 신뢰 척도는 입력 데이터와 가장 가까운 두 이웃간의 비율로 결정한다. 마지막으로 가장 높은 신뢰 척도를 갖는 시작 위치의 인식 결과를 입력 데이터에 대한 인식 결과로 사용한다. 본 논문에서는, 대표적인 객체 인식 사례인 얼굴 인식을 대상으로 실험을 수행했다. 다양한 얼굴 데이터베이스에 대한 얼굴 인식 실험 결과, 기존 LBP는 시작 위치에 따라, 최대 12.66%의 성능 차이가 발생한다는 것을 확인했다. 또한, 제안한 방법은 단일 시작 위치를 사용하는 기존 LBP와 비교하여 높은 얼굴 인식 성능을 나타냈다. 뿐만 아니라, 다양한 얼굴 데이터베이스에 대해 성능의 변동이 있는 기존 LBP와 대비하여 제안한 방법은 일정한 성능을 유지했다.

본 논문은 다음과 같이 구성되어 있다. Ⅱ장에서는 LBP의 잠재적인 문제점을 분석하고 제안한 신뢰 척도 기반 LBP을 설명한다. Ⅲ에서는 4가지 얼굴 데이터베이스를 대상으로 제안한 방법의 성능을 검증한다. 마지막으로, Ⅳ에서는 전체적인 내용을 정리한다.

Ⅱ. 본론

2-1 Local Binary Pattern

LBP는 픽셀간의 상대적인 밝기차를 이용함으로써, 조명과 같은 변이에 강인하게 동작하는 기술자이다. 특정 픽셀 g_c에 대한 LBP 연산 과정은 다음과 같다. 먼저 g_c와 N개의 주변의 이웃들 g_p와의 각각의 픽셀 간 밝기차를 구한다. 이에 대해, 0 또는 1의 값을 갖는 p번째 비트 bit_p는 다음과 같이 구할 수 있다.

\(\begin{aligned}\begin{array}{l}\text { bit }_{p}=s\left(g_{p}-g_{c}\right), \quad(p=0, \cdots, N-1), \\ s(x)=\left\{\begin{array}{ll}1, & x \geq 0 \\ 0, & \text { otherwise }\end{array}\right.\end{array}\end{aligned}\)       (1)

식 (1)로부터, g_c에 대한 LBP 연산의 결과는 N개의 비트로 결합된 이진수(binary) 값이 된다 (“bit₀⋯bit_N-1(2)”). 마지막 단계에서, LBP 기술자의 최종 결과값을 결정하기 위해 이진수 값은 십진수(binary to decimal) 값으로 변환된다. 이 과정에서, 각 비트 위치별로 2^N-1-p의 가중치가 할당된다.

이와 같이 LBP는 비교적 단순한 기술자임에도 불구하고, 설계 시 고려해야 할 요소들이 있다. 첫 번째로, 특정 픽셀과 비교 연산을 수행하게 될, 이웃 픽셀의 범위를 결정해야 한다. 일반적으로 이웃 픽셀의 개수는 8개를 사용하며, 이웃들의 범위는 특정 픽셀을 기준으로 하는 반지름의 길이에 따라 결정된다.

두 번째로, 이웃들의 결합 순서를 결정하는 것이 중요하다. 일반적으로 결합을 위한 시작 위치가 결정되면 시계 방향 또는 반시계 방향으로 비트의 결합을 수행한다.

마지막으로, 최상위 비트(MSB; Most Significant Bit)에 위치하게 될 시작 위치 g₀를 결정하는 것이 중요하다. 시작 위치의 후보군은 이웃의 개수와 동일하게 N개가 된다. 시작 위치는 가장 큰 가중치(2^N-1-p)와 관련되어 있으므로 LBP 연산의 결과에 가장 큰 영향을 미친다. 따라서 원 영상과 변이 영상을 비교할 때, 시작 위치의 위치에 변이나 노이즈가 다수 포함된 경우에는 두 영상간의 LBP 결과는 큰 차이를 보이게 될 것이다.

그림 1은 시작 위치에 따라 어떠한 결과가 초래되는지를 보여준다. 영상 A와 영상 B는 단 하나의 픽셀만을 제외하고 매우 유사하다. (0,0) 위치를 시작 위치로 설정하고 시계 방향으로 결합을 수행했을 때, 두 영상에 대해 LBP 연산을 수행한 결과는 각각 240 (11110000₍₂₎)과 112 (01110000₍₂₎)이 된다. 따라서, 두 영상의 차이는 128이 된다. 반면, (0,1)를 시작 위치로 설정한 경우에 LBP 결과는 각각 225 (11100001₍₂₎)과 224 (11100000₍₂₎)로 차이는 단지 1이 된다. 결과적으로 이러한 차이는 객체 인식의 성능에 영향을 미친다고 할 수 있다. 시작 위치의 중요함에도 불구하고, 기존 연구에서는 다양하게 MSB 위치를 설정하여 LBP 연산을 수행했다.

그림 1. MSB 위치에 따른 두 영상 간 차이 비교 예시

Fig. 1. Example of comparison of differences between two images according to MSB location

2-2 Confidence Measure based LBP

본 논문에서는 시작 위치에 따라 LBP의 성능이 달라질 수 있다고 가정한다. 전체 픽셀의 관점에서는 유사한 두 영상들이, 오히려 전처리 방법인 LBP를 사용하였음에도 불구하고 시작 위치에 따라 큰 차이를 갖게 될 수 있다. 객체 인식을 위한 특징 공간을 구성할 때, 이러한 문제는 클래스 내 분산을 크게 하고 클래스 간 분산을 작아지게 할 수 있다. 그러므로, 다양한 시작 위치 중에서 최적의 결과를 도출할 필요가 있다.

제안한 방법은 데이터 셋 구성, 특징 공간 추출, 유사도 산출, 신뢰 척도 계산, 그리고 최종 인덱스 결정의 과정으로 구성된다(그림 2).

그림 2. 제안한 방법의 전체 흐름도

Fig. 2. Overall procedure of proposed method

먼저, MSB 위치에 따라 LBP로 영상을 전처리함으로써 전체 N개의 데이터 셋이 구성된다. j번째 데이터 셋은 LBP로부터 전처리된 n개의 영상들의 집합 X_j = [x⁰_j,⋯,xⁿ_j]^T이다.

두 번째로, 객체 인식을 위한 특징 공간 W_j∈ℝ^d×n′을 추출한다. 각각의 데이터 셋 X_j은 주성분 분석(PCA; Principal Component Analysis) [20], 선형 판별 분석(LDA; Linear Discriminant Analysis) [21]과 같은 객체 인식 모델의 학습 데이터로 활용된다. 동일한 객체 인식 모델을 활용하더라도, 시작 위치를 다르게 할 경우 서로 다른 특징 공간을 구성하게 된다.

세 번째로, 특징 벡터간 유사도를 산출한다. j번째 데이터셋의 i번째 데이터(x^j_i)는 저차원의 특징 공간으로 투영된다. 투영 벡터(y^j_i)는 다음과 같이 정의된다.

yⁱ_j = W^T_jxⁱ_j       (2)

입력데이터 q에 대해, j번째 LBP로 전처리 된 q_j와 학습 데이터 간 유사도는 다음과 같이 계산된다.

d(xⁱ_j,q_j) = ||W^T_jxⁱ_j - W^T_jq_j||²₂       (3)

식 (3)에서, 유사도는 유클리디안 거리에 의해 구해진다. 따라서, 거리가 작아질수록 유사도가 높아진다고 할수 있다.

네 번째로, 최근접 이웃(1-nearest-neighbor) 전략을 활용하는 경우에 객체 인식의 결과는 입력 데이터와 거리가 최소가 되는 학습데이터 x^1st의 인덱스가 된다.

index_j = f(x^1st_j)       (4)

식 (4)에서, 인덱스를 추출하는 함수 f(∙)는 j번째 특징 공간에서 q_j와 가장 유사한 데이터 x^1st_j의 인덱스 정보(index_j)를 추출한다. 한편, 각 특징 공간의 서로 다른 결과를 동일한 기준에서 비교할 수 있는 척도가 필요하다. 특징 공간의 인식 성능이 뛰어나다면, q_j와 가장 근접한 학습 데이터와의 거리는 나머지 데이터와의 거리와 비교하여 큰 차이를 나타낼 것이다. 이러한 관점에서, 각 특징 공간의 결과에 대한 신뢰 척도 CM_j는 다음과 같이 정의된다.

\(\begin{aligned}C M_{f\left(\mathbf{x}_{j}^{1 s t}\right)}=\frac{d\left(\mathbf{x}_{j}^{2 n d}, \mathbf{q}_{j}\right)}{d\left(\mathbf{x}_{j}^{1 s t}, \mathbf{q}_{j}\right)}\end{aligned}\)       (5)

식 (5)에서, 가장 유사한 이웃과의 거리 d(x^1st_j,q_j)와 두 번째로 유사한 이웃과의 거리 d(x^2nd_j,q_j) 간 비율은 특징 공간의 객체 인식 성능과 비례한다. 따라서, CM_j은 j번째 데이터 셋에 대한 객체 인식 결과의 신뢰 척도를 의미한다. 이러한 방식은 전체 데이터를 고려하지 않고 오직 입력 데이터와 유사한 두 개의 데이터만을 대상으로 하기 때문에 신뢰 척도 높은 결과라고 할 수 있다.

마지막으로, 신뢰 척도를 기반으로 q에 대한 최종 인덱스(index_f)를 결정한다. 전체 N개의 특징 공간에서 가장 큰 신뢰 척도를 갖는 j번째 특징 공간을 선택하고, q_j와 가장 유사한 이웃의 인덱스인 index_j를 index_f로 결정한다.

Ⅲ. 실험 결과

본 논문에서는 객체 인식의 대표적인 사례인 얼굴 인식에 대해 제안한 방법의 성능을 검증한다.

3-1 데이터셋

LBP는 조명 변이에 강인하게 동작하는 전처리 방법이다. 본 논문에서는 조명 변이와 관련되어 있는 The POSTECH Face Database (PF07) [22], MultiPie [23], CMU-PIE [24], 그리고 YaleB [25,26] 얼굴 데이터베이스를 실험에 사용했다. 표 1은 사용된 데이터베이스의 특성을 정리한 내용이다.

표 1. 사용된 데이터베이스의 특성

Table. 1. Characteristics of each database

먼저, PF07 데이터베이스는 전체 200명을 대상으로 16개 조명 환경에서 동양인의 얼굴 영상을 촬영했다. 실험에서는 조명 변이가 없는 "I08" 인덱스를 학습 데이터로 사용하고, 나머지는 테스트 데이터로 사용했다. MultiPie 데이터베이스는 전체 249명으로부터 각각 20가지의 조명 환경에서 영상을 수집했다. 조명 변이가 없는 "08" 인덱스에 해당하는 249장의 영상을 학습 데이터로 사용했다. CMU-PIE 데이터베이스는 다인종의 65명으로부터 21개 조명 조건에서 영상을 수집했다. 마찬가지로, 실험에서는 포즈 변이가 없는 27번 정면 얼굴에 대해 11번 인덱스를 학습 데이터로 활용하고, 1,300장의 이미지를 테스트했다. 마지막으로, YaleB 데이터베이스는 가장 많은 조명 조건에서 영상을 수집했다. 전체 38명으로부터 각각 64개의 조명 조건별로 영상이 수집되었다. 동일하게, 조명 변이에 영향이 없는 1번 인덱스를 학습 데이터로 활용했다. 다른 데이터베이스와 비교하여, 조명 변이가 매우 크기 때문에 얼굴 인식 성능이 낮을 것으로 예상할 수 있다.

3-2 얼굴 인식 실험

모든 얼굴 영상은 양안의 실측좌표와 아핀 변환(affine transform)에 의해 120 × 100 크기의 그레이 스케일 영상으로 정렬되었다. 본 논문에서는 정렬된 모든 얼굴 영상을 전처리하기 위한 목적으로 LBP를 사용했다. LBP 설계에서, N는 8로 결정하고 시계 방향으로 비트를 결합하는 방식을 선택했다. 얼굴 인식을 위해 PCA를 학습 모델로 선택하였고, 전처리 된 얼굴 영상들을 d(=h × w)차원의 벡터로 변환하여 학습에 사용했다. 시작 위치별로 전체 8개의 특징 공간을 각각 구성하였으며, 모두 n-1개의 특징 벡터들을 공통적으로 사용했다.

모든 테스트 영상들도 각 시작 위치별로 LBP로 전처리 되었으며, 각각의 특징 공간에서 학습 데이터와의 유사도를 계산하고 신뢰 척도를 측정했다. 표 2는 각 데이터베이스별 얼굴 인식 실험 결과이다. 실험 결과에서, 기존 LBP는 시작 위치에 따라 얼굴 인식 성능의 차이가 0.77% ~ 12.66%로 나타났다. 결과적으로 시작 위치는 얼굴 인식 성능에 영향을 미친다. 한편, 제안한 방법은 PF07 데이터베이스에 대해 다양한 시작 위치와 비교하여 약 1.06% ~ 7.20%의 높은 얼굴 인식 성능을 나타냈다. MultiPie에 대해 얼굴 인식 실험을 한 결과에서도, 기존 방법 대비 약 2.92%의 높은 성능을 보여준다. 반면, CMU-PIE의 경우에는 제안한 방법의 얼굴 인식률이 단일 시작 위치를 사용한 LBP 보다 다소 낮게 나타났지만, 그 차이는 약 0.08%로 매우 적다.

표 2. 다양한 데이터베이스에서의 얼굴 인식 결과

Table. 2. Face recognition results for various databases

조명 변이가 가장 큰 YaleB 데이터베이스의 경우에는 보다 확연한 얼굴 인식 결과가 나타난다. 제안한 방법은 76.98%의 얼굴 인식률로 다른 데이터베이스와 비교하여 낮은 인식률을 보이지만, 다양한 시작 위치와 비교한 결과에서 약 3.96% ~ 16.62%의 큰 얼굴 인식률 차이를 나타냈다.

그림 3은 시작 위치 관점에서 4가지 데이터베이스에 대한 얼굴 인식률의 순위를 나타낸다. 제안한 방법이 전반적으로 가장 우수한 성능을 나타냈다. 그 다음으로 (0,0), (0,1), (1,2), (2,0), (1,0) = (2,2), (2,1), 그리고 (0,2) 순으로 얼굴 인식 성능이 나타낸다. 단일 시작 위치를 사용한 경우에는 데이터베이스에 따라 얼굴 인식 성능의 변동이 발생했으나, 제안한 방법은 모든 데이터베이스에 대해 일정하게 성능이 유지되는 것을 확인했다.

그림 3. 다양한 데이터베이스에 대한 MSB별 얼굴 인식 순위 분포의 박스플롯

Fig. 3. Boxplot of face recognition rank distribution by MSB location for different databases

Ⅳ. 결론

본 논문에서는 객체 인식에서 사용되는 대표적인 기술자인 LBP의 문제점을 분석하고 성능을 향상시키는 방법을 제안한다. 일반적으로 LBP는 특정 픽셀을 처리하기 위해 주변 이웃들과 픽셀값을 비교한다. 이 과정에서 차이값의 부호에 따라 0 또는 1의 비트가 결정된다.

일반적인 LBP의 구동원리는 특정한 픽셀의 값을 처리하기 위해 N개의 주변의 이웃들을 활용한다. 비트를 생성하기 위해, 특정 픽셀과 이웃들은 비교 연산을 통해 0 또는 1의 값으로 변환된다. 생성된 비트는 결합을 통해 N 비트의 이진수 값을 생성한다. 마지막으로 이진수를 십진수로 변환시킴으로써 특정 픽셀값으로 할당하게 된다. 이 과정에서, 기본적으로 LBP를 사용하기 위해서는 이웃 픽셀의 개수, 비교 연산 후 이웃들의 결합 순서, 그리고 결합의 시작 위치가 고려되어야 한다. 특히, 시작 위치는 이진수의 "최상위 비트"가 되며 객체 인식의 성능에 영향을 미치게 된다. 조명이나 노이즈가 시작 위치에 발생했을 경우에는 비교하고자 하는 영상 간 차이가 커짐으로써 클래스 내 분산을 크게하기 때문이다.

본 논문에서는 N개의 시작 위치에서 각각 LBP를 전처리로 수행하고, 해당 데이터들을 기반으로 N개의 특징 공간을 생성한다. 각각의 특징 공간에서 입력 데이터와 가장 가까운 이웃을 검색하고, N개의 결과중에서 가장 신뢰 척도가 높은 시작 위치의 결과를 선택하는 방법을 제안한다.

객체 인식 중 얼굴 인식을 대상에 대한 실험을 수행한 결과, 세 가지의 결과를 도출했다. 먼저, 가정한 바와 같이 LBP의 시작 위치에 따라 객체 인식률의 성능이 차이가 발생했다. 두 번째로, 기존의 단일 시작 위치에 기반하여 LBP를 수행하는 것보다 신뢰 척도에 기반하여 인식을 하는 제안한 방법이 가장 높은 성능을 보였다. 뿐만 아니라, 데이터베이스 관점에서도 제안한 방법은 기존 LBP 보다 높은 성능을 일정하게 유지했다.

향후, 얼굴 영상과 달리 전력 설비와 같이 정렬되지 않은 이미지를 대상으로 제안한 방법의 성능을 검증하고자 한다.