Improvement of Bit Recognition Rate for Color QR Codes By Multiplexing Color and Pattern Information

색 및 패턴 정보 다중화를 이용한 칼라 QR코드의 비트 인식률 개선

Abstract

Currently, since the black-white QR (Quick Response) codes have limited storage capacity, color QR codes have been actively being studied. By multiplexing 3 colors, the color QR codes can allow the code capacity to be increased by three times, however, the color multiplexing brings about the possibility of crosstalk and noises in the acquisition process of the final image, incurring the decrease of bit-recognition rate. In order to improve the bit recognition rate, while keeping the storage capacity high, this paper proposes a new type of color QR code which uses the pattern information as well as the color information, and then analyzes how to increase the bit recognition rate. For this aim, the paper presents an efficient system which extracts embedded information from color QR code and then, through practical experiments, it is shown that the proposed color QR codes improves the bit recognition rate and are useful for commercial applications, compared to the conventional color codes.

1. 서론

현재 흑백 QR(Quick Response) 코드는 유용한 정보를 효과적으로 접근하는 용도로 널리 사용되고 있다. 흑백 QR코드는 블록 한 개에 1비트 정보를 저장 및 표현하기 때문에 저장 가능한 정보 용량이 매우 제한적이며, 이로 인해 매우 다양한 응용으로 확장하는데 한계를 갖고 있다. 이러한 흑백 QR코드의 정보저장 한계를 극복하기 위한 방안으로서 흑백 정보를 칼라로 바꿔 표현함으로써 데이터 저장 용량을 늘리기 위한 시도가 다양하게 시도되고 있다[1].

최근에 흑백 정보를 칼라로 표현하였을 때 나타나는 문제점에 대한 연구가 진행되었다. Andre[2]는 흑백 QR 코드를 3개 층으로 다중화함으로써 얻어지는 정보 저장 능력의 개선에 따라 부수적으로 발생하는 색상 간의 간섭에 따른 비트 인식률 특성을 분석하였다. Querini[3]는 칼라 QR코드에서 발생되는 높은 비트 오류율에 요구되는 오류교정 비트 등에 대해 논하고, 색 성분 밀도와 신뢰성 사이의 절충점을 구하는 방법을 실험을 통해 분석하였다. You[4]는 인쇄된 칼라 QR코드의 복호화 성능을 개선하기 위해 칼라 정합 모델에 대해 연구를 수행하고 HSV 색공간에서상대 유클리디언 거리의 최대화를 고려하여 정보 저장능력을 개선하는 방법을 다루었다. Choi[5]는 인쇄된 칼라 QR코드를 대해 다중 비교 척도를 도입하여진 품과 가품을 구분하거나 또는 인공지능망에 기초한 정품 인증 시스템을 제안하였다[6]. Kim[7]은 오프라인 응용을 위한 칼라 QR코드에서 효과적인 정보 추출 및 신호처리 기법에 대해 다루었다[8].

그런데 기존의 연구들은 흑백 QR코드를 RGB 또는 CMY 색상을 단순히 비트 플레인 다중화하여 정보를 늘리는 방법, 고속 복호화 방법, 안정적인 인증시스템 구현 등에 집중되었다. 본 논문에서는 기존의 흑백 QR코드를 색상 다중화로 인해 발생되는 비트 인식 문제점을 분석하고, 이를 개선하기 위한 방안에 대해 연구를 수행하였다. 즉, 색 다중화로 발생되는비트 오인식에 관한 문제점의 원인을 논하고, 색상과 패턴 다중화를 도입함으로써 비트 인식률을 개선하고자 한다. 본 논문의 구성은 다음과 같다. 제 2절에서는 기존에 접근된 칼라 QR코드의 생성 방법과 제한점, 색채 별자리의 구성과 비트 인식률에 대해 논하며, 제 3절에서는 제안된 색과 패턴 다중화에 의한칼라 QR 코드 구성 방법, 색과 패턴 다중화에 적합 한복 호화 과정을 설명한다. 제 4절에서 다양한 실험 환경에 따라 기존의 칼라 QR코드에 비해 제안된 방식이 비트 인식률에서 성능이 개선되고, 상용화될 수 있음을 검토한다. 끝으로 제 5절에서는 결론을 제시한다.

2. 칼라 QR코드와 인식률 제한점

Fig. 1은 칼라 QR코드 생성 예를 나타내고 있다. Fig. 1(a)는 기존의 흑백 QR코드와 같이, 주어진 정보에 대해 데이터 인코딩 과정을 통해 흑백 이진 정보로 변환된 후에 한 개의 비트 플레인의 QR코드가 만들어지고, 다중화된 칼라 QR코드의 형태는 Fig. 1(b)와 같이 표현된다.

Fig. 1. Color QR Code Generation. (a) Multiplexing of Red, Green, Blue QR Code and (b) 8 Colors Palette of Multiplexed Color QR Code[3].

2.1 색 다중화의 특징

Fig. 1에서 RGB 3개의 색상 다중화를 통해 Cyan, Magenta, Yellow, White가 생성되어 Fig. 2에 나타낸 것과 같이 8개의 색상이 생성된다. 다중화함으로써 흑백 QR코드에서 1비트 정보를 표현할 수 있는 내용이 칼라 QR코드에서는 8가지 정보 즉, 3비트 정보를 표현할 수 있게 된다. 다중화에 의해 1비트 정보가 3비트 정보로 증대되지만, B성분과 G성분 사이에 잡음 또는 색 간섭 (crosstalk)이 발생하게 되면, Cyan은 B 또는 G로 오인식될 가능성이 발생하는데, Magenta와 Yellow 성분도 B와 R, 그리고 R과 G 성분으로 각각 오인식될 가능성이 발생하게 된다.

Fig. 2. Multiplexing of Primary Colors.

Fig. 3은 기본 색상을 Cyan, Magenta, Yellow로 하여 3차원 공간에 나타낸 것으로서, 8개의 꼭지점은 Fig. 1에서 나타내는 칼라 QR코드의 기본 블록이 갖는 정보가 된다. 예로써, G성분에 약간의 잡음이 들어가게 되면, 주변의 4꼭지점 즉, Yellow, Cyan, Black, White 정보로 변형될 가능성이 생긴다.

Fig. 3. CMY Color Spaces.

2.2 색채 별자리 구성과 칼라 QR코드 인식률 해석

Fig. 3에서 CMY 칼라 공간에서 각 꼭지점이 나타내는 색상에 일정량의 잡음이 더해지면, Fig. 4와 같이 각 꼭지점은 부분 공간을 차지하게 된다. 이 그림은 각 축을 8비트 (0, ... , 255) 정보 표현 방식의 색채 별자리 (Color Constellation)라고 할 수 있다[2]. 따라서 Fig. 1(b)에 나타낸 8가지 색상의 칼라 QR코드를 구성하는 각 색상 성분에 약간의 잡음이 추가된다면, Fig. 4의 색채 별자리에서 일정 공간으로 나타난다. 8가지 색상보다 더 많은 칼라 QR코드를 구성하기 위해서 각 축으로 4가지 색 (2비트)으로 확장하면, 전체 64가지 색상이 얻어지며, 이때 각 색채 별자리 사이의 거리는 Fig. 4에 비해 1/4배로 줄여지면서 일정 크기 이상의 잡음이 각 색상에 더해지면 오인식될 가능성도 커지게 된다.

Fig. 4. Examples of Color Constellation Diagrams with 3 Bits Multiplexing (8 Colors)[2].

Fig. 1의 과정으로 생성된 칼라 QR코드는 다양한 환경에서 스마트폰을 통해 캡처되고 인식될 때, 잡음은 필연적으로 포함된다. Fig. 5는 칼라 QR코드를 스마트폰으로 캡처한 3종류의 예를 나타내는데 캡처환경과 조건에 따라 색상이 달라지며, 잡음으로 인해 Fig. 4의 색채 별자리가 나타내는 분포 형태가 다르게 될 수 있음을 의미한다. Fig. 4와 같은 색채 별자리에 임의의 백색 가우시안 잡음과 에러가 포함된 경우에 대해 비트 인식률을 최대 가능도 기준 (maximum likelihood criterion)에 따라 다음과 같이 표현된다 [2].

\(\begin{aligned} r_{p} &=\operatorname{erf}_{3}\left(\frac{\epsilon}{\sigma \sqrt{32}}\right) \\ & \approx \operatorname{erf}\left(\frac{\epsilon}{\sigma \sqrt{32}}\right)-\frac{2}{\sqrt{\pi}} \operatorname{erf}\left(\frac{\epsilon}{\sigma \sqrt{32}}\right) \exp \left(-\left(\frac{\epsilon}{\sigma \sqrt{32}}\right)^{2}\right) \end{aligned}\)       (1)

Fig. 5. Different Snapshots of Color QR Codes[4,5].

여기서 erf3(.)는 3D 에러 함수를 나타내고, \(\epsilon\)은 Fig. 4의 색채 별자리에서 인접한 색상 중심점 사이의 최소 거리를 나타낸다. 그리고 \(\sigma\)는 각 색상의 잡음에 대한 분산을 의미한다. (1)에서 \(\sigma\)는 스마트폰 캡처 환경에 따라 매우 가변적이므로, \(\epsilon\)와 \(\sigma\)의 크기가 주어진다면, 대략적인 비트 인식률은 예측이 가능해진다. Querini[3]은 실험을 바탕으로 색 성분 밀도와 신뢰성 사이의 절충점을 구하는 방법을 다양한 실험을 통해 분석하였다.

3. 색과 패턴 다중화에 의한 칼라 QR코드

색채 별자리에 더 많은 색상을 도입하여 칼라 QR 코드를 나타내면, 저장할 수 있는 정보량은 그만큼 증대시킬 수 있으나, 잡음에 대해 민감해지는 것은 필연적이다. 예로써, Fig. 3에서 다중화하기 전의 RGB 상호 간의 거리는 단위 거리의 \(\sqrt{2}\)배가 되지만, 다중화함으로써 Magenta, Yellow 등이 생성되게 되는데, 이 색상들은 R까지의 거리가 단위 거리 1이 되어, R에 잡음이 더해지게 되면, G와 B보다는 Magenta와 Yellow로 오인될 가능성이 높게 된다.

3.1 색과 패턴 다중화에 의한 기본 블록 구성

색채 별자리의 표현 비트수가 증대될수록 또는 칼라 QR코드가 표현할 수 있는 색상이 많을수록 잡음에 민감해지므로, 본 논문에서는 색상의 개수를 증대하지 않으면서 표현 비트수를 증대시키는 방법으로 제안된다. Fig. 6은 3비트 블록의 정보를 표현하기 위해, 기존의 8색상을 이용하는 방법과 본 논문에서 제안하는 4색상과 2패턴을 이용하는 방법을 위한 칼라 QR코드의 기본 블록을 각각 나타내고 있다. 즉, Fig. 6(a)는 Fig. 3에서 CMY 칼라 공간에서 각 꼭지점에 해당되는 색상 성분이며, 이 색상 성분을 통해서 000부터 111까지 3비트 표현을 통해, RGBCMY와 Black/White까지 8색을 나타낼 수 있다. 여기에서 색상 간 최소 거리는 단위 거리 1이 된다.

Fig. 6. Basic Bits-block Representation. (a) Conventional (8 Colors) and (b) Proposed (4 Colors & 2 patterns).

반면에 Fig. 6(b)는 CMY와 Black으로 표현되는 4가지 색상과 2가지 패턴을 이용하는 방법을 나타내고 있다[7]. 각 패턴은 서로 반전의 의미를 가지며, 또한, 상하좌우 대칭인 형태로 구성된다. 4가지 색상을 사용함으로써 Fig. 3에서 색상 간 최소 거리는 단위 거리의 \(\sqrt{2}\)배를 유지하여 Fig. 6(a)에 비해 색상 간 오인식률이 낮게 유지할 수 있게 된다. Fig. 7은 Fig. 6에 나타낸 8 × 8 기본블록들을 이용하여 8× 8×3=192 비트 정보의 예를 나타내고 있다.

Fig. 7. An Example of 8×8×3 Bits Information. (a) Conventional (8 Colors) and (b) Proposed (4 Colors & 2 patterns).

3.2 색 및 패턴 정보를 갖는 칼라 QR코드에 대한 제안된 복호화 과정

칼라 QR코드에 대해 본 논문에서 제안된 정보 추출 과정은 Fig. 8과 같이 요약된다. 먼저, 칼라 QR코드가 입력되면, 히스토그램 평활화, 이진화 등을 포함한 전처리 과정을 수행한다. 그리고 Fig. 1에 나타낸 예와 같이, 좌상, 우상, 그리고 좌하에 있는 위치 패턴(position pattern)을 이용하여 거리관계 정보를 추출하고, 이를 이용하여 QR코드의 국부적 패턴을 인식한다. 원근 변환 등에 기초해서 기하학적 왜곡을 보정한 후에 칼라 정보가 포함된 메시지 영역을 추출한다. 이와 관련된 상세한 과정은 Liao[9]과 Choi[6] 에서 일부 참고할 수 있다.

Fig. 8. The Proposed Decoding Process for Color QR Codes.

추출된 메시지 영역에 대해 본 논문에서 각 비트 블록 정보를 추출하는 방법은 두 가지 단계로 이루어진다. 먼저, Fig. 6의 경우에 2가지 종류의 패턴이 사용되는데, 패턴 정보를 추출하기 위해 SSIM (Structural Similarity Index Measure)을 사용한다. SSIM 은 구조적인 관점에서 최대로 유사한 패턴을 찾을 수 있는데, 다음과 같이 정의된다.

\(S S I M_{I O}=\frac{\left(2 \mu_{l} \mu_{O}+c_{1}\right)\left(2 \sigma_{I O}+c_{2}\right)}{\left(\mu_{I}^{2}+\mu_{O}^{2}+c_{1}\right)\left(\sigma_{I}^{2}+\sigma_{O}^{2}+c_{2}\right)}\)       (2)

여기서, \(\mu_{I}\)과 \(\mu_{O}\)는 각각 입력 블록과 패턴 블록의 평균값을 나타낸다. \(\sigma_{I}\)과 \(\sigma_{O}\)는 입력 블록과 패턴 블록의 표준편차를, 그리고 \(\sigma_{I O}\)는 이들 사이의 공분산을 나타내며, \(c_{1}\)과 \(c_{2}\)는 보정계수이다. 식(2)에 의해 \(\operatorname{SSIM}_{I O}\)의 값은 1이하의 양수 값을 가지며, 입력 블록과 패턴 블록이 서로 유사할수록 1에 가까운 값을 갖는다. Fig. 6에서 +모양에 색이 없는 패턴 그룹 {000, 001, 010, 011}과 색이 있는 패턴 그룹 {100, 101, 110, 111}으로 나뉘며 식 (2)의 결과는 두 그룹 중에 하나로 분류된다.

SSIM에 의해 두 개의 패턴 그룹 중에 선택된 패턴그룹에 대해 색상 유사도를 측정한다. 색상 유사도는 NCC (Normalized Cross Correlation) 계수를 측정하여 가장 큰 값을 갖는 인덱스가 최종적인 Bits-block 인덱스로 결정된다. 입력 블록과 비교블록 사이에 측정되는 NCC는 다음과 같이 표현할 수 있다.

\(\begin{aligned} &\operatorname{NCC}\left(P, C_{m}\right) \\ &=\frac{\sum_{k=1}^{b} \sum_{=1}^{b}(P(k, l)-\bar{P})\left(C_{m}(k, l)-\overline{C_{m}}\right)}{\sqrt{\sum_{k=1}^{b} \sum_{=1}^{b}(P(k, l)-\bar{P})^{2}} \sqrt{\sum_{k=1}^{b} \sum_{k=1}^{b}\left(C_{m}(k, l)-\overline{C_{m}}\right)^{2}}} \end{aligned}\)       (3)

\(\text { codeindex }=\underset{m}{\operatorname{argmax}} N C C\left(P, C_{m}\right)\)       (4)

여기서 p(k, l)은 추출된 b×b 크기의 기본 블록 내 (k, l) 위치에서 화소값을 나타내고, 은 해당 블록의 평균값을 나타낸다. 식(2)에 의해 선택된 패턴그룹에 따라 m={1, 2, 3, 4} 또는 {5, 6, 7, 8} 중에 하나의 그룹이 적용되며, m번 패턴 블록 \(C_{m}(k, l)\)은 \((k, l)\) 위치에서 화소값을 나타내고, \(\overline{C_{m}}\)은 패턴 블록 \(C_{m}(k, l)\)의 평균 화소값을 나타낸다. 식 (2)에 의해 선택된 패턴 4개 후보 색상 중에서 식 (4)에 의해 얻어지는 NCC값이 최대가 되도록 하는 인덱스(codeindex) m을 구함으로써 Fig. 6에서 나타낸 패턴& 색상에 따라 3비트인 Bits-block정보를 추출하게 된다.

4. 구현 결과 및 검토

본 논문에서 제안한 색과 패턴 정보 다중화를 갖는 칼라 QR코드의 효율성 검증 실험은 Fig. 6에 나타낸 3비트 형태로 제한하여 진행하였다. 또한, 본 논문에서 적용된 공통적인 실험 조건은 다음과 같다.

- 칼라 QR코드의 구성은 기존 방식은 Fig. 6(a)의 8색이고, 제안된 방식은 Fig. 6(b)의 4색&2패턴을 사용하였다.

- 칼라 QR코드 캡처용으로 스마트폰 삼성 갤럭시 S20, 애플 아이폰11을 사용하여 장소, 시간 등 동일 한 곳에서 2회씩 촬영하여 각각 100회씩 200개의 샘플을 구성하였고, 스캐너는 600dpi로 스캐닝을 수행하였다.

- 추출한 메시지 영역의 크기는 정사각형의 256 × 256 화소의 해상도이고, 이 해상도에 기초하여 식(2)와 (3)을 적용하였다.

4.1 프린팅 및 스캐닝에 따른 비트 인식률

현재 널리 사용되는 흑백 QR코드는 흑백으로 정보를 표현함으로써 프린팅 및 스캐닝(P&S, Printing &Scanning)에 강인한 성질을 갖고 있다. 칼라 QR코드도 프린팅 및 스캐닝(P&S)에 따른 강인성(Robustness)을 나타낼 필요가 있는데, P&S과정에서 잡음이 추가될 수 있다. 본 논문의 실험에서는 다양한 조명이 있는 장소에서 촬영을 하면서 색상간의 간섭 및 잡음에 노출되도록 하였다. Fig. 9는 16×16×3 bits를 포함하는 칼라 QR코드의 메시지 영역을 P&S 에 따른 결과의 예를 나타내고 있다. 좌측은 기존 칼라 QR코드 구성 방법이고, 우측은 제안한 방법을 나타내며, 각각 1회 프린팅&스캐닝(P&S), 2회, 3회 반복한 결과를 나타내고 있다. Fig. 3에서 기존 방식은 8색을 사용하였고, 제안 방식은 4색&2패턴 기준으로 동일한 정보를 포함한다.

Fig. 9. An Example of Color QR Codes with Printing& Scanning. (a) Original (b) 1st Printing&Scanning, (c) 2nd Printing&Scanning, and (d) 3rd Printing&Scanning.

색채 별자리에서 잡음이 추가되면, 각 꼭지점 근처에 위치하는 색상은 인근에 위치하는 다른 색상과의 거리가 가까워지게 되는데, 반복적은 P&S는 이러한 결과의 한 가지 원인이 되며, Fig. 5 및 Fig. 9의예를 통해 확인이 가능하다. 특히, 반복적인 P&S에의해 R성분과 Magenta 사이에 구분이 어려워지고, G성분과 B성분 그리고 Cyan 사이의 구분이 어려워진다. Fig. 10은 Fig. 9의 칼라 QR코드에 대해 반복적인 P&S에 따른 비트 인식률 실험 결과를 나타내고 있다. 기존 설계 방법은 R성분과 Magenta 사이에 오인식이 발생되고, 특히, G성분과 B성분 그리고 Cyan 사이에 모호함이 증대되어 비트 인식률 성능이 저하됨을 확인할 수 있다. 반면에 제안한 방식은 Cyan의 색상에서 발생되는 변이 외에 대부분 색상과 패턴이 거의 일정하게 유지됨을 확인할 수 있다. 이에 따라 제안한 방식은 색상 간의 변이가 크지 않아, 기존 방식에 비해 비트 인식률을 우수하게 유지됨을 확인할 수 있다.

Fig. 10. Bit Recognition Rate for Repetitive Printing& Scanning Operations.

4.2 기본 블록에 대한 인식률

Fig. 10에 나타낸 실험 결과에서 기존 방식은 색상 간의 간섭을 통해 비트 인식률이 저하됨을 알 수 있는데, 오인식이 빈번히 발생되는 경우는 Cyan과 G 성분과 B성분 사이에, 또는, R성분과 Magenta성분 사이에서 발생되었고, 이를 실험을 통해 확인하였다. 이러한 색상들 사이의 간섭이 인식률 저하를 초래함에 따라 정보 발생 빈도에 따른 특성을 조사하기 위해 메시지 영역을 32×32 크기로 하고, Fig. 6에 나타낸 기본 블록의 빈도수를 모두 동일하게 128회씩으로 설계하여, 칼라 QR코드를 만들었다. 또한, P&S를 1회 적용하여 칼라 QR코드의 블록 인식 실험을 수행하였다.

Fig. 11은 칼라 QR코드를 만들 때 사용된 기본 Bits-block별로 인식률을 나타낸다. 기존 칼라 QR코드 방식에서 Cyan과 Magenta 블록의 인식률 저하가 크게 발생하였다. 또한, B, G, R 성분에서도 약간의 오인식이 발생하였다. 반면에 제안한 방식에서는 Cyan 성분에서 약간의 오인식이 발생하였으나, 전체적으로 패턴 인식에는 인식률 저하가 일어나지 않았다.

Fig. 11. Block Recognition Rate for Basic Bits-block. (a) Conventional (8 Colors) and (b) Proposed (4 Colors & 2 patterns).

4.3 기본 블록 크기에 따른 비트 인식률

기존의 칼라 QR코드는 색상 정보를 다양하게 함으로써 정보량을 확대한다. 또한, 메시지 블록을 구성하는 기본 블록의 크기를 작게 함으로써 더 많은 정보를 삽입하는 것이 가능해진다. 본 논문에서는 메시지 영역의 크기를 16×16, 32×32, 64×64, 128× 128을 구성하고, 메시지 블록을 구성하는 기본 블록은 모두 동일한 비율로 칼라 QR코드를 만든 후에 P&S를 1회 적용하여 비트 인식 실험을 수행하였다.

Fig. 12는 메시지 영역의 크기에 따른 비트 인식률을 나타낸다. 제안 방식은 기존의 방식에 비해 여전히 비트 인식률 측면에서 상대적으로 우수한 성능을 보인다. 그러나 메시지 영역을 구성하는 블록의 크기가 클수록, 즉, 기본 블록의 크기가 작아질수록 제안방식의 인식률은 다소 감소하는 특성을 보인다. 이것은 기본 블록의 크기가 작아짐에 따라 패턴 정합 오류에 의한 인식률의 저하에 기인한다. 식(2)와 (3) 을적용하기 전에 정밀한 공간적인 정합 방식의 도입으로 추가적인 성능을 개선하여 실용적으로 사용할 수 있을 것으로 판단된다.

Fig. 12. Bit Recognition Rate for Message Block Size.

5. 결론

흑백 QR코드가 갖는 정보 저장 능력을 개선하기 위하여 색 정보를 다중화하는 칼라 QR코드에 대한 연구가 많이 진행되어 왔으나, 여전히 색상 간 간섭으로 인해 비트 인식률의 한계를 갖고 있다. 이러한 문제를 개선하기 위해 본 논문에서는 색상과 패턴 정보를 다중화하는 칼라 QR코드를 사용함으로써 정보저장 능력을 증대하면서 동시에 비트 인식률을 개선시키는 방안을 제안하였다. 즉, 기존의 8색 색채 별자리 구성에서는 색상 간의 거리가 단위 거리 1인 반면에, 제안한 방식은 색상 간 거리를 단위 거리의 \(\sqrt{2}\)배로 유지하되, 색상 간에 패턴정보를 다르게 함으로써 동시에 삽입 정보량은 동일하게 유지되는 방안을 도입하였다. 다양한 인식 실험을 통해 제안된 방법이 기존 방식에 비해 비트 인식률 성능을 개선하였고, 또한 프린팅과 스캐닝에 매우 강인함을 제공함으로써 실용적으로 사용될 수 있음을 검증하였다.

앞으로 상업적으로 부가가치가 높은 응용을 위해본 논문에서 실험한 3비트 블록 보다 더 큰 비트 블록을 얻기 위한 색채 별자리 및 패턴 구성방법, 그리고 비트 오인식에 대응하기 에러 보정 비트의 구성 방안에 대한 연구를 수행할 필요가 있다.