DOI QR코드

DOI QR Code

Development of color space conversion algorithm for application of tooth colorimetry app

치아측색용 App 적용을 위한 색공간 변환 알고리즘 개발

  • Jo, Jae-Hyun (Department of Bio-medical Engineering, Catholic Kwandong University) ;
  • Kim, Seung-Hun (Department of Bio-medical Engineering, Catholic Kwandong University) ;
  • Lee, Sang-Sik (Department of Bio-medical Engineering, Catholic Kwandong University) ;
  • Jeong, Jin-Hyoung (Department of Biomedical IT, Catholic Kwandong Universit)
  • Received : 2022.02.13
  • Accepted : 2022.02.24
  • Published : 2022.02.28

Abstract

Due to medical and economic development, various treatment methods are being studied to restore or maintain beautiful and healthy teeth. In particular, interest in aesthetic treatment procedures such as prosthetic treatment and whitening to restore tooth loss is increasing. One of the important things in the field of prosthetics and esthetic treatment is to determine the correct color of teeth because harmony with natural teeth is an important factor in determining the perfection of esthetic prostheses. This study is about the development of a colorimetry application for tooth colorimetry using a smartphone camera. The colorimetry application UI was designed, the colorimetry algorithm was derived and the application was implemented, and the validity of the application was verified through testing the implemented application.

의술과 경제적 발전으로 인해 예쁘고 건강한 치아를 복원 또는 유지하기 위해 다양한 치료 방법들이 연구되고 있으며 특히 치아의 손실을 복원하는 보철치료, 미백과 같은 심미 치료 시술에 대한 관심이 증가하고 있다. 보철 및 심미 치료 분야에 있어 중요한 것 중 하나가 치아의 정확한 색상을 결정하는 것인데 이는 자연치와의 조화가 심미 보철물의 완성도를 결정 짓는 중요한 요소이기 때문이다. 본 연구는 스마트폰을 카메라를 활용하여 치아 측색 위한 측색 애플리케이션 개발에 대한내용으로서, 측색 애플리케이션 UI를 설계하고, 측색 알고리즘을 도출하여 애플리케이션을 구현하였으며, 구현된 애플리케이션에 대한 테스트를 통해 유효성에 대한 검증을 진행했다.

Keywords

1. 서론

의술과 경제적 발전으로 인해 예쁘고 건강한 치아를 복원 또는 유지하기 위해 다양한 치료 방법들이 연구되고 있으며 특히 치아의 손실을 복원하는 보철치료, 미백과 같은 심미 치료 시술에 대한 관심이 증가하고 있다[1~7]. 보철 및 심미 치료 분야에 있어 중요한 것 중 하나가 치아의 정확한 색상을 결정하는 것인데 이는 자연치와의 조화는 심미 보철물의 완성도를 결정짓는 중요한 요소이기 때문이다[4~13]. 치아 색상을 측정하기 위한 방법으로는 Vita사 등에서 개발한 Shade Guide를 통해 맨눈으로 치아의 색상을 확인하는 방법과 분광광도계 또는 Shade Eye NCCⓇ Dental Chroma Meter, ShadepilotTM system등의 치아 측색기를 통해 치아의 색을 측정하는 것이 대표적이다[3~13]. Shade Guide를 사용하여 측정하는 경우 의사와 간호사가 서로의 의견을 대조해서 평가하나 평가자의 주관적인 시각으로 측정하기에 측정자의 숙련도, 조명 등 여러 환경요인에 의해 결과가 달라질 수 있다[8~13]. 치아 측색기는 shade guide로 인한 평가보다는 정확하기는 하나 기계마다 약간의 성능 차이가 있으며 치아의 색상을 직접 측정하는 방법은 측정된 값을 표준화된 색체계인 Munsell color order system이나 CIE(국제조명위원회)가 규정하는 system으로 나타내고 정확성이나 재현성이 다른 방법들에 비해 뛰어난 장점을 가진다[9~13]. 하지만 치아 경 조직의 독특한 광학적 특성과 각 치아의 다양한 형태가 정확한 측색이나 색상 재현에 어려움을 주어 치의학 관련 색채학 분야는 국제 조명위원회(CIE) 등에서 제시하는 색체계에 부합하는 하나의 표준화된 체계를 선택하지 못하고 있기에 측정된 값으로 현재 시판되는 재료의 선택이 어려운 상황이며, 이를 보완하기 위한 연구들이 진행되고 있다[9~13]. 본 논문은 치아 측색을 위해 스마트폰을 활용하는 연구로서 그 첫 단계로 스마트폰 카메라를 이용하여 색상을 읽어 들이고, 보정 과정을 거쳐 측색을 하는 알고리즘 및 애플리케이션의 개발에 대한 내용이다.

2. 실험방법

2.1 색공간 변환 알고리즘 도출

측색 알고리즘 개발을 위해 애플리케이션 사용 환경에 알맞은 색 공간과 표준광원을 선정하고, 색 공간 좌표 변환 식과 보정알고리즘을 도출하는 연구를 진행했다.

2.1.1 표준 광원의 선정

흔히 기준으로 삼는 태양광선도 위치, 시간에 따라 분광분포가 달라지므로 표준광원이 필요하다. 1967년 CIE 16차 총회에서 다음과 표1과 같은 표준 광을 지정 사용토록 권고하였으며[14], 본 연구에서도 제시한 표준을 적용하였다.

표 1. CIE 표준 광원

JBJTBH_2022_v15n1_62_t0005.png 이미지

Table 1. CIE standard light source

위 표1 에서 상관 색온도(color temperature)란 실제 광원이 완전 복사체로부터 다소 벗어난 복사 분포를 갖기 때문에 완전 복사체에서 가장 근접한 색도를 갖는 색온도를 칭한다.

즉 실제로 광원의 천연광의 재현은 불가능하여 CIE에서 조명으로 사용되는 불완전 복사체(Non black body)에 대한 색온도를 상관색온도라 한다. 색온도는 흑체를 가열했을 때 방사하는 빛의 색에 대한 흑체의 온도를 말하며 흑체를 가열하면 저온일 경우 적미색광이, 고온이면 청미색광이 나타난다[15]. 색온도는 보통절대온도(K=℃+273)로 나타낸다[16]. 본 연구에서는 치과에서 사용할 수 있는 치아측색기의 개발을 목표로 하고 있으나 대낮의 조명하에서 사용된다는 점을 감안하고 표준 광원 선택 빈도 및 추세를 고려하여 D65 광원을 가정하고 색공간 지표로는 디지털 영상기기에서 가장 보편적으로 사용되는 sRGB 표준을 사용하였다.

2.1.2 보정알고리즘 도출

먼저 Red(255, 0, 0), Green(0, 255, 0), Blue(0, 0, 255) 색의 칼라시트를 표준으로 하여 반복 측정한다. 이후 스마트폰 카메라 셀의 특징으로 인해 왜곡된 생성 정보를 보정하기 위해 변환행렬 [M] 보정을 통해 측정 환경에 해당하는 조명과 색 공간에 대한 변수를 보정하기로 하였으며, 변환행렬 [M]보정에 대한 설명은 다음과 같다. RGB to XYZ 변환 식을 행렬로 표현하면 수식(1)과 같다.

\(\begin{aligned}\left[\begin{array}{c}X \\ Y \\ Z\end{array}\right]=[M]\left[\begin{array}{l}R \\ G \\ B\end{array}\right]\end{aligned}\)       (1)

수식 (1)에서 변환행렬[M]은 다음과 같음

\(\begin{aligned} {[M]}=\left[\begin{array}{lll}a & b & c \\ d & e & f \\ g & h & i\end{array}\right]\end{aligned}\)       (2)

이때 sRGB 표준과 D65 표준 광원을 적용한 변환계수 [M]의 보정변수는 표2와 같다.

표 2. sRGB 색공간 표준, D65광원의 보정변수

JBJTBH_2022_v15n1_62_t0006.png 이미지

Table 2. sRGB color space standard, calibration parameters for D65 light source

[M]값을 곱하여 구한 행렬값을 [M`]이라 가정하고, 이후 [M`]값에 R, G, B 측정값의 각 평균을 구하여 각각 var_R, varG, var_B라 칭하고 이를 곱하는 방법을 고안했으며 수식(3), (4), (5)와 같다.

\(\begin{aligned}\left[M^{\prime}\right]=\left[\begin{array}{lll}a & b & c \\ d & e & f \\ g & h & i\end{array}\right] *\left[\begin{array}{l}R \\ G \\ B\end{array}\right]\end{aligned}\)       (3)

\(\begin{aligned}\begin{array}{l}\operatorname{var} R=\sum_{k=1}^{n} R_{k} / n \\ \operatorname{var} G=\sum_{k=1}^{n} G_{k} / n \\ \operatorname{var} B=\sum_{k=1}^{n} B_{k} / n\end{array}\end{aligned}\)       (4)

n=측정횟수 

\(\begin{aligned}\left[\begin{array}{l}\operatorname{cal} X \\ \operatorname{cal} Y \\ \operatorname{cal} Z\end{array}\right]=\left[M^{\prime}\right]*\left[\begin{array}{c}\operatorname{var} R \\ \operatorname{var} G \\ \operatorname{var} B\end{array}\right]\end{aligned}\)       (5)

2.2 측색 애플리케이션 UI 설계

측색 애플리케이션 설계 및 제작을 위해 MIT App Inventor를 사용하여 설계를 진행하였다. 화면의 UI 설계는 다음 그림 1과 같다. 화면 하단에 위치한 Start 버튼을 누르면 스마트폰 카메라가 활성화되며 사진을 촬영하면 저장화면으로 넘어가게 된다. 이후 사진을 저장하게 되면 다음 그림1-b에 해당하는 측색 기능 화면으로 넘어가게 된다.

JBJTBH_2022_v15n1_62_f0001.png 이미지

그림 1. 애플리케이션 화면 UI 설계 (a) 메인화면, (b) 측색기능 화면

Fig. 1. Application screen UI design (a) main screen, (b) colorimetry screen

측색 기능화면 상단에는 촬영된 사진과 사진 내에서 원하는 위치의 RGB 값을 측정할 수 있도록 + 형태의 마커를 터치하거나 드래그하여 측정하고자 하는 위치를 변경할 수 있도록 설계하였다. 마커를 통해 위치를 설정하면 사진 화면 오른쪽을 통해 RGB 값을 각각 Red, Green, Blue 값별로 나타내는 화면을 배치하였다. 하단에는 앞서 제시한 계산 방법을 통해 각각 RGB, XYZ(변환 값), Cal(보정 값) 값을 계산할 수 있는 버튼을 위치시켰다.

3. 결과

3.1 애플리케이션 구현

앞서 제시한 측색 알고리즘과 애플리케이션 설계를 통해 구현한 애플리케이션은 다음 사진과 같다.

JBJTBH_2022_v15n1_62_f0002.png 이미지

그림 2. 애플리케이션 실행화면 (a) 메인화면, (b) start 버튼 활성화 이후, (c) 사진저장유무화면, (d) 측색 기능 화면

Fig. 2. Application execution screen (a) Main screen, (b) After activation of the start button, (c) Photo saving screen, (d) Colorimetry screen

애플리케이션 안드로이드 OS 기반으로 개발되었으며 Start 버튼을 누르면 스마트폰 카메라가 활성화되고, 사진을 찍으면 저장 또는 취소를 선택하는 화면으로 넘어가고 여기서 저장을 누르면 측색 기능이 활성화된다.

3.2 애플리케이션 유효성 검증

개발한 애플리케이션 및 측색 알고리즘의 유효성 검증을 위해 먼저 Test Color chart를 활용하여 Red, Green, Blue 색상을 색상별로 사진에서 마커를 조금씩 이동하며 측정하여 측정값마다 값의 차이를 주어 색상별로 10회씩 측정하였다.

JBJTBH_2022_v15n1_62_f0003.png 이미지

그림 3. 유효성 테스트

Fig. 3. Validation Test

실험을 위해 사용된 스마트폰의 기종은 삼성전자사의 갤럭시 노트 2를 사용하였으며, 해당 기종의 카메라 사양은 800만 화소이다.

10회 측정된 값을 각각 수식 (1)~(5) 에 대입하여 보정 값을 도출하고, 도출된 보정 값을 수식(6)에 해당하는 색차 계산식에 대입하여 RGB 색상별로 보정된 색상값(B)과 원색 값(A)의 색차를 구하였다.

\(\begin{aligned}\Delta C=\frac{\sqrt{(X(A)-X(B))^{2}+(Y(A)-Y(B))^{2}+(Z(A)-Z(B))^{2}}}{\sqrt{X(A)^{2}+Y(A)^{2}+Z(A)^{2}}} \times 100\end{aligned}\)       (6)

표 3, 5, 7은 각 원색의 RGB 색상 값에 해당하며, 표 4, 6, 8은 색상별로 보정 값으로 변환한 XYZ 값에 해당된다.

표 3. 측정한 붉은색 RGB값

JBJTBH_2022_v15n1_62_t0007.png 이미지

Table 3. Measured red RGB values

표 4. 보정한 붉은색 XYZ값

JBJTBH_2022_v15n1_62_t0008.png 이미지

Table 4. Cal-converted red XYZ values

표 5. 측정한 녹색의 RGB값

JBJTBH_2022_v15n1_62_t0009.png 이미지

Table 5. Measured green RGB values

표 6. 보정한 녹색 XYZ값

JBJTBH_2022_v15n1_62_t0010.png 이미지

Table 6. Cal-converted green XYZ values

표 7. 측정한 파란색 RGB값

JBJTBH_2022_v15n1_62_t0011.png 이미지

Table 7. Measured blue RGB values

표 8. 보정한 파란색 XYZ값

JBJTBH_2022_v15n1_62_t0012.png 이미지

Table 8. Cal-converted green XYZ values​​​​​​​

다음 표9는 보정된 색상 값과 원래 색상의 색차 값에 대한 데이터이다.

표 9. 보정RGB 값과 측정 RGB값의 색차 표

JBJTBH_2022_v15n1_62_t0013.png 이미지

Table 9. Color difference table of calRGB value and measured RGB value​​​​​​​

색 차는 색공간에서의 두 색의 위치 사이의 거리로서 차이가 낮을수록 색공간이 같음을 의미한다[17]. 표 9를 보면 Red는 평균 1.13%, Green은 평균 1.82%, Blue에서는 0.28%로 차이나 낮음을 확인 할 수 있었으며 이는 원색과 보정 값이 비슷한 색공간을 가지는 것 확인 할 수 있었다.

4. 결론

본 연구는 스마트폰을 카메라를 활용하여 치아 측색 위한 측색 애플리케이션 개발에 대한 내용으로서, 측색 애플리케이션 UI를 설계하고, 측색 알고리즘을 도출하여 애플리케이션을 구현하였으며, 구현된 애플리케이션에 대한 테스트를 통해 애플리케이션의 유효성에 대한 검증을 진행했다.

그 결과 Red는 평균 1.13%, Green은 평균 1.82%, Blue에서는 0.27%로 색공간의 차이가 낮음을 확인 할 수 있었다. 본 논문에서는 RGB 3가지 색상에 대한 테스트만 진행했으므로 추후 혼합 색상 등의 다양한 색상을 활용한 추가 테스트를 통해 애플리케이션 최적화를 위한 연구를 진행할 것이다.

References

  1. Sang-Sik Lee1, Jin-Hyoung Jeoung2 and Chang-Dong Lee3, "A study on tooth colored optical algorithm using a smartphone", International Journal of Pure and Applied Mathematics, Volume 118 No. 19 2018, 2847-2863
  2. Kim, S. Y., Ahn, J. H., Kim, J. Y., Kim, J. W., Park, S. H., & Cho, K. M. (2018). Efficacy of a self-applied paint-on whitening gel combined with wrap. Journal of Dental Rehabilitation and Applied Science, 34(3), 175-185. https://doi.org/10.14368/jdras.2018.34.3.175
  3. Youngsook Yoon. Comparison of the color of the maxillary anterior region using ShadeEye NCC and the characteristics related to oral health and eating habits. Journal of Dental Hygiene Science, 2012, 12.4: 348-358.
  4. LEE, Kyungho; KIM, Shin. Utilization of resin infiltration for prolonging of tooth whitening effects. JOURNAL OF THE KOREAN ACADEMY OF PEDTATRIC DENTISTRY, 2017, 44.1: 1-10. https://doi.org/10.5933/JKAPD.2017.44.1.1
  5. Hyeon Kang, Nu-Ri Seo, Sang-Won Park, Hyun-Pil Lim, Kwi-Dug Yun, Hong-So Yang*, A case of esthetic prosthetic restoration of a single implant in the maxillary anterior region. Journal of the Korean Dental Prosthetics Association, 56(4), 354-359.
  6. Lee, Y. I., Cho, I. H., & Lee, J. S. (2009). The effect of various foods on the color stability of artificial teeth. The Journal of Korean Academy of Prosthodontics, 47(1), 82-90. https://doi.org/10.4047/jkap.2009.47.1.82
  7. Kim, T. J., Kwon, K. R., Kim, H. S., & Woo, Y. H. (2008). A Study of the shade of between maxillary and mandibular anterior teeth in the Korean. The journal of Korean academy of prosthodontics, 46(4), 343-350.
  8. Park, S. J., Noh, E. Y., Cho, H. G., Hwang, Y. C., Oh, W. M., & Hwang, I. N. (2009). Color difference of the dental composites measured by different color measuring instruments. Journal of Korean Academy of Conservative Dentistry, 34(3), 199-207. https://doi.org/10.5395/JKACD.2009.34.3.199
  9. Oh, Y. J., Park, S. J., Kim, D. J., Cho, H. G., Hwang, Y. C., Oh, W. M., & Hwang, I. N. (2007). Proposal of new dental color-space for aesthetic dental materials. Journal of Korean Academy of Conservative Dentistry, 32(1), 19-27. https://doi.org/10.5395/JKACD.2007.32.1.019
  10. Ong, S. H., Kim, J., Kim, J., Shin, J., & Yoo, S. (2020). Fracture Strength and Translucency of CAD/CAM Zirconia Crown for Primary Anterior Tooth. THE JOURNAL OF THE KOREAN ACADEMY OF PEDTATRIC DENTISTRY, 47(2), 205-212. https://doi.org/10.5933/JKAPD.2020.47.2.205
  11. Kim, S. H., Hwang, S. S., & Lee, H. E. (2016). Shade Comparative Analysis of Natural Tooth using Spectrophotometric Methods. The Journal of the Korea Contents Association, 16(2), 772-781. https://doi.org/10.5392/JKCA.2016.16.02.772
  12. An, J. H., Choi, M. R., & Shim, H. W. (2013). Shade comparative analysis of natural tooth measured by visual and two colorimeters (ShadeEye®, Shadepilot®). Journal of Dental Rehabilitation and Applied Science, 29(1), 81-93. https://doi.org/10.14368/jdras.2013.29.1.081
  13. Lee, S. T., Lee, J. H., & Shin, S. (2009). Evaluation of shade guide using digital shade analysis system. The Journal of Korean Academy of Prosthodontics, 47(1), 1-11. https://doi.org/10.4047/jkap.2009.47.1.1
  14. ISO 11664-2 : Colorimetry "Part 2: CIE standard illuminants", 2007
  15. Wikipedia "Color temperature", June 2012
  16. Wikipedia "Kelvin", February 2022
  17. Wikipedia "Color difference", 15 February 2022