안드로이드 기반의 스마트폰을 활용한 백반증 피부 영상 분할

Color Image Segmentations of a Vitiligo Skin Image with Android Platform Smartphone

Abstract

In this study, the new color image processing algorithms with an android-based mobile device are developed to detect the abnormal color densities in a skin image and interpret them as the vitiligo lesions. Our proposed method is firstly based on transforming RGB data into HSI domain and segmenting the imag into the vitiligo-skin candidates by applying Otsu's threshold algorithm. The structure elements for morphological image processing are suggested to delete the spurious regions in vitiligo regions and the image blob labeling algorithm is applied to compare RGB color densities of the abnormal skin region with them of a region of interest. Our suggested color image processing algorithms are implemented with an android-platform smartphone and thus a mobile device can be utilized to diagnose or monitor the patient's skin conditions under the environments of pervasive healthcare services.

1. 서 론

국내를 포함하여 전 세계적으로 스마트폰 기기의 사용자의 수가 증가하고 있으며 또한 스마트폰을 활용하여 환자의 질환 예방 및 건강관리 시스템에 적용하고자 하는 연구들이 활발히 진행되고 있다[1-2]. 이와 더불어 환자의 피부 상태를 영상으로 촬영하고 이를 인터넷 망을 통하여 원격지에 있는 의료진에게 전송하여, 환자의 과다한 햇볕 노출로 인한 화상여부 그리고 피부 이상 병변 발생 여부를 조기에 진단하여 흑색 암종과 같은 악성 피부암 발병을 조기에 진단하고자 하는 소위 “원격 피부진료” 연구가 진행되고 있다[3]. 이에 따라서 본 연구에서는 원격 피부 진료에 활용을 위해서 스마트폰 카메라를 이용하여 환자의 피부 영역을 촬영하고 특히 백반증 피부 질환과 연관하여 임상적 진단에 도움이 되는 특징 값을 도출하기 위해서, 안드로이드 기반의 스마트폰 환경에서 피부 컬러 영상을 분석하고 특히 백반증 영역을 인식하는 알고리즘을 제시하고자 하였다.

 

2. 본 론

2.1 RGB 컬러 공간 모델

RGB 컬러 공간 모델은 컬러 CRT 모니터와 컴퓨터의 그래픽에서 사용하는 직각 좌표계로 디지털 영상을 처리하거나 저장하는데 가장 널리 사용되는 컬러 모델 중 하나이다. RGB는 “빛”의 삼원색인 빨강(red), 초록(green), 파랑(blue)을 지칭하며 각각의 색을 적절히 혼합하여 이론상으로는 224개의 컬러를 조합할 수 있다[4].

그림 1에서 각각의 좌표축은 R, G, B 공간을 나타낸다. 좌표점 (0, 0, 0)은 검은색이며 (1, 1, 1)은 백색을 의미하고, R, G, B가 합해지는 비율에 따라 다양한 컬러로 표현된다. (0, 0, 0)과 (1, 1, 1)을 연결하는 대각선상에 존재하는 모든 점들은 R, G, B가 합해지는 비율이 동일하며, 회색 등급을나타내는데 이런 경우 컬러정보 대신에 명암도만 갖는 흑백 영상(gray-level image)을 의미한다.

그림 1RGB 컬러 공간 설명도 Fig. 1 A diagram for RGB color coordinates illustrating

2.2 HSI 컬러 공간 모델

RGB 컬러 모델은 시스템이나 하드웨어에서 사용하기 위해 만들어진 컬러 모델이다. 이에 반해 HSI 모델은 인간의 색인지에 기반을 둔 사용자 지향성의 컬러 모델이다. 여기서 H는 색상(hue), S는 채도(saturation), I는 명도(intensity) 를 각각 나타낸다. HSI 모델은 RGB 컬러 공간 모델과는 다르게 RGB 값을 조합할 필요가 없는데 이는 좌표축 H 자체가 H를 나타내기 때문이다. 예를 들면 진한 빨간색을 엷은 빨강(분홍)색으로 만들기 위해서는 또 다른 좌표축 중의 하나인 S를 조절하고, 밝기를 바꾸기 위해서는 I 축을 조절한다. H는 색을 구별하기 위해 사용되는 축으로 0~360°의 범위를 가진 각도 값으로 나타낸다. S는 순색에 첨가된 백색광의 비율을 나타내며 0~1의 범위를 가진 반지름에 해당한다. 중심축에서 멀어지면 S는 높아진다. I는 빛의 세기를 나타내며 0~1사이의 범위를 가진다. 0은 검정, 1은 흰색을 나타낸다. 그림 2는 HSI 좌표의 모델을 RGB 컬러 영역과 비교한 그림이다. HSI 모형은 실린더(cylinder) 모양으로 생긴 좌표로 RGB 모델에서 대각선을 중심축 I 로 한다. 밝기가 밝거나 어두운 영역에서는 내접하는 타원의 크기가 작아지므로 허용되는 S영역의 범위는 이에 대응하여 작게 표현된다. 즉, I 축에서 외곽으로 멀어질수록 순색에 가까워지며 S가 증가하게 되고 I 축에서 가까우면 S가 저하된다.

그림 2HSI 컬러 공간 및 H 공간 Fig. 2 Representation by HSI color coordinates in RGB plane and H plane

2.3 스마트폰을 활용한 피부 영상 획득

스마트폰에서 영상처리를 할 수 있는 시스템을 구현하기 위해 우선, 이클립스(eclipse) 이뮬레이터를 이용하여 어플리케이션을 구현하였고, 그림 3의 과정과 같이 안드로이드 기반의 스마트폰(모델명 : LG-F180S, LG전자, 대한민국) 기기를 활용하여 피부 영상을 획득 하였다.

그림 3스마트폰을 활용한 피부 영상 획득 과정 Fig. 3 Acquisition of a skin image by Android OS smart phone

그림 3은 스마트폰을 활용하여 피부영상을 획득하는 과정이다. 영상을 촬영할 때 주의할 점은 조명의 위치와 배경의 색이다. 광원의 위치에 따라 생기는 그림자에 의해서 영상 왜곡 현상이 발생할 수 있기 때문에 그림자가 생기지 않도록 해야 하고, 이를 위해서 2개의 광원들을 촬영 대상의 중심부를 기준하여 단축방향으로 서로 대각선방향으로 배치한다. 또한 영상을 이진화하여 백반증 영역만을 검출해야 하기 때문에 피부영역과 비교하여 어두운 색깔의 배경을 선택한다. 즉, 그림 3에서와 같이 2개의 광원을 적절히 배치하고 어두운 색 배경 위에서 대상의 피부를 촬영한다.

그림 4는 2개의 광원들을 적절히 사용한 경우와 그렇지 않은 경우에 스마트폰을 이용해 피부를 촬영한 결과를 보여준다. 그림 4의 (a)는 그림자로 인한 왜곡이 생기지 않도록 2개의 광원을 적절히 배치하여 얻은 영상이고, (b)는 하나의 광원으로 얻은 영상이다. 그림 (a)는 영상 내의 배경영역과 물체영역 간의 음영 대비도가 크기 때문에 영상을 이진화할 경우 물체영역이 뚜렷하게 드러나지만 그림 (b)는 음영 대비도가 작아서 물체영역이 뚜렷하게 도출되지 않는다.

그림 4광원의 위치에 따른 피부영상 획득 결과 Fig. 4 Skin image acquisition with varying the position of two light sources

2.4 스마트폰 기반의 영상처리 구현

그림 5는 본 연구에서 제시된 스마트폰 기반으로 하여 피부 영상을 획득하고, 이를 분석하는 알고리즘의 구현 과정을 보여 준다. 우선, 스마트폰 카메라 촬영을 통하여 얻은 컬러영상을 RGB 도메인과 HSI 컬러 공간으로 분리하여 배경과 관심대상의 명암 대비도가 가장 큰 컬러 공간을 선택한다. 그리고 영상 이진화 알고리즘을 사용하여 관심영역을 배경으로부터 자동적으로 분리하고, 모폴로지(morphology) 연산을 통하여 잡음을 제거한 다음 레이블링(labeling) 연산을 적용하여 RGB 히스토그램 특징값을 도출한다.

그림 5백반증 영역 검출을 위한 스마트폰 기반 영상처리 알고리즘 구현 구성도 Fig. 5 Steps for processing color image analysis by an android OS smartphone for segmenting vitiligo regions

스마트폰으로 획득한 영상을 이진화하기 전에 R, G, B, H, S, I 컬러공간으로 분리하고 각각의 분리된 명암도를 확인하여 대비도가 가장 높은 컬러공간을 선택한다. 그림 6에서 (a), (b), (c)는 RGB 컬러공간으로 분리된 화소값을, (d), (e), (f) 는 HSI 컬러공간으로 해석된 화소값을 나타낸다.

그림 6RGB와 HSI 영역에서 분리된 컬러 공간 Fig. 6 Image representation in RGB and HSI color planes

실제로 스마트폰 카메라로 백반증 영역을 촬영한 결과, B영역에서 백반증 영역 정보가 가장 뚜렷하게 나타났기 때문에 B를 선택하여 사용했다. 이와 같이 컬러 공간을 결정한 다음에 백반증 영역을 자동적으로 검출하기 위해서 특정한 컬러 공간에 존재하는 히스토그램을 분석하여 이진화 영상으로 표현하였다. 마지막 단계로서 이진화된 영상에서 백반증 영역들에 대하여 레이블링 알고리즘을 적용하여 각 레이블마다 해당되는 영역의 크기를 추정하였다. 아울러 일정한 크기보다 작은 레이블 영역은 잡음으로 해석하여 모폴로지 연산을 통해 제거 하였다.

2.5 백반증 영역 분할

피부 영상을 해석하기 위한 이진화 작업에서 최적의 영상 분할 기준치를 설정하기 위하여 Otsu[5] 임계치 설정 기법을 사용하였다. Otsu 기법은 영상의 히스토그램과 통계학적인 방법을 이용하여 최적의 임계값을 자동으로 찾는 방법이다. 배경을 나타내는 히스토그램과 물체를 나타내는 히스토그램이 각각 정규분포를 이루고 있다고 가정하면 배경과 물체가 각각 비슷한 밝기 값에 집중되어 있을 경우 개별 분포의 밝기는 유사성이 높고, 이는 그 확률분포가 작은 크기의 분산 값을 가지게 되기 때문에 Otsu 임계치, t는 배경과 물체 두 그룹이 가능한 한 낮은 분포 값을 가지도록 두 분포를 분리하는 값으로 설정된다. 식 (1)은 분산 을 나타낸다.

식 (1)에서 𝜔1과 𝜔2는 각 영역의 가중치로 그 영역에 해당하는 픽셀이 나타날 확률을 의미하며, 와 는 두 정규분포의 분산 값이다. 가중치와 분산 값은 모두 임계치t의 함수이며 t 값은 밝기 값이므로 0~255 사이의 을 가진다. 식 (1)의 결과가 최소값일 때의 픽셀값이 최적의 임계값이 된다. 그림 7는 B 컬러 영상 정보를 Otsu 임계치를 적용하여 이진화시킨 결과를 보여준다. 즉, 관심영역은 255의 화소값으로 표현되고, 나머지 부분은 0의 화소값으로 분리된다.

그림 7Otsu 알고리즘을 적용한 영상분할 결과 Fig. 7 Image segmentation by Otsu's threshold algorithm

2.6 모폴로지 연산 적용

일반적으로 영상 내에는 다양한 물체들이 혼합되어 있으며 관심영역의 나머지 부분의 물체들은 잡음 성분이라고 볼 수 있다. 이러한 경우, 원하는 물체만을 추출하기 위해서는 다양한 접근 방법이 있지만 본 연구에서는 모폴로지 기법을 사용하여 원하는 대상의 잡음을 제거하였다. 모폴로지는 마스크 기반 영상처리의 일종으로 기하학적 형태의 마스크(필터)를 구성하여 이 마스크의 정보를 반영하여 영상 내에서 잡음을 제거하는 기법이다. 2차원 상에서 일정한 크기의 사각형 마스크뿐만 아니라 원하는 다양한 모양의 마스크를 가질 수 있는데 이를 구조요소라고 한다. 그림 8은 구조요소의 예를 보여주고 있다.

그림 8구조요소의 예 Fig. 8 Examples of structure elements (a) 5×5 rectangular (b) 5×5 cross (c) 3×3 cross

모폴로지 기법을 구성하는 가장 기본적인 연산은 침식 (erosion) 연산과 팽창(dilation) 연산이다. 이진화 영상에서 침식 연산은 영상 내에서 구조 요소의 모든 요소가 영역 내에 존재할 경우 그 지점의 값을 logical 1로 설정한다. 구조 요소 B에 의한 A의 침식은 A⊖B로 표기되며, 식 (2)와 같 이 집합 연산으로 정의된다[6]. 식 (2)는 B에 의한 A의 침식이 z에 의해 이동된 B가 A에 포함되는 모든 점 z의 집합임 을 의미한다. B가 A에 포함된다는 표현이 B가 A의 배경과 요소를 공유하지 않는다는 표현과 등가이므로, 침식의 정의로 식 (3)의 등가 공식을 쓸 수 있다.

팽창 연산은 영상 내의 구조요소의 값 중 하나라도 영역 내에 존재하면 그 지점의 값을 0으로 설정한다. 여기서 A의 배경을 Ac로 표현했다. B에 의한 A의 팽창은 A⊕B로 표기되며, 식 (4)와 같이 집합 연산으로 정의된다. B에 의한 A의 팽창연산은 이동된 가 적어도 A의 한 요소와 겹치는 모든 구조요소 원점의 위치들로 구성되는 집합이다.

그림 9는 Blue 컬러 영역 정보를 침식과 팽창 모폴로지 연산을 적용한 결과를 보여준다. a는 그림 7의 이진화한 영상에 침식연산을 적용한 것으로 작은 크기의 영역들은 제거되는 것을 확인 할 수 있다. b는 그림 7에 팽창연산을 한 결과이다. 대상영역이 확장된 것을 확인할 수 있다.

그림 9침식과 팽창 모폴로지 연산 결과 (a) 침식 (b) 팽창 (그림 8-(b) 구조요소를 사용함) Fig. 9 Results of applying (a) erosion and (b) dilation with a structure element illustrated in Fig. 8-b

침식과 팽창 두 가지 연산을 복합적으로 사용한 연산으로는 팽창 연산 후 침식 연산을 수행하는 제거(opening) 연산과 침식 연산 후 팽창 연산을 수행하는 채움(closing) 연산 등이 있다. B에 의한 A의 제거는 식 (5)와 같이 A ∘ B 로 표기하며, B에 의해 A를 침식시키고 나서 그 결과를 B로 팽창시키는 것으로 정의된다.

식 (5)에서 ∪{ • }는 중괄호 안의 모든 집합들의 합집합을 나타낸다. 즉, A ∘ B 는 A에 완전하게 들어가는 B의 모든 이동의 합집합이다. B에 의한 A의 채움은 A • B 로 표기하며 팽창 후 침식이 뒤따른다. 식 (6)은 팽창 연산을 정의한 식이다.

그림 10은 Blue 컬러 영상을 이진화한 영상에 제거와 채움 모폴로지 연산을 적용한 결과를 보여준다. 제거 연산은 그림 9에서 설계된 모폴로지 연산을 (b)에서 (a) 단계로 수행하고, 이와는 대조적으로 채움 연산은 (a) 연산을 한 다음 (b) 단계로 연산을 수행한다.

그림 10제거와 채움 모폴로지 연산 결과 (a) 제거 (b) 채움 (그림 8(b) 구조요소를 사용함) Fig. 10 Results of applying (a) opening and (b) closing with a structure element illustrated in Fig. 8(b)

그림 8의 (b) 구조요소를 이용하여 모폴로지를 한 결과, 그림 9의 (a)처럼 침식 연산을 할 경우 잡음이 제거된다. 하지만 동시에 백반증 영역까지도 축소된다. 그렇기 때문에 침식 연산과 팽창 연산을 적절히 함께 사용해야한다. 그림 10에서 제거 연산과 채움 연산을 적용한 결과를 비교해 보면 침식 연산으로 잡음을 제거한 뒤 팽창으로 백반증 영역을 확대한 (b) 채움 연산을 한 결과 비교적 잡음이 많이 제거되었음을 알 수 있다.

2.7 백반증 영역 레이블링

모폴로지 연산을 통해 잡음을 제거한 영상을 레이블링을 하면 각각의 영역들을 배경으로부터 분리할 수 있다. 즉 이진화 영상에 대한 레이블링 과정을 적용하면 관심이 되는 영역들을 각각의 별개의 지역으로 구별될 수 있도록 재구성 된다. 결과적으로 레이블링이 수행된 영상에서 각각의 레이블(번호)이 부여된 영역만 추출하면 관심 영역들의 영역분리가 이루어지게 되며 픽셀 개수로 표현되는 면적, 중심좌표, 원주 길이 등의 특징 값들을 계산할 수 있다.

그림 11은 모폴로지 연산을 한 영상을 레이블링 하여 백반증 영역을 영역별로 다른 색으로 나타낸 그림이다. 여기서 ROI(Region of Interest)라고 표시된 부분은 사용자가 스마트폰에서 임의로 선택한 관심영역으로 정상적인 컬러 정보를 갖는 피부영역으로 해석한다. 표 1은 레이블링 연산을 한 후 분류된 각각의 레이블 영역에 해당하는 픽셀 개수로 면적을 표현하고 있다. 레이블링 연산 결과 총 19개의 백반증 후보 영역들이 검출되었으며 임상적으로 의미를 부여할 수 있는 영역의 개수는 6개 정도로 판단된다.

그림 11관심영역 선택 및 레이블링 연산 결과 Fig. 11 ROI and result of applying labeling algorithm

표 1레이블링 영역별로 분류된 영역의 면적 Table 1 Area of the labeled regions in pixels

2.8. 백반증 후보 영역의 RGB 히스토그램 가시화

백반증 영상에서 히스토그램 분포를 이용하여 백반증 영역의 히스토그램을 가시화하였다. 여기서 표 1에서 표현된 레이블 번호를 중심으로 각각 영역의 면적을 표현하는 픽셀수가 100이상인 경우만 백반증 영역의 후보로 해석하였다. 그림 12(a)는 관심영역의 히스토그램을 나타낸 것이다. 관심 영역은 그림 11의 왼쪽 상단에 해당하는 백반증 병변이 없는 영역으로 선택하였다. 그림 12(b)는 레이블링 연산을 통해 추출한 백반증 영역에서 표 1의 픽셀수가 100 이상이 되는 레이블 영역들만 취합하여 이를 RGB 히스토그램으로 표현하였다.

그림 12관심영역과 백반증 후보 영역의 RGB 히스토그램 Fig. 12 Histograms on a region of interest and vitiligo regions

그림 12의 히스토그램을 비교해보면 정상적인 피부영역에 서는 R, G, B가 서로 분리되어 있고 또한 R정보가 B와 G 정보로부터 많이 분리되어 있음을 확인할 수 있다. 이와는 대조적으로 백반증 영역으로 해석되는 레이블 영역은 G정보와 B정보의 히스토그램 분포와 유사도가 크고, 또한 R정보와 G, B 히스토그램의 밀집도의 분포가 서로 다르다는 사실을 확인할 수 있다.

 

3. 결 론

본 연구에서는 스마트폰 카메라로 촬영한 피부 영상 데이터를 안드로이드 기반의 스마트폰에서 컬러 영상 데이터를 처리하고 또한 백반증 진단에 필요한 파라미터들을 도출할 수 있는 영상처리 알고리즘을 구현하였다. 특히 스마트폰 환경에서 Otsu 알고리즘에 기초한 영상 분할과 모폴로지 연산 알고리즘의 적용을 통하여 백반증 영역과 정상 영역을 분리할 수 있었으며, 각 영역의 히스토그램 분포를 비교해 본 결과 백반증 영역이 정상 영역보다 큰 밝기값을 가지는 것을 확인하였다. 이에 따라서, 추후 이를 토대로 환자의 데이터베이스를 구축하여 백반증 영역의 특징을 나타내는 정량적인 특징값들을 도출하면 백반증 영역의 병변 진행상태를 파악하는데 도움이 되리라 사료된다.