A Study on the Implementation and Development of Image Processing Algorithms for Vibes Detection Equipment

정맥 검출 장비 구현 및 영상처리 알고리즘 개발에 대한 연구

Abstract

Intravenous injection is widely used for patient treatment, including injection drugs, fluids, parenteral nutrition, and blood products, and is the most frequently performed invasive treatment for inpatients, including blood collection, peripheral catheter insertion, and other IV therapy, and more than 1 billion cases per year. Intravenous injection is one of the difficult procedures performed only by experienced nurses who have been trained in intravenous injection, and failure can lead to thrombosis and hematoma or nerve damage to the vein. Nurses who frequently perform intravenous injections may also make mistakes because it is not easy to detect veins due to factors such as obesity, skin color, and age. Accordingly, studies on auxiliary equipment capable of visualizing the venous structure of the back of the hand or arm have been published to reduce mistakes during intravenous injection. This paper is about the development of venous detection equipment that visualizes venous structure during intravenous injection, and the optimal combination was selected by comparing the brightness of acquired images according to the combination of near-infrared (NIR) LED and Filter with different wavelength bands. In addition, an image processing algorithm was derived to threshehold and making blood vessel part to green through grayscale conversion, histogram equilzation, and sharpening filters for clarity of vein images obtained through the implemented venous detection experimental module.

정맥주사는 환자의 치료를 위해 주사 약물, 수액, 비경구 영양, 혈액제제의 투입 등에 광법위하게 이용되고 있으며 입원 환자에게 가장 빈번하게 행해지는 침습적 처치로서, 채혈, 말초 카테터 삽입 및 기타 IV요법 등에 해당하며 연간 10억건 이상 발생하고 있다. 정맥주사는 정맥주사 교육을 받은 숙련된 간호사들에 의해서만 시술되는 어려운 시술 중에 하나이며 실패 시 정맥에 혈전증 및 혈종이나 신경손상 등을 초래할 수 있다. 정맥주사를 자주 시술하는 간호사들도 비만, 피부색, 나이 등의 요인으로 정맥 검출이 쉽지 않아 실수들이 발생하는 경우도 있다. 이에 정맥주사 시 실수를 줄이기 위해 손등이나 팔의 정맥 구조를 시각화할 수 있는 보조 장비들에 대한 연구들이 발표되고 있다. 본 논문은 정맥주사 시 정맥의 구조를 시각화하는 정맥검출 장비 개발에 관한 연구에 대한 내용으로서, 정맥검출을 위한 실험 모듈을 제작하고 각기 다른 파장대를 지닌 NIR(근적외선) LED와 Filter의 파장대 조합에 따른 획득 영상의 밝기 비교를 통해 최적의 조합을 선정하는 연구를 진행했다. 또한 구현한 정맥검출 실험 모듈을 통해 획득한 정맥 영상의 선명화를 위해 그레이스케일 변환, 히스토그램 평활화, 샤프닝 필터 적용하고 이진화 이후 마킹을 통해 혈관 부분을 녹색으로 변환하는 영상처리 알고리즘을 도출하였다.

1. 서론

정맥주사는 환자의 치료를 위해 주사 약물, 수액, 비경구 영양, 혈액제제의 투입 등에 광범위하게 이용되고 있으며 입원 환자에게 가장 빈번하게 행해지는 침습적 처치로서[1], 채혈, 말초 카테터 삽입 및 기타 IV요법 등에 해당하며 연간 10억 건 이상 발생하고 있다[2].

정맥주사는 정맥주사 교육을 받은 숙련된 간호사들에 의해서만 시술되는 어려운 시술 중의 하나이며, 실패 시 환자들에게 고통을 주는 것은 물론이고 더 나아가 정맥에 혈전증 및 혈종이나 신경 손상 등을 초래할 수 있다[3].

정맥주사를 자주 시술하는 간호사들도 비만, 피부색, 나이 등의 요인으로 정맥 검출이 쉽지 않아 실수가 발생한다[2, 3]. 이러한 정맥주사 실수로 인한 고충을 줄이기 위해 다양한 연구들이 진행되고 있으며 대표적으로 정맥주사 간호프로토콜 개발[4,5] 및 마네킹 VR 등을 적용한 정맥주사 시뮬레이터 개발에 대한 연구가 진행되고 있고[6~8], 손등이나 팔의 정맥 구조를 시각화할 수 있는 보조 장비들에 대한 연구들과 시제품들이 출시 되고 있다[2,3]. 정맥주사를 보조하는 장비들은 빛과 조직의 상호작용 원리를 사용한 제품이 개발되었다[9,10].

빛이 피부에 입사되면 빛과 생체조직 간의 상호작용을 통해 빛의 진행 특성이 변하게 된다. 피부조직으로 입사하는 빛이 피부 표면에서 반사되거나 입사된 후 세포막, 미토콘드리아 등에 의해 산란이 발생하며, 세포의 발색단, 헤모글로빈이나 멜라닌 등의 색소에 의해서 흡수되기도 하고, 산란과 흡수가 되지 않고 투과되기도 한다. 모세혈관이 있는 진피층은 다양한 세포 및 기관들로 구성되어 있어 단위 면적당 굴절률 편차가 크기 때문에 대체로 강한 산란 성질을 가지며 정맥과 동맥이 분포하는 피하 층은 지방의 양이 많을수록 낮은 빛 투과도를 보인다[10]. 정맥을 검출을 위한 피하층의 혈관을 영상화하기 위해서는 혈관과 주변조직의 광 특성 차이를 이용하여 생체조직으로 입사되는 광 밀도를 최소한으로 감소시키면서 최대의 영상명암비를 획득하는 것이 중요하다[9]. 또한, 약 700 ~ 1,000㎚의 근적외선(Near-infrared) 범위에서 물과 멜라닌, 헤모글로빈에 대한 흡수도가 낮다. 즉, 낮은 수분 흡수율과 낮은 산란특성으로 인해 상대적으로 높은 광 투과도가 보장되어 손상 없이 광 밀도 전달이 가능하기 때문에 시판되는 정맥 검출 장비에 근적외선 파장대를 많이 적용되어 있는 상태이다[11~16].

정맥 검출 장비는 크게 세 가지 부분으로 나눠진다. 첫 번째는 근적외선을 이용해 정맥 영상을 촬영 및 영상처리 후에 정맥 영상을 보여주는 디스플레이 장치[17~19], 두 번째는 정맥 검출 부위의 피부 위에 정맥 영상을 디스플레이 하는 장치[20~24], 세번째는 정맥 검출 부위에 근적외선을 강하게 조사하여 정맥을 검출하는 장치가 있다[24~25].

본 연구는 정맥주사 시 정맥을 시각화하는 보조비개발에 대한 연구로서 혈관검출장비를 제작하여 손등혈관 형상을 획득하고, 획득한 정맥 영상을 영상처리를 통해 선명화 후 이를 별도의 디스플레이 장치에 시각화하는 장치를 구현하기 위해 연구를 진행하였다.

2. 연구 방법

2.1 정맥 검출 장비 설계 및 구현

혈관검출 실험 모듈의 주요 구성은 영상검출부, 디스플레이 및 영상처리부, 이를 부착하는 기구부로 나뉜다. 영상 검출부는 근적외선 파장의 빛을 피부에 조사하면 헤모글로빈 등의 혈액 성분과 충돌하여 빛이 흡수되고 다른 세포와 충돌하는 빛은 산란 또는 투과되는데 이때, 헤모글로빈에 머무는 근적외선을 근적외선 검출기능이 있는 CCD, CMOS, Filter 등으로 구성된 기구부를 통해 촬영하는 원리이다. 이에 영상검출부는 근적외선 검출기능이 있는 적외선 카메라와 렌즈, 근적외선 필터, 근적외선 조사를 위한 근적외선 LED 및 LED를 제어하기 위한 아두이노로 구성된다. 영상처리부는 Raspberry4, 디스플레이부는 Raspberry4와 호환되는 LCD 디스플레이로 구성되어 있다. 그림 1은 정맥 검출 모듈의 H/W 구성이다.

그림 1. 정맥 검출 장비 H/W 부품 구성

Fig. 1. Configuration of vein detection equipment H/W parts

정맥프로젝터 기구부는 Inventor2020을 사용하여 설계 하였으며 기구부 구성은 크게 영상 검출부, 디스플레이부로 나눠져 있다. 영상검출부는 논문과 기존 제품 사양서를 참고하고 손등에서 20cm 떨어진 높이에서 촬영이 가능하게 설계하였다[3, 17~22]. 디스플레이부는 영상 검출부와 가까운 위치에 라즈베리파이 디스플레이를 고정시키기 위한 Base를 설계했다. 라즈베리파이4가 miniHDMI 케이블을 사용하여 HDMI 모니터 연결이 가능하기 때문에 추후 디스플레이부를 기성품 모니터에 연결하여 사용하기 위해서 디스플레이 Base부는 영상검출부와 탈부착이 가능하게 설계 및 제작하였다. 정맥 검출 장비의 기구부 설계는 다음 그림 2, 3과 같다.

그림 2. 정맥 검출 장비 기구부 설계

Fig. 2. Design of the Instrument Section of the Vein Detection Equipment

그림 3. 정맥 검출 장비 구현 사진

Fig. 3. Implementation photo of vein detection equipment

2.2 LED 및 Filter 파장 비교 실험

본 연구의 정맥 검출 장비를 통해 획득한 정맥 영상의 선명화를 위해 LED 및 Filter 파장 비교 실험을 진행하였다. 기존의 정맥 검출 장비는 700 ~ 1,000nm의 파장대 조합을 사용하였고[3, 11~23], 본 연구에서는 720nm, 850nm, 950nm 근적외선 Filter와 750nm, 850nm, 940nm 근적외선 LED의 비교 연구를 진행하고, 정맥 영상의 선명도를 비교하여 성능이 가장 우수하다 판단되는 조합을 선정하였다. 본 연구에 사용한 근적외선 Filter와 근적외선 LED는 그림 4와 같다.

그림 4. 실험에 사용한 근적외선 Filter 및 LED

Fig. 4. NIR(Near-infrared) Filter and LEDs used in the experiment

준비한 근적외선 Filter와 LED를 파장대별로 조합하여 손등의 중수정맥을 검출하고, 검출한 정맥 영상의 선명도를 비교하였다. 정맥 검출은 참가자의 동의를 받고 진행했으며 참가자는 K대학교에 다니는 학생 1명이다. 본 장치에서 사용한 NIR LED는 의료용으로 제작된 제품이 아니라 인터넷에서 쉽게 구할 수 있는 다용도 LED이다.

3. 실험 결과 및 고찰

3.1 비교실험 결과

근적외선 Filter와 LED의 파장대별로 손등의 중수 정맥 검출 실험을 진행하였다. 첫 번째로 Filter 720nm와 LED 730nm, 850nm, 940nm의 정맥 영상은 그림 5와 같다. 영상의 선명도 비교를 위해 사진의 픽셀 밝기 값의 평균 차이를 확인하는 방법을 사용했으며 이를 위해 Image J 라는 프로그램을 사용하였다. 표 1은 그림 5 에서 (a)~(c) 까지의 각 영상의 픽셀 밝기 평균값에 해당한다. 밝기 비교 결과 근적외선 LED 850nm이 127.584(±66.29)으로 가장 선명하였다.

그림 5. 720nm Filter 실험 결과

Fig. 5. 720nm Filter Experimental Results

표 1. 720nm Filter 픽셀 밝기 값 평균

Table 1. 720nm Filter Pixel Brightness Values Average

두 번째로 근적외선 Filter 850nm와 LED를 730nm, 850nm, 940nm의 정맥 영상은 그림 6과 같고, 표 2는 그림 6 에서 (a)~(c) 까지의 각 영상의 픽셀 밝기 평균값에 해당한다. 밝기 비교 결과 근적외선 LED 850nm이 149.040(±67.574)로 가장 밝았다.

그림 6. 850nm Filter 실험 결과

Fig. 6. 850nm Filter Experimental Results

표 2. 850nm Filter 픽셀 밝기 값 평균

Table 2. 850 nm Filter Pixel Brightness Values Average

세 번째는 근적외선 Filter 950nm와 LED를 730nm, 850nm, 940nm의 정맥 영상은 그림 7과 같다. 표 3은 그림 7 에서 (a)~(c) 까지의 각 영상의 픽셀 밝기 평균값에 해당한다. 밝기 비교 결과 근적외선 LED 850nm이 46.305(±24.705)로 가장 밝았다.

그림 7. 950nm Filter 실험 결과

Fig. 7. 950nm Filter Experimental Results

표 3. 950nm Filter 픽셀 밝기 값 평균

Table 3. 950nm Filter Pixel Brightness Values Average

비교실험결과 근적외선 Filter 850nm와 LED 850nm의 조합이 가장 선명한 정맥 영상을 획득하였고, 정맥 검출 장비에 적용하였다.

3.3 영상처리 알고리즘 도출

영상처리는 Python의 영상처리 패키지인 Open cv를 통해 진행하였고, 영상처리 알고리즘은 참고 문헌을 바탕으로 구현하였다. 정맥 영상의 선명화를 위해 가장 많이 사용되었던 방식인 그레이스케일로 영상 변환, 히스토그램 평활화를 적용하였다[3, 19, 23, 26, 27]. 그리고 필터링된 이미지를 샤프닝 필터를 활용하여 필터링 후 이진화 처리를 하였으며, 정맥 부분을 강조하기 위해 혈관 부분을 녹색으로 변환하였다. 참고 문헌의 지정맥 검출 사진[28]과 제작한 정맥 검출 장비를 통해서 직접 촬영한 중수정맥 사진을 영상 처리 알고리즘을 통해서 변환하였고 그림 8, 9와 같다.

그림 8. 적용된 영상처리 알고리즘 – 그레이스케일 변환 및 히스토그램 평활화 기법 적용

Fig. 8. Applied Image Processing Algorithms – Grayscale Transformation and Histogram Smoothing Techniques

그림 9. 적용된 영상처리 알고리즘 – 샤프닝 필터 및 마커 적용

Fig. 9. Applied Image Processing Algorithm – Sharpening Filter and Marker Application​​​​​​​

영상처리 알고리즘을 통해서 기존의 영상보다 정맥 구분이 쉬워졌다. 하지만 영상처리 후 약간의 노이즈와 이미지가 번지는 문제가 발생하기 때문에 추가 연구를 통해서 최적화를 진행할 예정이다.

4. 결론

정맥검출장치는 근적외선 검출 카메라, 렌즈, Raspberry4, 영상검출부 및 영상처리부로 구성하여서 설계 및 제작하였고, 선명한 정맥 영상을 위해서 근적외선 LED 및 Filter 조합의 비교실험을 진행하였다. 근적외선 Filter 850nm와 근적외선 LED 850nm의 조합이 가장 선명한 정맥 영상을 보여주었다. 획득한 정맥 영상을 Python의 영상처리 패키지인 Open CV 통해 그레이스케일로 영상 변환, 히스토그램 평활화, 샤프닝 필터, 이진화, 녹색으로 마킹을 통해서 정맥 위치를 강조하여서 쉽게 구분할 수 있게 영상처리 알고리즘을 개발하였다. 영상처리 후 정맥 영상에서 정맥의 구분은 쉬워졌지만, 노이즈 및 이미지 퍼짐 현상 등이 발생하기 때문에 추가 연구를 통해서 정맥검출장치의 보완과 영상처리 알고리즘 최적화를 진행할 예정이다.