P2P Based Telemedicine System Using Thermographic Camera

열화상 카메라를 포함한 P2P 방식의 원격진료 시스템

Abstract

Recently, the field of telemedicine is growing rapidly due to the COVID-19 pandemic. However, the cost of telemedicine services is relatively high, since cloud computing, video conferencing, and cyber security should be considered. Therefore, in this paper, we design and implement a cost-effective P2P-based telemedicine system. It is implemented using the widely used the open source computing platform, Raspberry Pi, and P2P network that frees users from security problems such as the privacy leakage by the central server and DDoS attacks resulting from the server/client architecture and enables trustworthy identifying connection system using SSL protocol. Also it enables users to check the other party's status including body temperature in real time by installing a thermal imaging camera using Raspberry Pi. This allows several medical diagnoses that requires visual aids. The proposed telemedicine system will popularize telemedicine service and meet the ever-increasing demand for telemedicine.

원격진료 분야는 코로나19 팬데믹으로 인해 빠르게 성장하고 있다. 하지만, 클라우드 컴퓨팅, 화상 회의, 사이버보안 등의 요소를 원격 진료 시스템을 만들 때 고려해야 하기 때문에 원격 의료 서비스의 비용은 비교적 높은 편이다. 따라서 본 논문에서는 P2P 방식의 원격 진료 서비스가 가능한 원격 진료 시스템을 제안한다. 서버-클라이언트구조를 통해 중앙 서버에서 감시되고 기록됨으로써 발생하는 개인정보유출과 DDoS 공격과 같은 보안 문제로부터 자유롭게 하고, SSL 프로토콜을 이용해 정확한 신원 확인을 가능하게 함으로써 신뢰성 있는 연결 체계를 구축하여 환자들이 안심하고 자신의 개인정보를 말할 수 있는 환경을 만든다. 열화상 카메라를 장착하여 실시간으로 체온을 비롯한 상대방의 상태를 실시간으로 확인할 수 있도록 하여 각종 시각 자료가 요구되는 원격 의료 시스템을 라즈베리파이 기반으로 구현함으로써 비용효율성과 휴대성을 갖추고 있다. 이를 통해 원격진료 시스템을 보급화하고 나날이 늘어가는 원격진료의 수요를 충족시킬 수 있을 것이다.

I.서론

코로나 팬데믹의 영향으로 각종 비대면 산업이 크게 발전하고 있다. 특히 의료 시설은 감염의 우려가 큰 공간으로 원격진료의 수요와 그 필요성 또한 증대되고 있다. 실제로 2019년 12월에는 미국 성인의 8%만이 원격진료를 이용하였지만 2020년 5월에는 29%까지 증가했다는 통계가 있다[1].

하지만 기존의 원격진료시스템은 비용이 높고 개인정보보호에 취약하다는 문제점이 있다. 여러 기업 에서 서비스 구축과 운영을 효율적으로 하기 위해서 사용하는 클라우드 컴퓨팅 시스템은 많은 비용이 소요된다. 또한, 이를 기반으로 한 다양한 기능을 이용할수록 더 많은 비용 소모가 일어나고, 중앙 서버에 의해 발생하는 사용자들의 데이터 감시 및 기록을 수행하기 때문에 보안 위험에 항상 노출되어 있다.

P2P 방식은 네트워크의 각 노드들이 서버의 부담을 나눠가지는 구조이기 때문에 과도한 서버 부하 문제가 없고, 이렇게 만들어진 자체 서버는 일반적인 서버-클라이언트 기반의 프로그램들과 달리 중앙 서버에 의해 모니터링 되거나 기록되지 않기 때문에 보안 문제 발생 확률이 감소하여 환자들이 개인정보를 안심하고 제시할 수 있다. 또한, P2P방식은 DDoS(Distributed Denial of Service) 공격방지와 SSL (Secure Sockets Layer) 프로토콜 및 블록체인 등을 이용한 보안 강화에 있어서도 효과적이다. 서버-클라이언트 방식처럼 한 노드가 모든 클라이언트를 다루는 방식이 아니고, 모든 노드에게 작업들이 분산이 되어 있기에 서버만을 집중적으로 공격해서 서비스를 마비시켜 전체 클라이언트에게 피해를 주는 서버/클라이언트 방식과는 다르다. P2P 방식에서는 모든 피어가 서버이면서 클라이언트 역할을 하기에 한 피어가 마비되어도 나머지 피어들에게 가는 피해가 적어 공격에 효과적으로 대응할 수 있다. 그리고, 블록체인 및 SSL 프로토콜을 이용한 신원 확인 방식은 패스워드를 이용하는 일반적인 웹서버와는 다르게 각 피어들끼리 서로에게 신원을 확인한 뒤 소켓 통신을 구축하므로 더욱 신뢰성있는 연결 체계가 구축될 수 있다. 많이 쓰이는 패스워드 인증의 신원 확인 방식은 편리하게 관리할 수 있지만, 좀 더 엄격한 SSL 프로토콜을 이용하여 의사와 환자 각각의 신분증을 이용하여 생성된 개인키를 이용하여 이것들을 복호화를 하며 주고받음으로써 신뢰성 있는 신원 확인을 구축할 수 있다.

본 논문에서는 라즈베리파이 기반의 원격 진료 시스템을 설계 및 구현한다. 라즈베리파이보드와 카메라, 열화상 카메라 모듈로 구성되어 비용 효율적이고, 휴대성을 갖추고 있다. 또한 P2P(Peer-to-Peer network) 방식의 통신망을 이용하므로 중앙 서버에 의해 감시되고 기록되는 일이 없어 개인정보보호 문제를 많이 경감할 수 있고, 이에 맞는 프로토콜을 이용하여 안전한 신원 확인 및 통신 시스템을 구축할 수 있다. 장착된 열화상 카메라를 통해 별도의 체온계 없이도 편리하게 체온 측정이 가능하고, 상태이상여부 판단이 용이하다. 이렇게 화상정보를 실시간으로 주고받음으로써 특정한 시각 자료가 요구되는 의료 진단을 원격으로 집에서 경제적이고 신속하게 받을 수 있게 한다.

2장에서는 P2P 방식과 그에 맞는 보안 프로토콜, 열화상 카메라를 통한 온도 감지, 얼굴 및 눈 인식관련 연구들에 대해서 기술한다. 3장에서는 본 논문에서 제안하는 원격진료시스템의 설계 및 구현 방법에 대해서 다루고, 4장에서 본 시스템의 구현 결과와 함께 고찰을 기술한다. 마지막 5장에서 결론 및 추후 연구로 끝맺는다.

II. 원격진료시스템 및 P2P 관련 연구

임베디드 보드 기반의 원격진료시스템으로 사람의 치아를 원격으로 검진할 수 있는 진료 시스템이 개발된 바 있다[2]. 환자가 어디에서든 사용할 수 있는 어플리케이션과 구강내부 촬영을 위한 촬영 모듈로 이루어져 있고, 이를 이용한 영상 스트리밍, 촬영 기능을 통해 사진 및 영상을 병원으로 전송 후 원격으로 진료를 받을 수 있다.

한편, P2P 방식을 이용한 채팅 프로그램이 많이 존재하는 가운데, 2021년 1월에는 P2P 방식 기반의 모바일 영상 채팅 어플리케이션인 ‘오늘은 너야’가 배포되어 많은 사람들이 이용하고 있다. 안드로이드, iOS 두 가지 환경에서 모두 사용 가능하며 P2P 방식을 이용하여 서버에 데이터를 남기지 않기 때문에 보안에 민감한 사람들을 중심으로 인기를 끌고 있다고 보여진다.

P2P는 신호 전송 채널의 대역폭을 효율적으로 사용하고 높은 내결함성(fault tolerance)을 특징으로 하는 통신 프로토콜이다. 각 피어들이 서로 서버이면서 클라이언트의 역할을 가지기에 한 피어가 종료되어도 전체적인 시스템에 미치는 영향이 적다. 이와 같은 P2P 통신 프로토콜을 기반으로 동작하는 프로그램들은 데이터 교환에 있어서 ID 보호, SSL, 그리고 블록체인 방식들을 통해 보안을 보장할 수 있다[3].

또한, P2P 방식을 이용하면서 일반 감시카메라뿐만 아니라 열화상 카메라를 장착하여 고열 탐지 및 추적 시스템을 개발한 사례가 있다[4]. 먼저 감시카메라에서 사람의 얼굴을 인식해 이 값을 열화상 카메라 모듈로 전달한다. 전달한 데이터를 이용하여 눈의 위치에 대한 열상 데이터를 분석하고 분류 알고리즘을 통해 평균 온도 값을 기준으로 고열인지 아닌지를 판단한다. 이후 의심자로 판단되면, 알람을 울려 의심자임을 사용자에게 알리고, 의심자가 영상 밖으로 사라질 때까지 추적하는 시스템이다. 이와 같은 시스템을 통해 코로나 감염 및 기타 바이러스 감염 의심 증세를 확인할 수 있고, 열화상 정보뿐 아니라 실시간으로 영상 데이터를 주고받음으로써 각종 시각 자료가 필요한 의료 진단들, 예를 들면 상처 부위의 이미지나 감염원의 이미지를 공유하거나 의사의 자료들을 보여주는 진료들을 원격으로 수행하는 것이 가능하다.

건강보험심사평가원은 최근 공개한 한시적 비대면 진료 시행에 따른 효과평가 연구결과[5]에 따르면, 비대면 진료의 형태가 단순 전화상담 및 처방뿐이었음에도 불구하고, 연령이 높아질수록 처방에 대한 효과가 높은 것으로 나타났다. 또한, 내과가 61.0%로 비대면 진료를 시행한 진료과목 중 가장 많은 비율을 차지하였고, 병증의 경우 고혈압, 당뇨병, 대사장애 순으로 높은 빈도를 보이는 것을 알 수 있다. 시각 정보와 열화상 정보를 포함한 원격진료가 가능하게 되면 내과뿐만 아니라 안과, 피부과 등 시각정보가 진단의 중요한 정보로 활용되는 진료과목과 병증 진단에 활용할 수 있게 된다. 한방진료의 경우에도 주요 진찰법 중의 하나인 설진, 즉 혀의 구역별 색상 정보 등을 통한 진단이 가능하게 된다[6]. 불면증 치료에 있어서도 원격 진료를 통하여 집에서 편리하게 진단을 받을 수 있다. 해당 진료인 CBT-i 진단[12]이 본 시스템을 통하여 음성과 시각 자료 데이터들의 주고받음을 원격으로 수행하여 환자가 집에서도 효율적으로 관련 수면치료가 가능하다. 아울러, 코로나로 인해 자유로운 외출이 어려운 시기에 병원에 가지 않고서도 집에서 원격으로 진료를 받음으로써 사람들 간의 바이러스가 전파되어 감염시키는 사례를 또한 방지할 수 있기에 안전하고 효율적인 진료를 가능하게 한다.

한편, 최근 개발된 많은 얼굴인식 알고리즘은 사람 얼굴의 특징을 추출하는 방식인 특징 기반 방법을 사용한다[7]. 얼굴의 색깔, 모양, 크기와 같은 고유 특징을 이용해서 눈과 얼굴을 인식하여 간편하지만 실시간으로 변화하는 영상이나 조명의 변화, 기울어짐 등의 영향을 받을 때, 정확도가 떨어진다는 한계점도 있다. 이러한 알고리즘을 이용하여 신체에서 체온을 가장 정확하게 나타내는 두 눈 사이를 측정하여 더 정확한 체온 측정을 가능하게 한다. 일반적인 열화상 카메라를 이용한 체온 측정은 단순히 피부의 온도를 읽는 것으로 열 측정을 하지만, 이보다 좀 더 신뢰성 있는 수치를 나타내기 위해 두 눈 사이를 인식하는 알고리즘을 이용하여 이 부분을 읽음으로써 정확한 체온 측정을 수행하게 한다. 이러한 점을 이용하여 현재 코로나로 인해 자유로운 외출이 부담스러운 시기에, 집에서 따로 체온계가 없어도 정확한 체온 측정을 통해 의사의 진료를 집에서 효율적이고 편한 진단을 가능하게 한다.

III.원격진료시스템의 설계 및 구현

라즈베리파이 보드에 파이 카메라와 열화상 카메라가 장착된 형태의 원격진료시스템의 전체적인 동작은 다음과 같다(Fig 1). 파이 카메라를- 통해 사람의 얼굴과 눈을 인식하고, 눈에 대한 정보를 인식하여 좌표 값을 열화상 카메라 모듈로 전달한다. 수신된 데이터를 통해 파악한 눈의 위치에서 열상 데이터를 분석하고, 분류 알고리즘을 통해 평균 온도 값을 기준으로 이상상태를 판단한다. 이상 상태로 판단되면 사용자에게 알리고 상대방과의 채팅을 통해 정확한 진단을 받을 수 있도록 한다.

Fig. 1. P2P Chatting Program

P2P방식의 채팅은 참여하고자 사람이 등록하고, 상대방의 IP 주소의 입력을 통해 개설자의 방에 입장을 하는 것으로 시작된다(Fig 2). 카메라와 키보드, 모니터를 이용해 상대방과 일대 일 혹은 일대 다수의 채팅을 할 수 있다. 채팅이 끝나면 로그아웃을 해서 채팅방에서 나간다. 이 때 서버를 개설하는 호스트가 의사임을 검증하는 절차인 SSL 프로토콜을 구축하기 위해 기존 P2P 시스템에서 사용된 FreHaven[11] 기술을 이용한다. 의사면허증, 전문의 자격증을 제시하도록 하고 이를 기반으로 의사는 해시테이블을 만든다. 환자의 경우 마찬가지로 신분증을 이용하여 복호화된 개인키를 얻고, 이것을 이용하여 서버 의사의 해시값과 일치하면 서로 간의 연결을 구축하는 SSL 프로토콜을 이용한다. 끝으로, 열화상 데이터를 포함하여 촬영되는 영상 및 이미지 데이터들의 송수신은 자체 서버로 만들어져서 중앙 서버에 의해 따로 감시되거나 기록되는 저장공간이 없기에 원격진료서비스가 종료된 후 바로 삭제된다.

Fig. 2. Overview of the opreation of Teleme-dicine System

채팅 화면은 참가자들의 모습이 나타나는 창, 텍스트 입출력이 가능한 채팅창, 로그아웃, 파일 보내기 등 여러 가지 기능을 할 수 있는 기타 버튼들이 위치한 창으로 구성된다(Fig 3).

Fig. 3. The composition of chatting screen

3.1 하드웨어

원격진료시스템의 하드웨어는 라즈베리파이 보드, 이와 연결하여 입력을 하기 위한 키보드와 마우스, 영상촬영 및 데이터 송신을 위한 파이카메라, 출력을 담당하는 디스플레이 모듈, 그리고 열 탐지를 위한 열화상 카메라 모듈로 이루어져 있다(Figs 4, 5).

Fig. 4. Hardware Block Diagram

Fig. 5. Implemented hardware system

3.2 소프트웨어

원격진료시스템의 소프트웨어는 라즈비안 운영체제 기반 위에 드라이버와 라이브러리, 어플리케이션으로 구성된다. 장착되어있는 파이카메라, 열화상카메라, SD카드의 드라이버를 설치하고, 영상처리를 위한 OpenCV, 얼굴 및 눈 인식, 체온측정 등을 위한, HaarCascade와 Labeling, GPIO 사용을 위한 WiringPi, 파이카메라 관련 RaspiCam 등의 라이브러리를 준비한다. 이와 같은 라이브러리를 이용하여 최종적으로 P2P기반 채팅 및 상태감지 기능을 수행하는 어플리케이션을 구현한다(Fig 6)

Fig. 6. Telemedicine system software structure

IV. 인식 실험

Haar Cascades[8]와 LBP (Local Binary P attern)[9] 그리고 HOG(Histogram of Orient ed Gradient)[10]는 객체 검출에 활용되는 간단하면서도 가장 널리 쓰이는 알고리즘이다. Haar Cas cades는 Haar Feature Selection, Creating I ntegral Images, Adaboost Training, Cascading Classifiers 단계로 구성되는 알고리즘으로 직사각형 영역으로 구성되는 특징을 사용하기 때문에 픽셀을 직접 사용할 때보다 동작 속도가 빠르다는 장점이 있다. LBP는 3x3 LBP, 원형 LBP, Unifor m LBP, Rotation-invariant LBP 등으로 발전되고 있고, 질감 인식을 통해 인식하는 알고리즘이다. HOG는 슬라이딩 윈도우를 기반으로 기울기의 분포를 계산하여 특징을 추출한다. 여기서 기울기는 영상 내에서 밝기가 변화하는 방향을 의미한다. HOG 특징의 경우 대비와 잡음에 강인한 특징임이 검증되어 있으므로 정확한 객체의 특징 추출을 필요로 하는 분야에 주로 이용되고, SVM (Support Vector Machine) 분류기와 결합하여 객체를 검출하는 방식으로도 이용한다.

Fig. 7. HaarCascade, LBP and HOG face recognition

Fig. 8. HaarCascade, LBP and HOG eye recognition

실험은 이미지 1000장으로 실행하였다. Haar Cascade의 경우 얼굴을 인식하지 못한 횟수는 46 회, 다른 곳을 인식한 횟수는 8회로 recall, precision 각각 95%, 99%이다. LBP는 인식하지 못한 횟수는 148회, 다른 곳을 인식한 횟수는 1회 각각 85%, 99%로 측정이 되었고 HOG는 인식 못한 횟수는 84회, 잘못 인식한 횟수는 41회로 각각91% 96%로 결과가 나왔다.

Table 1. Face recognition result

눈 인식 실험의 경우에는 얼굴 인식과 같은 동일한 이미지 1000장으로 수행하였다. Haar Cascade는 눈 인식을 213회 실패하였고, 잘못한 인식한 횟수는 245회로 79%, 76%가 나왔다. LBP 는 161회 실패, 337회를 잘못 인식해 84%, 66% 측정되었고, HOG는 402회 실패, 잘못 인식한 횟수는 18회로 60%, 98%로 결과가 측정되었다.

Table 2. Eye recognition result

Hog 알고리즘의 성능이 떨어지는 결과가 나타난 이유는 다른 두 알고리즘에 비해 경량모델이기 때문이다. 경량화 과정에서 블록단위의 픽셀 몇 부분을 제외하고 학습을 시킨다. 그에 비해 Haar와 LBP는 전체 픽셀을 돌며 학습을 시키기 때문에 성능이 좀 더 뛰어나고, Hog는 비 정면 즉 측면이나 각도가 아래로 된 이미지에서는 작동을 하지 않아 인식률이 떨어진다. 프로그램 실행 시 각 피어들끼리 서로 메시지 및 영상데이터를 주고받을 수 있다. 그리고 특정 명령어를 입력하면 얼굴인식 및 눈 인식을 수행하여 열화상 카메라로 전달해줄 좌표 값을 얻는다 (Fig 9).

Fig. 9. Video chat using pie camera

얼굴, 눈 인식으로 얻은 좌표 값은 좌표변환을 통해 열화상 카메라로 전달이 된다. 하지만 두 카메라가 일체형이 아니기 때문에 식 (1)과 함께 캘리브레이션을 거쳐 파이 카메라의 좌표를 변환하여 열화상 카메라에 전달하여야 한다. 두 카메라를 나란히 했을 때의 거리는 0.28cm, 모니터와 얼굴의 거리를 55cm로 하여 테스트하였다. 두 이미지의 해상도를 같게 변환 후 0.28cm 차이만큼 좌표를 얼마나 수정해야 하는지 비례식을 통해 ∆x, ∆y를 구한 후 더 해준다.

\(\left[\begin{array} {cc} x'\\ y'\end{array}\right] = \left[\begin{array} {cc} x\\ y\end{array}\right] - \frac{1}{2}\left[\begin{array} {cc} w-w'\\ h-h'\end{array}\right] + \left[\begin{array} {cc} \Delta x\\ \Delta y\end{array}\right]\)       (1)

여기서 x와 y는 파이 카메라 상의 좌표, x’과 y’은 열화상 카메라 상의 좌표, w와 h는 파이 카메라 이미지의 너비와 높이, w’과 h’은 열화상 카메라 이미지의 너비와 높이, 그리고 ∆x와 ∆y는 파이 카메라 이미지와 열화상 카메라 이미지의 좌표 차이를 상수로 표현한 값이다.

V. 결론 및 향후 과제

코로나 팬데믹의 영향으로 수요가 증가된 원격진료시스템을 개발하는 과정을 기술하였다. 기존의 원격진료시스템은 서버/클라이언트 방식으로 비용의 부담과 중앙 서버에 의한 기록 및 감시로 인하여 보안에 있어서 안 좋은 부분들이 많다. 그래서 라즈베리파이를 기반으로 시스템을 구현 및 설계하여 비용 효율적이고 라즈베리파이 보드, 열화상 카메라와 파이카메라로 구성해 휴대성을 갖추도록 하였다. 또한 대부분의 원격진료시스템이나 메신저 프로그램들은 서버클라이언트 구조로 중앙 서버에 의해 감시되고 기록되는 일이 있어 개인정보 보안과 서버 과부하에 취약하다. 이 문제를 P2P방식을 이용하여 자체 서버를 경제적으로 구축하는 것으로 해결하였고, 이 특성을 이용하여 D-Dos 공격과 SSL 프로토콜 구축에 있어서 좋은 효과를 기대할 수 있다.

정확한 체온 측정을 위해선 얼굴과 눈 인식을 해야 한다. 대표적인 객체검출 알고리즘은 Haar Cascade, LBP와 HOG 알고리즘의 비교 실험을 통해 더 뛰어난 성능을 보인 Haar Cascade를 이용해 얼굴과 눈 인식을 수행하였다. 또한, 인식된 좌표값을 열화상 카메라로 전송해 눈 주변의 체온을 측정한다. 하지만 Haar Cascade는 실시간으로 변하는 영상, 조명 변화, 기울어짐 등의 영향을 받을 때, 정확도가 떨어진다는 한계점이 있다. 화상채팅의 특징상 참여자마다 환경이 다르기 때문에 이를 개선하는 작업이 필요하다.

또한, 라즈베리파이 보드를 기반으로 구현된 원격진료 시스템은 P2P 방식을 이용하여 서버/클라이언트 방식과는 달리 기존 원격진료시스템 구축 비용 기준 약 50배 정도 줄어든 비용으로 구축할 수 있고, 별도의 체온계가 없어도 정확하게 온도를 측정하는 데 용이하여 상용화에 있어서도 긍정적인 효과를 기대할 수 있다. 코로나 외에도 시각 자료가 요구되는 타 질병들을 원격으로 살펴볼 수 있기 때문에 경제적이고 신속한 상담이 가능하다. 하지만, 실질적인 상용화를 위해서는 의료기기 제1호에 해당하는 “질병을 진단·치료·경감·처치 또는 예방할 목적으로 사용되는 제품”으로서 허가 및 인증을 받아야 하므로 이를 위한 추가적인 연구개발이 필요하다.

* 본 연구는 2019년 대한민국 교육부와 한국연구재단의 지원을 받아 수행하였습니다(NRF-2019S1A5C2A03082827).