Preliminary Test of Google Vertex Artificial Intelligence in Root Dental X-ray Imaging Diagnosis

구글 버텍스 AI을 이용한 치과 X선 영상진단 유용성 평가

Abstract

Using a cloud-based vertex AI platform that can develop an artificial intelligence learning model without coding, this study easily developed an artificial intelligence learning model by the non-professional general public and confirmed its clinical applicability. Nine dental diseases and 2,999 root disease X-ray images released on the Kaggle site were used for the learning data, and learning, verification, and test data images were randomly classified. Image classification and multi-label learning were performed through hyper-parameter tuning work using a learning pipeline in vertex AI's basic learning model workflow. As a result of performing AutoML(Automated Machine Learning), AUC(Area Under Curve) was found to be 0.967, precision was 95.6%, and reproduction rate was 95.2%. It was confirmed that the learned artificial intelligence model was sufficient for clinical diagnosis.

본 연구에서는 코딩없이 인공지능 학습 모델을 개발할 수 있는 클라우드 기반의 버텍스 AI 플렛폼을 이용하여 비전문가인 일반인들이 손쉽게 인공지능 학습 모델을 개발하였고 임상적 적용가능성을 확인하였다. 학습용 데이터는 캐글 사이트에 공개된 총9개 치과 질환, 2,999장 치근병 X선 영상을 사용하였고, 무작위로 학습, 검증 및 테스트 데이터 이미지를 분류하였다. 버텍스 AI의 기본 학습모델 워크플로우에서 학습 파이프라인을 사용하여 하이퍼 파라미터 조정작업을 통해 영상분류, 멀티레이블 학습을 수행하였다. Auto ML을 수행한 결과 AUC가 0.967, 정밀도는 95.6%, 재현율은 95.2%로 나타났으며, 학습된 인공지능 모델이 임상적 진단에 충분한 의미가 있음을 확인하였다.

Ⅰ. INTRODUCTION

최근 수년간 인공지능(artificial intelligence, AI)의 혁신적인 발전은 인류 사회의 현재 뿐만 아니라 미래에 큰 영향을 미칠 것으로 예상되고 있다^[1]. 특히, 의료 분야에서의 인공지능의 발전은 괄목할 만한 성과를 보여주고 있으며^[2], X선 영상을 이용한 질병의 진단과 치료에서 인공지능의 역할이 점점 더 강화되고 있다^[3]. 치과에서도 인공지능을 이용한 자동화된 X선 영상 해석이 가장 활발히 연구되고 있으며^[4], 치과 의사들이 치과 질환을 진단하고 치료하는데 큰 도움을 주고 있다. 하지만, 많은 환자 진료로 인한 큰 업무 부담과 경험이 부족한 치과 의사의 경우 치과 질환 진단 과정에 오류가 발생할 가능성이 있다. 이에 많은 연구자들은 X선 영상을 사용하여 치과 질환 진단을 위한 다양한 고급컴퓨터 비전 기술과 기계 학습, 딥러닝 모델을 활용하고 있다^[5,6].

인공지능의 발전과 더불어 그 중요성 또한 높아지며, 다양한 인공지능 모델의 개발이 필요하게 되었다. 이를 위해 글로벌 IT 기업을 중심으로 텐서플로우, 케라스, 파이토치 등 각종 인공지능 라이브러리가 제공된 플렛폼이 구축되어 서비스를 제공함에 따라 보다 더 쉽게 인공지능 구현할 수 있게 되었다^[7]. 하지만, 코딩 지식이 없는 일반인이나 초보자들이 인공지능 모델을 개발하기에는 매우 큰 어려움이 있다. 구글에서는 일반인을 위해 티처블머신이라는 코딩이 필요하지 않은 웹 기반 인공지능 모델 개발 서비스를 제공하고 있다. 이를 이용한 의료영상 등 전문분야에 대한 활용 가능성에 대한 연구도 수행되고 있지만^[8], 파라미터 조정이 제한되고 데이터 크기에 한계 등으로 인하여 학습결과의 정확도에 제한이 있었다.

최근에는 클라우드를 이용한 인공지능(AI) 학습모델 서비스가 확대되고 있으며^[9], 인공지능 기술을 보다 더 넓은 사용자들이 개발가능하게 됨으로써, 비즈니스와 개발에 혁신을 가져오고 있다. 대표적인 클라우드 기반 인공지능 서비스 플렛폼으로 마이크로소프트의 Azure AI 서비스, 구글 클라우드 AI 서비스, IBM의 Watson Studio 서비스, Oracle Cloud Infrastructure (OCI) AI 서비스와 같은 대표적인 클라우드 기반 인공지능 서비스 외에도 알리바바 클라우드, 텐센트 클라우드, 바이두 AI 클라우드 등이 있다. 이러한 클라우드 기반 서비스는 개발기술이 부족한 사용자도 쉽게 인공지능 기능을 구현할 수 있고, 클라우드 플랫폼에 담겨 있는 인공지능 서비스를 쉽게 불러와 사용할 수 있다. 또한, 필요한 리소스만큼 비용을 지불하기 때문에 고성능 시스템을 활용함에도 불구하고 가성비가 높고 사용자의 단말 기기와 무관하게 접근성이 높은 장점이 있다. 하지만, 보안 문제, 특정 플랫폼에 대한 종속성, 호환성, 네트워크 의존성, 서비스 맞춤화에 대한 한계 등 단점이 있다.

본 연구에서는 구글 버텍스 AI 서비스를 활용하여 코딩 없이 인공지능 학습 모델을 개발하여 치과치근병 X선 영상으로 질병 진단에 적용할 수 있는 가능성을 평가하여 치과에서 인공지능의 잠재력을 최대한 활용하고, 진단의 정확성을 높일 수 있는 방안을 모색하였다.

Ⅱ. MATERIAL AND METHODS

본 연구에서는 학습, 검증 및 테스트 데이터로 캐글 사이트의 오픈된 치근병 X선 영상을 사용하였으며, 인공지능 학습모델은 구글 버텍스 AI를 이용하여 AutoML(Automated Machine Learning)을 수행하였다. 구글 버텍스 AI는 사용자의 데이터를 이용하여 맞춤형 인공지능 모델을 쉽게 만들 수 있으며, 이미 구현된 API (Application Programming Interface)를 사용하여 OCR (Optical character recognition), TTS (Text-to-Speech), 번역 등의 서비스를 쉽게 이용할 수 있는 장점이 있으며, 국내 안드로이드 기반 스마트폰 높은 보급률로 구글 클라우드 접근성이 우수한 장점이 있다.

버텍스 AI (Vertex AI)는 구글에서 제공하는 인공지능학습 플랫폼으로 클라우드 기반에서 다양한 서비스를 제공하고 있다^[10]. 인공지능 관련 과학자나 개발자 뿐만 아니라 일반인들에 대해서도 쉽고 다양한 인공지능 모델과 어플리케이션을 개발할 수 있도록 서비스할 뿐만 아니라 개발된 인공지능 모델의 배포와 관리를 통합해서 지원해주고 있다. 프로그래밍 코딩 경험이 전혀 없는 초보자들은 버텍스 AI의 AutoML을 통하여 쉽게 인공지능 모델을 생성할 수 있으며, 전문가의 경우는 커스텀 학습모드에서 모분산 훈련 및 사용자 정의 컨테이너 지원 등의 고급 기능을 제공하기 때문에 하이퍼 파라미터 조정을 통해 보다 우수한 인공지능 학습모델을 생성할 수 있다.

본 연구에서는 치과 분야에서 버텍스 AI의 유용성을 평가하기 위한 학습데이터로 캐글 사이트(Kaggle.com)에 등록된 치과 구내 촬영 X선 영상데이터를 사용하였다^[11].

Fig. 1은 본 연구에서 인공지능 학습 데이터로 사용하기 위해 선정된 치근병 X선 영상 데이터 사이트를 캡쳐한 것이다. 치근병에 관련된 급성치주염을 동반한 치수염 (Irreversible pulpitis with acute periodontitis), 골절된 치아 (Impacted tooth), 만성 치주염에 의한 부적절한 복원 (Improper restoration with chronic apical periodontitis), 뼈 소실을 동반한 만성 치주염 (Chronic apical periodontitis with vertical bone loss), 매복 치아 (Embeded tooth), 치과근위 (Dental caries), 및 치주염 (Periodontitis)의 7개 치과 질환 X선 영상으로 구성되어 있다. Fig. 2는 학습에 사용된 7개 질환의 영상 데이터 개수를 보여주고 있다. 7개의 각 질환별로 374, 370, 336, 380, 376, 284 및 379장이었으며, 총 2,499개의 X선 영상으로 구성되어 있다.

Fig. 1. The dental root disease data in Kaggle website for AI training.

Fig. 2. Distribution of the number of data by root dental disease X-ray images for vertex AI training.

총 2,499개의 치근병 X선 영상은 전체의 80%를 학습데이터, 10%는 검증데이터 그리고 나머지 10%는 테스터 데이터로 무작위 데이터 분할을 하여 인공지능학습 모델을 개발하였다(Fig. 3).

Fig. 3. Splitting data for training, verification and test root dental disease X-ray images for AI modeling

버텍스 AI의 기본 학습모델 워크플로우에서 학습 파이프라인을 사용하여 인공지능 모델을 만들 수 있다. 본 연구에서는 미국 중부 아이와오 지역의 클라우드 기반에서 하이퍼 파라미터 조정작업을 통해 영상분류, 멀티 레이블의 AutoML을 수행하였다. 실제 학습 시간은 1시간 38분(8 node hour)이었으며, 클라우드 사용료는 총202,315원이었다.

Ⅲ. RESULT

총 2,999장의 치근병 X선 영상을 학습용 데이터 이미지 1,999장, 검증용 데이터 이미지 252장, 그리고 테스트용 데이터 이미지 248장을 데이터 세트로 추가하였으며, 7개 질환의 분류를 위하여 총 7개 질환별 멀티 레이블을 설정하였다.

AutoML 수행 결과는 Fig. 4에서 보는 바와 같이 AUC (Area Under Curve)가 0.967, 정밀도는 95.6%, 재현율은 95.2%로 나타났으며, 로그 손실은 0.085 이었다.

Fig. 4. Result of vertex AI model for root dental disease X-ray images.

AUC는 평균정밀도를 의미하는 값으로 Fig. 5-(a)에서 보이는 정밀도-재현율 곡선 아래의 면적으로 정의된다. 평균정밀도는 모델이 다양한 임계값에서 얼마나 일관되게 양성 클래스를 예측하는지를 종합적으로 평가하는 지표이다. AUC의 범위는 0에서 1 사이 값으로 주어지며, AUC 값이 클수록 학습된 인공지능 모델의 우수하다는 것을 의미한다. 본 연구에서는 AUC = 0.967로 매우 우수한 결과를 나타내었다.

Fig. 5. Performance of AI Model using Vertex AI on the scored label at 0.5 confidence threshold values.

정밀도는 생성된 인공지능 모델이 올바르게 예측한 비율이며, 재현율은 참양성율로 모델이 올바르게 예측한 클래스의 예측 비율로 실험 결과 정밀도와 재현율 또한 우수한 결과를 보였다.

로그 손실은 예측된 모델과 타겟 값 사이의 교차 엔트로피를 의미하고 0부터 무한대 값으로 주어지며, 작을수록 학습된 인공지능 모델이 우수함을 의미한다.

Fig. 6은 각 치근병에 따른 인공지능학습 모델의 정밀도를 보여주고 있다. 전체 정밀도가 96.7%, 치주염과 뼈 소실을 동반한 만성 치주염이 100%로 가장 높게 나타났고, 골절된 치아가 91.3%로 가장 낮게 나타났으며, 매복 치아가 94.6%로 낮게 나타났다.

Fig. 6. The each accuracy of results based on AI model for X-ray images diagnosis using Vertex AI.

Fig. 7은 학습된 인공지능 모델이 평가된 데이터 세트에서 각 라벨로 분류된 예측 결과를 시각적으로 나타낸 혼동 행렬(confusion matrix)이다. Fig. 6에서 예측된 결과를 시각화한 것으로 굵게 표시된 파란색 셀이 올바른 예측 결과를 보여주고 있다.

Fig. 7. Confusion matrix summarizing the accuracy of results based on AI model for X-ray images diagnosis using Vertex AI.

Ⅳ. DISCUSSION

코딩 기술이 거의 또는 전혀 필요하지 않아서 비전문가가 쉽게 개발에 활용할 수 있는 소프트웨어를 노코드 소프트웨어라고 한다. 사용자 친화적인 환경의 변화에 대해 여러 가지 예측이 있었지만, 그동안 상대적으로 주목을 받지 못하였다. 하지만 2022년 들어 Marr 등은 인공 지능 개발을 위한 노코드 인공지능과 같이 새로운 형태의 사용자 친화적인 지능형 도구가 어떠한 가치를 도출할 것인지에 대해 예견하고 있었다^[12]. 2023년 들어서는 개인이 인공지능 솔루션을 개발할 수 있게 해주는 새로운 형태의 클라우드 기반 노코드 플렛폼이 Amazon, Google, IBM, Microsoft와 같은 대규모 기술 회사를 중심으로 급속하게 확대되고 있다.

노코드 인공지능 플랫폼은 고급 코딩 기술이 필요한 솔루션에 필요한 규모와 기술 역량이 부족한 기관이 인공지능에 쉽게 접근하고, 복잡한 알고리즘에 대한 이해없이 인공지능 모델을 개발하고 배포할 수 있도록 한다. Lins 등에 의하면 인공지능 솔루션에 클라우드 기술을 사용하면 조직은 신속하게 환경 설정을 자동화할 수 있는 어디서나 편리하고 주문형 리소스에 액세스할 수 있다고 한다^[13]. 버택스 AI는 비전공자도 노코드로 인공지능모델을 개발할 수 있는 장점이 있지만, 관리형 서비스이기 때문에 데이터 사용량에 따라 비용이 발생한다. 특히 인공지능학습의 경우 대용량의 학습으로 인한 경비가 많이 발생할 수 있으며 고급기능과 툴을 제공하지만 인공지능에 익숙하지 않은 사용자의 경우 복잡하게 느껴질 수 있다. 뿐만 아니라 구글 클라우드 플랫폼에 특화되어 있어서 다른 클라우드 서비스와 호환성이 낮는 단점이 있다. Mohammadi 등은 ChatGPT와 버텍스 AI를 이용하여 망막 안저사진을 이용한 당뇨병 진단에서 81.2%의 정확도를 보이고 있다^[15]. 인공지능은 이미 인간의 진단 정확도를 능가하고 있다. Murphy 등은 X선 영상 2364개에 대해 골절 유무 진단에서 전문의의 교차 진단정확도는 77.5%이었으며, 이에 비해 인공지능 학습결과의 정확도는 19% 이상 높게 나타났다^[16].

본 연구에서는 노코드 인공지능 플랫폼인 구글버텍스 AI를 이용하여 치근병 X선 영상 진단에 적용 가능성을 평가하였다. 총 학습 데이터 이미지가 2,999장으로 국한되었고, 한국인이 아닌 외국인 데이터라는 제한점은 있지만, 노코드 인공지능 개발 플랫폼으로 개발된 인공학습 모델이 치근병 X선 영상 진단에 임상적으로 충분히 의미 있음을 확인하였다.

Ⅴ. CONCLUSION

본 연구에서는 클라우드 기반 구글 버텍스 AI 서비스를 이용하여 2,999장의 치근병 X선 영상에 대한 7가지 치과 질환을 진단할 수 있는 인공지능 모델을 개발하였다. 버텍스 AI의 AutoML을 수행 결과 AUC가 0.967, 정밀도는 95.6%, 재현율은 95.2%로 학습된 인공지능 모델이 임상적 진단에 충분한 의미가 있음을 확인하였다.