An Efficiency Analysis of an Artificial Intelligence Medical Image Analysis Software System : Focusing on the Time Behavior of ISO/IEC 25023 Software Quality Requirements

인공지능 기술 기반의 의료영상 판독 보조 시스템의 효율성 분석 : ISO/IEC 25023 소프트웨어 품질 요구사항의 Time Behavior를 중심으로

Abstract

This study analyzes the 'performance efficiency' of AI-based reading assistance systems in the field of radiology by measuring their 'time behavior' properties. Due to the increase in medical images and the limited number of radiologists, the adoption of AI-based solutions is escalating, stimulating a multitude of studies in this area. Contrary to the majority of past research which centered on AI's diagnostic precision, this study underlines the significance of time behavior. Using 50 chest X-ray PA images, the system processed images in an average of 15.24 seconds, demonstrating high consistency and reliability, which is on par with leading global AI platforms, suggesting the potential for significant improvements in radiology workflow efficiency. We expect AI technology to play a large role in the field of radiology and help improve overall healthcare quality and efficiency.

본 연구는 영상의학 분야에서 인공지능(AI) 기술 기반의 판독 보조 시스템의 'Time Behavior(시간반응성)' 속성을 측정하여 '성능 효율성'을 분석하였다. 의료 영상의 증가와 영상의학 전문의 수의 한계로 인해 인공지능(AI) 기술 기반의 솔루션이 증가하고 있으며, 관련된 연구가 많이 수행되고 있다. 하지만 대부분의 선행 연구가 인공지능의 진단 정확도에 초점을 맞췄다면, 본 연구는 Time Behavior의 중요성을 강조하여 수행하였다. 50개의 흉부 엑스레이 PA 이미지를 사용하여 측정한 결과, 평균 15.24초 만에 영상을 처리하여 높은 일관성과 안정성을 보여주었고, 이 처리 속도는 유명 글로벌 AI 플랫폼과 동등한 수준으로 영상의학과 워크플로우 효율성 부분에 크게 개선될 수 있는 가능성을 제시하였다. 앞으로 인공지능 기술이 영상의학 분야에서 큰 역할을 담당하여, 전반적인 의료 품질 향상과 효율성을 개선하는 데 도움이 될 것으로 기대한다.

Ⅰ. INTRODUCTION

4차 산업혁명의 근간으로 인식되는 인공지능(AI)은 다양한 분야에 스며들고 있으며 의료분야도 예외는 아니다^[1]. 빠르게 진화하는 의료 환경에서 인공지능의 등장과 임상 진료에서의 AI의 활용은 새로운 의료 발전의 시대를 가속화하고 있다^[2]. 인공 지능이 활용되고 있는 다양한 분야 중에서도 의료 영상 분야에서는 중요한 혁신으로 부상^[3]하고 있으며, 다른 의료분야보다 더 활발하게 연구가 진행되고 있다^[4].

컴퓨터를 이용한 의료영상 분석과 진단의 시도는 1966년 미국의 Gwilym S. Lodwick^[5]이라는 의사의 “Computer aided Diagnosis in Radiology A Research Plan”에서 컴퓨터 보조 진단(Computer Aided Diagnosis, CAD) 개념을 제안하였다. 이 연구에서 흉부 X선 촬영 영상을 기반으로 폐암 환자의 1년후 생존 여부를 예측하는 시스템을 개발하였지만, 영상을 처리할 수 있는 컴퓨팅 기술이 없어 중요 변수들을 수작업으로 추출하였다^[6]. 이후, 1990년대 말 네트워크의 발전과 의료영상 장비의 고성능화로 CAD 기술개발에 대한 보고가 비약적으로 증가^[7]하게 되었고, 근래에는 매년 16,000개 이상의 논문이 인공지능 분야에서 발표되고 있으며, 일반 언론에서도 무수히 많은 사설들을 게재하고 있다^[8].

이처럼 의료영상 분야에서 활발한 연구가 진행^[4]되고, 의료 영상 판독(진단)에서 인공지능 기술의 필요성이 제기되는 이유는 건강검진의 활성화와 의료 영상기기의 접근성이 좋아지면서 해마다 촬영 영상은 늘어나고 있지만, 의료영상을 진단(판독)하는 영상의학과 전문의의 수는 한정되어 있는 문제에서 비롯된다^[9,10]. 이러한 이유로 영상의학과 전문의들은 다양한 임상적 경험과 학습으로 축적된 지식을 통한 다양한 해석이 필요한 수많은 양의 판독 의뢰된 이미지로 인하여 업무에 많은 부하가 걸리고, 잠재적인 피로와 효율성 저하, 이러한 인적 오류에 의한 진단(판독) 오진의 가능성까지 다양한 문제에 직면하고 있다^[11,12].

이러한 문제에 대한 효과적인 해결책으로 떠오른 ‘인공지능 기술 기반의 판독 보조 시스템’의 도입은 영상의학 전문의의 진단 역량을 강화하여, 정확하고 효율적인 질병 진단으로 병원의 전반적인 의료 품질 향상과 효율성을 개선하는 것을 목표^[13]로 하고 있으나, 기존 선행연구들은 의료 품질 향상 부분인 영상 내에서 질병 상태를 정밀하게 감지하는 능력과 이러한 성능을 높이는 ‘진단(판독)의 정확도’ 부분에 치중되어 있다^[14]. 이에 본 연구는 인공지능 기술 기반의 판독 보조 시스템의 효율성, 특히 ‘Time behavior(시간 반응성)’ 부분에 집중하여 연구를 수행하고자 한다.

Ⅱ. MATERIAL AND METHODS

1. ISO/IEC 25023:2016 소프트웨어 품질 속성 평가 요구사항(지표)

ISO/IEC 25023:2016은 ISO/IEC 25010에 정의된 특성 및 하위 특성 측면에서 시스템 및 소프트웨어 제품의 품질을 정량적으로 평가하기 위한 품질 요구 사항으로 Fig. 1과 같이 기능 적합성, 성능 효율성, 호환성, 사용성, 신뢰성, 보안성, 유지보수성, 이식성 등 8가지 특성으로 국제 표준에 의하여 정의하며, 소프트웨어의 품질을 평가하는 데 사용된다^[15].

Fig. 1. Measurement of System and Software Product Quality of ISO/IEC 25023.

이처럼 ISO/IEC 25023:2016에 정의된 8가지의 품질특성 중 ‘Performance Efficiency(성능 효율성)’는 주어진 조건에서 사용되는 자원의 양에 대한 상대적인 성능을 말하며, 성능 효율성의 여러 부특성 중 하나인 ‘Time Behavior’는 기능을 수행할 때 시스템의 응답 및 처리시간과 처리율이 요구사항을 충족시키는 정도를 측정^[15]하는 것으로, 본 연구에서 ‘인공지능 판독 보조 시스템’의 소요 시간을 측정하고, Time Behavior를 분석하여 성능 효율성을 평가하고자 한다.

2. 인공지능 판독 보조 시스템의 Time Behavior 평가 방법

2.1. 연구 재료

Time Behavior 평가를 위하여 Fig. 2와 같이 식품의약품안전처에 등록된 인공지능(AI) 기술 기반의 판독 보조 시스템(Lunit INSIGHT CXR, Lunit, Seoul, Koera)과 의료영상저장전송시스템(SaintView, Inviz, Gwangju, Korea)을 사용하였고, 분석(처리) 소요 시간 측정을 위한 테스트 이미지는 국가기관(한국지능정보사회진흥원)에서 운영하는 AI-Hub 공공 데이터 플랫폼^[16]에 공개된 흉부 X-ray PA 촬영 이미지 50개를 사용하였다.

Fig. 2. Research Materials.

2.2. 평가 방법

인공지능(AI) 기술 기반의 판독 보조 시스템과 의료영상저장전송시스템(PACS)은 Fig. 3과 같이 네트워크를 구성하였고, ISO/IEC 25051:2014, Systems and Software Engineering^[17]을 기준으로 Table. 1에 정의된 방법과 같이 평가하였다.

Fig. 3. Network System Configuration Diagram.

Table 1. Measurement Method Definition

또한, Time Behavior의 평가는 IBM SPSS Statistics v29(IBM Corp, Armonk, N.Y, USA) 소프트웨어를 활용하여 평균, 표준 편차, 95%의 신뢰도 등 기술 통계량 분석을 통하여 데이터 특징을 평가하였다.

Ⅲ. RESULT

흉부 X-ray PA 촬영 이미지 50개를 활용하여 인공지능 기술 기반의 판독 보조 시스템의 ‘Time Behavior’를 평가하였고, 그 결과는 Table 2와 Fig. 4와 같다. 평균 처리시간은 15.24 sec이며, 중간값(중위수)은 15.22 sec로 측정되었다. 표준 편차는 .17995로 분석되어, 처리시간의 분산이 매우 작음을 나타낸다.

Table 2. Performance Time Measurement

Fig. 4. Box plot.

기록된 가장 빠른 처리시간과 가장 느린 처리시간은 각각 Min 15.01 sec와 Max 15.79 sec로 제한된 범위를 나타내었고, 평균 처리 시간에 대한 95% 신뢰 구간은 Upper 15.29 sec와 Low 15.19 sec 사이로 결괏값이 도출되었다.

Ⅳ. DISCUSSION

의료분야, 특히 X-ray, CT, MRI 이미지 등 대량의 의료 방사선 영상을 판독(진단)하는 데 있어서 심층적이고, 다양한 해석을 해야 하는 영상의학 분야에서 인공지능이 미치는 영향이 점점 더 분명해지고 있다^[11-14]. 진단의 오류와 한정된 수의 영상의학 전문의 문제 해결을 위한 방법의 하나로 세계보건기구(WHO)에서 결핵의 진단을 위한 잠재적 솔루션으로 인공지능 기술 분류를 사용할 것을 권장하고 있다^[18].

기존 연구들은 인공지능 기술의 우수성(신뢰성) 입증과 정확도 성능을 높이는 부분^[14]에 선행 연구가 집중되어 있는 반면, 본 연구는 인공지능 소프트웨어의 품질특성 8가지 중 ‘성능 효율성’에 집중하여, 시스템의 성능을 정량적 지표로 표현이 가능한 Time Behavior에 대하여 평가·분석하여 인공지능 기술 기반의 판독 보조 시스템의 성능 즉, 기술의 신뢰성 입증 부분에 다른 시각을 제시하고자 하였다.

국제 규격인 ISO/IEC 25023:2016에 정의된 소프트웨어 기기의 품질특성을 ISO/IEC 25051:2014에 따라서 분석한 결과, 본 연구에서 사용된 인공지능 판독 보조 시스템이 ‘일관되고 효율적인 처리 속도를 유지’하는 것으로 분석되었다. 최소 및 최대 처리시간이 각각 15.01 sec와 15.79 sec의 제한된 범위와 .17995의 짧은 표준 편차로 이 시스템은 뛰어난 안정성과 시간 효율성 유지를 보여주었고, 처리 속도를 일관되게 유지하는 이러한 능력은 영상의학에서 사용되는 모든 인공지능 기술 기반의 판독 보조 시스템 필수 속성인 Time Behavior 측면에서 품질 성능이 우수하다는 것을 뒷받침한다.

또한, 평균 15.24 sec에 이미지를 분석(처리)하여, Table 2과 같이 미국 식품의약청(FDA)에 등록된 Zebra의 Health-PNX(평균 22.1초)^[19]와 Behold.ai의 red-dot™ (평균 29.3초)^[20] 등 세계 유수의 인공지능 판독 보조 시스템보다 우수한 성능 효율을 보여주었다. 이는 본연구에 활용된 인공지능 기술 기반의 판독 보조 시스템이 성능 효율성 측면에서 세계적으로 인정받는 플랫폼과 동등한 수준임을 시사한다.

Table 3. Compare of Time Behavior

이러한 효율성은 영상의학과에 큰 영향을 미친다. 영상의학 전문의가 많은 양의 이미지와 시간 압박에 시달리는 영상의학 분야의 가장 큰 문제^[22]에서 효율적인 인공지능 기술 기반의 판독 보조 시스템은 이러한 부담을 크게 덜어줄 수 있다^[14]. 각 이미지를 판독하고 해석하는 데 소요되는 시간을 줄임으로써 워크플로우 효율을 개선할 수 있고, 빠르고 신뢰할 수 있는 분석은 환자 진단과 치료 속도를 높여 의료 품질을 개선하는 데 중요한 요소로 작용^[9,10,13,22]할 수 있으며, A. Govindarajan 등^[23]의 연구에 따르면, 인공지능 기술 기반의 판독 보조 시스템을 사용하였을 때, 방사선 이미지를 진단(판독)하는 시간을 ‘기존보다 약 40.63% 정도를 단축할 수 있다고 하였다.

본 연구에서는 인공지능 기술 기반의 판독 보조 시스템의 분석 시간 측면의 연구를 통하여 효율성의 우수성을 입증하였지만, 의료 영상 진단(판독)의 주요 목표는 오진 없이 정확한 진단을 내리는 것^[13]이므로, 진단(판독)의 정확도와 시간 효율성은 상호 배타적인 목표가 아니며, 진단(판독)의 정확도와 시간 효율성 둘 사이의 균형을 유지하면서 속도에 대한 압박이 진단의 질을 떨어뜨리지 않도록 하는 것이 중요하다. 이러한 이유로 인공지능 기술 기반의 판독 보조 시스템을 개발하고 구현할 때는 시간의 효율성과 진단 정확도 모두 최적화하는 것을 최우선 과제로 삼아야 할 것이다.

이번 연구에는 50개의 흉부 X-ray PA 이미지를 사용하였지만, 향후 연구에서는 더 많은 양의 데이터와 다양한 영상 데이터 세트를 분석하여 본 연구의 결과를 확고히 하고자 하며, 성능 효율성 향상 측면에서 환자의 치료 결과와 영상의학 전문의의 업무량에 미치는 영향을 조사와 CPU, GPU, 메모리와 같은 추가 컴퓨팅 리소스가 시스템의 효율성을 높이는 데 어떤 영향을 미치는지에 대한 연구의 확장도 필요해 추가 연구를 하고자 한다.

Ⅴ. CONCLUSION

본 연구에서는 인공지능(AI) 기술 기반 판독 보조 시스템의 품질특성을 Time Behavior 측면에서 품질 성능을 분석한 결과, 짧은 편차의 일관된 처리 속도 유지로 뛰어난 안정성과 시간 효율성 유지를 보여주었고, 세계적인 인공지능 시스템과의 비교에서도 성능 효율성 부분에서 차이가 없다는 것을 보여주었다.

이러한 연구 결과는 영상의학 분야에서 인공지능 기술의 역할과 잠재력을 이해하는 데 기여하며, 인공지능 기술 활용으로 정확하고 효율적인 질병 진단을 통하여, 병원의 전반적인 의료 품질 향상과 효율성을 개선하는 데 도움을 줄 것으로 기대한다.