Research and consideration on the evaluation of usability formation of focused ultrasonic stimulation systems

집속형 초음파 자극 시스템의 사용적합성 형성평가에 대한 연구 및 고찰

Abstract

Medical device usability evaluation refers to the evaluation of medical devices through actual users before the final prototype production is completed. IEC 62366, one of the international safety standards for electronic medical devices, is a standard that must be applied to obtain medical device licenses in major advanced countries such as Europe and the United States. In Korea, through the Ministry of Food and Drug Safety's notice, from January 2021, sequential application by grade has been implemented. In this study, 15 participant specialists were recruited through the Incheon G University Hospital Medical Device Convergence Center for formative evaluation during user suitability evaluation of the focused ultrasound stimulation system being developed by Icleo Co., Ltd., and the test was conducted through joint scenario development. . In the result of task performance, the performance rate was 90.67%, and after the completion of the performance, 86.67% of 'Easy user interface' and 94% of 'Identification/Readability/Understanding of information' questions in the participant survey results analysis by question. The response rate was above average.

의료기기 사용적합성 평가란 최종 시제품 제작 완료이전 실제 사용자를 통한 의료기기의 평가를 말한다. 국제전자의료기기 안전규격 중 하나인 IEC 62366은 유럽 및 미국 등 주요 선진국의 의료기기 인허가 획득을 위해 반드시 적용해야 하는 규격이다. 국내의 경우 식약처 고시를 통하여 2021년 1월부터 등급별로 순차적 적용을 시행하고 있다. 본 연구에서는 (주)이끌레오에서 개발 중인 집중형초음파자극시스템의 사용자 적합성 평가 중 형성평가를 인천 G 대학 병원 의료기기융합 센터를 통하여 참가자 전문의 15인을 모집하였고, 공동 시나리오 개발을 통하여 시험을 진행하였다. 작업 수행 여부 결과에서는 90.67%의 수행율을 보였으며, 수행 완료 후 참가자 설문 조사결과 문항별 결과 분석에서 '사용자 인터페이스의 용이성' 86.67%, '정보의 식별성/가독성/이해도' 문항에서 94%의 보통 이상의 응답 비율을 보였다.

1. 서론

최근 국내 및 해외 의료기기 개발에서 미충족 수요의 사용자들을 통하여 개발 전 실제 사용자의 의견을 리서치하고, 이를 바탕으로 개발단계에서부터 의견을 적용하는 것을 Unmet Needs를 통한 사용적합성 평가라고 말한다. 이는 성능 중심의 제품에서 실제 사용자가 사용하는 편의성 및 관심도, 성능 등을 모두 고려한 효과적인 개발계획단계로 볼 수 있다.

사용 적합성 평가란 의도된 사용환경에서 의료기기의 사용을 용이하게 하여 안전성, 성능을 향상시키고 유효성, 효율성 및 사용자 만족도를 확립하는 시험을 말하며, 사용자 중심의 의료기기를 개발하여 의료기기 사용오류 및 이와 관련된 위험을 감소하게 하기 위함이다[1-5]. 미국, 캐내다, 유럽 등 전 세계적으로 사용 적합성 평가가 의료기기 허가에 필수 항목으로 적용되고 있으며, 국내에서도 2015년 1월부터 의료기기 사용 적합성 평가가 필수로 적용되고 시작하였고, 국내 의료기기 품질관리 수준 향상을 위하여 2021년 1월부터 의료기기 등급별 순차적 적용으로 인하여 GMP(Good Manufacturing Practice)에 적용하였다.

최근 유럽의 MDR(Medical Device Regulation)의 개정 내용에서 사용 적합성 규격인 IEC 62366을 반드시 적용해야 한다는 내용을 공유하였다[5-7]. 이러한 사유로 인하여 사용자 적합성 평가의 시험이 필수요소로 변경되면서, 많은 의료기기 업체들의 관심 및 관련 연구들이 진행되고 있다[8]. 이러한 사용자 적합성 평가를 통하여 개발 제품의 성능 및 개선사항을 도출하고, 이를 바탕으로 개선된 개발을 통하여 완성도가 높은 의료기기를 개발할 수 있는 방법이다[9]. 이러한 사용자 적합성 평가의 항목은 의료기기의 사용 목적 및 유효성과 관련된 기기의 고유 기능, 이러한 기능을 수행하기 위한 인터페이스 및 연관 항목들이 높은 비중을 차지하고 있으며, 이러한 평가를 시험 의뢰자 측에서 시험 참가자의 제한을 통하여 실제로 사용하는 분과 등 현장에서의 사용 가능성을 예측할 수 있다. 또한, 이러한 평가를 통하여 현재 개발되고 있는 기기의 개선사항 및 평가자의 의견수렴을 통한 완성도가 높은 기기로 개발할 수 있다.

본 논문에서는 현재 개발 중인 집속형 초음파 자극 시스템의 사용자 적합성 평가 중 형성평가를 진행하여, 실제 사용자들의 의견 및 개발 중인 의료기기의 보완 사항등에 관련하여 평가하였다.

2. 재료 및 방법

2.1 사용자 적합성 평가 국제 기준

식품의약품안전처(MFDS:Ministry of Food and Drug Safety)에서 제시한 가이드라인의 국제 기준은 표 1과 같다.

표 1. 식품의약품안전처 사용 적합성 평가 가이드 라인 기준

Table 1. Ministry of Food and Drug Safety Evaluation Guideline for Conformity for Use

2.2 사용자 적합성 평가 프로세스

사용자 적합성 평가의 경우 의료기기의 사용성을 바탕으로 평가 항목을 통한 시나리오 기반 평가로 진행된다. 본 논문에서는 식품의약품안전처의 GMP 기준 사용 적합성 평가 프로세스를 적용하여 평가하였다[1].

그림 1. 의료기기 사용 적합성 엔지니어링 프로세스

Fig. 1. Process of Medical Device Usability Engineering

2.3 사용자 적합성 평가용 기기 제작

본 논문에서 사용되는 의료기기는 ㈜이끌레오에서 개발하고 있는 HIFU(High Intensity Focused Ultrasound) 의료기기로 3등급 의료기기로 분류되어 있다. 본 시험에서 사용되는 기기는 임상적 성능 평가가 목적이 아니므로, 기기의 출력을 제한하였으며, 사용자 인터페이스 등 개발 중인 기기의 사용 등을 통한 평가를 할 수 있도록 제작하였다.

표 2. 평가에 사용되는 기기 개요

Table 2. Overview of devices used for evaluation

2.4 사용자 적합성 참여 및 평가자

인천 G대학 병원의 의료기기융합센터를 통하여 참여자와 평가자의 모집을 진행하였다[10]. 시험 참여자의 경우 전문의 이상의 경력을 지닌 15명을 모집하였으며, 참여자들은 사용 적합성 형성평가 계획서의 참가자 동의서에 따라 본 테스트에 관한 내용에 대해 동의서를 작성한 후 시험을 진행하였다. 본 시험에 참여하는 평가자의 경우 1명의 사회자와 2명의 평가자로 구성되었으며, 사용 적합성 형성평가 계획서의 평가자 기록자용 동의서에 따라 본 테스트에 관한 내용에 대해 동의서를 작성한 후 시험을 진행하였다.

표 3. 참여자 정보

Table 3. Participant Information

표 4. 평가자 정보

Table 4. Appraiser information

2.5 시험환경

본 시험에서 표 5와 같은 환경을 통해 시험을 진행하였다.

표 5. 사용적합성 형성평가 시험 환경

Table 5. USABILITY Formative Assessment Test Environment

2.6 시험방법

본 시험은 개발사인 ㈜이끌레오와 시험 기관인 G병원 의료기기융합센터가 공동 제작한 ‘사용 적합성 형성평가 계획서’에 따라 진행되었으며, 형성평가(Formative evaluation)을 위해 모의 된 사용환경(Simulated use environment)에서 실제 의도한 사용자가 참여하는 시험으로 수행되었다[11].

사회자는 ‘사용 적합성 형성평가 계획서’의 사용 적합성 시험 프로토콜에 따라 테스트를 진행하였으며, 평가자가 테스트 진행을 돕는다.

평가자는 ‘사용 적합성 형성 평가계획서’의 설문 조사 양식에 관찰한 내용을 기록하며, 테스트 중 사용오류 발생 여부, 작업 수행 완료 여부, 참가자 의견은 녹화된 테스트 영상을 확인하여 재검토하였다.

테스트 진행 후, 만족도 설문 조사를 통해 참가자가 느낀 전반적인 만족도를 ‘사용 적합성 형성평가 계획서’의 참가자 설문 조사 양식에 따라 작성하였다.

그림 2. 사용적합성 시나리오 형성평가 시험 방법

Fig. 2. Usability scenario formative assessment test method​​​​​​​

3. 결과

시험결과 정리는 ‘사용 적합성 형성평가 계획서’의 참가자 설문 조사 양식과 사용 적합성 시험 데이터 기록 양식에 따라 기록된 자료를 정리하고 분석하는 방법으로 진행되었다.

3.1 작업 수행 여부 완료

총 5개의 시나리오에 대한 시험을 진행하였으며, 사용시나리오에서의 100% 완료율을 보여야 하지만, 사용자들의 시나리오 숙지 미숙 등으로 인하여 완료율 90.67%를 기록하였다.

표 6. 작업 수행 평가 결과(기준 : 100% 완료 pass 이외 Fail)

Table 6. Task performance evaluation result (standard: Fail other than 100% completion pass)​​​​​​​

3.2 작업 수행 시간

총 5개의 시나리오에 수행되는 작업에 소요되는 시간은 표 7과 같다.

표 7. 작업 수행 시간

Table 7. Time to perform the task​​​​​​​

3.3 사용오류 발생 유무

심각한 에러(Critical error)는 비상 상황에 대한 대처 실패 및 잘못 수행되거나 전혀 수행되지 않을 경우 환자나 사용자에게 심각한 위해를 가하거나 발생시킬 수 있는 행동을 하였을 경우 표기하였으며, 심각하지 않은 에러(Non-Critical error)는 제품의 성능 및 안전성에는 영향을 주지 않지만, 작업을 비효율적으로 수행하게 할 수 있는 행동을 하였을 경우 표기하였다. 또한, 시나리오 수행 중 도움 요청 또는 재시도를 할 경우 사용오류 1회로 표기하였다.

3.4 참가자 설문 조사결과

참가자 15명의 사용 적합성 테스트 후 기기에 대한 ‘사용자 인터페이스의 용이성’과 ‘정보의 식별성/가독성/이해정도’에 관한 설문 조사를 진행하였다. 설문 조사에 따른 결과 분석은 작업 수행 완료 여부, 사용오류 발생 여부, 참가자 설문 조사결과, 참가자 의견을 ‘사용 적합성 형성평가’의 데이터 분석 방법(Data analysis methods)에 따라 분석하였다. 설문 문항별 항목에 대해서 빈도수와 비율을 제시하였으며, 표 8과 같이 문항별로 보통 이상의 빈도와 비율을 제시하였다. 또한, 항목에 대해서 표 9와 같이 점수 변환을 통해 문항별 평균, 표준편차를 제시하였다.

표 8. 작업 수행 시간(C.E-Critical error, N.C.E-Non Critical error)

Table 8. Operation time (C.E-Critical error, N.C.E-Non Critical error​​​​​​​)

표 9. 사용자 인터페이스의 용이성 설문 조사결과

Table 9. Ease of User Interface Survey Results​​​​​​​

표 10. 사용자 인터페이스의 용이성 문항별 분포도 분석

Table 10. Analysis of distribution chart for each item of ease of user interface

표 11. 정보의 식별성/가독성/이해정도 설문 조사결과

Table 11. Identification/Readability/Understanding Survey Results of Information

표 12. 정보의 식별성/가독성/이해정도 설문 조사 문항별 분포도 분석

Table 12. Analysis of the distribution chart for each question in the information identification/readability/comprehension survey

3.5 참가자 설문 조사결과 문항별 결과 분석

표 13과 같이 ‘사용자 인터페이스의 용이성’의 12가지 설문, 15명의 참가자 총 180개의 설문 중 보통 이상의 설문이 156개로 86.67%의 비율을 보였으며, 보통 이상 평가 비율 70% 이상의 기준에 12가지 설문 모두 만족하였다. 5번 문항의 경우 평균 64점으로 비교적 낮은 점수를 나타냈으며, 9번 문항 역시 62.67점으로 비교적 낮은 점수를 타나냈다.

표 13. 사용자 인터페이스의 용이성 문항별 결과 분석

Table 13. Ease of User Interface Results Analysis by Question​​​​​​​

표 14와 같이 ‘정보의 식별성/가독성/이해정도’ 8가지 설문, 15명의 참가자 총 120개의 설문 중 보통 이상의 설문이 94%의 비율을 보였으며, 보통 이상 평균 비율 70% 이상의 기준에는 8가지 설문을 모두 만족하였다. 2번 문항의 경유 평균 73.33점, 8번 문항의 경유 74.67점으로 타 문항보다 비교적 낮은 점수를 나타냈다.

표 14. 정보의 식별성/가독성/이해도 문항별 결과 분석

Table 14. Analysis of results for each item of identification/readability/comprehension of information​​​​​​​

4. 고찰

본 시험은 최근, Unmet Needs 및 사용 적합성 평가를 통한 개발단계의 의료기기에서 위험요소 및 실제 사용자가 사용하는 데 있어 편의성 및 가시성 등을 개선하기 위하여 진행되고 있는 사용 적합성 평가를 시행하였다. 개발단계에서 개발자의 상황이 아닌 현장에서 사용하는 실제 사용자들의 더욱 확실한 의견 및 국제 규격 및 국내 규격에서 제시하는 보다 안전하고 사용하기 편리한 의료기기 개발의 궁극적인 목표를 하기 위하여 인천의 G 대학 병원 의료기기 융합센터와 공동 시나리오 개발 및 참가자 모집 등을 통한 결과 분석을 시행하였다.

시험결과 부분에서 ‘사용자 인터페이스의 용이성’의 경우 평균 75.91점으로 사용자 적합성 평가 중 형성평가의 기준인 70점 이상을 넘겼으며, 문항별 설문 결과에서 평균 86.35%로 만족도에서도 PASS의 결과를 확인할 수 있었다.

또한, ‘정보의 식별성/가독성/이해정도’의 분석 경우 평균 79점, 문항별 설문 결과는 평균 94.75%로 PASS를 확인할 수 있었다.

㈜이끌레오와 인천 G 대학 병원 의료기기융합센터의 시험으로 해당 개발 기기의 사용 적합성 평가는 PASS라는 결과를 얻었으나, 문항별 세부 내용에서 개선사항 및 수정해야 하는 부분이 남아 있는 것을 확인할 수 있다. 이러한 점은 사용 적합성 평가의 형성평가 결과를 수렴하여 수정한 후 총괄평가를 통하여 최종적으로 개발되는 의료기기의 사용 적합성 평가가 이루어질 것이다.

본 시험에서 ㈜이끌레오와 인천 G 대학 병원 의료기기융합센터와의 공동 시나리오의 경우 ㈜이끌레오에서 제공되는 사용자 매뉴얼, 설명서를 바탕으로 작성이 되었다.

하지만, 이러한 부분은 개발자의 입장에서 작성이 되어 있으며, 이를 바탕으로 제작한 시나리오에서 참여자들의 행동적 혼란을 일으킬 수 있는 부분 및 이해도에 관한 해석을 진행하지 않은 내용으로 몇몇 시나리오에서 문제점들이 발견되었다. 이러한 부분의 경우 녹화된 참여자들의 시나리오 행동을 바탕으로 수정하여 기기뿐만 아니라 사용자 매뉴얼 및 설명서 등의 수정이 이루어진다면 앞으로의 총괄평가 및 완성된 시제품의 현장에서의 반응은 좋아질 것으로 사료된다.

5. 결과

집속형 초음파 자극 시스템 (High Intensity Focused Ultrasound) 의료기기의 사용자 인터페이스가 안전하게 사용될 수 있는지에 대한 객관적인 증거를 얻기 위해 인천 G 대학 병원 의료기기융합센터에서 사용자 적합성 평가(Usability Evaluation)를 수행하였다. 일반 외과 계열 전공 평균 14.47년 경력의 전문의를 모집하여 시나리오에 따라 테스트를 수행하였다.

15명의 참가자 중 유사 제품 사용 경험이 있는 참가자는 2명으로 13.33%의 비율을 보였다.

작업 수행 완료 여부 결과에서는 3명의 참가자가 시나리오 1의 일부 업무 수행을 완료하지 않았고, 1명의 참가자가 시나리오 3의 일부 업무 수행을 완료하지 않았고. 3명의 참가자가 시나리오 5의 일부 업무 수행을 완료하지 않아 참가자는 각각의 위해 요인-관련 사용 시나리오 (Hazard-related scenario)를 90.67% 완료율로 완료하였다.

사용오류 발생 여부 결과에서는 심각한 오류 11회, 심각하지 않은 오류 31회로 시나리오 4개가 실패하였다. 심각한 오류로는 사용 전 손 소독을 시행하지 않음 1건, 사용 전 카트리지를 소독하지 않음 1건, 사용 후 카트리지 표면 초음파 겔 제거하지 않음 1건, 시술 도중 핸드피스 떨어뜨림 1건, 허공에서 Shot 버튼 출력 5건, 카트리지 분리 시 핸드피스 파괴 1건, 사용 후 부드러운 천이 아닌 손으로 겔 제거 1건이 발생하였다.

참가자 설문 조사 및 참가자 의견 결과에서는 ‘사용자 인터페이스의 용이성’ 설문 중 [5번, 카트리지를 핸드피스와 결합/분리하는 것이 편리했나요?] 문항이 평균 64점으로 부적합하였고, 제품 인터페이스 수정을 통한 개선이 필요한 것으로 보인다.

참가자 설문 조사 및 참가자 의견 결과에서는 ‘사용자 인터페이스의 용이성’ 설문 중 [9번, 핸드피스의 Shot 버튼을 눌러 시술하는 것이 편리했나요?] 문항이 평균 62.67점으로 부적합하였고, 제품 인터페이스 수정을 통한 개선이 필요한 것으로 보인다.

평가 중 소프트웨어 인식이 느려 Ready 상태로 변경 시 재시도 4건이 발생하였고, 제품 소프트웨어 반응/인식 속도가 느리다는 의견이 다수 있어 소프트웨어 수정을 통한 개선이 필요한 것으로 보인다.