Development of Measurement Indicators by Type of Risk of AI Robots

인공지능 로봇의 위험성 유형별 측정지표 개발

Abstract

Ethical and technical problems are becoming serious as the industrialization of artificial intelligence robots becomes active, research on risk is insufficient. In this situation, the researcher developed 52 verified indicators that can measure the body, rights, property, and social risk of artificial intelligence robots. In order to develop measurement indicators for each type of risk of artificial intelligence robots, 11 experts were interviewed in-depth after IRB deliberation. IIn addition, 328 workers in various fields where artificial intelligence robots can be introduced were surveyed to verify their fieldwork, and statistical verification such as exploratory factor analysis, reliability analysis, correlation analysis, and multiple regression analysis was verifyed to measure validity and reliability. It is expected that the measurement indicators presented in this paper will be widely used in the development, certification, education, and policies of standardized artificial intelligence robots, and become the cornerstone of the industrialization of artificial intelligence robots that are socially sympathetic and safe.

인공지능 로봇의 산업화가 활발해짐에 따라 윤리적, 기술적 문제가 심각해지고 있음에도 위험성에 관한 연구는 미흡하다. 이러한 실정에서 연구자는 인공지능 로봇의 신체, 권리, 재산, 사회적 위험성을 측정할 수 있는 검증된 지표 52개를 개발하였다. 인공지능 로봇의 위험성 유형별 측정지표 개발을 위해 IRB 심의 이후, 전문가 11명에게 심층 면접하였다. 또한 현장성 검증을 위해 인공지능 로봇이 도입될 수 있는 여러 분야 종사자 328명에게 설문 조사하였으며, 타당성 및 신뢰성 측정을 위해 탐색적 요인분석과 신뢰도 분석, 변수 계산을 위한 상관관계 분석과 다중 회귀분석 등 통계 검증하였다. 이 논문에서 제시하는 측정지표가 표준화된 인공지능 로봇의 개발·인증·교육·정책 등에 널리 활용되어, 사회적으로 공감받고 안전한 인공지능 로봇 산업화의 초석이 되기를 기대한다.

1. 서론

최근 농산물 선별 작업장에서 센서를 점검하고 있던 작업자를 종이 상자로 오인한 로봇이 집게로 압착하면서 인간이 사망하는 사건이 발생했다[1]. 이를 전문가들은 지능형 로봇의 작업으로 인한 기술적 부작용으로 해석한다.

소셜 로봇은 사용자의 개인정보 등을 저장하고 있을 가능성이 높아 폐기할 때 보안 문제가 있다[2]. 인공지능 로봇은 여러 분야에서 다양한 형태로 나타날 수 있으며, 윤리적 문제외에도 발생할 수 있는 여러 가지 문제들을 현재로서는 모두 예측할 수 없다. 인간 생활을 윤택하게 해주는 인공지능 로봇을 더 안전하게 사용하기 위해서는 윤리적·기술적 문제를 모두 측정할 수 있는 지표 연구가 활발히 이뤄져야 한다. 그동안 미흡했던 국내외의 연구 실정과 향후 연구 방향을 볼때, 인공지능 로봇의 위험성 유형별 측정지표 개발 연구는 매우 중요하다고 할 것이다.

2. 이론적 배경

2.1 인공지능 로봇 윤리 현황

인공지능 로봇 개발이 본격화되면서 기업과 정부에서 인공지능 윤리 원칙이나 인공지능 로봇 개발 안내서를 활발하게 제작하고 있다. 하루가 달리 발전해가는 인공지능 로봇의 산업화로 새로운 위험 요소들이 생겨나고 있다. 인공지능 로봇의 위험 요소는 윤리적인 문제 뿐만 아니라 기술적인 문제들을 포함하고 있다. 국내외 여러 국가는 인공지능 로봇이 해를 끼칠 것에 대비하여 로봇 관련 법, 인공지능 개발 가이드라인 등을 제시하고 있다.

국내외 인공지능 로봇 윤리 현황은 표 1과 같다.

(표 1) 국내외 인공지능 로봇 윤리 현황

(Table 1) Domestic·Foreign AI Robot Ethics Status

해외 여러 국가들중에서 특히 유럽연합에서 인공지능 로봇과 관련한 정책이 활발하다. 하지만 최근까지 대부분 국가들의 정책을 살펴본 결과 인공지능 로봇의 기술적인 문제를 포함해서 점검할 수 있는 정책보다는 윤리 관련 정책 위주에 초점이 맞춰져 있는 것으로 나타났다.

2.2 국내외 선행연구 고찰

인공지능 로봇 관련 연구 사례를 살펴보기 위해 국내 학술지 검색시스템과 스콜라 구글에서 문헌을 검색하였다.

국내외 인공지능 로봇 관련 선행연구는 표 2와 같이 정리하였다.

(표 2) 국내외 인공지능 로봇 관련 선행연구

(Table 2) Domestic·Foreign AI Robot Prior research

국내는 법·규범·기술 활용 방안 연구가 대부분이었고, 개발자용 체크리스트·감정평가 산업·홈 헬스 케어 등의 한정적으로만 적용할 수 있어 범용적인 활용성은 없다는 한계가 있었다. 해외도 인공지능 로봇의 위험성에 관한 연구·성능 향상·인공지능 윤리원칙·기술 활용 등이었다.

하지만 인공지능 로봇의 위험성을 윤리·기술적으로 측정할 수 있는 지표에 관한 연구는 미흡한 실정이었다.

3. 인공지능 로봇의 위험성 유형별 측정지표 개발

3.1 연구방법

인공지능 로봇의 위험성 유형별 측정지표 개발을 위해 성균관대학교 기관 IRB 연구 승인(SKKU 2023-07-026)을 받았다. 2023년 7월 18일부터 7월 28일까지 전문가 심층 면접을 3회기 진행하였다. 2023년 8월 1일부터 8월 15일까지 현장성 검증을 위한 설문조사 결과를 토대로 해서 탐색적 요인분석·신뢰도 분석 및 다중회귀 분석하였다.

3.2 전문가 심층 면접

인공지능 로봇의 위험성 유형별 측정지표 개발을 위해 인공지능 로봇의 위험성 예방을 위한 측정지표 연구에서 도출된 측정지표들을 토대로 확장 연구하였다[24].

당시 델파이 설문조사에 참여했던 전문가 30명 중에서 인공지능 로봇의 위험성 유형별 측정지표 개발을 위한 전문가 심층 면접에 동의한 11명이 참여하였다.

전문가 심층 면접 참여자에 대한 정보는 표 3과 같다.

(표 3) 전문가 심층 면접 참여자 정보

(Table 3) Expert in-depth interview participant information

기존 인공지능 로봇의 위험성 예방을 위한 측정지표 연구에서는 4개 유형 및 11개 항목별 37개 측정지표가 도출되었다. 이 연구에 참여한 전문가들을 심층 면접한 결과 총 65개 측정지표를 도출하였다. 전문가 심층 면접 3회차를 진행하여 현장성 검증을 위한 설문 방법을 선정하고, 연구가설 검증을 위한 설문지 문항을 설계하였다.

3.3 변수명 정리 및 연구가설 설정

인공지능 로봇의 위험성 유형별 항목 및 측정지표의 연구가설 설정을 위한 변수명은 표 4와 같이 정리하였다.

(표 4) 유형별 항목 및 측정지표 변수명 정리

(Table 4) Organize item and metric variable names by type

인공지능 로봇의 위험성 유형별 측정지표 개발을 위해 1단계로 측정지표들이 각 항목에 영향을 미치는지 검증하기 위한 연구가설을 설정하였다. 2단계에서는 각 항목이 위험성 유형에 영향을 미치는지 검증하기 위한 연구가설을 설정하였다. 인공지능 로봇의 위험성 유형별 항목 및 측정 지표의 연구가설은 다음의 그림 1과 같이 정리하였다.

(그림 1) 연구가설

(Figure 1) Research hypothesis

4. 설문조사 통계 분석 및 연구 결과

연구가설 검증을 위해 전문가 심층 면접에서 독립변수·종속변수의 인과관계를 확인하는 다중 회귀분석 방법이 선정되었다. 탐색적 요인분석 및 신뢰도 분석으로 통계 검증하였고, 그 결과를 토대로 상관관계 분석 및 변수를 다시 계산하여 다중 회귀 분석하였다.

4.1 인구 통계학적 특성

현장성 검증을 위해 인공지능 로봇이 도입될 수 있는 여러 분야 종사자 339명에게 리커트 5점 척도를 활용한 설문 조사를 진행하였다. 개인 정보 수집 등에 동의하지 않은 11명의 조사지는 제외하고, 유효수 328명이 응답한 설문조사 결과로 통계 분석하였다. 현장성 검증을 위한 설문조사 참여자의 인구통계학적 특성은 표 5와 같다.

(표 5) 현장성 검증 설문 참여자의 인구통계학적 특성

(Table 5) Demographic characteristics of field verification survey participants

4.2 탐색적 요인분석 및 신뢰도 분석결과

전문가 심층 면접 등 연구를 통해 도출된 측정지표의 탐색적 요인분석 적합성을 확인하고자 각 유형별로 표준 형성의 적절성을 나타내는 KMO 및 Bartlett의 구형성을 검증하였다.

신체에 대한 물리적 위험성 유형의 검증 결과는 표 6과 같이 KMO는 0.944로 나타났고, Bartlett의 구형성 검증의 유의확률은 0.000으로 탐색적 요인분석에 문제가 없었다.

(표 6) 신체에 대한 물리적 위험성 유형의 KMO 및 Bartlett의 검증 결과

(Table 6) Validation results from KMO and Bartlett of the type of physical risk to the body

신체에 대한 물리적 위험성 유형의 탐색적 요인분석 및 신뢰도 분석결과는 표 7과 같다.

(표 7) 신체에 대한 물리적 위험성 유형의 탐색적 요인분석 및 신뢰도 분석결과

(Table 7) Exploratory factor analysis and reliability analysis of physical risk types for the body

* D. : Alpha if Item Deleted, **α: Cronbach α

신체에 대한 물리적 위험성 유형 15개 변수의 탐색적 요인분석 결과, 2개 항목으로 묶이는 것을 알 수 있었다.

2개 항목은 전문가 심층 면접을 통해 도출된 인간을 해칠 판단의 judg 및 운행 작업 중 작동 이상의 abno로 정의하였다. 인간의 권리에 대한 위험성 유형의 KMO 및 Bartlett 검증 결과는 표 8과 같으며, 표준형성의 적절성 측도 및 구형성 수치가 탐색적 요인분석에 문제없었다.

(표 8) 인간의 권리에 대한 위험성 유형의 KMO 및 Bartlett의 검증 결과

(Table 8) Validation results from KMO and Bartlett of risk types for human rights

인간 권리에 대한 위험성 유형의 탐색적 요인분석 및 신뢰도 분석결과는 다음 표 9와 같다. 인간 권리에 대한 위험성 유형의 탐색적 요인분석 및 신뢰도 분석결과 15개 변수는 3개 항목으로 묶였다. 이를 전문가 심층 면접에서 도출된 인격권 침해의 infr, 자유의사 방해의 dist, 선택적 서비스, 정보 제공의 disc로 구분하였다.

(표 9) 인간의 권리에 대한 위험성 유형의 탐색적 요인분석 및 신뢰도 분석결과

(Table 9) Exploratory factor analysis and reliability analysis of risk types for human rights

* D. : Alpha if Item Deleted, **α: Cronbach α

재산 손실의 위험성 유형의 검증 결과는 다음 표 10과 같으며, 표준형성의 적절성 측도 및 구형성 검증 수치는 탐색적 요인분석에 문제없는 것으로 나타났다.

(표 10) 재산 손실의 위험성 유형의 KMO 및 Bartlett의 검증 결과

(Table 10) Validation results from KMO and Bartlett of the types of risk of property loss

재산 손실 위험성 유형의 탐색적 요인분석 및 신뢰도 분석결과는 다음 표 11과 같다. 재산 손실 위험성 유형 18개 변수의 탐색적 요인분석 결과, 3개 항목으로 묶였다.

(표 11) 재산 손실 위험성 유형의 탐색적 요인분석 및 신뢰도 분석결과

(Table 11) Exploratory Factor Analysis and Reliability Analysis of Property Loss Risk Types

* D. : Alpha if Item Deleted, **α: Cronbach α

전문가 심층 면접에서 도출된 잘못된 의사결정의 deci, 기계 결함 오작동의 malf, 정보 입력, 탈취인 capt로 구분하였다.

사회적 위험성 유형의 검증 결과는 표 12와 같으며, 표준형성의 적절성 측도 및 구형성 검증 수치는 탐색적 요인분석에 문제없는 것으로 나타났다.

(표 12) 사회적 위험성 유형의 KMO 및 Bartlett의 검증 결과

(Table 12) Results of KMO and Bartlett's verification of social risk types

사회적 위험성 유형의 탐색적 요인분석 및 신뢰도 분석 결과는 다음 표 13과 같다.

(표 13) 사회적 위험성 유형의 탐색적 요인분석 및 신뢰도 분석결과

(Table 13) Exploratory factor analysis and reliability analysis of social risk types

* D. : Alpha if Item Deleted, **α: Cronbach α

사회적 위험성 유형의 17개 변수를 탐색적 요인분석한 결과, 3개 항목으로 묶였다. 이를 전문가 심층 면접을 통해서 도출된 도로상 작동 중지의 stop, 데이터 문제의 data, 법규 판단 오류의 misc로 구분하였다.

4.3 상관관계 분석

연구 가설 검정을 위해 변수계산하였다. 탐색적 요인 분석·신뢰도 분석 등 변수정제 과정을 통해 최종적으로 남아 있는 변수들을 모두 더해 변수의 갯수만큼 나누고 하나의 변수로 만들어주는 상관관계 분석을 하였다.

신체에 대한 물리적 위험성 유형의 요인별 상관관계를 분석한 결과, abno와 judg의 상관관계는 0.691의 유의미한 수치로 나타났으며, 다음의 표 14와 같다.

(표 14) 신체에 대한 물리적 위험성 유형의 상관분석 결과

(Table 14) Correlation analysis of the types of physical risks to the body

** 상관계수는 0.01 수준(양쪽)에서 유의합니다.

인간의 권리에 대한 위험성 유형의 요인별 상관관계 분석결과는 표 15와 같다.

(표 15) 인간의 권리에 대한 위험성 유형의 상관분석 결과

(Table 15) Correlation of Risk Types on Human Rights Results

** 상관계수는 0.01 수준(양쪽)에서 유의합니다.

infr와 dist는 0.763의 상관관계가 있었고, infr와 disc의 상관관계는 0.717로 나타났다. dist와 disc의 상관관계는 0.781로 모든 요인의 상관관계가 유의미하게 나타났다.

재산 손실의 위험성 유형의 요인별 상관관계를 분석한 결과는 표 16과 같다.

(표 16) 재산 손실 위험성 유형의 상관분석 결과

(Table 16) Correlation Analysis Results of Property Loss Risk Types

** 상관계수는 0.01 수준(양쪽)에서 유의합니다.

capt와 malf의 상관관계는 0.747로 나타났고, capt와 deci은 0.707의 유의미한 수치로 나타났다. malf과 deci의 상관관계는 0.750로 모든 요인의 상관관계가 유의미하게 나타났다.

사회적 위험성 유형의 요인별 상관관계 분석결과는 다음의 표 17과 같다.

(표 17) 사회적 위험성 유형의 상관분석 결과

(Table 17) Correlation Analysis Results of Types of Social Risk

** 상관계수는 0.01 수준(양쪽)에서 유의합니다.

data과 misc의 상관관계는 0.788의 수치로 나타났으며, data과 stop 상관관계는 0.721로 나타났다. misc와 stop의 상관관계는 0.74로 모든 요인의 상관관계가 유의미하게 나타났다.

4.4 다중회귀 분석

여러 개 독립변수가 한 개 종속변수에 미치는 영향을 확인하고자 다중 회귀분석을 실시하였다. 신체에 대한 물리적 위험성 유형의 다중회귀 분석결과는 표 18과 같다.

(표 18) 신체에 대한 물리적 위험성 유형의 다중회귀 분석결과

(Table 18) Multiple-term analysis of the type of physical risk to the body

운행 작업 중, 작동 이상의 abno 변수 간 및 인간을 해칠 판단의 judg 변수 간 다중 회귀분석 결과, 수정된 R²이 0.987, 0.981로 회귀선의 설명력은 좋은 것으로 나타났다.

Durbin-Watson 값도 2에 가까워 잔차의 독립성도 확립되었다. 종속변수의 분산분석 F 통계량 유의확률 p 값이 0.000으로 회귀식은 유의하다는 연구가설이 채택되었다.

인간 권리에 대한 위험성 유형의 다중회귀 분석결과는 표 19와 같다.

(표 19) 인간의 권리에 대한 위험성 유형의 다중회귀 분석결과

(Table 19) Results of multi-session analysis of risk types for human rights

*.p < 0.05 **.p < 0.01

인격권 침해의 infr 변수 간, 자유의사 방해의 dist 변수 간, 선택적 서비스나 정보 제공의 disc 변수 간 다중 회귀 분석 결과, 수정된 R²이 0.982, 0.973, 0.974로 회귀선의 설명력은 좋은 것으로 나타났다.

Durbin-Watson 값도 2에 가까워 잔차의 독립성도 확립되었다. 종속변수의 분산분석 F 통계량 유의확률 p 값이 0.000으로 회귀식은 유의하다는 연구가설이 채택되었다.

재산 손실 위험성 유형의 다중회귀 분석결과는 다음의 표 20과 같다.

(표 20) 재산 손실 위험성 유형의 다중회귀 분석결과

(Table 20) Results of multi-session analysis of property loss risk types

*.p < 0.05 **.p < 0.01​​​​​​​

정보 입력·탈취의 malf, 기계 결함 오작동의 malf, 잘못된 의사 결정의 deci 변수 간 다중 회귀분석 결과, 수정된 R²이 0.979, 0.985, 0.990으로 회귀선의 설명력은 좋은 것으로 나타났다. Durbin -Watson 값도 2에 가까워 잔차의 독립성도 확립되었다.

종속변수의 분산분석 F 통계량 유의확률 p 값이 0.000으로 회귀식은 유의하다는 연구가설이 채택되었다. 사회적 위험성 유형의 다중회귀 분석결과는 표 21과 같다.

(표 21) 사회적 위험성 유형의 다중회귀 분석결과

(Table 21) Results of multi-term analysis of social risk types

*.p < 0.05 **.p < 0.01

데이터 문제의 data, 법규 판단 오류의 misc, 도로상 작동 중지의 stop 변수 간 다중 회귀분석 결과, 수정된 R²이 0.981, 0.987, 0.982로 회귀선의 설명력은 좋은 것으로 나타났다. Durbin-Watson 값도 2에 가까운 수치로 나타나 잔차의 독립성도 확립되었다. 종속변수의 분산분석 F 통계량 유의확률 p 값이 0.000으로 회귀식은 유의하다는 연구 가설이 채택되었다. 연구 가설 2단계 검증을 위한 위험성 유형별 항목 간 다중회귀 분석결과는 표 22와 같다.

(표 22) 위험성 유형별 항목 간 다중회귀 분석결과

(Table 22) Results of multi-session analysis between items by risk type

*.p < 0.05 **.p < 0.01​​​​​​​

신체에 대한 물리적 위험성의 Body, 인간의 권리에 대한 위험성의 Right, 재산 손실의 위험성의 Property, 사회적 위험성의 Social 변수 간 다중 회귀분석 결과, 수정된 R²이 0.990, 0.991, 0.995, 0.992로 회귀선의 설명력은 좋은 것으로 나타났다. Durbin-Watson 값도 2에 가까운 수치로 나타나 잔차의 독립성도 확립되었다. 종속변수 분산분석 F 통계량 유의확률 p 값이 0.000으로 나타나 회귀식은 유의하다는 연구가설이 채택되었다.

1단계 연구 가설을 검증한 결과, abno1~abno6은 채택되었고, abno7은 기각되었다. judg1~judg4, judg6~judg7은 채택되었고, judg5, judg8은 기각되었다. infr1~infr2, infr4~infr5는 채택되었고, infr3은 기각되었다. dist1~dist4는 채택되었고, dist5는 기각되었다. disc1~disc3, disc5는 채택되었고, disc4는 기각되었다. capt1~capt4는 채택되었고, capt5는 기각되었다. malf1~malf4, malf6은 채택되었고, malf5는 기각되었다. deci1~deci6은 채택되었고, deci7은 기각되었다. data1~data3, data5는 채택되었고, data4는 기각되었다. misc1~misc4는 채택되었고, misc5는 기각되었다.

stop1~stop4, stop7은 채택되었고, stop5~stop6은 기각됨에 따라 총 65개 측정지표 중에서 52개의 연구가설이 채택되었다. 2단게 연구 가설을 검증한 결과 abno, judg, infr, dist, disc, capt, malf, deci, data, misc, stop 11개의 항목 모두 연구가설이 채택되었다.

4.5 연구 결과

인공지능 로봇의 위험성 유형별 측정지표 개발을 위해 전문가 심층 면접 및 현장성 설문조사를 하였다. 그 결과를 탐색적 요인분석 및 신뢰도 분석, 상관관계 분석 및 다중 회귀 분석하였다. 연구가설을 통계 검증하여 개발한 4개 유형 및 11개 항목별 52개 측정지표는 그림 2 ~ 5와 같다.

(그림 2) 신체에 대한 물리적 위험성 유형의 측정지표 모형

(Figure 2) A metric model of the type of physical risk to the body

(그림 3) 인간의 권리에 대한 위험성 유형의 측정지표 모형

(Figure 3) A metric model of the type of risk for human rights

(그림 4) 재산 손실 위험성 유형의 측정지표 모형

(Figure 4) Measurement Indicator Model of Property Loss Risk Types​​​​​​​

(그림 5) 사회적 위험성 유형의 측정지표 모형

(Figure 5) A metric model of the type of social risk

신체에 대한 물리적 위험성은 인공지능 로봇의 운행, 작업 중 작동 이상 및 인간을 해칠 판단에 의해 발생할 수 있다.

따라서 운행, 작업 중에 작동 이상을 일으킬 수 있는 6개 측정지표 및 인간을 해칠 판단을 할 수 있는 6개 측정지표를 활용하여 인공지능 로봇을 점검할 필요가 있음을 그림 2와 같이 제안한다.

인간 권리에 위험성은 인공지능 로봇의 인격권 침해 및 자유의사 방해, 선택적 서비스나 정보 제공에 의해 발생할 수 있다. 따라서 인격권을 침해할 수 있는 4개 측정지표 및 자유의사를 방해할 수 있는 4개 측정지표 및 선택적 서비스나 정보 제공을 할 수 있는 4개 측정지표를 활용하여 인공지능 로봇을 점검할 필요가 있음을 그림 3과 같이 제안한다.

재산 손실의 위험성은 인공지능 로봇의 정보 입력, 탈취 및 기계 결함 오작동, 잘못된 의사 결정에 의해 발생할 수 있다. 따라서 정보 입력이나 탈취를 할 수 있는 4개 측정 지표 및 기계 결함으로 인한 오작동을 일으킬 수 있는 5개 측정지표, 잘못된 의사 결정을 할 수 있는 6개 측정지표를 활용하여 인공지능 로봇을 점검할 필요가 있음을 그림 4와 같이 제안한다. 사회적 위험성은 인공지능 로봇의 데이터 문제 및 법규 판단 오류, 도로상 작동 중지에 의해 발생할 수 있다. 따라서 데이터 문제를 일으킬 수 있는 4개 측정지표, 법규 판단에 오류를 일으킬 수 있는 4개 측정지표, 도로상에서 작동이 중지될 수 있는 5개 측정지표를 활용하여 인공지능 로봇을 점검할 필요가 있음을 그림 5와 같이 제안한다.

5. 결론

인공지능 로봇의 활용 범위가 작업 수행에서 일상생활까지 확장되어 감에 따라 인공지능의 윤리 지표만으로는 인공지능 로봇의 위험성을 전반적으로 점검할 수가 없다.

인간과 상호작용이나 협업 중 인공지능 로봇으로 인해 인간이 다치거나 수집된 개인정보의 유출 및 차별 서비스 등 기술적 문제·윤리적 위험성 등 전체를 측정할 수 있는 지표가 있어야 한다. 이 연구에서는 인공지능 로봇의 기술 및 윤리적 문제 등 인간의 신체, 권리, 재산, 사회적 위험성을 측정할 검증된 지표를 개발하고자 하였다. 이를 위해 인공지능 로봇의 위험성 측정지표에 관한 델파이 연구에 참여했던 전문가 11명을 심층 면접하였다. 앞으로 산업, 공공 등 다양한 분야에서 인공지능 로봇이 도입될 수 있으므로 관련 직업 종사자 328명에게 현장성 설문조사를 하였다.

4단계 통계 분석을 통해 인공지능 로봇의 위험성 유형별 측정지표를 개발하였다. 이 연구에서 제안하는 측정지표가 인공지능 로봇을 안전하게 사용하는데 필요한 많은 연구의 초석이 되어 표준화된 지표, 정책 등에 활용되기를 기대한다.