DOI QR코드

DOI QR Code

인공지능 서비스 영향성 평가를 위한 분석 기준 연구

A Study on Analysis Criteria for AI Service Impact Assessment

  • Soonduck, Yoo (Dept. of International Business, Hansei University)
  • 투고 : 2022.12.12
  • 심사 : 2023.02.03
  • 발행 : 2023.02.28

초록

본 연구의 목적은 인공지능 서비스 영향성 평가를 위한 분석 기준에 대해 조사하는 것이다. 본 연구 결과는 다음과 같이 조사 되었다. 인공지능 평가 대상은 인공지능 서비스와 인공지능 기술인 2가지 영역으로 분류하였다. 인공지능 서비스 평가는 영향력, 지속가능성, 효율성, 효과성, 적절성 등을 도입하여 평가할 수 있다. 인공지능 서비스의 시간적 측면평가는 사전평가와 사후 평가로 나누어 정리 할 수 있다. 사전평가는 사전 서비스를 위해 개발하고 설계할 때 검토해야 하는 사항에 대해 제시하고 있다. 인공지능 서비스 영역 평가는 공공서비스와 민간서비스 및 혼합형태로 분류 될 수 있다. 인공지능 서비스 영향성 평가 분류 기준으로 수직적 또는 수평적 구조 형태로 분류가 가능하다. 인공지능 서비스 적용(활용) 기준은 규범적 측면과 규제적 측면으로 나누어 볼 수 있다. 인공지능 서비스 목적 측면에서 영향평가 또는 과정 평가로 분류될 수 있다. 인공지능 서비스 목적 측면에서 바라보면, 주제별 평가와 분야별 평가를 들 수 있다. 본 연구는 인공지능 서비스 영향성 정책 및 대응 방안 마련하는데 도움이 되며. 향후 연구는 인공지능 서비스 영향성 분석 기준을 바탕으로 구체적인 지표를 발굴하는게 필요하다.

This study investigated the criteria for evaluating the impact of artificial intelligence services. The study classified AI evaluation targets into two areas: AI service and AI technology, and identified influence, sustainability, efficiency, effectiveness, and appropriateness as potential evaluation criteria. The time aspect of AI service evaluation was divided into pre-evaluation and post-evaluation, with pre-evaluation focused on reviewing items during development and design. The AI service area was classified into public, private, and mixed forms, and the impact assessment was classified as vertical or horizontal. The application of AI services was divided into normative and regulatory aspects, and the purpose of the evaluation could be impact or process evaluation. The subject and field of the AI service could also be used for classification purposes. The results of this study can be used to support the creation of AI service impact policies and countermeasures. However, further research is needed to develop specific indicators based on the criteria identified in this study to evaluate the impact of AI services.

키워드

I. 서론

인공지능 기술이 급속하게 발전하고 있고, 대부분의 산업 영역에서 제공하는 제품과 서비스에 점차 융합되어 감에 따라 인공지능 서비스의 사회 경제적 파급효과도 커지고 있다[1] 따라서 인공지능 기술‧서비스의 영향평가를 위한 종합적 분석이 필요한 시점이다.

본 연구에서 인공지능에 의한 변화 및 개인에 대한영향성과 인공지능이 다양한 분야에 미치는 영향성을 측정하기 위한 분석 기준을 마련하고 이를 평가를 해야한다.[2][3] 이에 따라 인공지능 서비스로 인해 사회적 영향과 파급에 따른 등장할 수 있는 문제점 및 위험에 대해 대응 방안에 대해 준비할 필요가 있다.

인공지능 기술과 서비스의 발전 정도에 따라 그 영향의 정도도 달라지는 만큼 인공지능 영향평가는 하나의 프로젝트가 아닌 지속적인 활동과 노력이 요구되는 프로그램 수준, 제도화 수준으로까지 발전해야 한다.[4] 현재 국내에서 추진하고 있는 인공지능 분야 인텍스 기반의 수준 조사기반으로 전반적인 영향평가를 사용하고 있으나 이는 영향성 측면에서 보면, 사후적 평가이다. 따라서 인공지능에 서비스의 영향성 평가를 위한 틀을 마련하고 이미 개발된 여러 평가 부분의 적절성여부와 이를 통한 기존에 개발된 인공지능 서비스의 위험적 측면을 파악하고 이를 사전에 예방 또는 완화 하는 방안에 대한 연구가 필요하다.

본 연구는 인공지능 서비스의 영향성에 대한 개념을 제시하고 이에 대한 영향성 평가를 위해 분석 기준을 제언하는데 의의를 두고 있다.

II. 인공지능 서비스 영향성 개념

1. 개요

인공지능은 기계가 경험을 통해 학습하고 새로운 입력 내용에 따라 기존 지식을 조정하며 사람과 같은 방식으로 과제를 수행할 수 있도록 지원하는 기술이다. 인공지능은 학습, 문제 해결, 패턴 인식 등과 같이 주로 인간 지능과 연결된 인지 문제를 해결하는 데 주력하는 컴퓨터 공학 분야에 속한다.[5]

인공지능이 사물인터넷, 빅데이터, 엄청나게 빠른 컴퓨팅 파워와 결합함에 따라 인공지능이 인간의 인지능력을 점진적으로 학습하게 되어 개인비서 기능뿐만 아니라 기업의 의사결정이나 고객 관리를 비롯한 모든 비즈니스 부문에서 다양한 역할을 하고 있다.

인공지능 서비스 영향성 평가의 분석 기준을 발굴하기 위해 인곤 지능 개념을 광의의 영역 중심으로 1) 개념적 측면, 2) 법적 측면, 3) 영향성 측면, 4) 목적성 측면에 대해 살펴보았다. 개념적 측면에서 1) 지능정보 서비스, 2) 인공지능, 3) 인공지능 서비스 측면으로 ㅂ누류하여 논의하였다.

법적 측면은 국내 관련 법규 및 규정을 살펴보았다. 영향성 측면은 1) 사회적 영향성, 2) 영향성 평가, 3) 인공지능 서비스의 사회적 영향평가 순으로 살펴보았다. 그리고 목적 측면은 인공지능 서비스의 사회적 영향성 평가 목적을 어떻게 수립하느냐에 따른 분류로서 1) 공공적 측면, 2) 위험적 측면, 3) 정책 수립적 측면으로 논의 하였다. (Table 1 참고)

표 1. 인공지능 서비스 영향성 개념 분류

OTNBBE_2023_v23n1_7_t0001.png 이미지

Table 1. AI service impact definition classification

2. 개념적 측면

개념적 측면에서 살펴보기 위해 인공지능 서비스 개념을 포함하고 있는 지능정보 서비스는 지능정보화 기본법 제 2조, 4항, 7항에 따라 지능정보기술을 활용한 서비스로서 지능정보기술에는 인공지능 외에 IoT, 클라우드, 빅데이터 등이 모두 포함한다.

인공지능은 기계가 경험을 통해 학습하고 새로운 입력 내용에 따라 기존 지식을 조정하며 사람과 같은 방식으로 과제를 수행할 수 있도록 지원하는 기술을 말한다.[6] 그리고 인공지능 서비스는 인간의 지각, 이해, 판단, 학습 등에 대한 지적인 능력을 기기에 구현하고 빅데이터 등을 기반으로 분석, 예측하여 고객별 맞춤형 서비스를 제공하는 것으로 설명하고 있다.[7] 따라서, 본 연구는 지능정보기술 중 인공지능으로 범위를 제한하고, 인공지능 기술과 인공지능 서비스를 대상으로 분류하였다. 인공지능을 포함한 지능정보기술의 경우 과학기술기본법의 기술 영향평가 영역으로 분류 조사하였다.

3. 법적 측면

인공지능 영향성 평가에 대한 국내 법적 관련 규정은 지능 정보화 기본법 제 56조인 국가 및 지방자치단체는 국민의 생활에 파급력이 큰 지능정보서비스 등의 활용과 확산이 사회ㆍ경제ㆍ문화 및 국민의 일상생활 등에 미치는 영향에 대해 분석에 기반하고 있다.

제56조(지능정보서비스 등의 사회적 영향평가)

① 국가 및 지방자치단체는 국민의 생활에 파급력이 큰 지능정보서비스 등의 활용과 확산이 사회ㆍ경제ㆍ문화 및 국민의 일상생활 등에 미치는 영향에 대하여 다음 각 호의 사항을 조사ㆍ평가(이하 “사회적 영향평가”라 한다)할 수 있다. 다만, 지능정보기술의 경우에는 「과학기술기본법」 제14조제1항의 기술영향평가로 대신한다.

1. 지능정보서비스 등의 안전성 및 신뢰성

2. 정보격차 해소, 사생활 보호, 지능정보사회윤리 등 정보 문화에 미치는 영향

3. 고용ㆍ노동, 공정거래, 산업구조, 이용자 권익 등 사회ㆍ경제에 미치는 영향

4. 정보보호에 미치는 영향

5. 그 밖에 지능정보서비스 등이 사회ㆍ경제ㆍ문화 및 국민의 일상생활에 미치는 영향

② 과학기술정보통신부장관은 사회적 영향평가의 결과를 공개하고, 해당 지능정보서비스 등의 안전성ㆍ신뢰성 향상 등 필요한 조치를 국가기관 등 및 사업자 등에 권고할 수 있다.

JAKO202308931714490_9.png 이미지 

4. 영향성 측면

영향성 평가 측면에서 사회적 영향성을 살펴보면, 어떠한 사적․공적 조치가 인간에게 미치는 영향, 그리고 그것에 의해 인간이 살고 일하고 즐기고 서로 연관되며 사회구성원으로서 그들의 필요를 충족시키는 방식이 변경되는 것을 포괄하는 개념을 말한다.[8]

표 2. STEEP 분류

OTNBBE_2023_v23n1_7_t0002.png 이미지

Table 2. STEEP Classification

영향평가는 법률이나 정책 개발 시 대상에게 미치는 영향을 분석하여 목표 달성 가능성 및 예견되는 부정적 영향에 대한 제거방안을 확보하고 법률 및 정책의 성공적인 안착을 위한 정책 분석을 말한다.[9]

본 연구에서 언급하는 인공지능 서비스의 사회적 영향 평가는 국민 생활에 파급력이 클 것으로 예상되는 인공 지능 서비스가 사회에 미치는 영향을 분석하여 합리적 개선을 유도하기 위한 제도적 장치이다. 따라서 본 연구는 사회적 영향성 측면은 국내 사회 및 문화 영역으로 하고 영향성 평가는 STEEP(사회(Social), 기술(Technological), 경제(Economical), 환경(Environmental 또는 Ecological) 및 정치/법규(Political/lagal)의 첫글자를 따서 붙인 분석기법을 말한) 기반 영역 중심 해석하고자 한다. 그리고 인공지능 서비스의 사회적 영향평가는 합리적 개선을 유도하기 위한 자율 규제 형태인 제도적 영역에 대해서 진행하고자 한다.

5. 목적성 측면

인공지능 서비스의 사회적 영향성 평가 목적은 다음의 3가지 측면에서 살펴보고자 한다. 1) 법률이나 정책 개발 시 대상에게 미치는 영향을 분석, 2) 목표 달성 가능성 및 예견되는 부정적 영향에 대한 제거 방안을 확보, 3) 법률 및 정책의 성공적인 안착을 위한 정책 분석이다. 따라서 공공적인 측면, 위험적 측면, 정책적 수립 측면을 목적으로 검토하였다.

표 3. 인공지능 서비스의 사회적 영향성 평가 목적

OTNBBE_2023_v23n1_7_t0003.png 이미지

Table 3. Purpose of Evaluating the Social Impact of AI Services

III. 인공지능 서비스 영향성 분석 기준

1. 개요

인공지능 영향성 평가를 위한 기준을 수립하기 위해 인공지능 서비스 영향성 분석 기준에 대해 살펴보았다.

첫쨰, 인공지능 평가 대상은 인공지능 서비스와 인공 지능 기술인 2가지 영역으로 분류 하였다. 둘째, 인공지능 서비스 평가는 영향력, 지속가능성, 효율성, 효과성, 적절성 등을 도입하여 평가할 수 있다. 셋째, 인공지능 서비스의 시간적 측면 평가는 사전평가와 사후평가로 나누어 정리 할 수 있다. 사전평가는 사전 서비스를 위해 개발하고 설계할 때 검토해야 하는 사항에 대해 제시하고 있다. 넷째, 인공지능 서비스 영역 평가는 공공서비스와 민간 서비스 및 혼합형태로 분류 될 수 있다. 다섯째, 인공지능 서비스 영향성 평가 분류 기준으로 수직적 또는 수평적 구조 형태로도 분류 가능하다. 여섯째, 인공지능 서비스 적용(활용) 기준은 규범적 측면과 규제적 측면으로 나누어 볼 수 있다. 일곱째, 인공지능 서비스 목적 측면에서 영향평가 또는 과정평가로 분류될 수 있다. 여덟째, 인공지능 서비스 목적 측면에서 바라보면, 주제별 평가와 분야별 평가를 들 수 있다.

표 4. 인공지능 서비스 영향성 평가 분류 기준

OTNBBE_2023_v23n1_7_t0004.png 이미지

Table 4. AI service impact assessment classification criteria

2. 인공지능 평가 대상

인공지능의 경우 기술적 측면과 서비스 측면으로 분류하여 볼 수 있다. 인공지능 기술은 기계가 경험을 통해 학습하고 새로운 입력 내용에 따라 기존 지식을 조정하며 사람과 같은 방식으로 과제를 수행할 수 있도록 지원하는 기술이라고 불리운다.[10][11] 이와는 달리 인공지능 서비스는 인간의 지각, 이해, 판단, 학습 등에 대한 지적인 능력을 기기에 구현하고 빅데이터 등을 기반으로 분석, 예측하여 고객별 맞춤형 서비스를 제공하는 것으로 해석 하고 있다.[12]

인공지능 서비스 측면의 대표적인 예시로 자율주행 차량, 마이크로소프트(MS)의 '프로젝트 인너아이(InnerEye) 등을 들 수 있다.

표 5. 인공지능 평가 대상

OTNBBE_2023_v23n1_7_t0005.png 이미지

Table 5. AI evaluation target

3. 인공지능 서비스 평가 기준

서비스 평가(OECD 개발원조위원회(Development Assistance Committee)의 5대 평가 기준으로 UN에서 개발도상국가 들을 원조 및 지원하기 위한 것이 대표적인 사례이다.[13] 이 경우는, 제공하는 서비스에 대한 영향력, 지속가능성, 효율성, 효과성, 적절성을 평가하여 어떤 국가를 우선적으로 지원하고 지원 방법에 대해 제시하고 있다.

표 6. 서비스 평가 기준 사례들

OTNBBE_2023_v23n1_7_t0006.png 이미지

Table 6. Service Evaluation Criteria Examples

첫째, 영향력은 사회, 경제, 환경 등에 직/간접적으로 미친 긍정적 또는 부정적 효과를 평가하고 있다. 대표적인 사례로 환경 영향성 평가를 들 수 있다.[14]

둘째, 지속가능성은 사업 완료 이후에도 사업의 효과 및 혜택의 지속 가능 정도 또는 여부를 평가하는 것으로 기후 변화를 대응 하기 위한 지속가능성이 대표적인 사례이다.

셋째, 효율성은 지원성과가 경제적 의미에서 얼마나 효율적으로 나타났는가를 경제성 평가 방식을 통해 평가하는 것으로 사업 수행 시 많이 활용하고 있다.

넷째, 효과성은 목적이나 목표의 달성 정도를 평가하는 것으로 사업 초기에 설정된 객관적 평가 기준에 따라 평가 대상이 초기에 수립된 목표를 얼마나 달성했는지를 측정하여 평가하는 항목으로 각종 사업에서 등장하는 달성치를 평가한다.

다섯째, 적절성은 사업의 부합 정도를 평가하는 것으로 수행한 사업이 본래 취지에 맞게 진행되었는지를 확인한다.

이와 같이 인공지능 서비스의 경우 상기의 사례를 적용하여 어떤 측면에 대한 평가를 수행해야 할지에 검토해 볼수 있다.

4. 인공지능 서비스의 시간적 측면 평가

서비스를 평가하기 위해 시간적 개념을 도입하면 크게는 사업을 수행하기 전과 사업 수행 후 그리고 사업 수행 중간 또는 종료 단계로 논의될 수 있다. 사전평가는 사업 기획단계에서 부터 성과평가 지표 개발 등 평가계획을 포함하여 사업계획을 수립하는 것이다. 사후 평가는 사업이 종료된 후 일정 기간 뒤에 수행하는 평가. 선별적 실시, 단일사업 혹은 여러 사업을 묶어 수행 가능하다.

사업을 수행하기 전에 이루어지는 사전평가 형태로 사업의 기획과 설계 당시에 논의하는 과정으로 환경영향평가 형태를 들 수 있다. 환경영향 평가는 사업이후에도 이루어지고 있다. 그러나 현재 인공지능의 발달 현황에 따라 인공지능 영향 평가의 경우 사전 평가 측면에 더 중점을 두고 있다.

표 7. 시간적 측면 평가

OTNBBE_2023_v23n1_7_t0007.png 이미지

Table 7. Time-series rating

5. 인공지능 서비스 영역 평가 기준

인공지능 서비스에 대해 논의할 때 수행 목적과 대상에 기반으로 수행 주체자가 정부조직이 될 수 있는 공공 기반 서비스와 민간 기업이 수익 확보를 위해 진행하는 민간 서비스로 분류된다. 또한 공공서비스와 민간 서비스가 결합된 혼합 형태로도 분류 될 수 있다.

표 8. 인공지능 서비스 영역 평가 대상

OTNBBE_2023_v23n1_7_t0008.png 이미지

Table 8. AI service evaluation targets

6. 인공지능 서비스 지표 분류

인공지능 서비스 지표 분류에는 서로의 관계가 종속적인 관계가 아닌 구조를 가지는 수평적 방식과 대중소처럼 단계적의 상하관계의 구조로 연계되는 수직적 구조 방식이 있다.

표 9. 인공지능 서비스 지표 분류 방식

OTNBBE_2023_v23n1_7_t0009.png 이미지

Table 9. Categorization approach for AI service indicators

7. 인공지능 서비스 적용(활용) 기준

서비스를 적용하기 위해 법적인 측면에서 논의하면, 인간이 행동하거나 판단할 때 마땅히 따라야 할 행동을 의미하는 규범적 측면과 법이나 규정으로 제한하거나 금하는 것으로 반드시 따라야 하는 규제적 측면으로 분류할 수 있다.

표 10. 인공지능 서비스 적용(활용) 기준

OTNBBE_2023_v23n1_7_t0010.png 이미지

Table 10. Criteria for the application (utilization) of artificial intelligence services

8. 인공지능 서비스 목적 기준

서비스의 목적 측면에서 사업으로 초래된 결과와 파급 효과에 중점을 두어 평가. 사전/사후 평가의 형태로 수행하는 영향평가와 사업 계획과 실행단계에 중점을 두어 평가하는 대부분 중간, 종료평가의 형태로 수행하는 과정 평가가 있다. 인공지능 서비스는 영향평가 중심으로 진행 할 수 있다.

표 11. 인공지능 서비스 목적

OTNBBE_2023_v23n1_7_t0011.png 이미지

Table 11. Purpose of AI services

9. 인공지능 서비스 영역적 목적 기준

인공지능 서비스 영역적 목적 측면에서 평가를 바라보면, 주제별 평가와 분야별 평가를 들 수 있다. 주제별 평가는 특정 주제와 관련된 사업에 대하여 평가. 선정된 주제에 대하여 포괄적으로 실시한다. 분야별 평가는 특정 분야의 사업 전반을 평가. 사업의 적절성, 효과성, 효율성 등을 평가하는 것이다.

표 12. 인공지능 서비스 대상

OTNBBE_2023_v23n1_7_t0012.png 이미지

Table 12. Target of AI services

V. 결론

인공지능이 사물인터넷, 빅데이터, 엄청나게 빠른 컴퓨팅 파워와 결합함에 따라 인공지능이 인간의 인지능력을 점진적으로 학습하게 되어 개인비서 기능뿐만 아니라 기업의 의사결정이나 고객 관리를 비롯한 모든 비즈니스 부문에서 다양한 역할을 하고 있다.

인공지능 서비스 영향성 평가의 분석 기준을 발굴하기 위해 인공지능 서비스 개념을 광의의 영역 중심으로 1) 개념적 측면, 2) 법적 측면, 3) 영향성 측면, 4) 목적성 측면에 대해 살펴보았다. 개념적 측면에서 1) 지능정보 서비스, 2) 인공지능, 3) 인공지능 서비스에 대해 논의하였다.

법적 측면은 국내 관련 법규 및 규정을 살펴보았다.

영향성 측면은 1) 사회적 영향성, 2) 영향성 평가, 3) 인공지능 서비스의 사회적 영향평가 순으로 살펴보았다. 그리고 목적 측면은 인공지능 서비스의 사회적 영향성 평가 목적을 어떻게 수립하느냐에 따른 분류로서 1) 공공적 측면, 2) 위험적 측면, 3) 정책 수립적 측면으로 논의 하였다.

인공지능 영향성 평가를 위한 기준을 수립하기 위해 인공지능 서비스 영향성 분석 기준에 대해 살펴보았다.[15]

첫쨰, 인공지능 평가 대상은 인공지능 서비스와 인공 지능 기술인 2가지 영역으로 분류 하였다. 둘째, 인공지능 서비스 평가는 영향력, 지속가능성, 효율성, 효과성, 적절성 등을 도입하여 평가할 수 있다. 셋째, 인공지능 서비스의 시간적 측면 평가는 사전평가와 사후 평가로 나누어 정리 할 수 있다. 사전평가는 사전 서비스를 위해 개발하고 설계할 때 검토해야 하는 사항에 대해 제시하고 있다. 넷째, 인공지능 서비스 영역 평가는 공공서비스와 민간서비스 및 혼합 형태로 분류 될 수 있다. 다섯째, 인공지능 서비스 영향성 평가 분류 기준으로 수직적 또는 수평적 구조 형태로 분류가 가능하다. 여섯째, 인공지능 서비스 적용(활용) 기준은 규범적 측면과 규제적 측면으로 나누어 볼 수 있다. 일곱째, 인공지능 서비스 목적 측면에서 영향평가 또는 과정평가로 분류될 수 있다. 여덟째, 인공지능 서비스 목적 측면에서 바라보면, 주제별 평가와 분야별 평가를 들 수 있다.

본 연구를 통해 인공지능 서비스의 영향성 평가를 위한 분석 기준 정립늘 통해 관련 연구의 기초를 마련하고 관련 정책을 수립하는 데에 기여를 할 것이다.

향후 연구는 본 연구에서 마련된 인공지능 영향성 평가 분석 기준으로 기반으로 직접 영향성 평가를 위한 지표를 연구하는 것이다.

참고문헌

  1. Yoo Soonduck, "A Study on the Method of Deriving AI Activation Policy", Journal of the Korea Internet Broadcasting and Communication Society 20, No. 5, 187-193, 2020.
  2. Sowon Jeon, Jihee Lee, and Jongtae Lee, "A Study on User Acceptance Intention of AI Services: Focusing on Factors Influencing the Perception of Need for Conversational AI Services", Journal of Technology Innovation 22, No. 2, 242-264, 2019. https://doi.org/10.35978/jktis.2019.04.22.2.242
  3. Misuraca, Gianluca, and Colin Van Noordt. "AI Watch-Artificial Intelligence in public services: Overview of the use and impact of AI in public services in the EU." JRC Working Papers JRC120399, 2020.
  4. Park Soo-ah, and Choi Se-jeong. "Factors Influencing Satisfaction with Artificial Intelligence Speakers and Continuous Usage Intention: Focusing on Functional and Emotional Factors." Information Society and Media 19, No. 3, 159-182, 2018. https://doi.org/10.52558/ISM.2018.12.19.3.159
  5. Amazon Web Services(AWS) web site, 2022
  6. Sas web site, 2022
  7. Changhwa Baek, Jaeho Choi, and Sungwook Lim, "Consideration and Suggestion of AI Service Characteristics and Quality Measurement Items", J Korean Soc Qual Manag Vol 46, No. 3, 677-694, 2018.
  8. Van der Horst, Dan, and Saskia Vermeylen, "Spatial scale and social impacts of biofuel production", Biomass and bioenergy 35, No. 6, 2435-2443, 2011. https://doi.org/10.1016/j.biombioe.2010.11.029
  9. Jinyeol Kim, "Reviews on Policy 'Impact Assessment System' and [Consumer Impact Assessment]", Consumer Policy Trends 109, 1-25, 2020,
  10. Nguyen, Tuyet-Mai, and Ashish Malik, "A two-wave cross-lagged study on AI service quality: The moderating effects of the job level and job role." British Journal of Management 33, No. 3, 1221-1237, 2022. https://doi.org/10.1111/1467-8551.12540
  11. Naumov, Nikola, "The impact of robots, artificial intelligence, and service automation on service quality and service experience in hospitality", In Robots, artificial intelligence, and service automation in travel, tourism and hospitality. Emerald Publishing Limited, 2019.
  12. Yoo, Soonduck, Jungihl Kim, and Kwangsun Ryu, "Using big data strategy for the development of the communication industry." In International Conference on Web-Age Information Management, pp. 349-359. Springer, Cham, 2014.
  13. Hangyul Seo, Sangjun Nam and Seongjun Lee, "Evaluating mobile communication service efficiency in OECD countries: using data envelope analysis methodology. Journal of the Korean Society of Communications and Communications", 44(2), 376-386, 2019. https://doi.org/10.7840/kics.2019.44.2.376
  14. Younghee Lee, "Social Control and Acceptance of Technology: The Politics of TechNology Impact Assessment", EcoNomy and Society 246-268, 2007.
  15. Yoo Soonduck, AI service impact evaluation study, National information society, 2022.