Effect Analysis of a Deep Learning-Based Attention Redirection Compensation Strategy System on the Data Labeling Work Productivity of Individuals with Developmental Disabilities

딥러닝 기반의 주의환기 보상전략 시스템이 발달장애인의 데이터 라벨링 작업 생산성에 미치는 효과분석

Abstract

This paper investigates the effect of a deep learning-based system on data labeling task productivity by individuals with developmental disabilities. It was found that interventions, particularly those using AI, significantly improved productivity compared to self-serving task. AI interventions were notably more effective than job coach-led approaches. This research underscores the positive role of AI in enhancing task efficiency for those with developmental disabilities. This study is the first to apply AI technology to the data labeling tasks of individuals with developmental disabilities and highlighting deep learning's potential in vocational training and productivity enhancement for this group.

본 논문에서는 딥러닝 기반의 주의환기 보상전략 시스템이 발달장애인의 데이터 라벨링 작업 생산성에 미치는 효과를 분석하였다. 연구 결과, 중재가 적용된 후 연구대상자 모두 자율작업 대비 작업 생산성에서 유의미한 향상이 관찰되었다. 특히 인공지능 기반의 중재가 적용되었을 때, 직무지도원 중재에 비해 상당한 향상을 보였다. 이러한 결과는 인공지능 기술이 발달장애인의 데이터 라벨링 작업 생산성 향상에 긍정적인 영향을 미칠 수 있음을 의미한다. 본 연구는 발달장애인의 데이터 라벨링 작업에 인공지능 기술을 접목한 최초의 연구이며, 발달장애인의 직업훈련과 작업 생산성 증진을 위한 딥러닝 기술의 적용 가능성을 탐색하는 데 중요한 시사점을 제공하리라 본다.

Ⅰ. 서론

발달장애인은 타 장애 유형보다 낮은 고용률과 높은 실업률을 보이는 집단이며, 이 또한 제한된 직무에 집중되어 있다. 이들의 취업을 저해하는 요인 중 하나인 낮은 작업 생산성은 발달장애의 특성상 주의 집중력의 부족 또는 과잉의 문제와 자기 통제력의 결함^[1]과 직접적인 연관이 있다. 따라서 발달장애인이 취업하고 직업 유지를 하기 위해서는 작업 효율성을 향상하고, 적정수준의 직무 역량을 갖추는 것이 필수적이라 하겠다^[2].

본 연구에서는 머신러닝을 진행하는데 있어 각 인자에 대한 결과를 학습할 수 있도록 데이터를 분류 및 가공하는 과정인 데이터 라벨링 작업^[3]을 발달장애인이 수행함에 있어서, 작업 생산성을 향상하기 위해 딥러닝 기반의 주의 환기 보상 전략 시스템을 적용하여 효과를 알아보고자 한다. 본 연구에서 사용된 딥러닝 기반의 주의 환기 보상 전략 시스템은 자기 관리전략에서 제시하는 자기점검, 자기평가, 보상의 영역과 켈러의 지각적 주의 환기 전략에서 제시하는 시청각적 매체의 활용, 스토리텔링 및 정서적 연결영역을 참조하여 저자들이 독자적으로 고안한 시스템이다. 발달장애인의 작업속도와 정확도를 실시간으로 분석하여 모니터 위에 캐릭터가 나타나서 상황에 맞는 칭찬 혹은 격려의 메시지를 보내는 방식으로 설계하였다. 인공지능이라는 첨단 기술을 통해 발달장애인의 고용을 돕고 그들이 사회로부터 보호받아야 하는 대상이 아니라, 사회를 발전시킬 인공지능 기술 개발의 중요한 조력자가 될 수 있는지 알아보는 것이 본 연구의 중요한 목적이다. 이는 인공지능 기술을 이용하여 발달장애인의 고용을 증대하는 새로운 접근 방식을 제시할 것이다. 디지털 네이티브 세대에게 인공지능 역량은 삶을 살아가기 위해 필수적으로 가져야 할 스킬(Skill)이며^[4] 이는 발달장애인에게도 예외가 아니다. 그리고 교육 현장이 아닌 실제 작업 현장에서 본 시스템을 적용하여 효과를 분석해 봄으로써, 인공지능 기술이 발달장애인의 데이터 라벨링 작업 생산성을 높일 수 있는지 현실적인 가능성을 제시하고자 하였다.

II. 본문

본 연구에서는 자율작업 대비, 사람과 인공지능의 중재 효과의 크기를 비교, 분석하기 위해 단일대상 연구에서 주로 사용되는 중재 효과분석 방법인 비중복비율(PND: Percentage of Non overlapping Data) 기법을 사용하였다. 비중복비율(PND) 기법은 단일대상 연구에서 기초선과 중재 단계 간의 비중복 데이터 비율을 측정하여 효과 크기를 나타내는 방식^[11]으로 단일대상 연구의 효과 크기를 계산하기 위해 가장 많이 사용되는 방법이다^[12]. 비중복비율(PND) 값은 단일대상 연구에서 기초선 자료 중 가장 높은 점수에 대해, 중재 단계에서 그 점수를 초과한 모든 자료의 개수를 전체 중재 회기의 수로 나눈 다음 100을 곱하여 구한다.

\(\begin{align}\begin{array}{c}P N D=\frac{\text { 중재단계에서 기초선의 최고값보다 높은 값의 개수 }}{\text { 중재 실시된 전체 회기수 }} \times 100 \\ \text { [비중복비율 }(P N D) \text { 계산방법] }\end{array}\end{align}\)       (1)

PND 값이 90%를 초과한다면 중재 프로그램이 참가자들에게 매우 효과적인 것을 의미하며, 70~90%의 PND 값은 다소간 효과적인 중재, 50~70% 사이에 있다면 효과가 낮은 중재, 50% 미만이면 중재 프로그램이 참여 대상자에게 효과가 없다는 것으로 해석한다^[13].

모든 실험은 한 명의 연구대상자를 직무지도원과 연구 책임자가 2대 1로 관찰하는 방식으로 진행하였다. 자율적인 작업 방식은 연구대상자가 스스로 작업할 수 있도록 PC를 세팅해 준 다음, 일체의 간섭없이 연구대상자 스스로 세션별로 30분간 작업을 수행하도록 하였다. 사람이 중재하는 방식의 경우는 자율적인 작업 환경과 같은 상황에서 직무지도원이 연구대상자의 옆자리에 앉아서 작업을 도와주면서 관찰실험을 진행하였다. 이러한 자연스러운 일상 및 친숙한 환경에서 중재를 제공함으로써 대상자의 동기와 주의 집중력을 향상할 수 있다^[8]. 인공지능 중재의 경우는 자율작업 방식과 마찬가지로 연구 대상자 스스로 작업을 수행하도록 하였으며, 이때 작업자의 작업속도와 작업 정확도에 따라 10분마다 한 번씩 작업 독려 또는 응원 메시지를 연구대상자의 PC 화면에 보여주었다. 작업자는 메시지를 읽은 후 PC 화면 하단에 있는 [네, 알겠습니다.]라는 버튼을 클릭하고 작업을 계속 진행하도록 하였다. 작업 종료 후, 자기 목표를 달성하면 그에 따른 보상 포인트가 지급되도록 하였다.

III. 연구 결과

본 연구에서는 발달장애인이 수행한 자율작업(기초선)과 두 가지 중재 방식, 즉 직무지도원의 중재와 딥러닝 기반 주의환기 보상전략 시스템의 중재에 따른 작업 생산성 효과 크기를 PND 값을 사용하여 각각 비교 분석하였다. 작업 생산성의 판단 근거는 각 회기에서 완료된 작업의 개수를 기준으로 판단하였다. 중재 효과에 따른 작업 생산성 변화를 분석하기 위해, 2명의 연구대상자가 수행한 바운딩박스 작업과 폴리곤 작업에 대하여 자율작업 대비 두 가지 중재 방식의 효과를 PND 값을 사용하여 분석하였다. 추가로 각 그룹의 작업량 평균과 표준편차를 통해 각 작업에 대한 변동성과 안정성을 살펴보았다.

그림 1에서 연구대상자 A의 경우, PND 값이 직무지도원 중재와 인공지능 중재 모두 100%로 나와서 두 가지 중재 모두 매우 효과적인 중재 방법임을 알 수 있다. 추가로 자율작업은 작업량의 평균이 12.8개이고 표준편차가 3.05개이며, 직무지도원의 중재는 작업량의 평균이 37.2개이고 표준편차가 8.13개이며, 인공지능 중재는 작업량의 평균이 42.8개이고 표준편차가 1.39개이다. 이를 통해 다음과 같은 사실을 유추할 수 있다.

그림 1. 연구대상자 A의 바운딩 박스작업에서 자율작업, 직무지도원 중재, 인공지능 중재 효과 비교

Fig. 1. Comparison of the effects of bounding box task, self-serving task, and job coaches and artificial intelligence interventions of the study subject A.

먼저 자율작업의 경우는 처음에 점차적으로 성능이 향상되는 모습을 보이며, 6에서 시작하여 16까지 증가하지만 이후에는 14로 소폭 감소한다. 이는 시간이 지남에 따라 기술이나 효율성이 어느 정도 향상되었지만, 자율적으로 달성할 수 있는 성능 수준에는 한계가 있음을 나타낸다. 다음으로 직무지도원 중재는 작업량이 상당히 변동적이며, 35에서 시작하여 25와 27로 떨어진 후 49으로 크게 증가하였다. 이는 지도원의 지도가 상당한 개선을 이끌어낼 수 있지만, 이 지도가 어떻게 적용되거나 받아들여지는지에 따라 일관성이 없을 수 있음을 시사한다고 할 수 있다. 끝으로 인공지능 중재는 다른 그룹들보다 높은 수준에서 시작하여 전반적으로 안정적이고 높은 성능을 유지하며, 마지막에는 약간의 증가를 보인다. 이러한 일관성과 작업량 개선은 인공지능 중재가 안정적이고 효과적인 지도 및 지원 형태를 제공할 수 있음을 시사한다고 할 수 있다.

그림 2에서 연구대상자 B의 경우, PND 값이 직무지도원 중재와 인공지능 중재 모두 100%로 나와서 두 가지 중재 모두 매우 효과적인 중재 방법임을 알 수 있다. 또한 자율작업은 작업량의 평균이 19.2개이고 표준편차가 4.40개이며, 직무지도원의 중재는 작업량의 평균이 42.0개이고 표준편차가 6.54개이며, 인공지능 중재는 작업량의 평균이 50.6개이고 표준편차가 7.28개이다. 이를 통해 다음과 같은 사실을 유추할 수 있다.

그림 2. 연구대상자 B의 바운딩 박스작업에서 자율작업, 직무지도원 중재, 인공지능 중재 효과 비교

Fig. 2. Comparison of the effects of bounding box task, self-serving task, and job coaches and artificial intelligence interventions of the study subject B.

먼저 자율작업의 경우는 시간이 지남에 따라 기술이나 효율성이 어느 정도 향상되었지만, 연구대상자 A와 마찬가지로 자율적으로 달성할 수 있는 성능 수준에는 한계가 있음을 나타낸다. 다음으로 직무지도원 중재는 변동성이 크지 않으면서, 작업량은 크게 개선되었다. 이는 지도원의 지도가 상당한 개선을 이끌어낼 수 있음을 시사한다고 할 수 있다. 끝으로 인공지능 중재는 다른 그룹들보다 높은 수준에서 시작하여 전반적으로 안정적이고 높은 성능을 유지하며, 마지막에는 큰 증가폭을 보인다. 이러한 일관성과 작업량 개선은 인공지능 중재가 안정적이고 효과적인 지도 및 지원 형태를 제공할 수 있음을 시사한다고 할 수 있다. 결론적으로 연구대상자 A, B 모두 바운딩 박스작업에서 직무지도원의 중재와 인공지능 중재가 매우 효과적이었으며, 인공지능 중재가 보다 안정적이고 효과적인 중재임을 알 수 있다.

그림 3에서 연구대상자 A의 경우, 직무지도원의 중재는 PND 값이 60%이고 인공지능 중재는 100%로 나와서 인공지능의 중재가 사람의 중재보다 효과적인 것으로 나왔다. 자율작업은 작업량의 평균이 6.0개이고 표준편차가 2.37개이며, 직무지도원의 중재는 작업량의 평균이 15.4개이고 표준편차가 6.86개이며, 인공지능 중재는 작업량의 평균이 23.0개이고 표준편차가 5.80개이다. 이를 통해 다음과 같은 사실을 유추할 수 있다.

그림 3. 연구대상자 A의 폴리곤작업에서 자율작업, 직무지도원 중재, 인공지능 중재 효과 비교

Fig. 3. Comparison of the effects of polygon task, self-serving task, and job coaches and artificial intelligence interventions of the study subject A.

먼저 자율작업의 경우는 처음에 낮은 성과를 보이다가 점진적으로 성능이 향상되는 모습을 보이며, 성과의 변동 폭이 비교적 크지 않으며 점진적인 개선이 관찰된다. 하지만 전반적인 작업량을 볼 때 자율적으로 달성할 수 있는 성능 수준에는 한계가 있음을 보여준다. 다음으로 직무지도원 중재는 작업량이 상당히 변동적이다. 이는 지도원의 지도가 상당한 개선을 이끌어낼 수 있지만, 바운딩 박스 작업에서와 마찬가지로 이 지도가 어떻게 적용되거나 받아들여지는지에 따라 일관성이 없을 수 있음을 시사한다고 할 수 있다. 끝으로 인공지능 중재는 다른 그룹들보다 높은 수준에서 시작하여 전반적으로 안정적이고 높은 성능을 유지하였지만, 마지막에는 상당한 하락폭을 보인다. 하지만 전반적인 작업량 개선과 변동성을 볼 때 인공지능 중재가 안정적이고 효과적인 지도 및 지원 형태를 제공할 수 있음을 시사한다고 할 수 있다.

그림 4에서 연구대상자 B의 경우, PND 값이 직무지도원 중재와 인공지능 중재 모두 100%로 나와서 두 가지 중재 모두 매우 효과적인 중재 방법임을 알 수 있다. 자율작업은 작업량의 평균이 9.2개이고 표준편차가 2.14개이며, 직무지도원의 중재는 작업량의 평균이 16.8개이고 표준편차가 2.71개이며, 인공지능 중재는 작업량의 평균이 30개이고 표준편차가 7.07개이다. 이를 통해 다음과 같은 사실을 유추할 수 있다.

그림 4. 연구대상자 B의 폴리곤작업에서 자율작업, 직무지도원 중재, 인공지능 중재 효과 비교

Fig. 4. Comparison of the effects of polygon task, self-serving task, and job coaches and artificial intelligence interventions of the study subject B.

먼저 자율작업의 경우는 가장 낮은 평균 점수를 보이며, 이는 자율작업 상황에서의 성과가 다른 두 그룹에 비해 상대적으로 낮음을 의미한다. 또한 표준편차가 상대적으로 낮은 편이므로, 시간의 경과에 따른 성과 차이 또한 기대효과가 낮다고 할 수 있다. 연구대상자 A와 마찬가지로 자율적으로 달성할 수 있는 성능 수준에는 한계가 있음을 나타낸다. 다음으로 직무지도원 중재가 있을 때 성과가 자율작업보다는 높지만, 인공지능 중재보다는 낮은 것으로 나타났다. 표준편차는 자율 작업 때보다 약간 높지만 여전히 비교적 낮은 편이다. 이는 직무지도원 중재가 성과의 일관성이 있으면서도 자율작업에 비해 더 큰성과가 있음을 의미한다. 끝으로 인공지능 중재는 다른 그룹들에 비해 가장 높은 평균 점수를 보여 중재에 따른 효과가 가장 크게 나타났다. 표준편차 또한 가장 높게 나왔는데 이는 인공지능 중재에 따른 성과의 변동성이 크다는 것을 의미한다. 다만 높은 수준에서 시작하여 일관성 있게 작업량이 개선되는 점은 인공지능 중재가 작업 생산성 개선에 효과적인 지도 및 지원 형태를 제공할 수 있음을 시사한다고 할 수 있다. 결론적으로 연구대상자 A는 폴리곤 작업에서 사람의 중재는 다소간 효과적인 반면, 인공지능 중재는 매우 효과적인 것으로 나타났으며, 연구 대상자 B는 폴리곤 작업에서 두 중재 모두 매우 효과적이었으며, 인공지능 중재가 사람의 중재에 비해 작업 생산성 개선 측면에서 더 효과적인 중재임을 알 수 있다.

IⅤ. 결론

본 논문에서는 인공지능 기술이 발달장애인의 데이터라벨링 작업 생산성에 긍정적인 영향을 미칠 수 있는지 알아보기 위해, 발달장애인이 수행한 데이터 라벨링 작업 중 자율작업(기초선)과 두 가지 중재 방식, 즉 직무지도원 중재와 딥러닝 기반 주의환기 보상전략 시스템 중재에 따른 작업 생산성 개선 효과를 PND 값을 사용하여 각각 비교 분석하였으며 연구 결과는 다음과 같다.

첫째, 기초선인 자율작업과 직무지도원 중재에 따른 작업 생산성의 PND 값은 비교적 난이도가 낮은 바운딩 박스 작업의 경우, 두 연구대상자 모두 100%로 나타나 중재 효과가 매우 효과적인 것으로 나타났다. 하지만 난이도가 높은 폴리곤 작업의 경우는 연구대상자 A는 PND 값이 60%이고 연구대상자 B의 경우는 100%로 나와서, 난이도가 높은 작업의 경우에 사람의 중재가 발달 장애인의 성향에 더 많은 영향을 받는 것으로 나타났다. 본 연구에서는 작업 생산성을 각 실험 회기에서 완료한 작업의 개수를 기준으로 평가하였다. 발달장애인의 직업 유지를 위해 실제 작업 현장에서는 직무지도원 또는 근로지원인을 배치하여 발달장애인의 업무를 보조할 수 있도록 국가 차원에서 지원하는 제도가 있는데(장애인고용 촉진 및 직업재활법), 이러한 실험 결과로 볼 때 이들의 중재는 발달장애인의 작업 생산성 향상에 효과적이라고 판단된다.

둘째, 기초선인 자율작업과 딥러닝 기반 주의환기 보상전략 시스템 중재에 따른 작업 생산성 향상의 PND 값은 작업 난이도에 상관없이 두 연구대상자 모두 100%로 나와서 중재 효과가 매우 효과적인 것으로 나타났다. 이러한 실험 결과는 인공지능 기술이 발달장애인의 작업 생산성 향상을 위한 강력한 도구로서 역할을 할 수 있다는 점을 시사한다고 하겠다.

또한 본 연구에서는 직무지도원 중재와 딥러닝 기반 주의환기 보상전략 시스템 중재에 따른 상호 간 효과 크기를 알아보기 위해, 두 가지 중재에 따른 작업량을 각각 비교 분석하였다. 그 결과를 보면 두 가지 작업 모두 딥러닝 기반 시스템이 사람의 중재와 비교하여 더 높은 효과 크기를 보여주었다. 이는 인공지능 기술이 교육생의 시간 관리를 용이하게 하며^[9], 교육생의 특성, 행동 등을 분석하고 교육생 정보에 대한 개별화된 데이터를 도출하며 이를 바탕으로 교육생에 적합한 개별화된 학습을 제공하고^[7] 교육생 맞춤형 피드백 지원 등을 가능하게 한다^[10]는 선행연구의 결과를 지지 한다고 하겠다. 또한, 인공지능을 통한 개인 맞춤형 작업 환경이 제공되어 작업 과정에서 더 많이 참여하도록 동기를 부여하여 작업 생산성이 향상된 것으로 볼 수 있다^[5]. 반면 사람에 의해 제공되는 중재는 소모적이면서도 발달장애인에게 논리적인 적용의 한계가 있고, 모든 행동에 대한 관찰에 있어서 한계를 보이며, 끝으로 중재자의 존재가 바람직한 행동을 유도하는 식별 자극으로 기능할 수 있는 단점이 있다^[14]. 이러한 결과는 발달장애인의 직업 유지를 위한 국가 차원의 지원 시스템에 인공지능 기술이 효과적인 도구로써 활용될 수 있음을 시사한다고 할 수 있다. 특히 비교적 작업 난이도가 높은 폴리곤 작업에서 딥러닝 기반 시스템의 중재 효과가 크게 나타났는데, 이러한 결과는 자기 관리 전략을 통해 비교적 난이도가 높은 POS기 사용 직무 능력의 향상을 입증한^[6] 선행연구의 결과와 같다고 할 수 있다.

결론적으로, 본 연구에서는 작업 현장에서 발달장애가 있는 개인을 지원하는 데 있어 인공지능 기술이 유용한 임무를 수행할 수 있음을 확인하였다. 이러한 맥락에서 사회적 공익을 위한 도구로서 인공지능 기술의 잠재력은 매우 크며, 발달장애인의 고용 유지를 위해 보다 포용적이고 실용적인 다양한 인공지능 기술이 연구되어야 함을 시사한다. 본 연구 결과는 발달장애인의 작업 환경과 생산성 향상을 위한 실질적인 지침을 제시하며, 이 분야에서의 향후 연구 방향을 제시하는 데 기여할 것으로 기대된다.