A Convergence Research for Development of VR Education Contents for Core Fundamental Nursing Skills

핵심기본간호술 VR 교육 콘텐츠 개발을 위한 융복합 연구

Abstract

In this study, intends to propose virtual reality education contents for fundamental nursing skills to develop various teaching methods in nursing education. Blood sugar test & insulin subcutaneous injection among the 20 core fundamental nursing skills is one of that frequently performed and can be used for self-management education for diabetic patients. This study designed a core fundamental nursing skill on immersive VR contents by dividing the learner's experience into three stages: guide, mission, and feedback with these skills. And it is designed by tracking the movement of the hand through finger joint recognition without using a controller for immerse in training. This study will help develop VR nursing education contents that can improve clinical practice competency and the effect of the nursing education.

본 연구에서는 가상현실을 이용한 VR 기본간호술 교육 콘텐츠를 제안하고자 하였다. 핵심기본간호술 20가지 중 간이혈당검사와 인슐린피하주사 항목은 간호술 항목에서 빈번히 수행하는 기본간호술 중 하나이며, 당뇨환자들에게 자가관리 교육을 할 때도 사용할 수 있는 항목이다. 본 연구는 이 항목을 가지고 학습자의 체험을 중심으로 가이드, 미션, 피드백의 3단계로 나누어 몰입형 VR기반 핵심기본간호술 콘텐츠를 설계하였다. 이 콘텐츠에서는 실제 간호술처럼 콘트롤러를 사용하지 않고 손가락 관절인식을 통해 손의 움직임을 트랙킹하여 몰입하며 훈련할 수 있다. 이 연구는 임상 수행 능력 향상을 도울 수 있는 VR 간호술 교육 콘텐츠 개발에 도움이 될 것이다.

I. 서론

간호학 교육과정 중 기본간호학 실습은 간호대상자의 다양한 간호 문제를 해결하기 위해 수행되는 20 여가 지의 핵심기본간호술의 원리와 절차를 배우는 과정이다. 이 실습수업을 통해 의료 현장에서 요구하는 기본적인 간호술기 능력을 학습하게 되며[1], 이에 교수자들은 학생들이 효율적으로 기본간호학 실습 과목에 대한 학습 목표를 이룰 수 있도록 인체모형, 의료 물품을 실제 활용하여 간호술을 익히고, 훈련할 수 있도록 하며 다양한 교수학습 방법과 콘텐츠를 적용한다[2][3]. 20여 가지의 핵심기본간호술 내용의 순서와 절차를 익히기 위해 교내 실습실 실습수업으로 진행되는 기본간호학 실습수업은 간호학과 학생들이 전공실습 과목으로 처음으로 접하는 교육과정이다. 핵심기본간호술을 포함하는 기본간호학 실습 교육 내용은 간호사들이 임상 현장에서 실무를 수행하기 위해 필수적인 기본적이며 중요한 내용이다. 수업 후 실습실에서의 실제 연습을 통한 시간과 노력이 필요하며 배운 간호술을 수행하면서 실제 임상 현장처럼 간호대상자와의 원활한 의사소통도 가능하여야 한다. 다시 말해, 기본간호술을 학습한다는 것은 간호대상자의 간호 문제를 해결하기 위해 기본이 되는 기본간호술을 숙련되게 중재할 수 있도록 훈련하는 것이다.

기본간호학 실습 교수자들은 학생들의 교과목 학습성취를 위해 한국간호교육평가원의 핵심기본간호술 프로토콜과 근거기반 임상간호실무지침을 활용한다. 한국간호교육평가원은 실제 임상 현장에서 수행되고 있는 간호 술을 표준화하고 평가채점표를 개발하였다. 교수자들은 이를 기본간호학 실습 수업 자료로 활용하고 교육의 효과를 극대화하기 위해 실습수업을 하면서 역할극, 성찰, 문제중심 학습(problem-based learning, 이하 PBL)등의 다양한 교수학습방법을 적용하고 있다. 학생들이 기본간호실습 교과목 학습의 성취 수준까지 도달하기 위해서는 실습 수업 외에도 상당한 훈련 시간이 필요하며 이를 위한 시간과 공간 그리고 비용이 확보되어야 한다[2-5]. 간호술의 대부분은 사람을 대상으로 수행하는 것이지만, 기본간호술을 학습하는 과정 중에는 실제 사람에게 직접 간호술을 수행해 볼 수 없기 때문에 현장감과 현실감 있는 간호술을 학습하기 위해 인체 모형이나 시뮬레이터, 그리고 각종 의료용 물품들을 1회용으로 사용하게 된다. 따라서 기본간호술의 원리와 절차를 익히는 것만으로도 상당한 시간을 소요하고, 각종 기자재와 일회용 의료소모품의 사용으로 소모품 의료폐기물처리와 실습기자재, 물품 구입 등의 비용부담이 해마다 증가하고 있으며, 간호술 중 침습적인 의료행위일 경우 실제 사람에게 실습하거나 훈련하는 것에는 신체 손상 등의 위험 부담이 있다. 즉 현재의 실습 교육환경에서는 학습자와 교수자 모두가 만족할 만한충분한 교육효과를 이끌어내기엔 한계와 제약이 있다.

이러한 기본간호학 실습실 수업의 한계와 제한점을 해결하고 4차산업혁명 시대에 발맞춰 나가기 위해 가상현실을 이용하는 교수법 개발 요구가 증대되고 있다. 더욱이, 2020년부터 시작된 코로나19 바이러스 감염증 (COVID-19)의 전세계 대유행(pandemic)은 대면 실습 교육의 한계에 직면하게 하였으며 온라인 교육의 필요성을 부각시켰고 신기술을 활용한 교육콘텐츠의 개발이 더욱 필요하게 만들었다[4]. 간호실습 교육의 한계를 극복하기 위해 가상현실을 활용한 기본간호술 콘텐츠를 활용한 교수법의 개발 필요성이 증대된 것이다[5]. 가상현실을 접목한 간호실습 교육콘텐츠는 VR(Virtual Reality)과 AR(Augmented Reality) 등 가상현실을 이용한 콘텐츠에 친숙한 학생들에게 기본간호술 학습 기회를 쉽게 접할 수 있게 한다. 또한 기본간호술의 순서와 절차를 익숙하게 익힐 수 있도록 반복된 학습 기회를 제공하여 매우 효과적인 교수학습법이 될 수 있다 [2][5][6].

이에 본 연구는 융복합 연구를 통해 기존에 개발되어 사용하는 가상현실 간호교육 콘텐츠와는 차별되는 몰입도를 제공하고 훈련할 수 있는 가상현실 기본 간 호술 교육 콘텐츠를 개발하고자 하였다. 이를 위해 우선 본연구의 첫 번째 콘텐츠 주제로 간호교육인증 평가원에서 제시한 핵심기본간호술 20가지 중 간이혈당검사와 인슐린(insulin) 피하주사 간호술을 선택하였다. 20가지 핵심기본간호술 중 간이 혈당 검사와 인슐린 피하주사 간호술은 한 가지 간호술 항목에서 손가락에서 혈액을 채취하는 혈당검사 방법이고, 혈당 수치에 따라 인슐린 주사약물의 투여원리와 피하주사 방법의 이론과 원리를 알고 방법을 수행하는 복잡한 간호술이다. 또한, 주요 간호 대상자인 당뇨환자는 국민건강영양조사에 의하면, 국내 30세 이상 성인의 당뇨병 유병률은 2001 년 8.5%에서 2017년에는 12.4%로 지속적인 증가 추세를 보이고 있으며, 당뇨병은 그 특성상 평생동안 혈당을 적정수준으로 조절하기 위한 관리가 요구되는 질환이다[7][8]. 따라서 간이혈당검사와 인슐린 피하 주사 간호 술은 임상간호사가 되어 당뇨환자뿐만 아니라 당뇨가 의심되는 환자를 간호하기 위해 가장 빈번히 수행하는 기본간호술 중 하나이며 간호사가 당뇨 환자에게 자가간호 교육을 할 때도 필요한 간호술이다. 이렇게 보편적으로 활용범위가 넓고 중요하지만 복잡하고 많은 훈련이 필요하다. 혈당검사나 주사는 실제 환자에게 시행하기 어려운 간호술이다. 실제 사람에게 수행할 수 없는 침습적인 간호술이 포함되므로 간이혈당검사와 인슐린 피하주사 간호술을 우선순위로 선택하여 현실감 있고, 몰입도 있는 VR 간호교육 콘텐츠에 대한 융복합연구를 진행하였다.

Ⅱ. 핵심기본간호술 VR교육 콘텐츠 구성안

다양한 내용의 기본간호학 실습 교육의 모든 것을 가상현실을 이용한 콘텐츠로 100% 대체할 수는 없다. 왜냐하면 고도의 기술력으로 가상현실을 이용한 실감형 간 호술 실습 콘텐츠를 개발한다고 하더라도 실제 간호를 제공할 때는 사람에게 직접 하는 것이기 때문에 현실과 가상현실에서의 실제 사람에게 간호를 제공하는 것과의 차이가 분명하게 존재하기 때문이다. 따라서 현재 운영되는 기본간호술 교수법인 상황극과 모형을 이용한 시뮬레이션 실습수업을 바탕으로 자기 주도적 문제해결 능력을 경험하도록 가상현실 기본간호술 콘텐츠를 구성하고, 현장감을 높일 수 있도록 온·오프형태의 교육콘텐츠를 교대로 활용하는 하이브리드 교수법으로 운영할 수 있도록 계획할 필요가 있다[6]. 이에 본연구에서 VR 기본간호술 교육콘텐츠 구성안은 학습자의 집중력과 효과성을 높이고 학습자 주도적 학습이 가능하여 몰입도를 높일 수 있고 간호교육에서 많이 사용하고 있는 교수학습법인 PBL을 적용한 시뮬레이션 실습의 구성주의적 학습 원리에 기반하여[9], 본 콘텐츠 개발의 의도에 맞게 VR 기본간호술 교육 콘텐츠 내용을 3단계로 구성하고 학습 목표를 수립하였다.

실제로 병원에서 또는 학교나 보건소 등의 곳에서 간호사가 아픈 대상자를 대면하는 상황은 단순하지 않다. 다시 말하면 똑같은 진단명을 가진 대상자가 있다고 하더라도 개인마다 신체적으로 정신적으로 다르게 반응할 수 있어서 간호를 제공하는 간호사는 대상자를 사정하여 간호 문제를 파악하고 대상자의 치료계획과 간호계획이 대상자의 문제를 해결하는 같은 목표를 가지고 수행될 수 있도록 정확한 간호술을 수행할 수 있어야 한다. 이때 대상자를 대면하여 대상자가 간호사에게 자신의 문제를 제대로 얘기하고 정확한 정보를 제공할 수 있도록 대상자와 공감(rapport)을 형성할 수 있는 의사소통 능력이 있어야 한다[6][9]. 따라서 달성 목표에 대상자와의 원활한 의사소통도 포함되어야 한다.

지금까지 간호술과 관련된 VR간호술 교육콘텐츠는 HMD(Head Mounted Display)를 장착하고 콘트롤러를 사용하여 게임식으로 구성되어 있거나 시나리오를 기반으로 가상현실에서 보여지는 시뮬레이션 방식으로 개발되었다[10][11]. 삼성 기어(GEAR VR)과 스마트폰에서 구동되는 박정하의 360도 영상 촬영 기반 가상현실 정맥수액주입 교육용 콘텐츠는 UI(User Interface) 조작이 없는 감상방식이며[5], 동일한 시스템에서 구동되는 SAM VR 교육용 콘텐츠는 콘트롤러로 UI를 조작하는 방식이다[12]. 또한, 2020년 12월에 서울아산병원에서 구축한 간호술기 VR 전용 교육장 ‘VR Edu Planet’에서는 HTC사의 바이브(Vive) 콘트롤러를 이용한 선택기능으로 UI를 조작하게 되어 있다[13].

지금까지 개발된 VR 교육용 콘텐츠들은 콘트롤러 의존도가 높다. 그러나 손기술이 중요한 간호술에서는 관절 인식이 상호작용 효과를 극대화할 수 있다.

기존의 VR간호술 콘텐츠는 기본간호술 절차순서를 학습하는 게 우선인 기본간호술을 처음 배우는 학습자의 수준을 고려한다. 그러나 콘트롤러를 사용하여 클릭하며 게임식으로 간호술을 익히는 것은 실제 사람에게 직접 수행하였을 때와 간극이 클 수 밖에 없다. 기본간호 술은 실제 환자에게 간호사가 직접 손으로 간호 술을 수행하는 것이므로 기존의 VR간호 콘텐츠처럼 콘트롤러를 사용하여 간호술을 훈련하는 것은 몰입도와 현실감에 제약을 주고 실제 수행 능력에 대한 교육 효과가 제대로 나타나지 않을 수 있다. 이러한 한계를 극복하기 위해 본 연구에서는 콘트롤러를 사용하지 않고 손가락 관절인식을 통해 손의 움직임을 트랙킹하여 실제 수행하는 것처럼 몰입하며 훈련할 수 있는 방법을 도입하고자 하였다. 관절인식을 할때 가상현실 콘텐츠에서도 실제 손을 움직이며 수행을 할 수 있기때문에 기본간호 술 실습 몰입도와 교육 효과가 더 증가할 것으로 사료된다. 이를 위해 2020년 초에 출시된 오큘러스사(社)의 오큘러스 퀘스트(Oculus Quest)기기를 사용, 핸드 트래킹(hand tracking) 기능을 지원하려고 하였다.

간호학생들이 쉽게 접근하여 교육받고 반복 학습할 수 있는 몰입감 높고 효과적인 기본간호술 가상현실 교육 콘텐츠를 개발하기 위해 [표 1]과 같이, 가상현실을 이용한 기본간호술 콘텐츠의 기본적인 구성 내용과 단계별 학습 목표를 정하였다. 또한 기본간호학 실습 학습 목표를 성취할 수 있고 교육의 효과를 극대화시킬수 있도록 주요 단계별 목표를 설정하는 과정에서 스토리텔링 분야에서 가상현실 콘텐츠 시나리오 상의 목표로 변환하여 가상현실 시나리오를 제작하고, 이후 VR 애니메이션 분야에서 각 목표 단계별로 필요한 가상공간과 인물을 실습현장과 유사하게 몰입도와 현장감 있게 구현하기로 하였다. 이러한 과정을 거쳐 ‘간이혈당검사와 인슐리 피하주사 간호’ 항목을 가지고 개발된 몰입도 높은 가상현실 기본간호술 교육 콘텐츠를 몰입형 VR기반 핵심기본간호술 콘텐츠(Core Fundamental Nursing Skill on immersive VR)로서 앞으로 약자인 CFNS-iVR로 칭하기로 한다. 앞으로 이 콘텐츠를 바탕으로 학습자의 사용성 평가와 효과성을 파악하여 앞으로 더 다양한 가상현실 기본간호술 콘텐츠를 개발할 것이다.

표 1. 몰입형 VR기반 핵심기본간호술 콘텐츠 단계별 목표

Ⅲ. CFNS-iVR 개발

1. VR 시나리오

CFNS-iVR는 앞서 살펴보았던 기존의 간호교육 관련 VR콘텐츠와 달리 학습자가 실습 환경과 유사하게 실제 학습을 수행하는 것처럼 VR환경에 몰입하여 술기 학습을 하는 것을 핵심 목표로 삼고 있다. 이를 위해 시나리오 구성 단계에서는 학습자의 경험에 초점을 맞추었다.

간호실기술 중 간이혈당과 인슐린 피하주사에 대한 교육 과정을 학습자가 실행할 수 있는 VR 시나리오 형태로 옮기는 과정에서 시나리오는 세 가지 단계로 구조화되었다. 첫 번째는 가상공간을 인지시키고 이 공간에서 주체적으로 움직일 수 있다는 것을 학습자가 인지하게끔 하기 위한 가이드(guide) 단계로 설정하였다. 새로운 미디어와 시스템을 효과적으로 사용하여 통합적인 서비스 경험을 제공하기 위해서는 가상공간 및 그 가상공간에서 주체적으로 움직일 수 있다는 것을 학습자가 인지하게끔 하는 것이 필요하기 때문이다[14]. 이를 위해 로그인 후 간호사 스테이션(station)이라는 공간을 설정, 그곳에서 실습 상황을 이해하도록 하였다.

두 번째는 실제 실습을 하게 되는 미션(mission) 단계다. 관객이 일방적으로 서사를 전달받기보다 상호작용을 하면서 가상현실을 체험하는 것이 가상현실 플랫폼의 특성에 부합할 뿐만 아니라. 실습용 콘텐츠라는 목적을 달성해야 하므로 미션을 설정하여 스스로 수행평가를 하도록 설계하였다. 이 과정에서 실기술의 수행항목들을 게임의 미션처럼 수행해야 하는 항목 대비 점수화하여 실행 여부를 판별할 수 있도록 설정하였다. 이 과정에서 관절인식을 통해 실제 손을 움직이며 수행을 할 수 있도록, 가이드 단계에서부터 실제 손을 움직여 화면을 터치하도록 하였다. 또한 수행항목을 장소별로 씬(scene)을 나누어 옮기면서 이를 게임의 스테이지 (stage) 개념으로 설정, 각각의 스테이지에서 미션을 마친 뒤 다음 스테이지로 이동할 수 있도록 하였다. 이에 따라 간이혈당과 피하주사로 연결된 구조를 공간별로 나누어, (1) 처치실에서 환자 정보를 파악하고 간이혈당을 위한 물품 준비 미션을 마치고, (2) 환자실에서 간이혈당 미션을 마친 후, (3) 다시 처치실로 이동하여 피하주사를 위한 물품 준비 미션 후, (4) 환자실로 이동하여 피하주사 미션을 마치는 과정으로 총 4개의 공간을 오가며 24개의 미션을 수행하도록 구성하였다. 마지막으로 세 번째는 미션 수행 후 평가를 받는 경험을 제공하는 피드백(Feedback) 단계다. 이를 위해 마지막으로 처치실로 돌아와 폐기물 분리수거까지 마지막 미션을 한 뒤 수행결과물을 제출하고 자신의 수행을 돌아볼 수 있도록 하였다. 이렇게 단계별 미션과 공간으로 나누어 구성한 간이혈당 VR시나리오의 구조는 [그림 1]과 같다.

그림 1. 단계별 VR 정맥주사 시나리오의 공간 및 미션 구조

이 시나리오의 구조를 따라 필요한 공간은 3개의 내부공간으로 간호사 스테이션, 환자병실, 처치실이다. 가이드 단계에서부터 간호사 스테이션 및 실습 상황을 알리기 위한 가이드, 간호사 캐릭터가 필요하다. 또한 미션 단계에서도 성공적인 미션 수행을 위해 환자 캐릭터 및 각 미션에서 올바른 손동작이 무엇인지 알려주기 위한 가이드로 팝업 애니메이션(pop-up animation) 이필요하다. 이때 간호사 캐릭터는 주 이용자가 실습을 하는 학생들이라는 점을 고려, 이입이 쉽도록 20대로 설정하였고 환자는 간이혈당과 인슐린 피하주사 검사를 주로 받는 당뇨환자 주 환자층인 50대 중반으로 설정하였다.

2. 제작

2.1 제작모듈

VR애니메이션 분야에서 CFNS-iVR 제작을 위해 가이드, 미션, 피드백의 3단계에 각각 필요한 제작 모듈 (module)을 살펴보면 [그림 2]와 같다.

그림 2. 단계별 필요한 제작모듈

각 단계별로 유기적인 연결과 통합이 필요한 VR 애니메이션 제작에서는 씬의 결과물을 확인하는 통합적인 프로덕션 프로세스(production process)가 절대적이다 [15]. CFNS-iVR에서는 오큘러스 퀘스트 기기를 사용하여 학습자가 간호 실습을 직접 체험하도록 하였다. 이를 위해 각 단계별로 필요한 제작모듈을 살펴본 후, 우선 가이드 단계에서 필요한 제작모듈에 로그인(Log-in) 및 가이드 역할을 하는 팝업 애니메이션을 제작하였다.

그림 3. 로그인 화면(위), 주의사항(왼), 가이드 화면(오) 예시

[그림 3]과 같이 로그인 화면을 완성하였으며, 추후 지문 인증을 통한 로그인을 추가하고, 비밀번호 생성 시 보안 강화 기능을 추가하도록 하였다. 또한 돌발적으로 학습자에게 질답을 요구하는 퀴즈 (quiz)가 발생하는 경우도 기본 로그인 화면 및 기타 페이지와의 일관성 있는 연동 및 톤앤 메너(Tone&Manner)를 유지함을 원칙으로 진행하였다. 정보 접근성이 용이하도록 폰트의 크기 및 타입을 고려하였고, 프로그램 내에서 학습자의 일관성 있는 동작을 유도하기 위해 아이콘 (icon) 및 버튼(button)의 위치를 단순화하였다[16]. 모든 라벨(label)의 위치는 어떤 환경 내에서 또는 함께 사용하도록 일관성이 유지되도록 하여 위의 [그림 3] 과같이 주의사항 팝업(pop-up) 등을 진행하였다.

2.2 공간

앞의 장의 시나리오에 따라 3개의 내부공간으로 간호사 스테이션, 환자병실, 처치실이 필요하다는 것을 알게 되었다. 피멘텔(Pimentel)에 의하면 가상현실 배경을 최대한 현실같은 가공세계로 구성할 때 VR 애니메이션콘텐츠에 관객의 몰입이 유도된다고 한다[17]. 또한, VR콘텐츠가 가지는 그래픽 영상의 사실감을 통해 학습자는 가상현실 속에서 현전감(presence)를 느낀다고 한다[18].

이에 CFNS-iVR에서는 실험실습실 사진 자료를 바탕으로 [그림 4]처럼 3개의 내부공간, 간호사 스테이션과 환자병실, 처치실을 구현했다.

그림 4. 간호사스테이션(위) 환자병실(왼) 처치실(오)

건물내부 모델링은 게임모델이나 가상현실 모델에 주로 사용되는 오토데스트 마야(Autodesk MAYA)를이용하여 제작하였다. 텍스쳐(texture)가 필요한 메쉬 (Mesh)는 유브이 매핑(UV mapping)을 하여 유니티 (Unity3D)로 엑스포트(export)하였다. 넓은 바닥 면은 텍스처가 반복해서 표현될 수 있도록 UV를 분리하여 별도의 머트리얼(material)에 적용하였다. 조명과 관련 있는 오브젝트(object)는 별도로 유니티에서 재질을 생성하여 적용하였다. 프랍 모델링(Prop modelling) 은주사기나 약품 등 소품들은 마야를 활용하여 개별적으로 제작하였고, 유니티로 엑스포트하여 배경 씬의 특정 위치에 배치하였다. 투명한 오브젝트는 유니티에서 제작한 머트리얼을 사용하여 구현하였다.

2.3 인물

CFNS-iVR에 등장하는 인물은 20대 간호사와 50대 중반 환자이다. Zbrush를 이용하여 3D캐릭터를 스컬팅 (sculpting)을 하고 VR기기에서 원활하게 돌아갈 수 있도록 리토폴로지(retopology) 과정을 거쳐 로우폴리곤 (low-polygon)으로 캐릭터를 조정하였다. 마야에서 UV 매핑을 하고 스컬팅의 디테일한 부분은 노말(Normal)맵으로 추출하여 유니티의 재질 설정에서 알비도(Albedo) 채널과 결합하여 입체적인 느낌을 주었다.

그림 5. 간호사(왼) 환자(오) 콘텐츠 구현 화면

대사가 있는 환자와 간호사 캐릭터는 [그림 5]처럼어드밴스드 스켈레톤(Advanced Skeleton) 플러그인 (plug in)을 사용하여 몸통과 얼굴 부분의 리깅 (rigging)을 완료하였고 키프레임(key frame) 애니메이션으로 기본적인 몸통을 제작하였다. 사실적 표현을 위해 간호사 움직임은 모션캡쳐(motion capture)를이용했다.

모션캡쳐는 사람, 동물 또는 기계 등의 사물에 센서를 달아 그 대상의 움직임 정보를 인식해 애니메이션, 영화, 게임 등의 영상 속에 재현하는 기술이다. 인물의 움직임을 자이로스코프(Gyroscope) 센서를 이용하여 디지털로 옮겨 실감나는 움직임에 사용된다. 12개의 광학식 카메라와 20개의 마커(marker)가 달린 슈트를 사용했다. 모션캡쳐 마커(mocap markers)로 액터의 위치와 회전 값을 인식 녹화한 후, 리지드바디(Rigid Body)를 포함한 모션 데이터를 유니티로 FBX ASCII 형식으로 출력하여 애니메이션 장면으로 구성하였다.

2.4 미션수행을 위한 관절인식 애니메이션과 UI

오큘러스 퀘스트는 심층 신경망(Deep neural networks)을 사용하는 핸드 트래킹(hand tracking) 기능이 탑재되어 체험자의 자연스러운 상호작용을 가능하도록 한다[19]. CFNS-iVR 콘텐츠는 오큘러스 퀘스트의 4개 카메라를 통해 체험자의 손동작을 인식하여 미리 만들어놓은 관절 애니메이션과 매핑(mapping)되어 트래킹(tracking)을 하게 개발되었다. 미션 수행을 위한 관절애니메이션(Hand capture system)으로는필더세임社의 몰리센 핸드(Mollisen HAND)라는 소프트 센서 글로브(soft sensor gloves)를 사용하여 손가락 관절의 움직임을 실시간 캡쳐하여 애니메이션 데이터로 사용하였다. 이 글로브 안에는 다섯 손가락의 10 개 관절 각도를 측정할 수 있는 소프트 센서가 내장되어있으며, 유니티를 지원하는 API(Application programming interface)도 제공한다[20]. 주사기 같은 오브젝트와 접촉하는 미세한 부분은 리깅(rigging) 된 손을 키프레임 애니메이션 방식으로 마야에서 제작하여 이를 유니티로 엑스포트하여 애니메이션을 구성하였다. [그림 6]처럼 오큘러스 퀘스트의 내장 카메라를 통해 체험자의 손동작을 인식하여 미리 만들어놓은 손동작 애니메이션과 매핑되어 트래킹하게 된다.

그림 6. 관절인식 화면 예시(위), 필더세임 글로브와 센서(아래)

또한 UX 플로우차트(Flowchart)로 설계된 진행 순서에 맞게 각 오브젝트에 만지고(Touch), 움직이고 (Move), 집는(Pick) 등의 상호작용(Interaction) 요청을 시각적으로 표현하여 원활한 진행에 도움을 줄 수 있도록 제작하였다. 진행 과정에 따라 가상의 플레인 오브젝트(Plane Object)에 디자인을 접목시켜 팝업창을 제작하였다. 점수판, 환자의 세부정보, 실습 퀴즈, 진행 안내 등 학습자가 꼭 알아야 할 정보를 아이 트래킹 (Eye Tracking)할 수 있도록 시야 앞에 띄워주었다. 간호 실습은 실제 손동작을 따라 움직여야 하기 때문에 손동작, 터치 제스쳐(Touch Gesture)에 따라 2D 애니메이션 아이콘을 오브젝트 앞에 띄워 만지고 움직이고 집는 등의 정보를 제공해주었다. 마지막으로 콘텐츠 내에서 현실성을 강조하기 위하여 3D로 제작된 디스플레이(모니터, TV 등의 LCD/LED)에 연출되는 가상의 화면을 3D 디스플레이 오브젝트의 UV에 맞게 다시 디자인하였다. 디자인 이후 프로그램의 요청 방식에 따라 영상송출 및 타이밍 조절 또한 가능하게 제작되었다.

2.5 프로그래밍

제작된 모든 배경, 캐릭터, UI 리소스(Resource)를 게임엔진 Unity3D에 정렬하였다. 정렬된 리소스를 각 장면(Scene)에 배치하여 가상의 공간을 배치하였다. 이때, 2D와 3D 리소스를 배치하는 것뿐만 아니라 장소별로 다른 라이팅(Lighting)을 세팅하여 학습자가 위치해 있는 장소를 쉽게 구분할 수 있도록 현실감을 반영하여 설정하였다. 또한, 오브젝트의 자체발광이나 연출에 의한 효과를 오브젝트에 병합하여 이펙트(FX)를 제작하였다. 이 과정에서 구글(Google)에서 제공하는 STT 서비스(speech-to-text service)를 제공 받아 음성인식 기능을 콘텐츠와 결합하였다[21]. 이 서비스는 달성단계 3단계의 목표였던 환자와의 커뮤니케이션을 위해 사용되며, 실제 상황과 최대한 유사할 수 있는 상황을 가상현실에서 연출시켜 직접 음성으로 상호작용할 수 있도록 해준다.

또한 오큘러스 퀘스트를 사용하는 본 프로젝트는 장갑의 위치를 제어하는 바이브 콘트롤러(VIVE Controller) 를 추가장착하고, 핸드 캡쳐(hand capture) 데이터의 상호작용 기능을 추가하여 현실 손의 움직임을 따라가도록 매핑하였다.

미션 단계가 끝난 후 피드백 단계에서는 제작 후 버그 (BUG) 테스트를 진행하며 출시할 수 있도록 확인 (Checking)한다. 간호학 전문가의 프로그램의 상호작용시스템이 완벽하게 된 경우 테스트를 종료한다. 게임엔진 Unity3d에서 추출(Build)를 진행하는데 안드로이드 (Android)에서 프로그램 형태로 배포되는 형식의 확장자인 APK(Android Application Package)를 추출하게 된다. 이후 오큘러스 퀘스트 장비 내에 APK를 삽입하여 콘텐츠를 시연하도록 하였다.

Ⅳ. 결론

본 연구는 간호교육평가원에서 제시한 핵심 기본 간 호술 20가지 중 1가지 항목, 간이혈당검사와 인슐린 피하주사를 가지고 CFNS-iVR 콘텐츠를 완성하였다. 간 호술 항목에서 임상간호사가 되어 가장 빈번히 수행하는 기본 간 호술 중 하나이며, 당뇨환자들이 자가관리를 위해서 간호사가 당뇨환자교육을 할 때도 사용할 수 있는 만큼, 앞으로 본 연구를 토대로 VR콘텐츠가 출시된다면 활용범위가 매우 넓을 것으로 기대된다.

이 콘텐츠를 제작하기 위해 간호학의 단계별 달성목표에 따라 3단계로 나누어 학습자의 체험을 중심으로 CFNS-iVR을 설계하였다. 앞으로는 CFNS-iVR의 사용성 평가를 통해 교육효과를 확인하면서 인터랙션과 커뮤니케이션 부분을 보완하여 더욱 완성된 VR 콘텐츠를 구현하고자 한다.

이 연구가 간호학생의 기본간호술 수업 및 신규간호사의 임상 수행 능력 향상을 도울 수 있는 다양한 VR 간호술 교육 콘텐츠 개발에 토대가 될 것으로 기대한다.