Development of LMS Evaluation Index for Non-Face-to-Face Information Security Education

비대면 정보보호 교육을 위한 LMS 평가지표 개발

Abstract

As face-to-face education becomes difficult due to the spread of COVID-19, the use of e-learning content and virtual training is increasing. In the case of information security education, practice to learn response techniques is important, so simulation hacking and vulnerability analysis activities have been supported as virtual training for a long time. In order to increase the educational effect, contents should be designed similar to real situation, and learning activities to achieve the learning goals should be designed. In addition, excellent functions and scalability of the system supporting learning activities are required. The researcher developed an LMS evaluation index that supports non-face-to-face education by considering the key elements of non-face-to-face education and training. The developed evaluation index was applied to the information security education platform to verify its practical utility.

코로나 19의 확산으로 대면교육이 어려워지면서 이러닝 및 가상훈련의 활용이 증가하고 있다. 정보보호 교육의 경우 대응 기술을 익히는 실습이 중요하기 때문에 오래 전부터 모의 해킹과 취약점 분석 등을 가상훈련으로 지원해 오고 있다. 교육훈련 효과를 높이기 위해서는 실제 상황과 유사하게 콘텐츠를 개발하고 학습 목표를 달성하기 위한 학습 활동이 설계되어야 한다. 또한 다양한 학습 활동을 지원하는 교육훈련 시스템 품질의 우수성이 요구된다. 연구자는 비대면 교육의 핵심 요소를 고려하여 비대면 교육을 지원하는 LMS 평가지표를 개발하였으며, 이를 정보보호 교육 플랫폼에 적용하여 실무 활용성을 검증하였다.

I. 서론

이러닝이나 가상훈련과 같은 비대면 교육훈련은 교육현장에서 이미 일반화되고 있으며, 코로나 19와 같은 팬더믹 상황을 맞이하면서 그 중요성이 더욱 커지고 있다. 특히 정보보호 분야의 경우 가상훈련이나 모의훈련으로 교육을 진행하는 경우가 많은데, 이는 가상의 해킹 환경에서 실제와 유사한 훈련 경험을 쌓는 것이 전공 지식이나 직무 역량을 강화하는데 도움이 되기 때문이다.

이론과 실습을 통합하여 학습 효과를 높이고 학습자에게 높은 수준의 몰입 경험을 제공하기 위해 잘 설계된 교육 콘텐츠와 이를 기능적으로 지원하는 학습관리시스템이 요구된다. 본 연구는 비대면 정보보호 교육을 지원하는 학습관리시스템 및 학습 플랫폼의 기능을 평가하기 위한 평가지표를 도출하고, 실무적 활용 가능성을 검증하기 위해 국내 대표적인 정보 보호 교육 프로그램에 적용하여 개선점을 도출하였다.

II. 이론적 배경

2.1 정보보호 교육의 특징

4차 산업혁명으로 촉발된 산업재편과 인력 수급 변화로 교육 훈련은 단순 기술교육 위주에서 ICT와 융합한 하이테크 교육으로 진화하고 있다[1]. 특히 코로나 19와 같은 팬데믹 상황에서도 지속 가능한 인재를 양성하기 위해 이러닝과 가상훈련 등 비대면 교육의 활용성이 증가하고 있다.

정보보호 교육 프로그램은 이러닝(이론)과 가상훈련(실습)이 함께 제공되는 경우가 많다. 가상훈련은 현실과 유사한 가상환경을 통해 다양한 체험과 실습 경험을 제공하는 것을 말한다. 교육기관에서 도입할 수 없는 고가의 장비나 시설을 가상으로 구현하여 안전하게 교육을 지원하고 실무 및 문제해결 역량을 키워줌으로써 공급이 부족한 정보보호 인력을 양성하는 데 효과적이다. 정보보호 교육의 경우 공격과 대응기술을 익히는 실습이 중요하고 관련 업무가 대부분 웹상에서 이뤄지기 때문에, 모의해킹 및 취약점 분석 활동을 이미 가상훈련으로 제공하고 있다.

정보보호 교육 프로그램이 제공하는 강의 내용(콘텐츠)과 시스템 품질은 학습 동기와 성취도에 직접적인 영향을 미친다. 기존 연구들은 이러닝이 가지는 단편적인 학습 활동을 문제점으로 지적하고 있다. 포털 사이트나 유튜브, 디지털 아카이브 등 다양한 채널을 통해 지식과 정보를 얻을 수 있게 됨에 따라 현존하는 지식을 전달하는 것만으로는 경쟁력을 가질 수 없게 되었기 때문이다. Horton은 습득, 수행, 연결 활동이 융합될 때 학습 성과가 극대화된다고 했는데[2], 여러 유형의 학습 활동이 통합적으로 제공됨으로써 학습 목표를 성취하기가 수월해진다. 이러닝에서의 학습 활동은 기본 기술, 사고 과정, 태도와 행동을 연습할 수 있도록 설계되어야 하며[3], 정보 보호 교육 역시 습득한 정보와 지식을 문제해결에 적용하는 활동이 필수적으로 제공되어야 한다.

교육에서 다루는 내용이 현실 세계를 반영할수록 학습 효과는 높아진다. 일례로 프로젝트 학습에서는 학생이 중심이 되기 때문에 학생의 자기주도적 학습 역량과 현실문제해결 노력을 통한 창의적 문제해결력, 팀 활동을 통해 소통기반 협력 역량이 증진된다. 현장에 이뤄지는 정보보호 및 보안 교육은 실무보다는 이론 교육에 치중하는 경향이 있다. 정보보호는 실행 및 문제해결 능력이 필요한 분야로 공격과 대응 기술을 습득하기 위해서는 원리 및 구조에 관한 실습이 요구된다[4]. 그러나 실습 교육을 오프라인으로 제공하는 데에는 여러 가지 제약이 따르기 때문에 가상훈련이 대안이 될 수밖에 없다. 내실 있는 정보보호 교육을 위해서는 실습 교육이 병행되어야 하며[5], 다양한 공격 유형에 대응할 수 있도록 실제 상황과 동일한 콘텐츠를 설계해야 한다[6].

2.2 학습관리시스템의 진화

팬데믹 이후 혼합훈련(B/L) 및 원격훈련 확대로 LMS에 대한 의존도가 높아지고 있는 가운데, LMS는 다양한 형태로 진화하고 있다. 기존 LMS는 교강사와 학습자, 강의, 성적에 관한 손쉬운 관리가 핵심이었다면, 최근 개발되는 LMS는 콘텐츠 생성과 관리, 소통 촉진, 기능 확장성이 두드러진다.

LMS는 학습 플랫폼으로 진화하고 있다. 학습자 성과분석 및 교수학습 큐레이션을 가능하도록 플랫폼 변화가 이루어지고 있으며[7], 학습 도구와 연결하는 기술 표준인 LTI(Learning Tools Interoperability)를 통해 외부 솔루션과 결합하여 다양한 기능을 지원하고 있다. 특히 학습 플랫폼은 ICT 및 인공지능을 기반으로 급격하게 발전하고 있으며, 정부 정책도 이를 지원하고 있다. 고용부가 지원하는 ‘K-digital training’은 디지털 분야의 핵심 실무인재를 양성하기 위한 정부 지원 사업으로 과제 중심 교육, 능동적 학습환경, 개인맞춤형 교육을 강조하고 있다. 과제 중심 교육은 현장성을 강조한 교육으로 프로젝트 기반 해커톤, 기업과제 해결중심 교육이 포함되며, 능동적인 학습환경은 페어 코딩, 라이브 코딩 등 실시간 상호작용을 촉진하고 교강사에 대한 의존도를 낮추는 지능화된 교육을 말한다. 개인 맞춤형 교육은 챗봇, AI 기반 1:1 튜터링 시스템과 레벨 달성 교육 등 학습자 수준 및 학습 활동에 따른 맞춤형 교육을 의미한다.

이러한 교육을 가능하게 하는 고도화된 학습 플랫폼을 활용하는 훈련기관이 등장하면서 비대면 교육의 이상적인 모습이 훈련 현장에서 현실화되고 있다. 이들 훈련기관은 교강사 도움 없이도 코딩을 배우고 실습할 수 있는 비대면 학습환경을 제공하고 있는데, 이러닝은 프로그래밍 실습이 불가능하거나 효과가 없다는 편견을 깨고 있다.

이들 기관이 제공하는 학습 플랫폼의 공통점은 문제해결, 레벨 달성, 자동화이다. 현실 세계의 문제를 다룰수록, 학습에 따른 성장을 확인할수록 학습자는 더 깊게 집중하고 더 큰 성취감을 느낀다. 교강사 역할도 지식 전달자에서 조력자로 변하고 있는데, 학습자의 학습 과정을 지켜보다가 적당한 시점에 개입하여 코칭을 수행하며, 그 역할을 인공지능이 대신하여 자동화된 방식으로 피드백을 제공함으로써 비실시간 상호작용의 단점을 극복할 수 있다. 대면 교육에 학습자 만족도가 높은 이유는 즉각적인 질의응답이 가능하고 현존감을 느낄 수 있기 때문이다. 이러닝에서는 콘텐츠와의 상호작용이 학습몰입을 촉진하는 중요한 요소이다[8]. 따라서 비대면 교육에서 유의미한 상호작용을 지원하기 위해서는 콘텐츠와 LMS의 상호작용 설계가 중요하다.

2.3 학습관리시스템의 기능요건

정보시스템은 개인과 조직의 생산성을 높이고 의사결정의 효율성과 합리성을 증대하는 것을 목적으로 한다. DeLone and McLean이 제안한 정보시스템 성공모형(IS success model)은 정보시스템 속성을 기반으로 개인과 조직의 효과성을 측정하고 있다[9].

이들은 180여 편의 연구논문을 바탕으로 정보시스템의 성공에 영향을 미치는 요인을 도출하였다. 이 모형은 정보시스템 성과 측정 및 평가연구의 근간이 되고 있으며, 다른 연구자에 의해 보완 및 확장되었다. 일례로 Pitt et al.은 정보시스템의 신뢰성, 응답성, 공감성, 확실성, 유형성 등을 포함하는 서비스 품질을 포함했고[10], 이후 DeLone and McLean 모델에 서비스 품질이 추가되었다[11]. 교육 시스템에서도 시스템 품질, 정보 품질, 서비스 품질은 매우 중요한 요소이다. 이종연과 이은진은 대학 이러닝에서 정보, 서비스, 시스템 품질 순으로 학습만족도에 영향을 미침을 실증하였다[12].

가상화 기술을 정보보호 교육에 활용할 경우 실제 시스템보다 반응속도가 느려 실습수업에 부적합하다는 지적이 있었으나[13], 현재는 관련 기술의 발전과 시스템 고도화를 통해 이러한 문제가 상당부분 해소되고 있다.

III. LMS 평가지표 개발

3.1 비대면 교육을 지원하는 시스템 기능 품질

정보보호 교육은 사이버 공격에 대한 감시, 탐지, 차단, 보호에 관한 융복합 역량을 다루고 있다. 이러한 역량 습득을 지원하는 교육 프로그램과 시스템을 직접 개발하기 어려우므로 시중에 공급되는 프로그램과 시스템을 선택하여 이용에 따른 대가를 지불하고 있다. 정보보호 관련 전공을 설치한 대학도 공급기업과 계약을 맺어 교육 시스템을 사용하고 있지만, 선정 시 고려해야 할 핵심 지표가 마련되지 않아 LMS의 적합성과 기능 품질을 판단할 수 있는 준거가 요구된다. 이에 본 연구에서는 DeLone and McLean의 IS 모델의 구성요소, 국내외 교육 플랫폼의 기능적 특성(MS, IBM, 엘리스, STEP 등), 교육 플랫폼 확대를 위한 정부 정책(민간 LMS 지원사업, K-digital training 등), 교수학습 전략 등 정보보호 교육 시스템이 갖추어야 할 성과 지표를 도출하였다.

이러닝 시스템의 성공 요인을 탐색하는 선행연구[14]를 참조하여 시스템 품질은 ‘사용자가 인지하는 시스템 성능’, 정보 품질은 ‘시스템에서 제공하는 콘텐츠의 특성’, 서비스 품질을 ‘시스템이 제공하는 서비스 측면에서 사용자의 요구를 충족시키는 정도’로 정의하였으며, 네트워크 이익(net benefit)은 학습성과로 조작적 정의를 하였다.

연구자가 도출한 1차 LMS 평가지표는 Table 1과 같다.

Table 1. LMS evaluation index

1차 평가지표에 대한 타당성 검토를 위해 전문가를 대상으로 설문조사를 실시하였다. 설문에 참여한 전문가는 비대면 교육 및 플랫폼 심사에 참여한 경험이 있는 자들로, 정보보호, 시스템 개발, 에듀테크, HRD 분야에서 고르게 선발하였다. 이들은 교수, 컨설턴트, 개발자로 응답자의 73%는 관련 분야의 심사 경력이 5년 이상이었다. 11명의 전문가 정보는 Table 2와 같다.

Table 2. Expert information

평가지표 선별은 평균과 내용 타당도를 고려하여 진행하였다. 평균 점수는 ‘보통’과 ‘중요’ 사이인 3.5 이상을, 내용 타당도는 0.636 이상을 기준점으로 잡았다.

내용 타당도는 Lawshe가 제시한 CVR(Content validity ratio)를 이용하였다. Lawshe는 전문가 내용 타당도를 판단하기 위한 도구로 CVR 사용을 제안하였는데, 계산 방법은 다음과 같다[15].

\(C V R=\frac{n_{e}-(N / 2)}{N / 2}\)

응답자 수가 11명일 때 CVR 값은 0.636 이상이 되어야 하므로, 0.636점 이상을 득한 문항만 평가지표에 포함시켰다. 해당 기준을 통해 CVR 기준을 충족하지 못하는 2개 항목은 삭제되었다. 각 항목에 대해 ‘보통’ 이하로 응답한 전문가에게 이유를 확인한 결과, ‘외부 프로그램과의 연결성 지원(CVR=0.45)’은 오픈소스 등 일부 플랫폼에 한정되는 기능으로 범용성을 가지기 힘들다는 의견이었으며, ‘교강사에 대한 낮은 의존도(CVR=0.09)’는 교강사의 개입이 불필요한 것으로 해석될 소지가 있어 ‘에듀테크 기반 차별화된 서비스 제공’ 중 ‘인텔리전스 튜터링’ 등에 포함할 것을 제안하였다. 전문가 설문을 통해 확정된 평가지표는 Table 3과 같다.

Table 3. LMS evaluation index derived from survey

3.2 평가지표를 활용한 기능평가 사례

개발된 평가지표를 실제 프로그램에 적용해 봄으로써 비대면 정보보호 교육을 위한 LMS의 기능 개선을 제안할 수 있는 수준인지 확인하였다. 이를 위해 현재 서비스되고 있는 제품 중 대표적인 2개 사이트를 선정하여 모의평가를 진행하였다.

첫 번째는 A 사의 해킹 방어 프로그램으로 해커가 직접 개발한 실무형 교육 프로그램이다. 프로그램은 이론 학습과 취약점 분석 훈련을 제공하며, 수준에 따라 3가지 프로그램을 제공하였다. 프로그램 구동에 특별한 시스템 요건이나 자원이 필요하지 않아 이용이 편리하며, 간단명료한 메뉴 구성과 깔끔한 화면 구성으로 UI 측면에서 강점을 가진 것으로 평가되었다. 모의 해킹 환경에서의 취약점 분석 활동을 제공하여 실무능력 향상을 지원하고 있었는데, 습득-수행-연결 활동을 충실하게 적용한 것으로 평가된다.

그러나 해당 학습 플랫폼에서는 몇 가지 개선점이 확인되었는데, 텍스트 중심 콘텐츠 제공으로 동기유발과 주의집중이 다소 어려웠고 오답에 대한 구체적인 피드백과 교정 기회가 주어지지 않아 완전학습이 어려웠다. 교강사와 실시간 상호작용이 불가능한 상태에서 과제수행에 어려움을 겪을 경우 이를 보완할 수 있는 기술적 방법(지능형 튜터링, 실시간 자동화 실습 등)을 제공하는 것이 바람직하다. 이처럼 비활성화 메뉴의 활성화 등 정보시스템의 기본을 지키되 에듀테크 기술을 활용하여 맞춤형 교육과 완전학습을 지원하는 방안을 마련해야 할 것이다.

Fig. 1. UI design (company A)

두 번째 프로그램은 B사의 사이버보안 모의훈련 프로그램으로, 사이버 침해대응에 대한 이론과 문제 상황에서의 대응 능력을 키워주는 것을 목표로 개발되었다. CBT 기반 이론 학습과 가상화 기반 실습 및 훈련체계 구축을 통해 역동적인 학습 경험을 제공하는 것이 강점으로 분석되었다. 가상 네트워크, 서버와 장비 환경이 실제 환경과 유사하게 구현되고 현업에서 실제 발생하는 문제로 시나리오가 구성되어 현장성 있는 교육이 가능할 것으로 예상된다.

역시 몇 가지의 개선점이 확인되었는데, UI의 복잡성과 낮은 심미성, 가독성이 그것이다. 시스템에서 제공하는 기능이 많아지거나 복잡해지면 유용성은 높아지지만, 이용 용이성은 낮아지는 경향이 있다. UI는 다소 주관적인 요소이나. 학습자가 훈련에 몰입할 수 있도록 하기 위해서는 화면 디자인과 제공되는 콘텐츠의 가독성이 중요하다.

또한, 학습자의 실수(학습 경로를 잘못 들어서거나 과제수행을 반복적으로 실패 등)를 교정해 주는 장치를 마련할 필요가 있다. 학습자가 자주 실패하거나 학습을 중단하는 지점을 파악하여 필요한 정보나 힌트를 적재적소에서 제공하고 학습이 진행됨에 따라 정보와 힌트를 점진적으로 축소하여 문제해결 능력을 키우는 동시에 훈련과정 완주를 촉진할 수 있다. 이상의 모의평가를 통해 A사와 B사의 학습 플랫폼에서 개선 및 기능 강화가 요구되는 사항은 Table 4와 같이 분석되었다.

Table 4. Improvement requirements

개발된 평가지표를 통해 정보보호 교육을 지원하는 시스템의 장단점을 객관적으로 분석할 수 있으며, 다양한 시스템을 분석하는 가운데 평가지표 또한 고도화될 수 있다. 평가지표는 평가 대상의 장단점과 품질을 판단할 수 있는 잣대임과 동시에 평가 대상의 품질을 끌어올리는 마중물의 역할을 하므로 평가지표에 대한 지속적인 수정 보완이 요구된다.

Fig. 2. UI design (company B)

IV. 결론

코로나 19로 교육 환경은 큰 변화를 맞고 있다. 모든 수업을 온라인 화상교육으로 진행하는 미네르바스쿨은 대학의 한 유형으로 자리 잡았고, 에듀테크 기반의 원격교육으로 큰 투자금을 유치하거나 IPO에 성공한 스타트업의 성공사례가 이어지고 있다. 대학도 이러닝 강의를 확대하고 직업훈련기관도 LMS를 도입하고 자체 제작 콘텐츠를 제공하는 노력을 기울이고 있다.

미래학자 토머스 프레이는 2030년에 대학 절반이 사라질 것이라고 주장했는데, 비대면의 일상화와 디지털 기술의 급격한 발전으로 그의 예언은 현실화될 가능성이 크다. 비대면이 일상화됨에 따라 앞으로의 교육은 상당부분 비대면 교육으로 전환 및 정착될 그것으로 예상한다. 인공지능, 빅데이터, 혼합현실(MR), 메타버스 등 첨단기술을 활용하여 고도화된 교육 경험을 제공하는 자가 사라진 절반의 시장을 확보하게 될 것이다.

본 연구는 비대면 교육을 지원하는 학습관리시스템의 기능 품질을 도출하고, 전문가 설문을 토대로 평가지표를 개발하였으며, 국내 정보보호 교육 플랫폼 분석하는데 적용해 보았다. 비대면 교육은 교수학습 요소와 정보시스템 요소를 둘 다 반영해야 하므로 시스템 기획 시 고려해야 할 요소가 많다. 금번 연구에서 제시한 평가지표는 LMS가 충족해야 할 기본 요건과 미래 지향적 요건을 함께 담고 있어 플랫폼 기반 학습과 가상훈련을 제공하는 기업 및 평가 주체에 활용 가치를 제공할 것으로 기대한다.

비대면 교육이 일상화되고 이를 지원하는 다양한 형태의 LMS가 시장에 공급되고 있음에도 불구하고 LMS 기능 평가연구는 2010년에 멈춰 있다. 교수학습 방법과 기술 환경이 바뀐 만큼, 지금 시점에서 새로운 연구가 요구된다. 정보보호 분야의 다양한 교육 훈련이 시장에 공급되고 있는 상황에서 교육 목적과 다양한 이해관계자의 요구를 충족하는 프로그램을 선택하기 위해서는 훈련 프로그램의 우수성뿐만 아니라 시스템의 기능적 품질을 객관적으로 판단할 수 있는 준거가 필요하다는 점에서 본 연구는 이론적, 실무적 의미를 갖는다. 평가지표를 통해 시장에 공급되는 훈련 프로그램과 시스템 역량을 향상해 나가기 위해서는 평가지표에 대한 수정 보완이 요구된다. 따라서 새롭게 등장하는 학습 플랫폼의 기능적 요소와 정보보호 분야의 교육 이슈를 파악하여 평가지표를 지속적으로 고도화하는 활동이 이뤄질 필요가 있겠다.

향후 연구에서는 평가지표를 고도화하고, 현업에서 활용할 수 있도록 개별 평가지표에 대한 설명과 평가 방법을 구체적으로 제시할 필요가 있겠다.