A Case Study on Program Outcomes Assessment of Information Security Program for Engineering Education Accreditation

공학교육인증을 위한 정보보호학 프로그램의 학습성과 평가에 관한 연구

Abstract

Engineering education accreditation addresses evaluation for program outcomes according to educational objectives and assessment process, which students are expected to obtain by the time of graduation in order to train international competitive engineers with continuous quality improvement in engineering programs. This paper shows a case study of a program outcomes assessment system including performance criteria, evaluation process, document system and continuous quality improvement process and an achievement evaluation by the assessment system for program outcomes in Information Security Program of Hoseo university.

공학교육인증제는 공학 교육의 질적 향상을 통해 국제 경쟁력을 갖는 공학기술 인력의 양성을 목적으로, 공학교육인증 프로그램의 학생들이 졸업할 시점에 달성해야 하는 학습 성과를 프로그램의 교육목표에 맞게 설정하고 적합한 절차에 따라 성취도를 평가하도록 하고 있다. 본 논문에서는 호서대학교 정보보호학 프로그램에서 설정한 프로그램 학습성과를 달성하기 위해 수행 준거, 평가 체계, 문서 체계 및 순환형 자율개선 체계 등을 포함하는 성취도 평가 시스템과 이러한 평가체계에 따라 성취도를 측정한 사례에 대해 연구한다.

I. 서론

공학교육인증제는 학습성과 기반의 교육(OBE, Outcomes-based Education)을 기본 철학으로 삼고 있다[1-2]. 학습성과는 졸업 시점에서 프로그램을 이수한 학생이 갖추어야 할 능력이나 자질을 의미한다. 이를 위해 공학인증 프로그램에서는 프로그램 교육목표에 합치되는 프로그램 학습성과를 설정하고, 이러한 학습성과를 달성하기 위한 교육과정을 개설하고 학생들을 교육하며 적합한 절차에 따라 성취도 평가를 수행해야 한다[3-5].

한국공학교육인증원에서 2016년 1월에 개최한 평가위원워크숍 자료에 따르면 2015년 10월을 기준으로 국내 85개 대학에서 544개의 공학교육 인증프로그램을 운영하고 있으나, 정보보호학 관련 프로그램은 2개만이 운영되고 있다. 이에 공학교육의 질을 향상시키고 사회적 요구에 부합하는 정보보호 전문인력의 양성을 위해서는 정보보호 분야에서도 공학교육 인증제의 정착 및 확산을 위한 노력이 필요하다.

미국에서 공학교육인증제를 시행하는 5개 대학의 프로그램 학습성과 평가 사례를 살펴보면 미국 공학교육인증제(ABET)의 11개 학습성과를 근간으로 프로그램의 특성에 부합되도록 학습성과를 수정하여 적용하고 있다. 학습성과 달성도 평가 수준은 교과목 적절성과 개별 교과목 달성도를 평가하는 교과목 수준의 평가, 교과목 구성과 이수체계 적절성 및 개별교과목의 포트폴리오 평가를 통한 교육과정 수준의 평가, 그리고 학습성과에 대해 정규적으로 내부 및 외부 평가 활동과 연계한 프로그램 수준에서의 평가 등으로 구분되고 있다. 세부적인 달성도 평가는 개별학습성과 평가를 위해 관련 교과목의 학업성취도 및 다수의 평가도구를 이용하여 매트릭스 방법을 활용하고 있으며, 평가수준에 따라 교강사, 교과과정위원회 및 프로그램위원회가 평가 주체가 되어 교과목 학습성취도, 교육과정 운영, 포트폴리오, 위원회 등을 대상으로 4년 단위로 수집된 학습성과 달성도 자료를 근간으로 평가를 시행하고 있다. 학습성과 개선은 수십 년간의 분석 결과를 기준으로 교육과정의 개선 추이 및 최근 분석 결과에 따라 개별 학습성과에 따라 교육과정과 교과목 운영의 개선 여부를 제시하고 있다. 그러나 교과목 중심의 학습성과 평가를 수행하는 미국의 공학교육인증 평가를 한국공학교육인증에 곧바로 적용할 경우 문제점들이 발생하였다[6].

본 논문은 정보보호 분야의 공학교육 확산을 위해 한국공학교육인증원에서 제시한 컴퓨터․정보(공)학교육인증기준2015(KCC2015)[5]의 정보보호(공)학 및 유사명칭 프로그램에 대한 인증기준에 따라 프로그램의 교육목표 달성을 위해 학습성과 평가체계 및 성취도 평가 과정을 사례로 기술한다. 그리고 논문의 내용은 공학교육인증을 위해 2015년 1월 한국공학교육인증원에 제출한 호서대학교 정보보호학 심화프로그램 자체평가보고서를 기준으로 한다.

정보보호학 프로그램의 교육목표는 대학의 건학이념 및 공과대학의 교육목표와 연계하여 산업체, 졸업생, 재학생, 교수자 등 수요자의 요구를 반영하여 개선하는 체계를 기반으로 기초학습능력, 전공설계능력, 의사소통능력, 그리고 종합사고능력 함양으로 설정하였다. 또한 프로그램의 교육목표를 달성하기 위해 자율 개선형 공학교육 체계를 바탕으로, 프로그램을 이수하는 졸업생이 갖추어야 할 10가지의 학습성과를 구성하고, 평가체계를 규정화하여 학습성과 성취도 측정을 수행한다.

논문의 구성은 2장에서 프로그램 교육목표에 부합하는 학습성과의 설정에 대해 설명하고, 3장에서는 프로그램 학습성과 성취도 평가체계에 대해 기술하고, 4장에서는 수립된 평가체계에 따른 프로그램 학습성과 성취도 측정 내용을 다룬다. 5장에서는 본 논문의 내용을 요약하고, 프로그램 학습성과 평가 개선을 위한 시사점을 제시한다.

II. 프로그램 학습성과

KCC2015[5]에서 프로그램 학습성과로 제시하고 있는 10가지 항목에 부합하는 정보보호학 프로그램의 프로그램 학습성과는 아래와 같다.

￭ (PO 1) 수학, 기초과학, 인문소양 및 컴퓨터·정보(공)학 지식을 정보보호분야의 문제해결에 응용할 수 있는 능력

￭ (PO 2) 이론이나 알고리즘을 수식 또는 프로그래밍 등을 통해 검증할 수 있는 능력

￭ (PO 3) 정보보호 분야의 문제를 정의하고 문제해결을 위해 실험을 계획하고 수행할 수 있는 능력

￭ (PO 4) 정보보호 분야의 문제를 해결하기 위해 최신 정보, 연구 결과, 프로그래밍 언어를 포함한 적절한 도구 등을 활용할 수 있는 능력

￭ (PO 5) 사용자 요구사항과 현실적 제한조건을 고려하여 하드웨어 또는 소프트웨어 시스템을 설계할 수 있는 능력

￭ (PO 6) 정보보호 분야의 문제를 해결하는 과정에서 팀 구성원으로서 팀성과에 기여할 수 있는 능력

￭ (PO 7) 다양한 환경에서 효과적으로 의사 소통할 수 있는 능력

￭ (PO 8) 정보보호 분야의 해결방안이 안전, 경제, 사회, 환경등에 미치는 영향을 이해하는 능력

￭ (PO 9) 정보보호 전문가로서의 직업윤리와 사회적 책임을 이해할 수 있는 능력

￭ (PO 10) 기술환경 변화에 따른 자기계발의 필요성을 인식하고 지속적이고 자기주도적으로 학습할 수 있는 능력

이러한 프로그램의 학습성과는 교육 목표를 달성하기 적합해야 하므로, Table 1에서는 정보보호학 프로그램의 교육목표와 학습성과 간의 상관 관계를 표기하고 있다.

Table 1. Correlation between program objectives and program outcomes

※ 연관성 정도 : ●(강)/◐(중)/○(약)

프로그램 학습성과를 달성하기 위해 정보보호학 프로그램에서는 정규 교과과정 및 교과 외 교육과정으로 구분하여 학습성과 기여도를 설정한다.

정규 교과과정은 BSM(Basic Science and Mathematics) 교과목, 전문교양 및 전공교과목으로 구분하여 학습성과 항목에 대한 기여도를 각각 제시하고, 해당 교과목에서 관련 학습성과 달성을 위해 교육을 시행하여 모든 학습성과를 성취하는 것을 목표로 한다. 수학I, 수학II, 정수론, 확률및통계, 일반물리I, 일반생물학I 등으로 구성된 BSM 교과목은 학습성과 1~2 항목, 글쓰기와 커뮤니케이션 등의 필수 영역과 4가지 영역에서 임의 수강 가능한 선택영역으로 구성된 전문교양 교과목은 학습성과 7~10항목, 그리고 인증기준에서 정보보호학 프로그램을 위해 제시한 필수 전공 교과들을 포함하는 전공교과목은 학습성과 6~10 항목들과의 높은 기여도를 갖도록 하여 전체 프로그램 학습성과 달성에 적합하도록 구성하고 있다.

교과 외 교육과정은 학생들이 교과과정 이외의 교육과정을 통해 학습성과를 달성하도록 다양한 비교과 교육과정을 개설하고 학생 활동에 적극적으로 참여할 수 있도록 독려하고 있다. 정보보호학 프로그램 내 비교과 교육과정에는 외국어공인시험, 공인 자격증, 학술제 참석 및 발표, 실험실 연구원 참여, 학과 내 동아리활동, 각종 학과행사 참여, 현장실습 및 인턴쉽, 어학연수, 외부 경진대회 참여 등이 있다. 이러한 비교과 교육과정들 또한 프로그램 학습성과 전체를 포괄하여 학생들의 학습성과를 향상시킬 수 있는 연관성을 바탕으로 구성하고 있다.

III. 프로그램 학습성과 성취도 평가체계

KCC2015[5]와 KCC2015 판정가이드[7]에서는 프로그램 학습성과의 성취도 평가를 위한 적절한 체계를 요구하고 있으며, 프로그램에서는 인증 기준에 부합하는 수행준거, 평가체계, 문서체계 등은 프로그램에서 자체적으로 설정하여야 한다. 본 프로그램에서 기술하는 프로그램 학습성과 성취도 평가체계는 한국공학교육인증원으로부터 예비인증과 본인증을 획득하는 과정에서 검증을 완료하였다.

3.1 수행 준거

프로그램 교육과정의 학습성과를 통해 학생이 졸업 시점에 갖춰야 할 학습성과 성취도를 평가함으로써 수립된 학습성과가 적절한가를 판단하기 위해 각 학습성과 별로 수행준거 및 수행수준을 정의하고 달성목표를 설정하였다. 학습성과 10가지 항목에 대한 달성목표는 프로그램 졸업생의 60%이상이 졸업예정자 인터뷰와 졸업예정자 설문조사에서 모두 중급 이상의 수행수준을 달성하는 것으로, 학습성과 1에 대한 수행 준거 및 수행 수준은 아래와 같다.

￭ (수행준거) 학생들은 수학, 기초과학, 인문소양, 공학지식의 주요개념과 이론을 기반으로 주어진 정보보호 문제 해결에 접목하여 활용할 수 있다.

￭ (수행수준-상) 수학, 기초과학, 인문소양, 공학지식의 주요개념과 이론을 명확히 이해하고, 정보보호 문제해결에 적절하게 활용할 수 있으며 이를 위하여 정보기술을 도구로 충분히 활용할 수 있다.

￭ (수행수준-중) 수학, 기초과학, 인문소양, 공학지식의 주요개념과 이론을 부분적으로 이해하며, 정보보호 문제해결에 정보기술 도구를 사용가능하다.

￭ (수행수준-하) 수학, 기초과학, 인문소양, 공학지식의 주요개념과 이론을 이해하지 못하며 이를 정보보호 문제해결에 거의 적용하지 못한다.

위 학습성과 1의 수행준거는 지식을 응용하여 정보보호 문제 해결에 접목하고 활용할 수 있어야 한다는 내용을 기반으로 설정하고, 수행 수준을 그 정도에 따라 상중하로 구분하였다.

3.2 평가 체계

정보보호학 프로그램에서는 프로그램 학습성과를 정량적으로 평가하기 위하여 학습성과 항목에 대해 졸업예정자 인터뷰를 직접 평가도구로 사용하며, 인터뷰 평가의 보충자료로 구두시험, 종합프로젝트 보고서, 종합프로젝트 발표, 학생 포트폴리오 등을 참고한다. 간접평가로는 모든 항목에 대하여 정량적으로 점수화할 수 있는 설문조사 문항을 작성하였으며 설문조사 문항 수 및 만점, 수행수준 환산 기준 점수도 함께 나타냈다. 매년 직접평가와 간접평가 결과를 비교하고 분석하며, 차이가 있을 경우에는 원인을 분석하여 설문문항 등을 수정하고 보완한다. 학습성과 항목별로 프로그램 학습성과를 평가하기 위한 도구와 참고자료 목록을 Table 2에 정리하였다. Table 2에서 졸업예정자 인터뷰의 참고 자료로 명세된 구두시험, 종합프로젝트 발표, 보고서, 학생포트폴리오 등이 실제 평가도구로 활용되고 있으므로, 향후 평가도구별로 목표를 설정하고 달성여부를 분석하는 체계로 개선할 필요가 있다. 구체적인 수행수준을 측정하기 위하여 각 학습성과 항목별로 채점 기준을 작성하였다. Table 3은 학습성과 1의 측정을 위한 평가도구, 루브릭, 평가 대상 등을 나타낸다. Table 4는 졸업예정자를 대상으로 하는 인터뷰 과정에서 수학능력 측정을 위한 테스트에서의 채점기준을 설명하고 있으며, 출제 문항은 프로그램운영위원회의 검토 과정을 통해 각 등급별 문항의 난이도를 조정한다. Table 5는 학습성과 측정을 위한 졸업예정자의 설문조사 문항 예시를 기술하고 있다.

Table 2. Assessment system for program outcomes

Table 3. Assessment and evaluation process of the 1st program outcome

Table 4. Scoring rubric of Interview for the 1st program outcome

Table 5. Survey questionnaire for the 1st program outcome

3.3 문서 체계

학습성과 성취도 평가를 위해 정보보호학 프로그램은 행정처리 과정 및 관련 문서체계를 규정한다. Table 6에서는 학습성과 자율 개선 운영을 위한 행정처리 과정, 담당위원회, 주기와 시기, 그리고 관련 문서 내역을 나타낸다. 여기서 정보보호학 프로그램을 운영하는 담당위원회는 프로그램 내 교수진과 관련분야 기업체 임원이 외부 자문위원으로 참여하는 프로그램운영위원회와 대외협력 위원회로 구성되며, 담당위원회의 주요 수행 업무는 Table 7과 같다.

Table 6. Document system for achievement assessment of program outcomes

Table 7. Primary tasks of program committees

정보보호학 프로그램의 학습성과 달성을 위한 순환형 자율개선 체계는 Fig. 1과 같다. 프로그램의 학습성과는 프로그램운영위원회에 의해 학습성과 달성을 위한 학습목표의 설정으로부터 시작되며, 일단 학습목표가 설정된 후 학습성과 달성도 측정을 위한 수행준거, 채점기준, 졸업을 위한 최소 달성수준이 설정된다. 설정된 학습목표 및 학습성과 달성을 위해 프로그램운영위원회는 학생들을 교육하기 위해 교과 및 비교과 과정으로 구성된 교육과정을 편성 및 개정한다. 또한, 프로그램운영위원회는 교육과정을 구성하고 있는 각 교과목의 프로그램 학습성과와 연관된 교과목 학습성과를 설정하고 실행, 측정, 평가를 수행한다. 그리고 프로그램 운영위원회를 통해 매년 졸업 예정자들을 대상으로 학습성과 달성도를 측정한다. 얻어진 교과목의 학습성과 평가 결과, 프로그램학습성과 측정결과, 그리고 수요자 설문조사 등의 내용을 종합적으로 평가하여 프로그램 학습성과에 대한 평가 및 개선을 시행한다. 이러한 전 과정을 프로그램 내 교수들로 조직되어 운영 중인 프로그램 운영위원회와 대외협력 위원회가 주체가 되어 운영하며, 공학인증 시스템의 운영 지원, 데이터 수집 및 문서관리를 위해 공학교육인증시스템을 운영하고 있다.

Fig. 1. Continuous quality improvement process for program outcomes

IV. 프로그램 학습성과 성취도 평가

4.1 성취도 측정

수립된 학습성과 평가체계에 따라 호서대학교 정보보보학심화 프로그램의 2015년도 졸업생 18명을 대상으로 프로그램 목표로 설정한 졸업생의 60% 이상이 중급 이상의 성과를 달성하였는지를 직접 평가와 간접 평가로 성취도 평가를 수행하였다.

Fig. 2와 Fig. 3은 2015학년도 졸업생들에 대한 학습성과 측정에서 각각 직접 평가와 간접 평가에서 측정된 수준의 분포를 나타낸다.

Fig. 2. Evaluation of program outcomes: Direct assessment

Fig. 3. Evaluation of program outcomes: Indirect assessment

Fig. 2는 직접 평가 결과에서 측정된 분포를 상(High)/중(Medium)/하(Low)로 나타낸 그래프이다. 이에 프로그램 운영규정의 학습성과들에 대해 모든 학생들이 중급 이상의 성과를 달성하였다.

설문조사로 진행된 간접평가 결과에서도 학습성과들에 대해 72%에서 100%가 중급 이상을 달성하였으며, 이에 대한 수준별 분포를 Fig. 3에서 나타내고 있다.

Fig. 4의 실험 결과에서 직접 평가 결과는 프로그램 달성 목표를 크게 상회하는 것으로 나타났으며, 간접 평가 결과는 목표는 달성하였으나 직접 평가에 비해 약 5% 정도의 낮은 수준을 보였다. 이러한 차이는 지속적인 품질 향상 과정을 통해 그 차이가 최소화해야 한다.

Fig. 4. Comparing results from direct and indirect assessments

4.2 성취도 수준

정보보호학 프로그램의 학습성과 성취도 측정은 필기시험, 종합설계 교과목인 정보보호프로젝트의 최종보고서, 발표자료, 학생 포트폴리오 등을 근거로 수행하였다. 이러한 성취도 측정 과정에서 졸업생들이 해결할 수 있어야 하는 인증기준의 컴퓨팅문제수준설명(CAC Level Descriptor)에 부합하는 개방형 과제에 따른 설계 결과물 등의 수준을 평가해야 한다. 이에 프로그램 학습성과의 성취도를 측정하는 주요 도구인 종합설계 결과물에 대한 문제수준을 내용은 아래와 같다.

￭ (과제수준-1) 컴퓨팅 분야의 기초지식과 전공지식의 개념과 컴퓨팅 원리에 대한 이해를 기반으로 분석적인 해석을 필요로 하는 높은 수준의 개방형 문제

∙(과제수준-1-상) 컴퓨팅분야의 기초지식과 정보보호분야의 전공개념을 기반으로 분석적인 해석을 필요하는 높은 수준의 개방형 문제

∙(과제수준-1-중) 정보보호분야 전공지식 개념을 기반으로 분석적 해석을 요하는 개방형 문제

∙(과제수준-1-하) 정보보호 분야의 전공지식의 개념을 기반으로 수행할 수 있는 기초적인 수준의 개방형 문제

￭ (과제수준-2) 복합적, 독창적 사고를 요하고 다양한 관점과 접근방식에 따라 다수의 해가 존재하는 문제

∙(과제수준-2-상) 복합적, 독창적 사고를 요하고 다양한 관점의 접근방식과 해결방안이 존재하는 문제

∙(과제수준-2-중) 복합적인 사고를 요하고 다양한 관점의 접근 방식이 존재하는 문제

∙(과제수준-2-하) 단순한 접근 방식이 존재하고 해결방안이 잘 알려져 있는 문제

￭ (과제수준-3) 상충되는 컴퓨터․정보(공)학적 요건과 다양한 현실적 제한조건, 다양한 이해당사자들의 요구 등을 고려해야 하는 문제

∙(과제수준-3-상) 상충되는 정보보호학적 요건과 다양한 현실적 제한조건, 다양한 이해 당사자들의 요구 등을 고려해야 하는 문제

∙(과제수준-3-중) 다양한 정보보호학적 요건과 현실적 제한조건을 고려해야 하는 문제

∙(과제수준-3-하) 문제를 해결하기 위해 고려해야하는 제한 조건들이 초보적인 수준에 그침

이러한 체계에 따라 컴퓨터․정보(공)학인이 해결할 수 있어야 하는 컴퓨팅문제수준설명의 세부 내용을 제시하여 학습성과의 성취도에 대한 기대 수준에 대한 달성 여부의 객관적인 분석을 수행할 수 있다.

V. 결론

본 논문에서는 공학교육인증을 위한 정보보호 분야의 학습성과 평가에 대한 사례 연구로 호서대학교정보보호학 프로그램의 학습성과 평가체계 및 성취도 평가 내용을 기술하였다. 사례에서는 프로그램에서 설정한 10가지 학습성과에 대해 수행준거와 학습성과 평가체계, 문서체계를 포함하는 학습성과 평가체계를 제시하였고, 이러한 학습성과 평가체계를 기반으로 2015학년도 졸업생을 대상으로 학습성과 성취도 평가를 수행한 결과를 보였다. 성취도 측정 결과에서는 모든 학생들이 프로그램의 교육목표를 달성하였음을 확인하였고, 성취도 평가에 있어 컴퓨팅문제수준설명에 대한 기준도 제시하였다. 연구 결과에서는 학습성과 달성 목표 수준이 매우 높게 나타나므로 향후 추이를 지속적으로 관찰하여 수준을 재설정할 필요가 있으며, 또한 프로그램 학습성과 평가체계의 개선을 위해서는 정보보호학의 특성이 반영된 교육과정의 품질 관리가 요구된다.

본 연구의 결과로부터 정보보호학 분야에서의 공학교육의 질적 향상을 도모하여 사회적 요구에 부합하는 인력 양성을 위한 공학교육인증제 확산에 기여할 것으로 기대한다.