IS 감리 품질 향상을 위한 성숙도 기반의 평가 모델 플랫폼

Evaluation Model Platform based on Mature to improve IS audit quality

Abstract

정보시스템 감리의 목적은 정보시스템 구축 과정에서 발생하는 모든 위험 요소를 선제적으로 발견하고 이를 효율적으로 관리하여 정보시스템 개발 목적을 달성하고자 하는 것이다. 그러나 감리 현장에서는 정보시스템 감리 과정에 대한 품질 및 효과에 대하여 많은 불만을 표출하고 있어, 이에 대한 문제 해결을 통해 정보시스템의 효과적이고 효율적인 구축에 실질적인 도움이 되도록 하는 방법에 관하여 많은 연구가 진행되고 있다. 본 논문에서는 감리인과 평가자 모두에게 상호 이해가 가능하도록 다단계 감리평가 모델을 제안하여, 각 단계의 품질 레벨을 향상시키는 성숙화 과정을 거치는 모델을 제시하였다. 성숙도에 기반한 이 평가 모델 플랫폼은 감리인과 평가자 상호 간의 협의를 통해 효율적으로 개선사항을 도출하고 실시간 검색을 통해 이를 시정하여 전체 시스템을 성숙화하는 다단계 모델로서 정보시스템 구축과 정을 효율적으로 관리하고자 하는 것이 주 목적이다.

The purpose of information system audit is to proactively identify and efficiently manage all risk factors that may arise during the process of constructing an information system, in order to assist in achieving the objectives of information system development. However, there is currently significant dissatisfaction with the quality and effectiveness of the auditing process, leading to ongoing research aimed at finding effective solutions. In this paper, we propose a multi-level evaluation model to enhance mutual understanding between auditors and evaluators and present a model that undergoes a maturity process, improving its levels and stages. We introduce a maturity-based evaluation model platform, enabling efficient communication between auditors and evaluators, allowing for real-time feedback, and supplementing it through continuous search. By presenting this multi-level model aimed at maturing the entire system, we aim to efficiently manage the system development process.

Ⅰ. 서론

정보시스템 감리를 수행함에 있어 기본이 되는 지침은 전자정부법에 의해 행정안전부에서 고시한 정보시스템 감리기준이며 이에 의거하여 정보시스템의 구축 및 운영에 관한 사항을 종합적으로 점검 및 평가할 수 있도록 정보화 사업 유형별 표준 점검 항목이 제시되어있다.

정보시스템 감리는 정보시스템 감리 구축 과정에서 발생하는 모든 위험요소를 사전에 발견하여 이를 효율적으로 관리하고자 하는 목적이지만, 감리 품질 및 효과성에 대하여 많은 불만을 제기하고 이에 대하여 감리결과가 효과적으로 도움이 되도록 하는 방법에 대하여 많은 연구가 진행되고 있다.

수년 전부터 정보시스템 감리의 새로운 패러다임으로 제시되고 있는 감리 수행 결과의 정량화를 통하여 감리의 신뢰성과 객관성을 향상시키기 위한 연구가 진행되고 있지만, 감리 수행 결과를 정량화하기 위해서는 기존 감리 수행 절차보다 더 많은 과정을 거쳐야 하므로 감리 일정의 추가나 인력의 충원이 필요하다는 제약사항이 따르게 된다. 실제 감리대상 프로젝트에서 프로젝트 평가 시 프로세스 성숙도의 수준이 높은 것과는 별개로 프로젝트 감리 평가가 보통 이하로 평가되기도 한다.

본 논문에서는 이러한 문제를 효율적으로 관리하기 위한 방안을 제시하고자 한다. 평가를 위한 평가나 일회성 결과를 위한 개념이 아닌 실제로 구축과정에 도움이 되는 방법을 제시하였다. 모든 단계를 프로세스 중심으로 처리하고, 사전 평가항목에 대한 공감대 형성 및 사전에 구축 내용을 제시하여 이에 따른 결과를 3단계(상,중,하)로 평가하고 형성된 상호 공감대를 중심으로 단계별로 나타난 결과에서 하위 2단계(중,하)를 수정한 뒤 이를 다시 평가하는 방식이다. 이러한 다단계 평가 및 단계별로 성숙도를 향상시켜 나가는 이 방식을 통해 효율적인 시스템 구축 및 성숙도에 기반한 다단계 평가와 피드백이 가능하도록, 프로세스 중심의 성숙도 기반 평가시스템 플랫폼을 제안하고, 이에 대한 설계 및 시스템을 구축하고자 한다.

Ⅱ. 관련 연구

1. AHP

AHP(Analytic Hierachy Process: 계층화분석법)는 먼저 상위계층에 있는 요소(속성)를 기준으로 하위계층에 있는 각 요소의 가중치를 측정하는 방식을 통하여, 상위계층의 요소 하에서 각 하위요소가 다른 하위요소에 비하여 우수한 정도를 나타내 주는 수치로 구성되는 쌍대비교행렬(pairwise comparison matrix)을 작성하게 된다. 이 행렬로부터 고유치 방법(eigenvalue method)을 이용하여 계층의 각 레벨마다 정규화한 하나의 우선 순위 벡터를 산출한다. 마지막으로 계층의 최상위에 위치한 의사결정의 목적을 달성할 수 있도록 해주는 최하위 단계에 있는 대안들의 상대적인 우선순위를 나타내주는 전체 계층에 대한 하나의 복합 우선순위 벡터를 산출하게 된다. AHP의 의사결정 계층은 그림 1과 같다^[1].

그림 1. AHP의 의사결정 계층

Fig. 1. Decision hierarchy on AHP

2. 전통적 S/W 성숙도 모델

전통적 S/W의 개발 능력을 평가하고 개선하기 위한 대표적 성숙도 모델에는 SPICE(ISO/IEC 15504)와 CMMI가 있다. 이 중 국제 표준인 SPICE는 S/W 개발 프로세스 수행 능력 심사 및 개선을 지원하고, 특히 개별 프로세스 관점에서 평가와 개선이 용이한 구조를 제공하고 Automotive SPICE와 같이 다른 산업 분야에서도 실효성과 확장성이 검증된 모델이다. SPICE는 프로세스 차원과 능력 차원의 2차원 구조를 제공한다. 프로세스 차원은 조직에서 수행되는 프로세스 단위로, 해야 할 활동을 정의한다. 능력 차원은 각 프로세스를 개선하기 위해 필요한 수행 능력을 불완전(0)에서부터 최적화(5)까지 6단계로 구분하여 프로세스의 성숙도 수준을 평가한다. SPICE의 2차원 구조는 그림 2와 같다^[2].

그림 2. SPICE의 2차원 구조

Fig. 2. Two dimensions of SPICE

3. 정보시스템 감리

정보시스템은 단순 소프트웨어의 결합이 아니라 소프트웨어, 하드웨어, 시스템소프트웨어, 네트워크 및 데이터베이스 등 모든 시스템의 기술요소가 결합된 형태이다. 이러한 정보기술의 적용에 있어 내재된 위험과 부작용을 예측 및 발견하고, 실행 가능한 해결책을 제시하는 것이 정보시스템 감리이며, 이러한 정보시스템 감리의 정의는 감리를 시행하고 있는 나라마다 약간씩 다르게 정의하고 있으나, 정보시스템을 종합적으로 점검 및 평가한다는 공통의 시각을 갖고 있다. 한편, 정보시스템에 대한 의존도는 점점 심화되는 반면, 소프트웨어 개발 실패나 컴퓨터 사고 등으로 정보시스템의 안전성, 효율성, 효과성은 상대적으로 저하되는 문제가 발생하고 있다. 이를 보완하고자 마련된 것이 정보시스템감리이며 정보 시스템감리는 컨설팅 개념을 포함하고 있어 문제의 지적으로 그치는 것이 아니라, 감리인이 가진 지식과 경험을 바탕으로 적절한 해결안을 제시하는 것 또한 감리인의 역할이라고 할 수 있다^[3].

Ⅲ. 본론

1. 시스템 설계

제안하는 시스템은 크게 서버, 웹, 데이터베이스, 사용자로 구성되어있다. 웹은 사용자에게 개발내용 및 평가항목 등의 인터페이스를 제공하며 사용자가 웹을 통해 데이터를 요청하면 웹은 서버에 연결되어있는 데이터베이스로부터 요청한 데이터를 전달받는다. 또한 로그인 시 오류를 판단하고 평가데이터에 접근할 수 있는 권한을 부여하며 제공하는 인터페이스를 통해 원하는 정보를 요청 또는 작성하여 전달한다. 전달된 데이터는 서버를 통해 데이터베이스에 접근하여 데이터값을 송, 수신 한다. 사용자는 크게 사용자, 관리자, 평가자로 나뉘어지고 사용자는 개발내용을 웹에 업로드하고 관리자는 사용자 및 평가자의 ID를 할당하고 매핑하는 기능을 한다. 평가자는 사용자가 올린 개발내용에 접근하여 등급을 부여하고 평가기준 및 피드백을 작성해 사용자에게 전달하여 사용자가 보다 성숙한 프로젝트를 개발 할 수 있게 하고 평가 등급을 수정하여 프로젝트의 성숙도를 향상시킨다. 제안 시스템 전체 클래스 다이어그램은 그림 3과 같다.

그림 3. 전체 시스템 클래스 다이어그램

Fig. 3. Overall System Class Diagram

2. 데이터베이스 설계

데이터베이스의 테이블은 Users, Admins, Eval, User_Eval, states로 구성하였다. Users는 사용자의 데이터를 저장하는 테이블로 개발 내용 등의 필드를 가지고 있다. Users의 Attribute는 사용자를 구분하기 위한 user_id, usernm과 develop으로 구성하였다. Admins 테이블은 관리자의 데이터를 저장하는 테이블로 Attribute는 관리자를 구분하기 위한 admin_id, admin_usernm으로 구성하였다. Eval은 평가자의 데이터를 저장하는 테이블로 평가등급, 이유 등의 필드를 가지고 있다. Attribute는 평가자를 구분하기 위한 eval_id, eval_usenm으로 구성하였다. User_Eval은 사용자, 평가자의 id를 가지고 있는 테이블로 매핑하기위한 목적을 가지고 있으며 Attribute는 사용자와 평가자를 구분하기 위한 user_id, eval_id, usernm, eval_usenm과 개발내용과 평가등급, 평가등급에 관한 이유를 가지는 데이터를 저장하기 위해 grade, reason으로 구성하였다. 마지막으로 states 테이블은 평가자에게 등급을 받은 사용자의 수를 세기 위한 목적의 테이블로 Attribute는 AAA, BBB, CCC로 구분하여 상, 중, 하 등급의 사용자 수를 세어 저장한다. 제안시스템의 데이터베이스 클래스 다이어그램은 그림 4와 같다.

그림 4. 데이터베이스 클래스 다이어그램

Fig. 4. Database Class Diagram

Ⅳ. 시뮬레이션

1. 웹 어플리케이션 프로그래밍

사용자, 관리자, 평가자를 구분하여 평가 및 등급부여, 그에 따른 피드백 및 통계 조회기능 등을 설계한 제안시스템의 플랫폼 구축을 위해 Python의 웹 어플리케이션 개발을 위한 프레임워크인 Flask를 사용해 프로그래밍하였다. HTML을 사용하여 각 페이지를 구성하였으며 로그인 화면, 회원 가입, 사용자, 관리자, 평가자 화면, 개발 내용, 등급부여 및 조회, 피드백 및 조회, 평가기준 및 등급 통계 화면을 프로그래밍 하였다. HTML로 프로그래밍한 웹 어플리케이션 프로그래밍 화면은 그림 5와 같다.

그림 5. 웹 어플리케이션 프로그래밍

Fig. 5. Web Application Programming

2. 데이터베이스 구축

사용자, 관리자, 평가자의 정보와 의견, 피드백 정보, 등급, 등급 통계의 데이터를 저장하고 저장된 데이터를 웹 어플리케이션과 송수신하기 위하여 데이터베이스를 구축하였다. 데이터베이스는 Mysql을 사용하였고 Mysql에서 앞서 설계한 각각의 테이블과 Attribute를 생성하였다. 생성된 테이블과 Attribute는 프로그래밍한 웹 어플리케이션과 연동하였으며 입력한 데이터를 저장 및 저장된 데이터를 웹에서 선택 및 조회를 통해 저장된 데이터에 접근이 가능하도록 구현하였다. 데이터베이스 Table 구축은 그림 6과 같고 데이터베이스 Table Attribute 설정은 그림 7과 같다.

그림 6. 데이터베이스 Table 구축

Fig. 6. DataBase Table construction

그림 7. 데이터베이스 Table Attribute 설정

Fig. 7. Database Table Attribute Configuration

3. 로그인 및 로그인 실패

로그인 시 사용자, 관리자, 평가자 페이지로 이동하게 되며 로그인에 실패할 경우 로그인 실패 문구가 화면에 뜨고 다시 로그인 페이지로 이동한다. 로그인 및 로그인 실패 화면은 그림 8과 같다.

그림 8. 로그인 및 로그인 실패 플랫폼 화면

Fig. 8. Login and Login Failure Platform Screen​​​​​​​

4. 평가 및 피드백

관리자는 매핑된 사용자가 작성한 개발내용을 확인하고 개발내용 평가화면을 통해 개발내용을 평가하고 등급을 선택하여 부여한다. 평가 및 등급을 부여한 후에 피드백을 작성하여 프로젝트의 성숙도를 향상시키고 이후 개발자가 피드백을 통해 프로젝트를 향상된 등급으로 수정한다. 개발내용에 대한 평가, 피드백 플랫폼 화면은 그림 9와 같다.

그림 9. 개발내용에 대한 평가, 피드백 플랫폼 화면

Fig. 9. Development Content Evaluation and Feedback Platform Screen​​​​​​​

5. 데이터 분석 및 통계

관리자는 매핑된 사용자들의 등급을 통계로 조회 할 수 있고 마우스 커서를 그래프에 가져가면 개수 또한 조회가 가능하다. 전체 사용자 등급 통계 버튼을 사용하면 프로그램을 사용 중인 모든 사용자의 등급 통계 또한 확인이 가능하다. 데이터 분석을 위한 플랫폼 화면은 그림 10과 같다.

그림 10. 데이터 분석을 위한 플랫폼 화면

Fig. 10. Platform Screen for Data Analysis​​​​​​​

Ⅴ. 결론

본 논문에서 제안한 모델은 프로젝트 수행 결과에 대한 평가를 다단계로 수행할 뿐만 아니라 평가결과를 연계하여 프로세스 중심으로 평가 결과 성숙도를 향상시킨다. 사용자는 사전에 충분한 평가 내용을 인식하여 그 수행 내용을 평가자와 공유함으로써 단순한 결과 중심의 ok/nok로 처리하지 않고, 다단계(상, 중, 하) 처리하여 평가자가 중/하 단계에서 평가 결과를 제시하면 이를 수행자가 보완함으로써 구축하고자 하는 시스템 성숙 과정을 거치므로 프로젝트가 효율적으로 향상될 수 있도록 도움을 줄 수 있다.

평가 시스템 플랫폼에서 제공하는 기능으로는 수행자 등록, 평가자 등록, 수행자와 다수의 평가자와 연결, 평가 결과를 상, 중, 하로 평가하고 중/하 평가에 대해서는 그 내용을 제시, 제시된 내용을 수행자가 이를 보완하여 등록, 재평가하는 과정을 Feedback 처리하여 전체적으로 성숙화 과정 중심의 평가시스템 플랫폼을 제시하고자 하였다.

향후 연구로는 평가 결과를 축적하여 사례 중심의 레벨 단계를 제시하고, 항목에 대한 레벨링을 부여하여 레벨 단계별로 평가할 수 있도록 플랫폼에 적용하는 모델을 고안하고 다양한 플랫폼으로 확장하고자 한다.