DOI QR코드

DOI QR Code

A Study on the Improved Business Processes of e-Government System for the Integration of Civil Affairs and Suggestions Services

공공행정 서비스 업무의 통합을 위한 전자정부 시스템의 개선된 비즈니스 프로세스에 관한 연구

  • Park, Dong-Ah (Dept. of Information Systems, Pukyong Nat. Univ.) ;
  • Park, Man-Gon (Dept. of IT Convergence and Application Engineering, PuKyong Nat. Univ.)
  • Received : 2016.03.16
  • Accepted : 2016.05.04
  • Published : 2016.06.30

Abstract

For effective management and processing for civil affairs, online public services are in operation in every administrative organizations. However, due to the lack of links in each government departmental business processes on e-Government system, the satisfaction of the civil petitioners has not improved. In this paper, we propose an improved business process for the implementation of one-stop integrated civil affairs and suggestions services on e-Government system to reduce the time and cost for processing civil affairs and to improve the efficiency of the public services by cutting down the cost and time. This paper also suggests the ways to improve the quality of public service through redesigning civil affairs processing in the light of integrated system for the civil affairs and its suggestion.

Keywords

서 론

우리나라 전자정부의 구축은 1990년대 말까지 부처별 행정전산화 등 정보화 기반을 조성하였고, 이후 시·군·구 행정정보화 사업을 추진하여, 공공 행정 서비스의 내용과 형식의 개선을 적극 추진하였다. 정부는 행정 서비스의 수요자인 국민 입장에서 맞춤형 서비스를 제공하기 위해서, 대표적인 G4C사이트인 민원24의 기능을 확대하여 일상생활에 필요한 생활정보를 국민이 직접 한 눈에 확인할 수 있도록 생활정보 통합서비스를 구축하고 공공 행정 서비스의 지속적인 향상을 위해서 노력해 왔다. 이렇게 국민 중심의 공공 행정 서비스 제공 및 이용활성화를 위해 국민 맞춤형 생활정보 통합서비스를 중점과제로 선정하여 추진한 결과, 2010년, 2012년, 2014년 3회에 걸친 UN 전자정부 평가 연속 1위 및 2014년 전자정부 수출 연 4.7억 달러 돌파 등 대외적으로도 전자정부 시스템의 우수성을 인정받고 있다.

그렇지만 현재 운영 중인 전자 정부시스템이 업무효율을 높였고 행정 서비스 개선을 통하여 서비스 품질의 향상을 가져왔지만, 효율적인 조직 운영을 위하여 정보시스템을 업무 프로세스 중심의 업무재설계(BPR)를 바탕으로 행정혁신을 추진할 수 있는 시스템으로 개선이 요구되고 있으며, 행정 업무 혁신을 위한 전사적 정보자원의 구축이 전자정부의 과제로 부각되고 있다.

본 연구는 공공 행정 서비스와 관련하여 중복적인 업무 또는 수작업으로 처리되는 시스템을 통합된 데이터베이스 시스템 구축으로 효율적인 전자정부 구현을 위한 정보시스템의 개선에 관한 연구를 수행하는 데 그 목적을 두고 있다. 이러한 관점에서 공공행정 서비스의 핵심인 지방 자치단체와 관련된 정보시스템을 분석하고 BPI/BPR/ISP 방법론을 적용하여 효율성 높은 전자 정부 시스템의 비즈니스 프로세스를 제안하고자 한다.

 

2. 전자정부 시스템과 공공 행정 서비스의 운영상 문제점들

2.1 전자정부 시스템의 구축과 운영

전자정부와 정보화라는 단어는 우리 생활에서 서로 다른 의미로 사용되고 있지만 광의의 정의를 살펴보면 전자정부는 정보화의 일부분이라고 할 수 있다. 즉, 공공 행정 서비스의 정보화가 전자정부라고 표현할 수 있다. 전자정부는 전자(Electronic)와 정부(Government)를 합친 용어로 전자는 정보통신기술(ICT)을 사용한다는 의미로 정보통신기술을 활용한 정부가 전자정부라고 할 수 있다. 정보통신기술은 정부의 업무 중 크게 정부 조직 내부 업무처리와 이를 기반으로 한 각종 공공 행정 서비스 제공에 적용되고 있다.

우리나라 전자정부법 제2조에 따르면 정보기술을 활용하여 행정기관 및 공공기관의 업무를 전자화하여 행정기관 등의 상호간의 행정업무 및 국민에 대한 행정업무를 효율적으로 수행하는 정부로 정의하고 있다. 미국의 전자정부법에서는 웹기반의 인터넷기술과 기타 IT 기술, 이와 결부된 프로세스를 활용하여 국민과 기업, 공공기관에 대해 정보 및 서비스 제공을 향상시키고, 효과성, 효율성, 품질, 변혁 등의 측면에서 정부의 운영을 개선하는 것으로 정의하고 있다. 우리나라와 미국의 개념규정에 따른 전자정부의 기능을 구별해보면 행정효율화와 국민에 대한 서비스로 구분된다고 볼 수 있으며, 관련 학계의 정의도 같이 살펴보면 행정효율화와 시민서비스를 위한 정부혁신뿐만 아니라 행정의 투명성과 시민참여를 통한 민주주의의 구현도 중요한 기능으로 포함하여 제시하고 있다. 이는 행정환경의 변화에 따른 정부의 이념 및 기능의 변화와 밀접하게 관련되어 있다고 볼 수 있다. 1970년대 석유 파동에 따른 세계 경제위기 극복을 위해 선진국들은 신 공공관리(New Public Management)를 적극 추진하였고, 이 과정에서 효율성과 정부혁신의 일환으로 정보기술을 행정에 적극 도입하기 시작하였으며[1], 1990년대부터 네트워크의 발달로 인하여 인터넷이 보급되면서부터 전자정부는 본격적으로 행정개혁에 적용되었다[2]. 이와 더불어 인터넷이 기본적으로 추구하는 정보의 양방향성, 정보접근의 용이성, 정보공유, 상호의사소통으로 인해 시민이 정책결정과정에 참여하고 부패 감시 등 투명성을 확보하고자 하는 노력도 정보통신기술의 발전과 더불어 추진되었다[3].

지금까지 언급된 내용을 종합해보면, 전자정부의 기능은 크게 행정의 생산성과 효율성 등 행정의 효율화와 시민서비스 개선 등 행정 서비스를 둘러싼 영역, 부패방지와 시민참여 확대를 통해 시민에 의한 민주주의를 추구하는 영역으로 개념적으로 구분할 수 있으며, 전자정부는 행정 정보화, 국가 정보화의 개념과 함께 때로는 비슷한 개념으로, 때로는 다른 의미로 구분되어 사용되고 있다. 이는 국가정보화를 추진하는 과정에서 전자정부가 주요한 역할을 수행하였기 때문이며, 또한 전자정부는 행정정보화를 중심으로 추진되었던 것에 기인한다. 이를 개념적으로 구분하기 위해 국가정보화는 전자정부를 포함하는 개념이며, 전자정부는 행정정보화를 구성 요소로 포함하고 있는 개념으로 보고 있다[4].

우리나라 전자정부의 발전과정을 살펴보면 3단계로 분류할 수 있다. 1단계는 정부의 내부업무처리 효율화에 초점을 맞추고 진행되었으며. 2단계는 1단계의 내부업무 효율화를 바탕으로 대국민서비스를 개발하였으며 최종적으로 3단계는 2단계까지의 내,외부적인 업무처리 서비스를 넘어 국민과의 소통, 국민의 적극적 참여에 중심을 두고 있다.

전자정부법에 따르면 지방 전자정부의 구축과 관련된 지역정보화 사업의 추진범위를 지역정보 인프라 구축, 지역정보 서비스, 그리고 정보자원관리 등 세 가지의 영역으로 분류하고 있는데, 첫 번째로, 지역정보 인프라 구축의 사업범위는 정보시스템 구축, 지역정보화 기반 조성, 정보화 낙후지역의 집중 지원 등을 포함하고 있으며, 두 번째인 지역정보 서비스는 서비스 개발과 보급을 포함하고 있다. 마지막으로 정보자원관리는 정보시스템 및 정보서비스의 통합관리와 지역정보화 사업 중복투자 방지 및 공동이용 등을 사업의 추진 범위를 구분하고 있다.

이런 관점에서 중앙정부의 전자정부와 비교할 때 지방 전자정부는 다음과 같은 특성을 지닌다. 첫째, 지방 전자정부는 많은 부분 중앙정부의 시스템을 기반으로 운영되거나 이를 연결하여 활용한다. 전자정부 사업 초기에는 지방자치단체의 예산이 넉넉지 않아 지방의 전자정부 체계를 중앙정부가 주도하여 설치하고 개발 보급하였다. 안전행정부의 주도 하에 개발되어 보급된 시군구 행정정보시스템이 대표적인 사례로 지방 전자정부의 수준과 품질은 중앙부처가 운영하는 시스템의 성능과 밀접하게 연관되어 있다.

둘째, 지방에 따라 정보화수준이 높은 곳과 낮은 곳 사이에 차이가 존재하기 때문에 각 지방정부별로 동일한 시스템을 운영한다고 할지라도 최종 수요자인 국민의 입장에서는 지방 전자정부의 효용성에 있어 큰 차이를 나타내고 있다. 셋째, 지방정부의 경우 예산 및 인력의 부족으로 빠르게 변화하는 정보통신기술을 전자정부 시스템에 반영하는 것이 중앙정부에 비해 상대적으로 느리거나 뒤떨어진다는 것이다. 앞에서 언급한 바와 같이 지방 전자정부도 3단계로 발전하여 주민들과의 소통과 참여에 많은 공을 기울이고 있다. 서울특별시의 경우 2014년부터 인터넷을 통하여 다양한 공공행정 서비스를 처리하는 시스템인 응답소를 운영하고 있다. 31개의 행정 서비스 통합하여, 행정 처리는 접수와 동시에 즉각 답변 또는 담당부서와 연결하여 시민들과의 소통 및 참여에 큰 가치를 두고 지방 전자정부를 구현하고 있다[5].

지역정보화를 담당하는 정보화조직은 광역자치 단체 수준에서는 서울시와 경기도를 제외한 타 시·도간에는 현격한 차이를 보이지는 않는다. Fig. 1을 통하여 살펴보면 지방자치단체 중에서 2013년 기준 정보화 인력 비율이 가장 높은 기관은 충청북도(4.33%)이고, 가장 낮은 기관은 제주특별자치도(0.02%)이다. 지방자치단체 정보화 담당 인력 평균이 10.58명이며, 정보화인력비율은 광역자치단체가 평균 2.56%이나, 기타 기초자치단체는 평균 1.88%에 그치고 있다[6].

Fig. 1.2013 Basic Local Governments By ICT Staff Rati.

광역시·도와는 달리 기초자치단체의 경우 예산과 인력 부족으로 기존 정보화사업의 유지에 급급한 상태로 기술의 변화에 따른 신규 투자를 진행하기 어려운 상황에 있다. 특히 복지예산의 증가로 인해 기초자치단체에서 활용할 수 있는 예산의 여유가 많이 없어 기술변화에 따른 적절한 투자가 이루어지기 어려운 상황에 있다. 예를 들어 최근 들어 강조되고 있는 빅데이터의 분석과 활용, 클라우드 컴퓨팅 등은 기초차원은 물론 광역시도 수준에서도 충분한 투자가 이루어지기 어려운 상황이다. Fig. 2를 참조하여 살펴보면 광역자치단체의 2013년도 정보화 예산은 총 6,668억원 이였으며, 이들 예산을 이용하여 총 2,750건의 정보화사업을 추진하였다. 또한 2010년부터 2013년 까지 최근 4년간 전체 광역자치단체가 사용한 정보화 예산은 총 31,347억 원이었으며 수행한 정보화 사업은 총 14,789건이었다[6].

Fig. 2.2010~2013 Local Governments Executed Information Budget.

Table 1에서 확인할 수 있는 것처럼 UN전자정부 평가에서 세계 1위를 차지한 우리나라의 전자정부는 이미 국내외에서 인정하는 수준에 도달해 있지만 급격한 기술의 변화와 이에 대한 대응방안, 중앙정부, 광역시·도, 시군구 간의 정보화 수준의 차이 등은 반드시 극복해야할 과제라고 할 수 있다[7]. 중앙정부가 정보통신기술의 발전을 먼저 적용하고 이를 지방정부로 확대 적용하여 지방정부의 전자정부 고도화를 이끌 필요가 있다. 최근 주목 받고 있는 신기술인 빅 데이터와 클라우드 기반 컴퓨팅 등을 어떻게 전자정부에 구현할 것인가가 관심사가 되고 있으며, 중앙정부는 이에 대한 적극적인 활용을 계획하고 있지만, 지방 전자정부에서는 예산과 인력의 부족으로 원활하지 진행되고 있지 않는 것이 현실적인 상황이다.

Table 1.UN e-Government Development Index (2004~2014)

2.2 공공 행정 서비스 업무의 특성

우리나라는 1980년대부터 전자정부 구축 시도와 함께 직선제 선출에 의한 지방자치단체장을 선출하고 지방자치의 실시하여 고품질 대국민 행정 서비스 제공으로 국민의 삶의 질 향상에 많은 노력을 기울여 왔었다. 일반 국민들이 변화되는 행정 서비스를 가장 잘 체감할 수 있는 분야로 정부는 국민이 요구하는 일류 선진국 수준에 맞는 행정 서비스를 제공하기 위하여 대 국민 서비스인 공공 행정 서비스의 개선을 지속적으로 추진해 왔다. 공공 행정 서비스에 대한 명확하게 학문적으로 정의된 사항이 없지만 다음과 같이 포괄적인 의미로 해석할 수 있다. 첫째, 가장 광범위하게 해석할 때는 국민이 원하는 행정으로 해석할 수 있으며, 둘째, 일반국민과 접촉을 갖는 집행적 성격의 행정이며, 셋째, 집행적 또는 전달적 행정 가운데서 관계된 국민의 구체적인 요구 투입에 대응하는 행정이고, 넷째, 대민 창구 또는 민원창구라고 정부가 규정하는 장소와 담당공무원을 통해서 고객의 특정적이고 직접적인 대면 청구행위에 대응하여 처리하는 행정 서비스라고 정의할 수 있다[8].

행정 서비스의 소비자인 국민 중심으로 처리하기 위한 대표적인 행정기관업무가 바로 대민 행정 서비스 처리이다. 왜냐면 대민 행정 서비스는 행정기관이 행정 서비스를 요구한 개인, 법인 또는 단체를 대상으로 직접적으로 서비스를 제공하는 것으로서, 서비스의 내용이 가장 뚜렷하고 행정기관이 제공하는 서비스의 품질과 내용이 수요자인 국민의 만족과 직결되기 때문이다. 대민 행정 서비스는 국민이 요구하는 특정 사항에 행정기관이 대응하고 해결하는 활동으로 정부 또는 공공기관이 행정 서비스를 요청한 국민에게 직접적으로 제공하는 대민 행정이기에 다른 일반적 사무처리 보다 높은 중요성을 갖는다. 또한 국민이 개별 공공 행정기관과 접촉하여 행정 서비스를 직접적으로 처리 할 수 있는 접점이므로, 서비스 수요자인 국민과 행정기관과의 관계에 있어 핵심적인 부분으로 받아들여지고 있다.

이러한 행정 서비스의 중요성은 첫째, 행정통제 수단의 기능으로 제도적인 장치를 통하여 행정기관의 업무 담당자들이 국민에게 최적화된 서비스를 제공하고 행정 처리의 투명성과 신속성을 실현할 수 있도록 지속적인 동기를 부여함으로써 행정발전을 촉진 시켜야하며, 올바른 행정관료제도의 정착을 위해서 국민의 공식적인 통제를 제도화하는 기능을 의미한다. 둘째, 행정구제 수단 기능으로 행정 서비스는 주로 행정기관에 대하여 일정한 구체적 행위를 요구하는 의사표시가 선행되고 이러한 의사표시의 내용에는 부당한 행정처분으로 인한 불이익을 시정하고자 하는 의사표시가 포함될 수 있기 때문에 매우 간편한 행정구제 수단으로서의 기능을 수행한다. 셋째, 행정에의 주민 참여적 기능은 특정지역의 주민들이 그들에게 영향을 미치는 정책결정과 집행과정에 참여하는 것을 의미한다. 넷째, 대민 행정의 신뢰성 향상 수단의 기능으로 후진국 또는 개발도상국의 행정은 강제성, 규제성, 강제성 등의 특징을 가지고 있으며, 상호간의 능력과 규칙이행에 대한 불신으로 인하여 행정과 국민간의 거리감이 존재하게 된다[9]. 마지막으로 대민 행정 서비스는 대부분 국민 개인적 요구가 반영되므로 일반적인 행정 서비스보다 내용적으로 다양하고 그것의 처리를 위해서 고도의 기술성과 전문적 지식을 필요하며, 하나의 대민 행정 서비스는 또 다른 새로운 대민 행정 서비스를 발생시키는 복잡한 양상이 혼재되어 중앙과 지방정부간 그리고 여러 행정기관이 서로 협력하고 노력을 기울여야 하는 고도의 전문적이면서 복합적인 행정영역이다[9].

대민 행정 서비스의 종류와 방법은 시대의 변화와 흐름에 따라 그 분류의 기준이 다양화되고 세분화되고 있다. 대민 행정 서비스는 청구인의 규모, 소요되는 행정처분 종류의 수, 처리 소요기간, 청구방식, 처리방식으로 분류되고 있다. 현재 정부 각 부처에서 사용되는 모든 종류의 대민 행정 서비스가 등록되어 운영되고 있지는 않지만, 2015년 기준으로 5,079종류의 대민 행정 서비스가 행정자치부의 민원24 시스템에서 운용되고 있다[10].

2.3 복합 공공 행정 서비스의 문제점

복합 공공 행정 서비스는 서비스를 신청하는 국민이 소기의 목적을 달성하기 위해 복수의 관련 행정기관 또는 다수 부서의 허가, 인가, 승인, 추천, 협의, 확인 등의 과정으로 처리되는 서비스를 의미한다. 그러나 이 개념은 공급자인 정부기관의 행정편의적인 시각에서 정의된 것으로 생각할 수 있다. 왜냐면 국민의 입장에서는 처리에 관계되는 부서는 상관없이 단지 한건의 서비스 신청이다. 즉, 신청인 입장에서 단일의 서비스 신청이지만 이것을 처리하는 과정에서 다수의 법령과 행정기관을 거쳐 처리되는 대민 행정 서비스이라는 것이다.

일상적인 사례를 통하여 살펴보면 국민이 신축 건물을 짓기 위해서 건축허가를 신청하는 것인데 허가가 최종 승인되기까지 건축과, 지적과, 세무과, 등기소, 각종 위원회 등의 처리과정을 거쳐서 승인되는 것이다. 기능적으로 분업화의 대표적인 사례로서 처음에는 건축허가를 효율적으로 처리하기 위하여 업무를 분장하였을 것이다. 그러나 이런 분업화가 세분화될수록 수요자인 국민에게는 하나의 일이지만 기능적 분업체계로 인하여 행정 조직체계에서는 다양한 기능적 검토가 필요하고, 여러 기관 또는 부서를 거쳐 최종 완결 처리되도록 되었다. 행정기관의 기능적 세분화 과정과 별개로 국민의 입장에서는 과거나 현재나 단지 건축허가가 필요했을 뿐이다. 이러한 업무 처리과정에서 관리해야 할 인터페이스는 급격하게 증가하고, 업무처리 지연의 비효율성이 급격하게 증가된다. 따라서 대민 행정 서비스 처리를 기능적 중심에서 프로세스 중심시각으로 접근한다는 것은 문제점이 나타난 기존 방법들을 버리고 원래의 목적에 만족하는 또 다른 수단과 방법을 탐색하는 것이 좋은 방법이 될 수도 있다.

이러한 복합 공공 행정 서비스의 문제점에 대하여 국민의 입장과 행정기관의 입장으로 나누어 구분할 수 있다. 국민의 입장에서는 첫째, 준수해야 하는 법규가 여러 가지이며, 둘째, 신청한 행정 서비스에 대한 부수적인 사무 행정행위가 수행되지 않음으로써 본래의 신청 건이 처리되지 못하는 경우가 발생하며, 셋째, 대민 행정 서비스 처리를 위하여 여러 행정기관에서 처리되어해야 하며, 넷째, 국민이 해당 업무의 공공기관 및 행정기관을 여러 번 방문해야 하며, 다섯째, 행정 서비스 처리 기간이 불명확해지는 문제가 발생된다. 이와 더불어 서비스처리에 적용되는 법규가 다수이므로 준비해야하는 서류가 늘어나고, 경우에 따라 행정기관에 동일한 문서를 기관별로 제출해야 하는 불편한 상황이 발생한다. 이렇게 여러 기관을 방문하는 과정에서 국민은 과다한 부수적인 비용이 지출된다.

다음으로 행정기관의 입장에서 살펴보면, 첫째, 행정행위의 책임소재가 불분명해지고, 둘째, 대민 행정 서비스 처리에 관계된 여러 기관 또는 다양한 부서 사이에 갈등이 발생하며, 셋째, 동일한 사무를 반복적으로 검토할 뿐만 아니라 전문성을 가진 복잡한 업무 처리에 대한 수요가 증대하고, 넷째 처리기간이 길어진다. 그리고 접수된 업무와 관련하여 여러 기관에서 해당 업무에 대하여 분할하여 처리하기 때문에 해당 민원에 대하여 어느 부서가 주관하여 처리해야 하는가에 대해서 책임소재가 불명확하며, 책임전가 현상이 발생하기도 한다. 이러한 문제들은 대민 행정 서비스 처리를 위해 많은 부서가 관여하게 되므로 처리기간이 장기화되고, 처리절차가 복잡하게 되며, 전체적으로개별 공공 행정기관의 업무 효율을 감소시키게 된다.

 

3. 공공행정 비즈니스 프로세스의 단계들

공공 행정 서비스 업무 처리 프로세스는 투입, 전환, 산출의 3단계 과정으로 분류할 수 있다. 첫 번째 단계인 투입은 신청, 다음 단계 전환에는 접수, 요건 확인, 내용 검토, 내부결정 등이, 마지막 산출단계는 처분, 거부 처분, 보강 요구 등의 과정으로 분류할 수 있다[12]. 이와 더불어 사전준비단계, 처리단계, 사후관리단계로도 분류할 수 있는데, 사전준비단계는 국민이 행정 서비스 접수 이전에 발생될 수 있는 사안에 대하여 협의하고 조사하고 논의하는 단계로써, 얼마만큼 사전 작업을 시행하느냐에 따라 행정 서비스의 내용과 처리기간 등이 변경될 수 있다. 다음 단계인 처리단계는 국민이 공공 행정기관에 접수하면서 시작되고, 접수 건에 대한 결과를 최종적으로 국민에게 통보하는 과정이다. 이 단계는 대부분 법정 처리기간이 정해져 있으며, 법률에 따라 정해진 단계와 절차, 기간 등을 준수하여야한다. 끝으로 사후관리단계는 처리결과가 국민에게 통보된 이후에 발생하는 일들을 관리하는 단계로써, 시정 또는 개선조치 등에 대한 사항들이 절차에 따라서 수행되고 있는지를 살펴보고 다시 처리 불만으로 재 접수되는 확률을 낮추는 역할을 하게 된다. 단순 공공 행정 서비스는 비교적 간단한 절차로 손쉽게 처리가 될 수 있지만, 복합 공공 행정 서비스의 경우 여러 부처가 관련되어 업무처리가 복잡해지고, 처리시간도 많이 소요된다. 공공 행정 서비스 처리에 대한 주요 Mega Process의 Activity를 Value Chain으로 도식화하면 Fig. 3과 같다.

Fig. 3.Value Chain of Civil Affair

3.1 신청 단계

대민 공공 행정 서비스를 신청하기 위해서 자치단체인 광역시도, 시군구 또는 해당 공공기관의 종합민원실을 방문하거나 전화, 우편, 전신, FAX, 인터넷 접수 등 다양한 방법으로 행정 서비스를 신청할 수 있다. 대부분 공공 기관의 민원실 행정종합 정보시스템에서는 민원사무처리에 관한 법률 시행령 제4조와 행정자치부가 발행한 민원사무처리 기준표에서 제시되고 있는 신청방법을 적용하여 공공 행정 서비스 신청업무를 수행한다.

3.2 접수 단계

국민에 의해서 신청된 대민 공공 행정 서비스는 민원사무처리에 관한 법률 시행령 제7조에 따라 오직 행정관청 등 공공기관에 설치된 민원실에서만 접수가 가능하지만, 민원실이 설치되지 않은 공공기관은 해당 업무 기관의 문서과 또는 문서접수담당을 통하여 접수할 수 있으며, 접수와 동시에 전자정부 시스템에서 운용되는 행정정보시스템을 통하여 신청인의 인적사항과 행정 사무명 등을 등록하고, 서비스 신청 접수번호를 신청서에 기재 후 접수증을 작성하여 신청인에게 교부해야한다. 이후 접수된 행정 서비스 요청 건은 관련된 주무부서로 즉시 이송하여야 한다.

3.3 처리 단계

행정 서비스가 접수되고 이송되면, 해당 서비스 주무 담당자는 접수 확인 및 신청사항을 관련된 행정정보시스템에 등록하고, 접수 서류 검토를 통하여 첨부 또는 서류의 보완, 보정사유가 발생하게 되면, 보완 또는 보정 요구 사항을 행정정보시스템에 등록하고, 보완보정 요구통지서를 작성하여 신청인에 반드시 통보하여야 한다. 이 후 담당부서의 요구사항에 대하여 신청인이 처리하고 결과를 통보하였을 때 주무 담당자는 보완/보정 완료사항을 등록 및 처리한다. 또한 유관기관 협조사항이 발생할 경우 협조사항을 시스템에 등록하고 유관기관 협조요구서를 해당기관으로 공문으로 통보한다. 이와 반대로 유관기관으로부터 협조 요구사항을 통보받았을 때에는 유관기관 협조요구 완료사항을 등록 처리한다. 보완보정 사유가 아닌 다른 적법한 사유로 처리기한을 연장할 때는 처리 기한 연장 요구 내용을 행정정보시스템에 등록하고 처리 기한 연장통지서를 신청인에게 통지해야하는데, 관련 법령에 따라 처리 기간 내에서 단 1회만 연장할 수 있다.

경우에 따라 현지조사를 실시할 경우에는 조사 내용을 행정정보시스템에 등록하고, 심사, 확인, 진단, 의뢰, 질의, 건의, 청구, 요구, 의견청취, 공고, 교부, 고시, 통지 등 각종 절차를 처리할 경우, 관련 내역을 행정정보시스템에 등록하고 관리한다. 이어서 처리진행 상황과 처리 결과를 신청인에게 통지해야 된다. 이러한 처리과정에서 조정위원회와 실무 종합심의회를 개최할 수 있으며, 타 부서의 협조가 필요한 경우에는 관련 자료를 제공하여 원활한 처리가 될 수 있도록 하여야 하며, 내부결재를 통하여 인허가사항을 결정하게 된다.

이와 같이 대부분의 처리 절차는, 행정정보시스템에 의한 조회만으로도 충분히 관련 내용들을 조회할 수 있고 관리할 수 있지만, 실질적으로 모든 단계별 업무 내용을 출력, 처리 및 보관하고 있다. 이는 행정 서비스 처리 해당 기관의 내부 결재 과정에서 행정정보시스템과 연계 부족 등의 이유로 종이 서류를 출력 보관하는 악습이 여전히 없어지지 않았기 때문이며, 특히 업무처리와 관련된 감사에 대비하기 위한 이유로 종이 문서로 일정기간 보관 후 폐기하는 관행이 남아있기 때문이다.

3.4 현행 공공 행정 서비스 비즈니스 프로세스의 모델링

현재 공공 행정기관에서 운용 중인 주요 행정 서비스 처리를 위한 비즈니스 프로세스를 IDEF3에 의한 방법으로 도식화해보면 Fig. 4, Fig. 5와 같이 표현할 수 있다.

Fig. 4.Business Process of Civil Services in Cities and Provinces.

Fig. 5.Business Process of Civil Services in Sinmungo.

3.5 현행 공공 행정 서비스 비즈니스 프로세스의 문제점들

행정 서비스 접수창구를 대상으로 업무처리 현황을 사용자 관점에서 문제점을 파악하고 살펴보면 기존의 업무 처리 관행에서 벗어나 업무 처리절차의 혁신을 통하여 정부업무혁신의 수단으로 새롭게 인식해야 한다. 전자결재와 같은 내부 처리 업무와의 연계, 행정기관의 업무 처리 절차와 관련법과 제도의 문제, 기존의 조직문화 등 각종 절차와 관련된 정보의 흐름을 행정 서비스 업무 프로세스에서 동기화가 필요하다. 행정정보 공동 활용 사례를 살펴만 보아도 행정 서비스 신청 시 제출할 서류가 축소되어 접수절차가 간소화되고 편리해 졌지만, 해당 기관 담당자의 내부 업무와 연동을 고려하지 않은 정보시스템의 제약과 소프트웨어 미비로 인하여 지속적인 종이문서가 생산되는 것이다. 이는 기술적 문제만은 아니고, 조직 내부에 변화를 유발할 수 있는 사항으로 기술적인 해결방안이 있지만 쉽게 해결하지 못하고 있다.

이와 더불어 중앙정부로부터 지방정부에 국가표준 정보시스템이 개발 및 보급되어 행정업무의 공식화와 복잡성이 증가하거나 이중적인 업무 처리가 발생할 수 있다. 이는 지방정부의 입장에서 살펴보면 표준시스템이 수직적 기능을 처리하는 방식으로 구성되어 있어서 업무처리에 필요한 수평적 정보흐름을 원활하게 지원하지 못하며, 정보를 소유하고 있지 못한 서비스 신청과 관련된 행정프로세스 정보의 접근 권한이 부여되어 있지 않기 때문이다. 최근 세수증대를 차원에서 각종 인허가 업무를 처리할 때 각 자치단체는 지방세 완납 여부를 확인하는 업무가 행정프로세스에 추가되었는데, 각종 지방세 완납 여부 확인을 위한 행정정보 또는 프로세스를 소유하고 있지 않은 처리 담당자는 해당 업무 담당자에게 확인 요청을 하거나 행정 서비스 신청인으로 하여금 납입증명서를 신청 시 첨부하도록 안내하고 있는 것 또한 문제점이라 볼 수 있다.

이와 같이 국민들이 대민 행정 서비스의 품질 수준을 느낄 수 있는 부분은 운용 측면의 변화일 것이다. 법률 제도적인 부분의 변화는 기존의 관행으로 인하여 매우 느리게 진행되지만, 최근 들어 운용 측면에 있어서는 다양한 변화를 시도하고 있으며, 그러한 변화를 가져오는 도구가 발전되는 정보기술의 적용과 관련 행정 서비스를 담당하고 있는 담당 공무원의 인식 변화로 생각해 볼 수 있다.

 

4. 공공행정 서비스 업무의 비즈니스 프로세스 개선

4.1 비즈니스 프로세스의 혁신 도구 BPI/BPR

프로세스는 투입이후 새로운 부가가치를 창출하는 과정을 거쳐서 산출물을 만들어내는 순차적이고 연쇄적인 절차 또는 흐름을 의미하며, 하나의 프로세스는 투입을 받아들이고 전환의 과정을 거쳐 산출로 만들어내는 여러 가지 행위들로 구성되어 있다[11]. 이러한 행위들은 논리적인 순차적 흐름에 의해 상호 연관되어 있어, 프로세스는 투입이나 결과와 같은 특정한 상태를 나타내기보다는 변환 또는 전환의 과정을 의미하는 동적인 개념이다. 프로세스는 일회적인 것을 의미하는 것이 아니라 목표달성을 위해 자원이 투입되고 반복적으로 신뢰성을 가진 지속적으로 사용되는 방식을 의미한다[12]. 또한 프로세스가 투입, 전환, 산출과 관련된 활동과 활동들을 연결하는 순차적인 흐름을 의미하므로 업무 프로세스는 특정한 목적을 가진 업무라는 관점에서 업무 프로세스는 특정한 업무 결과를 얻기 위해 수행되는 일련의 논리적으로 연결된 직무들의 총합이라고 할 수 있다.

BPI/BPR은 업무 수행 방식을 변화시켜 각종 비용, 고객 서비스 품질과 종류에 있어서 개선을 얻고자하는 관리 기법이다. 즉, 현 조직의 운영방식, 업무 수행방식을 근본적인 시각에서 깊이 생각하고 조직을 고객과 주변 환경에 대응할 수 있는 조직으로 변화시키는 하향적 변화 기법이다. 고객의 요구사항을 효과적으로 충족시키는지 평가하기 위해 각종 비용, 서비스와 품질을 측정하여 핵심 업무 프로세스를 파악 및 분석하고 새롭게 설계된 프로세스가 보다 효과적으로 작동할 수 있도록 조직 구조와 문화, 조직원간의 역할과 책임을 체계적으로 변화시키려는 노력으로 특징지울 수 있다[13]. BPI/BPR과 고객 만족, 성과 향상은 고객의 존재와 경계의 초월이라는 업무 프로세스의 특성에서 이해할 수 있으며, 공공부문은 국민을 서비스의 고객으로 인식하고 국민을 적극적으로 만족시키기 위한 업무 개선의 필요성이 더욱 높아지고 있다. 여기에서 프로세스의 개선 의미는 업무의 간결화에서부터 오류의 방지, 및 교정을 거쳐 최상의 상태로 변환시키는 단계적 변화를 의미한다[14-16]. BPI/BPR을 통한 프로세스 개선은 프로세스의 간결화를 통해 최소 만족 상태로의 변화에 그치는 것이 아니라 최고의 상태를 유지할 수 있도록 하는 것이다[17-20].

4.2 공공 행정 서비스 부문의 BPI/BPR

공공부문 정보화는 전자정부를 구현하기 위한 실현 수단으로 정보사회에 대한 정부 차원의 계획 수립과 대응, 정보기술에 바탕을 둔 정부 조직의 재설계로 해석될 수 있다. 우리나라 정부에서 추진하고 있는 전자정부는 국민 지향적이고 작지만 효율적인 전자정부를 구축을 목표로 한다. 이에 따라 정보통신기술을 도입 및 활용하여 정부의 효율성 향상과 규모 축소라는 측면에서 행정정보화를 적극적으로 추진하고 있다. 2000년대 이후 행정업무의 정보화, 이를 기반으로 하는 대민 행정 서비스의 개선, 입법과 사법의 정보화 추진, 환경과 재해정보 관리체계 구축 등의 공공부문 정보화를 통하여 효율성 향상을 위한 사업이 지속적으로 추진되었다. 이처럼 공공부문의 정보화는 행정의 효율성과 대민 서비스 품질 향상을 위한 전자정부의 구현의 핵심적 수단으로 사용되고 있다.

BPR은 현황과 요구분석의 과정에서 나타나는 문제를 확인하는 수단으로 공공부문의 개혁 또는 정보화 사업에 활용된다. 법제도, 업무절차, 정보화와 관련된 사항을 확인 후 개선안을 제시하는 방안으로 BPR이 활용되고 있으며, 정보화를 통한 행정개혁 성과를 향상시키기 위한 도구로 인식되고 있다. 다시 말해, BPI/BPR을 통해 불필요한 조직과 절차를 개선하고 이를 기반으로 정보화를 추진하므로, 공공부문의 정보화 추진에서 BPI/BPR은 필수 절차로 인식되고 있다.

공공부문의 BPI/BPR은 행정업무처리절차의 재설계, 전자인사시스템 구축 등에 이르기까지 대부분의 공공 정보화 사업에 적용되었다. 이는 BPI/BPR 기반에서 국가 정보화를 추진한다는 전자 정부추진의 원칙에서도 쉽게 확인할 수 있다. 일반적으로 BPR에 있어서 필수적으로 정보기술 활용이 연계되어야 하는 것은 아니지만 대부분의 BPR에서 정보기술을 도입 및 활용하고 있고, 공공부문의 BPR의 경우에도 정보기술의 도입과 활용에서도 동일한 상황이다. 공공부문 BPI/BPR의 여러 사례를 살펴보면 통상적으로 BPI/BPR은 ISP(Information Strategy Planning)와 동시에 진행되고 있으며, 실제 공공부문의 BPI/BPR에 있어서는 개선안의 도출과 문제의 해결은 문제의 확인에서부터 대안 탐색 및 평가, 해결책 선택, 실행으로 구분되는 일반적 문제해결의 과정과 유사한 순서로 진행된다[21-23].

4.3 공공 행정 서비스의 비즈니스 프로세스의 개선

앞서 언급한 것과 같이 국민의 입장에서는 대민 행정 서비스가 처리되는 방법과 과정에 대해서는 중요하지 않다. 단지 처리 결과 그 자체가 중요할 뿐이다. 그러나 지방정부의 관점에서 업무처리 과정을 살펴보면 차이점을 확연히 발견할 수 있다. 현재 국민이 행정 서비스를 접수할 수 있는 경로는 해당업무의 기관 또는 지방정부의 종합민원실을 통해서 접수할 수 있다. 그리고 국민권인위원회의 신문고를 통한 접수도 가능하다. 관련법에 따라 신문고를 통하여 접수된 사항은 해당 지자체로 이송되어 처리되고 처리결과를 신청인에게 통보하게 되어있다. 앞서 살펴본 Fig. 4와 Fig. 5를 통하여 파악되는 서비스 접수와 처리 프로세스를 살펴보면 접수단계만 다를 뿐 처리과정은 동일하다. 즉, 처리하는 담당자 관점에서는 동일한 유형의 행정 서비스가 접수되는 경로에 따라서 행정정보시스템만 활용할 수 있으며, 신문고 행정정보시스템과 병행하여 할용 해야 하는 상황이 발생하게 된다. 이는 동일한 처리 결과를 두 개의 시스템에 중복 입력 처리하는 불편함이 존재한다는 것이다. 이러한 불편함은 행정 서비스 처리에 관련된 필수적인 업무와 처리 결과를 관련 행정기관에 통보하는 부수적인 프로세스가 존재하고 이에 따른 업무개선의 여지는 필요한 사항이다. 또한 현재의 시스템은 접수된 행정 서비스에 대해여 처리 과정 상태를 실시간으로 확인할 수 있는 방법이 없다. 만약 국민이 행정 서비스 처리에 대한 단계와 향후 일정이 궁금하다면 개별적으로 해당 기관에 문의를 해야만 확인할 수 있는 상황이다.

이와 같은 신청인에 대한 불편을 해소하기 위하여 정보통신기술을 활용하고, 부분적인 업무 프로세스의 개선만으로도 신청인의 만족도를 획기적으로 높일 수 있다. 아래 Fig. 6은 복합 공공 행정 서비스 업무 시스템 프로세스의 전체 체계도로서 접수와 분배를 통합하여 운용한다면 앞서 제기된 이중적인 비즈니스 프로세스에 따른 비효율을 제거할 수 있을 것이다.

Fig. 6.Improved Business Mega Process of New Civil Affair and Suggestion.

행정 서비스를 요구하는 국민이 직접 인터넷을 활용하여 신문고나 지자체로 접수하거나, SNS를 활용한 접수, 콜센터를 통한 전화 접수, 종합민원실에 방문하여 상담 시 해당 공무원이 신청인을 대신하여 입력하게 되는 자료 등과 같이 각종 행정 서비스의 접수와 해당 부서 배분의 처리단계 그리고 처리결과의 답변과 처리 결과를 모니터링 하는 피드백과 활용의 단계를 보여준다.

접수된 행정 서비스는 접수 및 배분처리 프로세스를 통하여 해당 담당자에게 분배되고 담당자는 일상적인 업무인 행정정보 시스템에서 처리과정과 결과를 입력하면 된다. 이렇게 입력된 정보는 통합된 데이터베이스 시스템을 통하여 전체적인 행정 서비스의 처리 상황을 확인할 수 있으며 처리 단계별로 신청인에게 실시간적으로 통보가 가능하게 된다. 각종 행정 서비스의 접수 처리 개선 후 아래의 프로세스와 같이 복합 공공 행정 서비스와 관련하여 통합 정보시스템과 연계된 종합적인 데이터베이스 시스템의 구축을 가정하고, 복합 공공 행정 서비스 접수 프로세스를 통합적인 접수와 해당부서 배분이라는 과정만 일부 개선하게 된다면 복합 공공 행정 서비스 업무의 수요자와 공급자 모두에게 처리과정을 공개할 수 있게 되며, 나아가 정부3.0의 취지 맞는 복합 공공 행정 서비스를 제공할 수 있게 될 것이다.

제시된 모델은 현재 운영 중인 행정정보시스템은 기존 방식으로 운영하면서 통합 데이터베이스 시스템을 설치 및 운용을 위한 게이트웨이 시스템이다. 이 시스템은 복합 공공 행정 서비스 접수, 처리, 종결 결과를 저장하고 필요 시 개별 시스템으로 연동할 수 있도록 설계되었다. 나아가 통합 데이터베이스를 활용하여 각종 공공 행정 서비스에 대한 일관성 있는 통계자료 수집이 가능해 진다. 단순 통계보고를 위한 수작업 처리에 따르는 시간과 인력 투입에 따른 비용을 절감하고, 접수와 처리에 따른 각종 통계자료를 추출하기 위한 추가적인 업무를 생략할 수 있다. 향후 통합 데이터베이스 시스템에 저장된 빅 데이터를 활용하여 발생 가능한 복합 공공 행정 서비스에 대한 사전 예측과 관리가 가능해 질 것이며, 각 지방정부의 경영자는 복합 공공 행정 서비스에 대한 관리를 실시간적으로 할 수 있게 될 것으로 예상할 수 있다.

 

5. 결 론

과거부터 현재까지 중앙 정부와 각 지방정부들은 정보통신기술을 활용하여 행정전산화의 일원으로 각종 공공 행정 서비스와 관련된 업무 처리에 대하여 신속성, 편리성, 공정성 등을 향상시키기 위해서 끊임없이 노력해왔다. 하루가 다르게 발전하는 최신의 정보통신기술을 적용하여 관련 업무를 처리하고 있지만, 근시안적인 정보시스템 구현으로 해당 업무의 중복처리가 많고 단위 업무별 개별 운용으로 인하여 관련 업무 간 상호 연계되지 않는 독립적인 시스템으로 운영되고 있는 것이 현실이다. 진정한 공공 행정 서비스의 통합 처리는 행정 서비스 전체 프로세스를 다시 분석하여 중복되는 업무는 과감하게 통합하고 전자화하여 단위 시스템 간 상호 연동되고, 공유될 수 있도록 하여야한다. 즉, 진정한 통합 행정정보시스템의 완성을 위해서는 대민 행정 서비스 업무프로세스를 재분석, 설계 후 통합적인 관점에서 전산화된 행정 서비스 정보의 공유체계를 완비하여 대민 행정의 고도화 기반을 구축할 수 있도록 해야 한다. 그러나 현실적으로 전체적인 전자정부 시스템을 재구축하는 것은 불가능하다. 따라서 본 연구는 앞서 살펴 본 문제점을 통하여 부분적인 개선 요인들을 분석하고, 통합에 따른 필요성과 분산되고 단절되어 있는 대민 행정 서비스를 통합할 수 있는 모델을 제시하였으며 각종 공공 행정 서비스 관련된 통합 데이터베이스 시스템 구축을 통하여 해당 업무의 신뢰도와 업무 생산성을 향상 시킬 수 있는 모델을 제시하였다.

기존의 연구들은 개별적인 통합 모델을 제시하였지만, 본 연구에서는 각종 공공 행정 서비스와 관련하여 신청인이 어떠한 경로를 통하여 접수를 하더라도 접수를 담당하는 업무를 일원화하였으며, 개별로 운영되는 행정정보시스템들을 데이터베이스 측면에서 통합하여 운용시스템과는 별도로 민원과 제안 처리의 상태 및 자료를 관리하여 필요 시 내부 업무 시스템과 연동할 수 있도록 시스템 구조를 설계하였다. 즉, 담당자가 일상적인 업무처리를 진행하면서 행정 서비스와 관련된 업무도 처리할 수 있는 구조로 설계를 하고자 하였다. 통합 모델의 핵심 요소를 간략하게 정리하면 다음과 같다.

첫째, 소비자인 국민의 관점에서 신청과 접수이며, 둘째, 접수된 행정 서비스의 효과적인 분배와 처리이며, 셋째, 접수된 행정 서비스를 통합 데이터베이스 시스템을 통한 관리 및 모니터링, 넷째, 처리된 행정 서비스의 데이터베이스를 통한 자료 구축으로 행정 서비스와 관련된 지식정보화이다.

본 연구에서 제시된 개념적 모델이 지금까지의 연구와는 다른 관점에서 제시되는 진보적인 모델임에도 불구하고 몇 가지 제약사항은 여전히 존재하고 있다. 무엇보다도 전자정부의 민원24, 국민신문고, 시도행정정보시스템, 시군구행정정보시스템, 행정공간정보시스템 등 여러 사이트들과 연동부분으로 민원과 관련된 행정 처리의 진행 상태 또는 처리 결과가 효과적으로 연동되지 않고 있다. 향후 본 연구의 발전적 과제로 각종 경로로 접수되는 공공 행정 서비스 중 즉결 처리가 가능한 서식기반의 서비스를 콜센터 상담단계 또는 인터넷 홈페이지를 통하여 처리 할 수 있는 실질적인 시스템을 구축하여 운용한다면, 한층 더 발전된 형태로 대민 행정 서비스를 제공할 수 있을 것이다.

References

  1. H.J. Song and T. Jo, “Electronic Government of Korea-Achievements and Challenges,” Journal of Informatization Policy Journal, Vol. 14, No. 4, pp. 20-37, 2007.
  2. T.E. Kim, M.S. An, and Y.H. Choi, “An Analysis of the Effect of e-Government on Corruption: Evidence through a Cross-Sectional and Panel Data Analysis,” Korean Public Administration Review, Vol. 42, No. 1, pp. 293-321, 2008.
  3. H.S. Cho, Trends and Limitation of e-Governance Research, Research Report of Information Policy, Vol. 13, No. 2, pp. 189-205, 2006.
  4. C.S. Jung, “A Case Study on the Business Process Innovation of Civil Petitions Windows through Sharing Public Information: Focus on Policy Suggestion for Business Process Improvement,” Entrue Journal of Information Technology, Vol. 7, No. 1, pp. 63- 77, 2008. https://doi.org/10.3923/itj.2008.63.69
  5. Seoul Metropolitan Government, Press Release on Seoul Responses Call Center Operations, 2014.
  6. Korea Local Information Research & Development Institute, White Paper on Local Informatization, 2014.
  7. UNPACS Global Survey, https://publicadministration.un.org/egovkb/en-us/Global-Survey (accessed Mar. 1, 2016).
  8. J.H. Park, “Status and Improvement Plan of Civil and Administrative Services of the Central Administrative Agencies,” Proceedings of the Summer Conference of Korea Society of Public Administration, pp. 553-568, 2000.
  9. H.D. Oh, A Study on Development of the Defense Civil Petition Administration, Master's Thesis of Yonsei University Graduate School of Public Administration, 2005.
  10. The Korea Ministry of Interior, White Paper on Interior Policy, 2014.
  11. H.J. Johansson, P. McHugh, A. J. Pendlebury, and W.A. Wheeler, Business Process Reengineering: Breakpoint Strategies for Market Dominance. John Willey & Sons Ltd, West Sussex, England, 1993.
  12. M. Zairi, “Business Process Management: A Boundaryless Approach to Modern Competitiveness,“ Business Process Management Journal, Vol. 3, No. 1, pp. 64-80, 1997. https://doi.org/10.1108/14637159710161585
  13. General Accounting Office, Reengineering Organizations: Results of a GAO Symposium. Report to Congressional Requesters, GAO/NSIAD, United States General Accounting Office, 1994.
  14. H.J. Harrington, Business Process Improvement: The Breakthrough Strategy for Total Quality, Productivity, and Competitiveness, McGraw-Hill Inc, New York, 1991.
  15. Y.H. Park, Principles of Public Administration, Bakyoungsa, Seoul, 2001.
  16. Korea Local Information Research and Development Institute, A Study on the Improvement Plan of Informative Organization and Human Resources Management for Self-Governing Body, 2009.
  17. H. Thomas, Process Innovation: Reengineering Work through Information Technology, Harvard Business School Press, Boston, Massachusetts, 1993.
  18. J.E. Fountain, Building the Virtual State: Information Technology and Institutional Change, Brookings Institution Press, Washington, 2001.
  19. M. Hammer, The Process Enterprise: An Executive Perspective, Hammer & Company, Cambridge, Massachusetts, 2001.
  20. M. Hammer & J. Champy, Reengineering the Corporation: A Manifesto for Business Revolution, Harper Collins, New York, 2001.
  21. E. Turban, E. McLean, and J. Wetherbe, Information Technology for Management Improving Quality and Productivity, John Wiley & Sons, Hoboken, New Jersey, 1995.
  22. S.J. Seneviratne & Information Technology and Organizational Change in the Public Sector, In D.G. Garson (Ed.), Information Technology and Computer Applications in Public Administration: Issues and Trends, Idea Group Publishing, Hershey, Pennsylvania, 1999.
  23. S. Weon and K.H. Rhee, “Security Model for Intranet Environment,” Journal of Korea Multimedia Society, Vol. 2, No. 2, pp. 166-175, 1999.

Cited by

  1. 인공지능 기반 대화형 공공 행정 챗봇 서비스에 관한 연구 vol.20, pp.8, 2017, https://doi.org/10.9717/kmms.2017.20.8.1347