Proposal for the Hourglass-based Public Adoption-Linked National R&D Project Performance Evaluation Framework

Hourglass 기반 공공도입연계형 국가연구개발사업 성과평가 프레임워크 제안: 빅데이터 기반 인공지능 도시계획 기술개발 사업 사례를 바탕으로

Abstract

The purpose of this study is to propose a scientific performance evaluation framework for measuring and managing the overall outcome of complex types of projects that are linked to public demand-based commercialization, such as information system projects and public procurement, in integrated national R&D projects. In the case of integrated national R&D projects that involve multiple research institutes to form a single final product, and in the case of demand-based demonstration and commercialization of the project results, the existing evaluation system that evaluates performance based on the short-term outputs of the detailed tasks comprising the R&D project has limitations in evaluating the mid- and long-term effects and practicality of the integrated research products. (Moreover, as the paradigm of national R&D projects is changing to a mission-oriented one that emphasizes efficiency, there is a need to change the performance evaluation of national R&D projects to focus on the effectiveness and practicality of the results.) In this study, we propose a performance evaluation framework from a structural perspective to evaluate the completeness of each national R&D project from a practical perspective, such as its effectiveness, beyond simple short-term output, by utilizing the Hourglass model. In particular, it presents an integrated performance evaluation framework that links the top-down and bottom-up approaches leading to Tool-System-Service-Effect according to the structure of R&D projects. By applying the proposed detailed evaluation indicators and performance evaluation frame to actual national R&D projects, the validity of the indicators and the effectiveness of the proposed performance evaluation frame were verified, and these results are expected to provide academic, policy, and industrial implications for the performance evaluation system of national R&D projects that emphasize efficiency in the future.

본 연구의 목표는 통합형 국가연구개발 사업에서 정보화사업, 공공조달 등 공공수요 기반의 상용화로 연계되는 복잡한 형태의 사업성과를 측정하고 관리하기 위한 과학적이고 효율적인 성과평가 프레임워크를 제안하는데 있다. 다수의 연구기관이 참여하여 하나의 최종성과물을 이루는 통합형 국가연구개발사업과 사업의 결과물이 수요기반의 실증 및 상용화까지 이루어지는 사업의 경우, 연구개발사업을 구성하는 세부과제의 단기적 산출물을 바탕으로 성과를 평가하는 기존의 평가체계로는 통합적 연구성과물에 대한 중장기적 효과와 실용성을 평가하기에는 한계가 있다. 더욱이 국가연구개발사업의 패러다임이 효율성을 중시하는 임무중심으로 변화함에 따라, 국가연구개발과제의 성과평가도 결과의 효과와 실용성을 중심으로 변화해야 할 필요성이 제기되고 있다. 본 연구에서는 Hourglass 모델을 활용하여 각 국가연구개발과제의 성과가 단순한 단기적 산출을 넘어, 실제 그 효과성 등 실용적 관점에서 완성도를 평가하기 위한 구조적 관점의 성과평가 프레임을 제시한다. 이는 연구개발과제의 구조에 따라 Tool-System-Service-Effect로 이어지는 하향식(Top-down) 및 상향식(Bottom-up) 접근을 연계한 통합적 프레임이라 할 수 있다. 제시된 세부 평가지표와 성과평가 프레임을 실제 국가연구개발사업에 적용함으로써 지표의 타당성과 제안된 성과평가 프레임의 효용성을 검증하였으며, 이러한 결과는 향후 효율성을 강조하는 국가연구개발사업의 성과평가 체계에 대한 학술적, 정책적, 산업적 시사점을 제시할 것으로 기대된다.

1. 서론

수요기반의 공공기술 개발에서 국가연구개발 사업은 기초기술 개발 단계를 넘어 실증으로 이어지는 매우 복잡한 사업 프로세스를 가진다. 특히 다수의 연구기관이 참여하는 통합형 과제나 정보시스템이 실증되어 수요기관 실증까지 이어지는 경우, 복잡한 사업구조를 갖게 되는데 그에 대한 구조 파악 및 성과 평가를 위한 체계는 매우 미흡한 상황이다[1].

이에 본 연구는 수요기반의 공공기술개발 유형의 통합형 국가연구개발 과제를 중심으로 전체 사업을 평가하고 관리할 수 있는 체계적인 성과평가 프레임을 적용해보고자 한다. 적용 대상은 국토교통부의 ‘빅데이터 기반 인공 지능 도시계획 기술개발’ 사업으로, 각 연구개발 기관과 최종 실증을 체계적으로 연계하는 성과평가 프레임워크를 적용하는 Hourglass 모델을 적용하였다.

먼저, 다양한 연구 성과물이 통합된 실제 지능정보시스템의 실제 수요기관 목적 달성 여부를 평가하는 하향식(Top-down) 접근으로 ‘공통지표’를 구성하여, Service지표와 Effect지표를 구분하여 통합된 정보시스템의 평가와 수요기관의 도입효과를 측정하는 형태를 갖는다. 특히, 공통지표에서는 전자정부 성과관리 지침을 참고하여 최종성과물이 수요기관 연계시 공공기관 정보화 지침에 적합한지 여부를 판단할 수 있는 지표를 개발하고, 제3기관의 SW품질 평가지표를 연계하였다.

이어서, 각 연구기관의 개별 성과를 측정하는 상향식(Bottom-up) 접근인 ‘특성화지표’는 각 연구기관의 자체 성과인 Tool지표와 상위 구성기술을 평가하는 System지표로 구성한다. 특성화지표에서는 기존에 국가연구개발 성과관리 가이드의 특허, 논문과 같은 정량적 지표의 한계를 보완하고자, 최종성과물의 성공적 완성을 위해 각 기관별 핵심지표를 선정하고 질적 평가 관점의 지표를 제시한다.

Hourglass 모델을 활용해 수요기반의 공공기술 개발 통합형 국가연구개발 과제를 종합적으로 평가하는 체계를 수립하고 이를 실증 사업에 적용하는 점은 본 연구의 정책적, 학술적 의의라고 볼 수 있다. 또한, 최종성과물(정보화시스템)을 수요기관에 맞게 적용하기 위해 전자 정부 성과관리 가이드 내용을 고려하고 제3기관의 SW품질 평가 요소를 도입하였다는 점에서 기존 연구와의 차별성을 갖는다. 또한 도시계획 분야에서 과학적 도시계획 지원체계의 필요성은 점차 증가하고 있고[2], 빅데이터 및 인공지능 기술을 접목한 계획기술을 개발하는 국가연구개발사업은 새로운 국가적 시도이다. 이를 위한 본 연구의 성과관리 모델 및 평가지표는 사업의 성공가능성과 확산에 기여할 것으로 기대한다.

2. 관련 연구

2.1 국가연구개발사업 표준성과지표

국가연구개발(R&D)사업은 사회가 복잡해지고 다양화되면서 경제성장을 넘어 국민 삶의 질 개선, 사회문제 해결, 공공프로세스 개선 등에 대응하는 수단 중 하나가 되었다. 이를 반영하듯 국가연구개발 사업에서 공공기술 개발 유형은 2016년 27%에서 2020년 50% 까지 증가하였다[3]. 나아가 국가연구개발 추진방식 역시 단일 과제로 구성된 ‘일반형’ 체계의 과제보다, 총괄 주관기관 아래 각 세부과제의 기술개발결과가 상호연계 및 시스템적으로 통합되는 ‘통합형’ 방식이나, 세부과제별 독립적인 연구 성과를 창출하는 ‘병렬형’ 방식 등으로 체계가 발전되고 있다.

또한 국가연구개발사업에 대한 성과관리는 중장기 비전 또는 전략의 능률적·효과적 달성을 위해 세부 사업들의 수행 정도와 전체 사업과 정책의 추진 상황을 체계적으로 관리하고 환류되는 과정이다. 특히 정부와 공공부문은 정책 산출물의 시장(Output Market)이 없거나 제한되고, 독점적 공급자인 경우가 대부분이기 때문에 성과관리와 성과평가가 중요하다. 이와 관련하여 국가연구개발사업에 대한 성과평가에 활용되는 「국가연구개발사업 표준성과지표」는 달성하고자 하는 구체적 목표의 달성도를 객관적으로 측정할 수 있는 표준화된 성과지표의 틀을 제공한다. 또한 본 표준성과지표는 빅데이터와 인공지능 기술을 접목하는 연구개발사업의 성과평가에도 활용이 가능하다.

더불어 국가연구개발사업의 객관적이고 상대적인 성과평가를 위해서는 객관적으로 측정할 수 있는 표준화된 정량적인 성과지표의 구성이 필수적이며, 일반적으로 성과지표는 기술혁신 활동 과정에 따라 산출(Output), 결과(Outcome), 영향(Impact)의 형태로 나타난다. 산출은 특정 과정에 대한 직접적인 결과물로, 정량적으로 측정이 가능하며 서비스나 생산물 등을 포함한다. 결과는 과정에 따른 변화의 개념으로, 단·중·장기로 구분하여 측정된다. 영향은 장기적인 결과 이후에 나타나는 다양한 경제적·사회적 변화를 총칭하며 일반적으로 특정 사업에 대한 평가보다는 추적평가의 대상으로 활용된다. 따라서 특정 사업에 대한 직접적인 성과지표는 주로 산출과 결과로 구성되는 경우가 많다[4].

한편, 국가연구개발사업에서 공공혁신을 위한 수요연계형 국가연구개발 사업의 비중이 근래에 증가하고 있고, 이들 중 그림 1처럼 R&D사업 성과가 지능정보화사업으로 연계되는 경우 또한 증가하였다[5]. 일례로 지방도시와 연계한 대규모 스마트시티 사업의 경우, 다수의 연구 기관이 참여하여 수요기관에 맞는 스마트시티 플랫폼과 솔루션과 같은 세부기술을 연구하는 사업으로 수요가 연계되는 지능정보사업형 국가연구개발의 형태이다.

(그림 1) R&D 사업과 정보화 사업 간 연계체계 모델 [KISTEP, 2023 인용)[5]

(Figure 1) Linked system model between R&D and informatization projects (KISTEP, 2023)

이처럼 국가연구개발사업의 형태가 다양화되어 왔음에도 불구하고, 복잡한 형태의 연구개발사업 성과를 통합적으로 평가하고 관리하는 성과관리제도는 여전히 미흡한 상황이다.

2.2 전자정부 성과관리 지침

공공부문 정보화사업 규모가 지속적으로 증대되는 가운데, 정부에서는 정보화사업 전반에 관한 적절성과 효율성을 검토하기 위해 「전자정부법」 제67조, 제68조 및 동법 시행령 제82조, 제83조, 제84조 및 제86조에 따라 범정부 차원의 전자정부 성과관리체계를 수립하여 시행하고 있다. 행정안전부의 전자정부 성과관리는 사전협의, 정보화사업, 정보시스템, 모바일 서비스앱 성과관리로 나누어지며, 각각의 목적은 일부 상이하나 궁극적으로 정부의 정보화 추진 및 성과관리 활동이 비전 및 목표 달성에 최적화될 수 있도록 지원, 정보화 정책 수립의 기초자료로 참조하고 정보화 성과관리 모범사례 발굴에 활용되며, 정부 정보화사업에 대한 효율성을 제고하고 상호연계, 공동이용 및 중복여부 등을 검토하고 조정하는 업무를 포괄한다. 정보시스템의 경우 개발 및 구축이 완료되어 서비스 운영이 개시된 시점으로부터 3년이 경과한 정보시스템을 대상으로 하며 시스템의 지속적 운영 가치를 판단하기 위해 그림 2와 같이 성과측정 결과에 따라 유지관리유형을 결정하고 업무 및 비용 측면의 성과를 높이는 것을 목적으로 한다[6]. 따라서 국가연구개발 과제를 통해 수요기관이 이관 연계 받게 되는 운영시에는 정보시스템도 전자정부 성과관리 지침에 따라서 관리되어야 함에 따라, 국가연구개발 사업 진행시 수요기관 운영을 고려한 전자정부 성과관리의 사전검토가 필요하다.

(그림 2) 정보시스템 운영 성과측정 모델 개요 (행정안전부, 2018 인용)[6]

(Figure 2) Performance measurement model for information system management (Ministry of Public Administration and Security, 2018)

3. Hourglass 모델 기반의 성과관리 체계 제안

3.1 Hourglass 모델 성과관리 체계 구축

전술한 바와 같이, 최종 연구성과물이 기초 기술개발에서 머물지 않고 수요기관으로 이어지는 실증 형태의 국가연구개발사업이 증가하고 있다. 또한, 다수의 연구기관이 참여하는 통합형·병렬형 연구개발 결과가 수요기관에 정보화시스템으로 연계되는 등 사업 구조도 다양하다.

본 연구는 다수의 연구기관이 참여하는 통합형 국가연구개발 사업 특성과 지능정보화사업과 연계되는 특성을 가진 사업을 종합적으로 관리하고 평가하기 위한 Hourglass 모델을 성과관리 도구로 제안한다. Hourglass 모델은 국토교통과학기술진흥원의 ‘스마트시티 프로젝트 관리·평가모델 개발 및 협력프로그램 발굴 연구’에서 스마트시티 프로젝트의 효율적 관리를 위해 상향식(Bottom-up)과 하향식(Top-down)으로 제안된 바 있다[7][8]. 이 모델은 모래시계와 같이 위-아래 모양이 깔때기 형태로 서로 수렴하는 형태로서, 각 연구기관이 추진하는 개별 연구개발 프로젝트의 목표와 전체 국가연구개발 사업의 목표를 연결하는데 유용한 사업성과 관리 도구로 활용될 수 있음을 보여주었다. 특히, 스마트시티 연구개발 사업과 같이 다수의 세부 구성기술과 연구진들이 구성되어 있고, 연구성과물이 국가나 부처의 정책목표와 연계되어 있는 경우 매우 유용하게 활용될 수 있다.

따라서, 본 연구진은 국토부 연구개발과정에서 제시된 Hourglass 모델[8]을 활용 및 개선하여 연구의 대상으로 삼은 ‘빅데이터 기반 인공지능 도시계획 기술개발’ 사업의 전체적인 성과관리 프레임워크를 그림3과 같이 구성하였다.

(그림 3) 국가연구개발 성과관리를 위한 Hourglass 모델 (연구진 작성)

(Figure 3) Hourglass model for national R&D programs performance management (figure produced by authors)

3.1.1 상향식(Bottom-up) 성과관리 접근방법

상향식 접근의 성과관리는 Tool지표와 System지표로 구성된다. 이들 두 지표 체계 모두 연구기관별로 그 특성을 반영되므로 ‘특성화 지표’로 정의한다. 특성화지표는 연구기관이나 구성기술이 전체 연구개발 성과목표에 어떻게 연계되는지 파악하고 이해하는데 도움을 준다.

먼저, Tool지표는 각 연구기관이 추진하는 연구개발 내용을 바탕으로 달성해야할 세부기술 개발의 연구목표로 정의한다. 구성기술별로 구성된 다수의 연구기관별이 달성 가능한 목표(정량/정성)를 설정함으로써 단순 정량적 성과달성 뿐만 아니라 개별 성과부분에 대한 질적 평가를 함께 시행한다.

System지표는 개별 연구단이 포함되어 있는 각 구성기술 단위별 연구개발 내용을 바탕으로 달성해야할 성과관리 목표이다. 각 구성기술이 하나의 연구 성과물 창출로 달성해야하는 목표(정량/정성)를 설정하는 것으로 Tool지표가 연구기관별 지표였다면, System지표는 연구기관의 성과물의 취합되는 상위 구성기술을 평가한다.

3.1.2 하향식(Top-down) 성과관리 접근방법

하향식 접근의 성과관리는 Service지표와 Effect지표로 구성된다. 하향식 접근에서는 연구개발 사업의 종합적 성과관리와 지표 및 목표를 제시할 수 있기 때문에 ‘공통 지표’로 정의한다. 개별 연구기관이나 구성기술이 아닌, 전체 사업의 성과를 측정하고 평가하는데 사용된다.

Service지표는 전체 연구단의 구성기술들의 하나의 최종성과물로서 실증 단계에 이르러 서비스화 되는 것이다. 특히 연구개발 사업이 지능정보화 사업으로 이관·연계되면서 본격적인 실증이 이루어지고, 연구개발 사업이 전체 연구단의 성과가 하나의 정보시스템, 서비스 형태로 최종성과물에 대한 검증이 이루어져야 한다. Effect지표는 연구단의 연구성과물에 대한 실증을 바탕으로 실증 도시 레벨의 연차별 점진적 운영 성과 및 업무효과 등을 측정하는 것이다. 주로, 정보시스템의 도입에 따른 실증 도시에 실제적인 효과가 얼마나 발생하는지 측정한다.

4. Hourglass 모델 기반 성과관리 체계 적용

4.1 빅데이터 기반 인공지능 도시계획 기술 개발 사업

본 연구는 국토교통부 ‘빅데이터 기반 인공지능 도시계획 기술 개발’ 사업(2022~2026년, 2단계 5차년)의 전반적인 성과관리 체계로서 Hourglass 모델을 제안 및 적용하였다. 본 사업은 미래 사회변화에 대응하기 위해 빅데이터 기반의 과학적이고 객관적인 인공지능 도시계획 기술을 개발하는 목적으로 추진되고 있으며 복잡하게 구성된 세부 구성 기술이 하나의 정보시스템으로 도출되는 과정의 성공적인 사업추진을 위한 종합적인 성과관리 모형을 필요로 한다.

최근에 이르러 빅데이터 분석 및 인공지능 기술의 급격한 발전은 도시계획 수립 환경에도 영향을 미치기 시작했다. 다량의 정보에 입각한 미래 예측 및 의사결정이 가능해졌고, 인공지능을 통한 도시 데이터의 수집·분석·관리 전반을 자동화 방법론이 지속적으로 개발되고 있다[9]. 이 과정에서 도시계획가는 인공지능과의 협업을 통해 도시계획의 비전·목표를 설정하고, 인공지능의 결과물을 검증 및 평가하고 합리적인 의사결정을 내리는 것으로 역할이 변화되고 있다[10]. 이러한 흐름에 맞추어 도시 계획 연구 생태계 안에서도 증거 기반 도시계획 수립 체계[11], 데이터 기반의 도시계획 수립 체계 도입[12] 등의 필요성이 근래에 본격적으로 대두되었고, 그 일환으로 본 연구가 대상으로 삼은 ‘빅데이터 기반 인공지능 도시계획 기술개발’ R&D 사업이 추진되었다.

사업의 구조를 먼저 살펴보면, 구성기술1에서는 인공 지능 활용을 위한 빅데이터 기반의 도시 진단지표 확대를 위한 ‘진단전망체계’를 개발한다. 구성기술2에서는 도시계획 수립지원을 위한 빅데이터, AI알고리즘, 활용서비스 등이 탑재된 플랫폼을 개발하는 ‘계획지원체계’, 구성기술 3에서는 도시계획의 진단-계획-평가의 환류를 모니터링하고 혁신 프레임워크 개발을 통해 지자체에 시범적용하는 ‘모니터링 체계 및 실증’ 체계를 구성되어 있다.

구성기술1~3은 각각 6개, 6개, 9개의 연구기관별 기술성 과가 하나의 구성기술인 시스템성과를 이루고 있다. 각 연구 기관별 세부과제는 상위 구성기술이 작동하는 세부기술로서 작동한다. 구성기술1~3은 최종적으로 하나의 통합플랫폼 형태로서 정보시스템으로 이관운영되며, 각 구성기술은 정보 시스템의 모듈로 작동한다. 통합플랫폼은 최종적으로 실증 도시에 도입되어 실증을 통한 성능·효과를 검증하게 된다. 사업의 전체적인 구조를 단위별로 구분하면 표 1과 같다.

(표 1) 단위별 빅데이터·인공지능 기반 도시계획 기술 개발사 업 구조

(Table 1) Structure of Big data/AI-based Urban Planning Technology Development Project by performance unit

4.2 Hourglass 모델 기반 성과관리 체계 적용

빅데이터 기반 인공지능 도시계획 기술 개발 사업의 종합적 성과관리를 위해 표 2와 같이 Hourglass 모델을 적용하여 성과관리 체계를 적용하였다. 연구기관별 기술성과와 구성기술의 시스템성과를 측정하기 위한 상향식 ‘특성화지표’ 개발과 전체 연구개발 통합성과인 통합플랫폼과 실증성과 측정을 위해 하향식 ‘공통지표’ 개발이 연계되는 형태이다. 본 연구모형을 적용하기 위해서 연구진은 전문가 자문 회의 등을 거쳐 모델의 신뢰성을 강화하였다. 또한, 과제에 참여하고 있는 주관기관, 참여기관 등이 전반적인 성과관리 체계를 이해하고 주관기관 중심으로 공통지표 개발과 각 연구기관과 구성기술을 중심으로한 특성화지표를 개발 및 적용하였다.

(표 2) Hourglass 모델을 통한 사업 구조화

(Table 2) Project structuring through Hourglass model

4.2.1 특성화 지표 개발

특성화 지표 중 가장 하위의 Tool지표는 각 연구기관별 세부 기술요소를 평가하기 위한 지표로 활용된다. 구성기술1~3을 구성하고 있는 전체 21개의 세부기술별 연구기관들은 단계별/연차별(2단계/5차년) 개발 목표에 맞는 기술요소를 명확히 정의하고, 기술의 특성, 기능, 범위 등에 따라 자체 성과목표와 지표를 제시하였다. 성과지표는 단순 정량적 성과 보다는 기술의 효율성, 적용 가능성, 신뢰성 등의 질적평가 요소를 고려하는 방향으로 각 연구기관간 협의를 통해 대표지표를 선정하였다. 선정된 지표는 지표관리정의서를 통해 지표정의, 산출식, 성과목표, 측정가이드 등을 확정하였다. 예를 들어, 구성기술1은 ‘도시계획 진단전망체계’의 개발을 목표하고 있으며, 구성기술1-1의 연구기관은 도시계획 진단전망체계 개발을 위해 도시공간 빅데이터 수집·구축화 고도화의 세부기술을 연구한다. 구성기술1-1의 연구기관은 대표지표로서 ‘공공빅데이터 전처리 및 공간단위 데이터의 신뢰성’을 선정하고, 구성기술1이 작동하기 위한 핵심데이터의 신뢰성을 확보하는 성과목표와 지표를 개발하였다.

다음으로 각 세부기술 요소들이 결합하여 하나의 모듈이 되는 구성기술1~3의 대표성과를 관리하기 위한 System 지표를 개발하였다. System 지표는 구성기술 단위의 결과물의 우수성·혁신성, 차별성, 기술품질, 시스템 작동 효율성 등을 평가한다. 구성기술 성과는 각 구성기술에 참여하고 있는 연구기관 중 각 대표기관을 선정하여, 구성기술이 모듈로서 완성되었을 때, 목표하는 성과의 지표 선정을 요청하였다. System지표 개발의 기준 예시는 표 3과 같이 ‘기술성과’의 우수성, 혁신성/차별성, 기술품질을 평가하는 지표, ‘프로세스 성과’는 실용성, 경제성, ‘시스템 성과’는 DB품질 및 신뢰성, 시스템작동 효율성, 고객접근성 등으로 평가관점을 가이드로 제시하였다.

(표 3) System 지표 평가 관점

(Table 3) System indicator evaluation perspectives

구성기술1은 ‘도시계획 진단전망 체계’의 개발로서 도시계획 수립시 빅데이터를 활용하여 과학적인 도시계획 진단·전망을 위한 시스템 모듈을 제공하는 것이다. 구성 기술1은 성과목표로서 ‘빅데이터 기반 도시진단 기술(구성기술1) 개발을 통한 비용절감’을 목표를 수립하고 비용 절감에 대한 기여율을 성과지표로 선정하였다.

4.2.2 공통지표 개발

빅데이터 기반 인공지능 도시계획 기술 개발 사업은 구성기술1~3이 통합플랫폼 정보시스템에서 하나의 모듈로서 작동하여 최종적으로 통합 성과물로 창출된다. 따라서, 전체 연구개발사업에서 통합플랫폼 형태의 최종성과물 성과측정을 위한 Service지표를 정의하고 개발하였다. 통합플랫폼은 정보시스템 형태로서 실증도시에 이관·운영을 목표로 하고 있어 행안부 전자정부 성과관리 기준 등을 참고하여 기술성을 평가할 수 있는 항목으로 구성하였다.

공통지표의 목록은 표 4에 보이는 바와 같이, 전자정부 성과관리 기준에 따른 기술성 평가로 플랫폼의 기본적인 구동 구축과 타 시스템 플랫폼 등과의 DB연계를 평가하는 안정성, 호환성 등이 구성되었다. 또한, 통합플랫폼이 정보시스템으로서 외부의 전문적 평가를 통한 GS 시험인증 등을 위해 제3기관에 의뢰할 SW품질평가 의뢰 지표도 별도로 설정하였다. 한편, 통합플랫폼이 실증도시에 적용되어 나타나는 실증효과를 측정하기 위한 Effect 지표로서 사용성, 업무기여성 등의 평가항목으로 지표를 개발하였다. 사용성은 사용자의 서비스 활용정도와 만족도 등을 평가하여 서비스의 ‘활용성’과 ‘편의성’을 평가하는 대표지표 3개를 선정하였다. 또한 업무기여성은 실제 플랫폼 사용에 따라 업무처리의 효율성의 증대를 평가하는 ‘처리효율성’, 플랫폼 사용에 따른 문서관리 효율성을 보기 위한 ‘관리효율성’ 평가관점에 따라서 총 5개의 지표로 구성하였다. 이렇게 설정된 공통지표들은 통합플랫폼의 성과측정과 실증효과를 검증하는 주요지표로서 전체연구개발단과 주관기관이 효율적으로 관리할 수 있는 성과관리 운영 계획 및 프로세스와 체계로 이어진다.

(표 4) 공통지표 목록(예시)

(Table 4) Example list of common indicators

5. 결론

과학기술정보통신부의 기존 국가연구개발 사업 표준성과지표(5차) 가이드에서는 공공수요 연계와 통합형 국가연구개발 사업 체계와 지능정보화사업이 연계되는 사업의 성과관리 체계가 제시가 미흡했다. 따라서, 본 연구는 최근 증가하고 있는 공공수요 기반의 융합 지향형 국가연구개발 사업과 지능화정보화사업 실증의 종합적 성과관리를 위한 Hourglass 모델을 적용하여 기존의 단일 구성체계와 실증효과 검증에 미흡했던 국가연구개발 성과관리 모형의 한계점을 보완하고자 하였다.

프레임워크의 적용은 국토교통부에서 추진 중인 ‘빅데이터 기반 인공지능 도시계획 기술개발' 사업을 대상으로 한다. 본 연구가 제시한 성과평가 프레임워크는 Hourglass 모델을 기반으로 그림 4와 같이 다양한 연구기관이 참여하여 세부 기술요소와, 하나의 통합된 시스템 형태의 성과물(통합플랫폼)을 창출하고 실증효과를 검증·평가할 수 있는 구조이다. 이를 통해 각 연구개발 기관과 세부기술요소들이 합쳐지는 구성기술 간의 연계성을 강화하고, 지능정보화 사업으로 이어지는 통합형 국가 연구개발 사업을 체계적으로 관리하고 평가하는데 유용한 툴이 될 수 있음을 제시하였다.

(그림 4) Hourglass 모델을 적용한 성과관리 체계 (연구진 작성)

(Figure 4) Hourglass model-applied performance management system (figure produced by authors)

Hourglass 모델은 특성화지표와 공통지표가 연계된 효과적인 성과 관리 구조를 제공한다. 각 연구기관이나 구성기술의 특성에 맞춰진 특성화지표는 각 기관이나 기술이 전체 사업성과목표에 어떻게 기여하는지에 대한 세부적인 이해를 제공한다. 한편, 공통지표는 사업 전체의 성공을 평가하는 수단을 제공한다. 개별 연구기관이나 기술에 국한되지 않고 사업의 전반적인 성과를 측정함으로써, 프로젝트 결과에 대한 거시적 시각을 제공하는 역할을 한다.

이러한 지표들은 미시적 수준에서의 진행 상황과 전체적인 결과를 모니터링하는 중요한 도구로 작용할 수 있다. 개별 연구기관과 구성기술이 상향식으로 제시하는 ‘특성화 지표’와 최종 연구개발 성과물인 통합 플랫폼 및 실증 도시의 ‘공통지표’의 접점을 통해 성과관리가 단일 기술이나 모듈에 단편적으로 이루어지지 않고, 전체 연구개발 사업을 효율적으로 관리할 수 있는 모델을 제시하였다는 점에서 의의를 갖는다. 또한 Hourglass 모델이 특성화지표와 공통지표를 연결함으로써 융합을 지향하는 국가연구개발 사업의 종합적 성과관리에 효과적인 전략을 제시할 수 있음을 보여주었다. 그러나, Hourglass 모델이 전반적 성과관리 체계에서 잘 작동하기 위해서는 개별 기술요소를 이해하고, 세부기술요소 기관별 소통과 협업, 구성기술간의 소통과 협업 뿐만 아니라 전반적인 사업성과를 관리하는 주관기관의 역할도 매우 중요할 것이다. 그런 소통 및 협업체계가 전제되지 않는다면, 종합적 성과관리를 위한 단계적 유연성, 통합과정과 지표설정의 어려움 등 다양한 한계가 예상된다.

현재 국토교통부의 해당 사업이 2차년도(1단계)가 종료된 시점으로, 향후 연구에서는 3~5차년도 연구개발이 진행되는 과정에서 실제 사업의 진행에 따른 Hourglass 모델 기반의 성과측정과 관리를 진행하고자 한다. 이를 통해 융합을 지향하는 국가연구개발 사업이 단계·연차별 진행됨에 따라, 다양하고 복잡한 형태의 사업을 효율적으로 관리할 수 있는 유용한 툴로서 기능할 것을 기대한다.

감사의 글

본 연구는 국토교통부/국토교통과학기술진흥원의 지원으로 수행되었음(과제번호 RS-2022-00143404)