Selection Criteria of Target Systems for Quality Management of National Defense Data

국방데이터 품질관리를 위한 대상 체계 선정 기준

Abstract

In principle, data from all databases and systems managed by the Ministry of Defense or public institutions must be guaranteed to have a certain level of quality or higher, but since most information systems are built and operated, data quality management for all systems is realistically limited. Most defense data is not disclosed due to the nature of the work, and many systems are strategically developed or integrated and managed by the military depending on the need and importance of the work. In addition, many types of data that require data quality management are being accumulated and generated, such as sensor data generated from weapon systems, unstructured data, and artificial intelligence learning data. However, there is no data quality management guide for defense data and a guide for selecting quality control targets, and the selection criteria are ambiguous to select databases and systems for quality control of defense data according to the standards of the public data quality management manual. Depends on the person in charge. Therefore, this paper proposes criteria for selecting a target system for quality control of defense data, and describes the relationship between the proposed selection criteria and the selection criteria in the existing manual.

국방부 또는 공공기관에서 관리하는 모든 데이터베이스 및 시스템의 데이터는 일정 품질 이상 보장하는 것이 원칙이나 대부분 다수의 정보시스템을 구축·운영하기 때문에 현실적으로 모든 시스템에 대한 데이터 품질관리는 한계가 있다. 국방데이터는 업무의 특성상 공개되지 않는 데이터가 대부분이고 군에서 업무의 필요 및 중요도에 따라 전략적으로 개발되거나 통합되어 관리하는 시스템이 많다. 또한, 무기체계에서 발생하는 센서데이터, 비정형데이터, 인공지능 학습데이터 등 데이터 품질관리가 필요한 다양한 유형의 많은 데이터가 축척되고 생성되고 있다. 그러나, 국방데이터를 위한 데이터 품질관리 가이드 및 품질관리 대상 선정에 대한 가이드가 부재한 상황이고, 공공데이터 품질관리 매뉴얼의 기준에 따라 국방데이터의 품질관리 대상 데이터베이스 및 시스템을 선정하기에는 선정 기준이 모호하며 실무 담당자에 의존적이다. 따라서, 본 논문에서는 국방데이터의 품질관리를 위한 대상 체계 선정 기준에 대하여 제안하며, 제안한 선정기준들과 기존 매뉴얼의 선정기준과의 관계성에 대하여 기술한다.

1. 서론

국방부의 「국방혁신 4.0 기본계획」은 ‘국방개혁에 관한 법률’에 근거하여 작성한 국방기획체계 상의 기획 문서로 4차 산업혁명의 첨단과학기술을 군에 적용하여 인공지능 기반 핵심 첨단 전력확보 및 국방 인공지능 기반 구축 등을 추구한다[1]. 특히, 인공지능 기반 고성능 무기체계와 전력지원체계 개발 및 운용을 위하여 국방데이터 구축 로드맵에 따라 양질의 국방데이터를 선제적·체계적으로 구축·관리하기 위한 연구들이 진행되고 있다. 이러한 양질의 국방데이터를 생성 및 확보하기 위하여 무엇보다 국방데이터에 대한 품질관리가 중요하게 요구된다.

2018년부터 2023년까지 최근 5년 동안 육·해·공군에서 등록하여 운영 중인 응용시스템은 육군 약 400개 이상, 해군 약 200개, 공군 약 400개 정도 등이다. 각 시스템마다 개발시점은 상이하며 개발목적, 관리데이터, 관리기관, 개발에 소요된 예산 등 각각 다양하다. 이러한 응용시스템들은 군의 목적과 필요에 따라 개발되어 현재까지 운영 중이지만 각 군의 데이터 품질관리에 대한 명확한 지침이 존재하지 않는다. 즉, 어떠한 기준으로 어떠한 시스템 또는 데이터를 품질관리 대상으로 선정하거나 제외시켜야 하는지에 대한 가이드가 없다. 따라서, 몇 백개의 응용시스템이 군 내에서 운영 중이지만 현재까지 품질관리 측정 대상에서 제외되어 품질관리 수준 측정을 수행하지 않고 있다.

기관에서 관리하는 모든 데이터베이스 및 시스템의 데이터는 일정 품질 이상 보장하는 것이 원칙이다. 행정안전부는 공공데이터 품질 제고를 위하여「공공데이터 품질관리」 및 「공공데이터 품질관리 수준진단 평가」를 통해 부·처·기관 등에 대한 공공데이터 품질수준을 평가하고 이에 대한 각 기관별 품질관리 등급을 제시한다.

군이나 국방부는 대부분 다수의 정보시스템을 구축·운영하기 때문에 현실적으로 모든 시스템에 대한 데이터 품질관리를 하는 것은 비용적, 시간적, 인력적으로 한계가 있다. 특히, 국방데이터는 업무의 특성상 공개되지 않는 데이터가 대부분이고 군에서 업무의 필요 및 중요도에 따라 전략적으로 개발되거나 통합된 시스템이 많으며, 무기체계에서 발생하는 센서데이터, 비정형 데이터, 인공 지능 학습데이터 등 다양한 유형의 많은 데이터가 존재한다.

현재는 국방데이터에 대한 데이터 품질관리 가이드 및 품질관리 대상 체계 선정에 대한 가이드가 부재한 상황이라 공공데이터 품질관리」 및 「공공데이터 품질관리 수준진단 평가」 매뉴얼을 기반으로 대상을 선정할 수 있다 [2, 3]. 이를 통해, 행정 또는 시스템관리용 시스템을 품질관리 측정 대상에서 우선적으로 제외하여 대상 범위를 줄일 수 있다.

그러나, 공공데이터 품질관리 매뉴얼의 기준에 따라 국방데이터의 품질관리 대상 데이터베이스 및 시스템을 선정하기에는 국방의 환경이나 특수성을 반영하지 않은 일반적인 선정기준이며 그 기준 또한 대략적이며 모호하다. 양질의 국방데이터 구축·관리가 필요한 상황에서 지속적으로 증가하는 국방데이터와 신규 시스템들에 대한 국방부의 데이터 품질관리 대상 선정에 대한 기준 마련이 필요하다.

따라서, 본 논문에서는 국방데이터의 품질관리를 위한 대상 체계 선정 기준에 대하여 제안하고 제안한 선정기준들과 기존 품질관리 매뉴얼의 선정기준과의 관계성에 대하여 기술한다.

2. 데이터 품질관리 매뉴얼

2.1 공공데이터 품질관리 매뉴얼(2018)

데이터 품질관리(Data Quality Management)는 기관이나 조직 내·외부의 정보시스템 및 데이터베이스 사용자의 기대를 만족시키기 위해 지속적으로 수행하는 데이터 관리 개선 활동이다[4].

공공데이터 품질관리 매뉴얼은 범정부 관점에서 공공 기관이 품질관리 활용을 수행하는데 데이터의 구축부터 가공, 운영, 활용까지 데이터 생애주기를 고려하여 전 단계에 걸쳐 적용되는 데이터 품질관리 프로세스를 정의하고 각 단계별 산출물 및 품질관리 지표를 제시한다[2].

기관에서 관리하는 다수의 시스템과 데이터 전부 품질 수준·진단 평가하는 것은 한계가 있으므로, 공공데이터 품질관리 매뉴얼에서는 중점관리 대상을 선정한다. 중점 관리 대상 선정은 데이터 품질관리 계획 수립 단계에서 수행된다.

(그림 1) 중점 품질관리 대상 데이터베이스[2]

(Figure 1) Target Database for Key Quality Management[2]

공공데이터 품질관리 매뉴얼에서 제시하는 총 3가지의 중점 관리 대상 선정 기준은 다음과 같다.

⦁ 선정기준 1: 기관의 임무를 달성하거나 수행하는데 있어 핵심이 되는 또는 공통적으로 활용하는 데이터베이스를 식별하여 품질관리 대상으로 선정

⦁ 선정기준 2: 연계 및 활용관점에서 대국민 또는 유관기관에 공개되는 정보를 제공하는 데이터베이스를 식별하여 품질관리 대상으로 선정

⦁ 선정기준 3: 내·외부 사용자로부터 품질에 대한 이슈를 인지하거나, 데이터 품질개선에 대한 요청이 있는 데이터베이스를 식별하여 선정

그림 2와 같이, 단일 선정기준 및 2개 또는 3개의 복수 선정기준을 적용하여 중점 데이터베이스 선정이 가능하다.

(그림 2) 중점 품질관리 대상 선정 기준 적용[2]

(Figure 2) Example of Selection Criteria for Key Quality Management[2]

결론적으로 공공데이터 품질관리 매뉴얼의 중점 품질 관리 대상 선정 기준은 핵심 또는 공통 데이터베이스, 연계 및 공유 데이터베이스, 그리고 품질개선 이슈가 있는 데이터베이스라 할 수 있다. 이러한 일반적인 선정기준과 더불어 국방 분야의 특성을 반영한 대상 선정 기준 마련이 필요하다.

2.2 공공데이터 품질관리 수준진단 평가 매뉴얼(2022)

공공데이터 품질관리 수준·진단 평가 매뉴얼은 공공 기관이 공공데이터의 품질을 확보하기 위하여 생성·획득·관리하는 데이터를 기반으로 품질관리 활동을 평가하기 위한 수준·진단방법 및 평가지표를 나타낸다.

진단 대상기관은 약 687개 기관으로 중앙행정기관 45개, 광역자치단체 17개, 기초자치단체 226개, 공공기관 350개, 지방공기업 49개 등이다. 이 대상기관들은 2개 영역과 10개의 지표로 정량적으로 평가받는다. 2개 영역은 데이터 관리체계와 데이터 값 관리이다. 데이터 관리체계는 품질관리계획수립, 예방적 품질관리 진단, 데이터 표준 확산, 데이터 구조 안정화, 데이터 연계 관리 등을 하위지표로 가진다. 데이터 값 관리는 데이터 품질진단, 품질진단 결과 조치, 데이터 값 오류율, 오류신고 요구사항 분석 및 개선, 개방 데이터셋 오류 조치 등의 하위 지표가 있다.

진단·평가 대상 데이터베이스 선정 기준은 공공기관에서 행정업무 수행을 위하여 생성·취득·관리하는 모든 데이터베이스를 품질관리 대상으로 정한다. 단, 이관·폐기(예정) 시스템 또는 네트워크 관리, 인증관리, 백업관리 등 시스템관리용을 제외대상으로 식별한다.

각 기관은 고유업무, 지원업무 데이터베이스의 40% 이상을 품질진단·평가 대상으로 선정하고 업무유형 중 고유업무 데이터베이스가 진단 대상에 50% 이상, 표준 데이터베이스가 50% 이하가 되도록 선정한다. 진단·평가 대상 데이터베이스 수는 최소 8개(8개 이하인 경우 전체를 대상)에서 최대 30개까지 대상으로 선정 가능하며, 30개를 초과하여 대상 선정하여 진단·평가를 받을 경우 가점을 부여한다.

(표 1) 제외 가능한 시스템 예시[3]

(Table 1) Example of Excludable System[3]

공공기관의 공공데이터 품질관리를 위한 매뉴얼인 만큼 행정업무 수행에서 발생한 데이터들을 기준으로 하고 있어 국방데이터 특성 반영이 필요하며, 실무자가 중점 품질관리 데이터베이스를 선정해야하기 때문에 선정기준이 실무자에게 의존적이다. 또한, 기존 데이터 품질관리에 관한 연구들은 데이터 품질관리를 위한 모델 제안이나 진단 지표 등에 대한 연구들이 대부분[5-7]이며 품질 관리대상 선정에 대한 연구는 미비하다.

3. 국방데이터 중점 대상체계 선정 기준

국방데이터 품질관리를 위하여 공공데이터 품질관리 매뉴얼의 중점 관리 대상 선정기준 및 핵심 품질관리 대상 선정 방법의 평가 지표[8] 등을 고려하여 표 2와 같이 선정 기준을 정의하였다. 이를 기반으로, 국방데이터에 대한 품질관리 대상체계를 선정할 때 단일 선정기준으로 대상체계를 선정하거나 여러 기준으로 품질관리 대상체계를 선정할 수 있다.

(표 2) 품질관리 대상 선정기준

(Table 2) Target Selection Criteria for Quality Management

3.1 품질관리 대상 선정 기준

국방데이터의 품질관리를 위한 선정기준은 업무 영향도, 시스템 연계도, 데이터 축적도, 데이터 오류 심각도, 데이터 활용도, 신규 DB 등으로 구성된다. 각 선정 기준은 국방데이터의 품질관리 지표들에도 영향을 미친다.

3.1.1 업무 영향도

업무 영향도는 다수의 담당자/부대/시스템 등에서 참조하여 업무나 시스템 전반에 영향을 미치는 마스터 데이터 또는 테이블을 말한다. 국방데이터 및 시스템은 군의 작전 또는 무기체계에 밀접한 영향을 미친다. 따라서 업무 영향도는 데이터품질관리 대상선정에 있어서 중요한 선정 기준이다.

3.1.2 시스템 연계도

내·외부 연계되어 일관성을 유지해야 하는 데이터 또는 시스템은 시스템 연계도라는 선정 기준으로 품질관리 대상이 된다. 이미 구축되어 운영 중에 있는 ‘국방군수통합정보체계(DELLIS)’나 현재 국방부 및 각 군이 보유한 데이터를 수집하고 인공지능으로 분석할 수 있도록 개발중인 ‘국방지능형플랫폼’ 등이 그 예라 할 수 있다.

특히, 시스템 연계도는 여러 데이터가 연계되어 구축·운영되기 때문에 데이터의 정확성, 일관성, 유효성, 보안성, 유용성, 적시성 측면에서 중요하다.

3.1.3 데이터 축적도

운영 또는 활용 기간 등 시간을 중심으로 품질관리 대상 선정하는 것이 아니라 데이터를 중심으로 한 기준이 데이터 축적도이다. 데이터 축적도는 단순히 오래전부터 운영된 시스템이 아니라 장기간 데이터가 축적되어 데이터 양이 많거나 자주 변동되지 않고 활용되는 데이터들에 대하여 품질관리 대상으로 선정하는 것이 필요하다. 이러한 데이터들에 대한 전수조사를 통해 데이터 상황을 파악하고 품질관리 대상 선정 여부를 결정해야 한다.

3.1.4 데이터 오류 심각도

데이터 오류 심각도는 데이터 오류 등으로 인해 국방 업무나 작전, 임무 등에 심각한 손실을 미칠 수 있는 데이터를 말한다. 국방데이터는 평시든 전시든 성공적인 임무 수행을 목표로 하기 때문에 국방분야의 데이터 오류는 큰 문제를 야기시킨다. 오류 심각도의 수준을 구분하여 시급성을 가진 품질관리 대상을 우선적으로 선정할 수 있다. 데이터 값에 대한 데이터 오류율 품질관리 지표와 함께 관리되어야하며, 데이터의 완전성, 유효성, 일관성, 정확성 등의 품질지표에 영향을 준다.

3.1.5 데이터 활용도

국방데이터가 공공데이터로 개방되거나 타기관, 타부대 등에서 활용하는 데이터들에 대하여 데이터 활용도 측면에서 품질관리 대상이 된다. 데이터의 활용도가 높으면 데이터의 일관성 및 정확성, 적시성, 접근성 등의 품질관리지표에 영향을 미친다. 국방데이터를 민간에서도 활용할 수 있도록 다양한 연구가 추진되고 있는 만큼 활용가능성이 높은 데이터와 시스템은 품질관리가 우선시 되어야 한다.

3.1.6 신규 DB

마지막으로, 신규 DB 또한 품질관리 대상 선정기준에 포함되어야 한다. 현재까지 새로 개발되는 신규 DB를 위한 데이터 축적량, 운영·활용 기간 등 품질관리 기준이 존재하지 않는다.

따라서, 신규 DB는 생성·저장된 데이터 양이 충분하지 않더라도 품질관리 계획 수립 및 예방적 품질관리 등을 통해 데이터 표준 준수 및 적용률, 데이터 구조 안정화, 연계데이터 관리 등 데이터 관리체계 영역에 대한 품질 관리 대상이 될 수 있다. 또한, 국방부의 품질관리 추진계획에 따라 데이터의 일정한 양의 증가 또는 일정 기간 소요 후 앞에서 기술한 5가지 대상체계 선정 기준들을 고려하여 품질관리 대상으로 선정한다.

3.2 품질관리 대상체계 선정

본 절에서는 본 논문에서 제안한 국방데이터의 품질관리를 위한 대상체계 선정기준과 기존 공공데이터 품질관리 매뉴얼에서 제시한 선정기준 간의 관계성에 대하여 설명한다. 그림 3은 선정기준들과의 관계성을 보여준다.

(그림 3) 선정기준 간의 관계성

(Figure 3) Relationship between Selection Criteria

업무 영향도 선정 기준은 업무 전반에 영향을 미치는 마스터 데이터로 핵심·공통 데이터와 데이터 관리체계와 관계가 있다. 시스템 연계도는 연계 데이터와 데이터 관리체계 영역의 데이터 연계 관리 지표와 매핑된다. 데이터 축적도와 데이터 오류 심각도는 데이터 값에 대한 품질관리의 중요도를 나타내므로 품질이슈 요청 데이터와 데이터 값 관리 평가와 관계가 있다. 데이터 활용도는 연계·공개·품질이슈 요청 데이터와 데이터 관리체계에 관련이 있고, 마지막으로 신규 DB는 제안 선정기준을 모두 적용 가능하며 데이터 품질 수준·진단 평가 측면에서는 데이터 관리체계와 관계가 있다.

결론적으로 제안한 선정기준은 기존 공공데이터 품질 관리 매뉴얼 선정기준 및 품질 수준진단 평가 지표를 포함하여 추가적으로 국방데이터의 특성을 반영하였다.

4. 결론 및 향후연구

국방데이터는 평·전시 성공적인 임무 수행을 목표로 지속적이고 높은 수준의 데이터 품질관리가 요구된다.

원칙적으로 국방부 산하․유관기관이 보유하고 있는 모든 데이터는 전수조사를 통해 데이터 품질 상황을 파악하고 개선해야 하지만 국방부 데이터 전수조사 및 개선에는 수많은 인력과 시간이 소요되고 이를 동시다발적으로 진행하는 데에는 한계가 있다.

따라서, 본 논문에서는 국방데이터의 품질관리를 위한 대상 체계 선정 기준에 대하여 제안하며, 제안한 선정기준들과 기존 매뉴얼의 선정기준과의 관계성에 대하여 기술하였다. 또한, 제안한 선정기준이 기존 공공데이터 품질관리 매뉴얼 선정기준 및 품질 수준진단 평가 지표를포함하여 적용 가능함을 보였다.

제안한 선정기준을 활용하여 현재까지 운영 중인 육·해·공군의 응용시스템의 품질관리 대상체계 선정이 가능할 것으로 기대되며, 신규 DB는 구축되기 전부터 품질관리를 위한 예방적 품질관리 계획 수립이 가능할 것으로 기대된다. 이를 통하여, 그동안 공공데이터 품질관리 매뉴얼에 의존적이던 국방데이터의 품질 대상 선정 기준이 명확해질 것이라 판단된다. 다만, 실제 국방 업무에 적용하여 도출한 선정기준이 아니기에 수요자의 의견이 반영되지 못하였다는 한계점이 존재한다.

향후 연구는 제안한 품질관리 대상체계 선정 기준에 대한 가중치 및 기준 점수 산정에 대한 연구가 필요하다. 이를 위하여, 선정기준 기반의 실제 업무에 활용 가능한 측정식 제안이 필요하다. 또한, 국방데이터 및 시스템의 품질 관리계획에 선정기준을 적용하여 수요자에 대한 설문조사 및 실질적이고 정량적인 품질관리 평가가 필요하다.