• Title/Summary/Keyword: Data quality diagnosis

검색결과 417건 처리시간 0.03초

Proposal of Public Data Quality Management Level Evaluation Domain Rule Mapping Model

  • Jeong, Ha-Na;Kim, Jae-Woong;Chung, Young-Suk
    • 한국컴퓨터정보학회논문지
    • /
    • 제27권12호
    • /
    • pp.189-195
    • /
    • 2022
  • 정부는 공공데이터의 민간 개방, 활용을 장려함으로써 신산업, 일자리 창출 등 창조경제 활성화에 기여하는 것을 주요 국정과제로 삼고 있다. 그리고 고품질 공공데이터 보유를 위해 공공데이터 품질관리 수준평가 진행 등의 활동을 통해 공공데이터 품질 향상을 도모하고 있다. 그러나 품질진단 도구 사용자의 데이터 전문성, 이해도에 따라 공공데이터 품질관리 수준평가 결과에 격차가 발생하기 때문에 진단 결과의 정확성을 보장하기 어렵다. 본 논문은 데이터 이해도가 낮은 사용자의 진단 결과에 대한 정확성을 보장하기 위해 데이터 품질진단 기준 중 유효성 진단에 적용 가능한 공공데이터 품질관리 수준평가 도메인규칙 매핑 모델을 제안하였다. 또한 모델에 실제 데이터를 적용한 결과 공공데이터 품질진단의 안정성과 정확성을 높이는 것을 확인하였다.

A Study on the Domain Discrimination Model of CSV Format Public Open Data

  • Ha-Na Jeong;Jae-Woong Kim;Young-Suk Chung
    • 한국컴퓨터정보학회논문지
    • /
    • 제28권12호
    • /
    • pp.129-136
    • /
    • 2023
  • 정부는 공공데이터 품질관리 수준평가를 진행하여 공공 개방데이터의 품질관리를 진행하고 있다. 공공 개방데이터는 XML, JSON, CSV 등 여러 오픈포맷 형태로 제공되며 CSV 형식이 대다수를 차지한다. 이러한 CSV 형식의 공공 개방데이터 품질진단 시 품질진단 담당자가 공공 개방데이터 파일의 필드명과 필드 내 데이터에 의존하여 필드 별 도메인을 판단하여 진단한다. 그러나 대량의 개방 데이터 파일을 대상으로 품질진단을 수행하기 때문에 많은 시간이 소요된다. 또한 의미 파악이 어려운 필드의 경우 품질진단의 정확성이 품질진단 담당자의 데이터 이해도 역량의 영향을 받는다. 본 논문은 필드명과 데이터 분포 통계를 이용한 CSV 형식 공공 개방데이터의 도메인 판별 모델을 제안하여 품질진단 결과가 품질진단 담당자의 역량에 좌지우지 되지 않도록 일관성과 정확성을 보장하고 진단 소요 시간 단축을 지원한다. 본 논문의 모델 적용 결과 행정안전부에서 제공하는 파일형식 개방데이터 진단도구보다 2.8% 높은 약 77%의 정답률을 보였다. 이를 통해 공공데이터 품질관리 수준진단·평가에 제안 모델 적용 시 정확성을 향상시킬 수 있을 것으로 기대한다.

머신러닝을 이용한 빅데이터 도메인 자동 판별에 관한 연구 (A Study of Big Data Domain Automatic Classification Using Machine Learning)

  • 공성원;황덕열
    • 한국빅데이터학회지
    • /
    • 제3권2호
    • /
    • pp.11-18
    • /
    • 2018
  • 본 연구는 빅데이터 품질 진단의 핵심 요소인 도메인 기반 품질 진단을 위한 도메인 자동 판별에 관한 연구다. 빅데이터의 가치와 활용도의 증가와 4차 산업혁명의 대두로, 법률, 의료, 금융 등 IT와 융합된 다양한 분야에서 빅데이터를 활용하여 새로운 가치를 창출하려는 노력을 진행중이다. 하지만, 신뢰도가 낮은 데이터에 기반한 분석은 과정과 결과 모두에서 치명적인 문제를 발생하며, 분석 결과에 따른 판단 또한 신뢰하기 어려워 진다. 이처럼 신뢰도가 높은 데이터의 필요성 또한 증가하였지만, 데이터의 품질 확보에 대한 연구와 그에 대한 결과는 미비하다. 본 연구는 데이터 품질 향상을 위한 진단 평가의 핵심적 요소인 도메인 기반 품질 진단에서, 수작업으로 진행되었던 도메인 판별 작업을 머신러닝을 이용하여 자동화 함으로써, 작업시간을 단축하는 것을 목표로 한다. 데이터 베이스에 저장된, 도메인이 판별되어 있는 데이터의 특성에 관한 정보들을 추출하여 변수화하고, 이를 머신러닝을 이용하여 도메인 판별을 자동화 한다. 이를 빅데이터 품질 진단에 활용하고, 품질 향상에 기여하도록 한다.

공공데이터 품질진단 지원을 위한 진단규칙 매핑모델 제안 (Proposal of diagnosis rule mapping model to support public data quality diagnosis)

  • 정하나;김재웅;이윤열;채의근;정영석
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2022년도 제66차 하계학술대회논문집 30권2호
    • /
    • pp.127-128
    • /
    • 2022
  • 정부는 공공데이터 개방을 통해 신산업, 일자리 창출 등 경제 활성화를 위한 도구로 활용하는 것을 목표로 한다. 정부는 고품질의 공공데이터 보유를 위하여 품질 개선 활동을 통해 공공데이터 품질 향상을 진행하고 있다. 그러나 공공데이터 품질관리 수준 진단을 진행하는 담당자의 데이터에 대한 전문성과 이해도에 따라 품질진단 결과에 격차가 발생하여 진단 결과의 신뢰성을 보장하기 어렵다. 본 논문은 공공데이터의 원활한 품질진단 지원을 위해 품질진단규칙 매핑 모델을 제안하여 공공데이터 품질진단의 안정성과 신뢰성을 높인다.

  • PDF

머신러닝을 이용한 빅데이터 품질진단 자동화에 관한 연구 (A Study on Automation of Big Data Quality Diagnosis Using Machine Learning)

  • 이진형
    • 한국빅데이터학회지
    • /
    • 제2권2호
    • /
    • pp.75-86
    • /
    • 2017
  • 본 연구에서는 빅데이터의 품질을 진단하는 방법을 자동화하는 방법을 제안하고 있다. 빅데이터의 품질진단을 자동화해야 하는 이유는 4차 산업혁명이 이슈화 되면서 과거보다 더 많은 볼륨의 데이터를 발생시키고 이 데이터들을 활용 하려는 요구가 증가하기 때문이다. 데이터는 급증하지만 데이터의 품질을 진단하기 위해 많은 시간이 소비된다면 데이터를 활용하기 위해 많은 시간이 걸리거나 데이터의 품질이 낮아질 수 있다. 그러면 이러한 낮은 품질의 데이터로부터 의사결정이나 예측을 한다면 그 결과 또한 잘못된 방향을 제시할 것이다. 이러한 문제를 해결하기 위해 많은 데이터를 신속하게 진단하고 개선할 수 있는 머신러닝 이용한 빅데이터 품질 향상을 위한 진단을 자동화 할 수 있는 모델을 개발하였다. 머신러닝을 이용하여 도메인 분류 작업을 자동화하여 도메인 분류 작업 시 발생할 수 있는 오류를 예방하고 작업 시간을 단축시켰다. 연구 결과를 토대로 데이터 변환의 중요성, 학습되지 않은 데이터에 대한 학습 시킬 수 있는 방안 모색, 도메인별 분류 모델을 개발에 대한 연구를 지속적으로 진행한다면 빅데이터를 활용하기 위한 데이터 품질 향상에 기여할 수 있을 것이다.

  • PDF

Development of Power Quality Management System with Power Quality Diagnosis Functions

  • Chung Il-Yop;Won Dong-Jun;Ahn Seon-Ju;Kim Joong-Moon;Moon Seung-Il;Seo Jang-Cheol;Choe Jong-Woong;Jang Gil-Soo
    • Journal of Electrical Engineering and Technology
    • /
    • 제1권1호
    • /
    • pp.28-34
    • /
    • 2006
  • Recently, in accordance with the development of IT technology, it is prevalent for power quality monitors to be connected to each other via networks and share their data because such networks provide system-wide insights to customers concerning power quality. Those systems can alarm and display power quality events for the convenience of customers. However, if a power quality event occurs, it is difficult for customers to determine its cause and solution because the systems do not provide appropriate power quality diagnosis functions. The power quality management system presented in this paper has been developed to provide customers with various power quality diagnosis functions so that they can cope well with power quality problems with the right measure in the right place. This paper presents the structure and functions of the developed power quality management system and shows some results of the power diagnosis functions.

어업조사통계의 품질진단과 개선에 관한 연구 (Quality Diagnosis and Improvement of Fisheries Census Statistic)

  • 표희동;김종천
    • 수산해양교육연구
    • /
    • 제22권4호
    • /
    • pp.553-565
    • /
    • 2010
  • The paper aims to evaluate the quality of fisheries census statistic and to provide some desirable directions and improvements for the future fisheries census, conducted by the Government. For the quality diagnosis of fisheries census statistic, specific processes of fisheries census and statistical qualities of each dimension are surveyed and evaluated by a Government's practician, two external examiners and a research group. Results show that census design, data analysis and quality control are evaluated relatively low in specific processes, and accessibility and comparability are evaluated relatively lower than relevance, accuracy, timeliness and consistency in statistical qualities. For minimizing the sampling errors, the probability proportion method should be employed in sampling methods from currently simple sampling method. In addition, fisheries census statistic is desirable to include and compare with those of different countries for consumer oriented data system.

도서관 공공데이터의 품질에 관한 연구: 도서관 정보나루의 도서 상세 조회 API를 중심으로 (Quality Diagnosis of Library-Related Open Government Data: Focused on Book Details API of Data for Library)

  • 양수완
    • 정보관리학회지
    • /
    • 제37권4호
    • /
    • pp.181-206
    • /
    • 2020
  • 공공데이터의 개방과 제공의 활성화와 함께, 공공도서관이 업무 중에 생산한 서지 데이터와 대출 이력과 같은 데이터가 도서관 공공데이터로 제공되고 있다. 본 논문은 도서관 공공데이터의 품질을 진단하고, 그 결과를 바탕으로 도서관 공공데이터의 품질을 높일 개선방안을 제안하고자 한다. 먼저, 문헌정보학 영역에서 공공데이터에 관해 이루어진 연구를 개괄한다. 그다음으로, 도서관 공공데이터 개방 플랫폼인 도서관 정보나루의 오픈 API를 통해 확보한 도서관 공공데이터의 완전성과 정확성을 진단한다. 마지막으로, 데이터 품질 진단 결과에 바탕을 개선방안을 도출한다. 완전성을 진단한 결과, 도서의 식별과 검색을 위 필수적인 서지 요소에서 다수의 공백이 확인되었다. 정확성을 진단한 결과, 값의 유형, 값의 범위, 제한조건을 따르지 않는 부정확한 서지 요소가 확인되었다. 본 연구는 데이터 품질 진단 분석 결과를 바탕으로, 도서관 정보나루의 데이터 수집 절차 개선, 데이터별 스키마 구축, 데이터 수집과 데이터 처리에 관한 안내 제공, 원자료 공개를 제언하였다.

임상진단명에 따른 질병분류체계 구축모형 개발 - 안과를 대상으로 - (Development of Construction Model of Disease Classification on Clinical Diagnosis in Ophthalmology)

  • 서진숙;신희영;기창원
    • 한국의료질향상학회지
    • /
    • 제10권2호
    • /
    • pp.204-215
    • /
    • 2003
  • Background : ICD-10 Classification, which is used domestically as well as internationally, has limited use in the clinical practice since it is developed for at disease statistics and epidemiology. Therefore, the purposes of this study were to improve the quality of diagnosis by constructing a new disease classification based on the diagnoses doctors currently make in the clinical setting and connecting this classification with OCS and EMR, and to meet the demands of doctors for high quality medical study data in medical research. Methods : The specialists in each ophthalmic subfield collected clinical diagnoses and abbreviations based on the ophthalmology textbooks and confirmed the classifications. Total number of clinical diagnoses collected was totaled 672, for which ideal diagnoses had been selected and a new model of disease classification model in connection with ICD-10 was constructed. The constructed classification of clinical diagnoses consisted of six steps: the first step was the classification by ophthalmic subspecialty field; the second to fifth steps were the detailed classification by each specialty field; the sixth step was the classification by site. Results : After introducing the new disease classification, research on the use and a pre-post comparison was conducted. The result from the research on the use of the clinical diagnoses in inpatient and outpatient care has shown a gradually increasing tendency. From the pre-post comparison of EMR discharge summary diagnoses, the result demonstrated that the diagnosis was stated correctly and in detail. Since the diagnosis was stated correctly, code classification became correct as well, which makes it possible to construct high quality medical DB. Conclusion : This construction of clinical diagnoses provides the medical team with high quality medical information. It is also expected to increase the accuracy and efficiency of service in the department of medical record and department of insurance investigation. In the future, if hospitals wish to construct a classification of clinical diagnosis and a standard proposal of clinical diagnosis is presented by a medical society, the standardization of diagnosis seems to be possible.

  • PDF

데이터마이닝을 이용한 의료의 질 측정지표 분석 및 의사결정지원시스템 개발 (Analysis of Healthcare Quality Indicators using Data Mining and Development of a Decision Support System)

  • 김혜숙;채영문;탁관철;박현주;호승희
    • 한국의료질향상학회지
    • /
    • 제8권2호
    • /
    • pp.186-207
    • /
    • 2001
  • Background : This study presented an analysis of healthcare quality indicators using data mining and a development of decision support system for quality improvement. Method : Specifically, important factors influencing the key quality indicators were identified using a decision tree method for data mining based on 8,405 patients who discharged from a medical center during the period between December 1, 2000 and January 31, 2001. In addition, a decision support system was developed to analyze and monitor trends of these quality indicators using a Visual Basic 6.0. Guidelines and tutorial for quality improvement activities were also included in the system. Result : Among 12 selected quality indicators, decision tree analysis was performed for 3 indicators ; unscheduled readmission due to the same or related condition, unscheduled return to intensive care unit, and inpatient mortality which have a volume bigger than 100 cases during the period. The optimum range of target group in healthcare quality indicators were identified from the gain chart. Important influencing factors for these 3 indicators were: diagnosis, attribute of the disease, and age of the patient in unscheduled returns to ICU group ; and length of stay, diagnosis, and belonging department in inpatient mortality group. Conclusion : We developed a decision support system through analysis of healthcare quality indicators and data mining technique which can be effectively implemented for utilization review and quality management in a healthcare organization. In the future, further number of quality indicators should be developed to effectively support a hospital-wide Continuous Quality Improvement activity. Through these endevours, a decision support system can be developed and the newly developed decision support system should be well integrated with the hospital Order Communication System to support concurrent review, utilization review, quality and risk management.

  • PDF