• Journal of Internet Computing and Services
• /
• v.8 no.4
• /
• pp.119-128
• /
• 2007

In this paper, We study on the Data Quality Model of ISO/IEC 25012 among the Software product Quality Requirements and Evaluation(SQuaRE) in ISO/IEC 25000 Series. Because of the increasing data, user require the accuracy data, recent data, suitable data for used tools, complied security and not open to be public. We research the data quality management in the point of application of be affect influenced low quality in business. We propose the testing items and we propose the method of the evaluation proposed testing items. We study on the basis international Standards ISO/IEC 25012 and ISO/IEC 9126-2 and we proposed the testing method quantitatively on the basis of ISO/IEC 25000.

• Proceedings of the Korean Information Science Society Conference
• /
• 2012.06b
• /
• pp.141-143
• /
• 2012

RFID 미들웨어의 평가를 위한 방법으로서, 테스트 데이터셋을 이용한 시뮬레이션은 일반적으로 사용되는 평가 방법이다. 태그 식별자에 따라 순차생성된 가상 데이터셋이나 랜덤 생성된 데이터셋의 경우 미들웨어의 단순 처리량을 평가하기에는 유용하나 미들웨어의 정확성이나 실행 가능성를 평가하기에는 한계가 있다. 테스트 데이터셋은 실제 리더에서 생성된 데이터셋과 매우 유사하여야 함에도 불구하고, 테스트 데이터셋의 품질 기준이 정의되어 있지 않음에 따라 테스트 데이터셋이 얼마만큼 실제 데이터셋과 유사한 지를 평가하기가 어려운 문제가 있다. 이를 위해 본 논문에서는 RFID 미들웨어의 평가에 사용되는 테스트 데이터셋의 품질을 평가하기 위한 품질 지표를 제안한다. 제안하는 품질 지표는 실제 RFID 리더에 태그가 통과할 때 생성되는 데이터 셋을 기반으로 하여 정의하였으며, RFID 무선 인식의 고유의 특성, 즉 중복성과 불확실성을 수치화해서 표현하는 특징이 있다. 또한 제안한 품질 지표를 실제 RFID 리더를 통해 생성한 데이터셋에 적용하여 비교 검토함으로써 품질 지표의 유용성을 입증한다.

• KIPS Transactions on Computer and Communication Systems
• /
• v.11 no.12
• /
• pp.461-468
• /
• 2022

Development of the big data industry, the cases of providing data utilization services on digital platforms are increasing. In this regard, research in data-related fields is being conducted to apply the FAIR principle that can be applied to the assessment of (meta)data quality, service, and function to data quality evaluation. Especially, the European Open Data Portal applies an assessment model based on FAIR principles. Based on this, a data maturity assessment is conducted and the results are disclosed in reports every year. However, public data portals do not conduct data maturity evaluations based on metadata. In this paper, we propose and evaluate a new model for data maturity evaluation on a big data platform built for multiple domestic public data portals and data transactions, FAIR principles used for data maturity evaluation in Europe's open data portals. The proposed maturity evaluation model is a model that evaluates the quality of public data portal datasets.

• Annual Conference on Human and Language Technology
• /
• 2018.10a
• /
• pp.619-622
• /
• 2018

최근 데이터의 형태는 점점 다양화되고 증가하고 있기 때문에 데이터의 체계적 분류 및 관리의 필요성이 증대되고 있다. 이러한 목적을 위하여 데이터에 대한 품질 평가는 중요한 요소가 된다. 최근 데이터는 기존의 정형화된 데이터보다 비정형 데이터가 대부분을 차지하고 있다. 그러나 기존의 데이터 품질 평가는 정형 데이터에 편중되어 왔다. 따라서 다양한 형태와 의미를 가지고 있는 비정형 데이터는 기존의 평가 기술로는 품질을 측정하기 어렵다. 이와 같은 문제로 본 논문은 텍스트기반의 비정형 데이터에 적용 가능한 영역별 평가 지표를 구축하고, 신문기사와 커뮤니티(질의응답)데이터를 사용하여 각 요소별 품질을 측정하여 그 결과에 대해서 고찰하였다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2012.07a
• /
• pp.113-114
• /
• 2012

게임이 기획, 그래픽, 프로그램의 복합적 기능을 가진 콘텐츠이지만 특별히 수준 높은 그래픽 데이터는 이용자의 만족도, 몰입 등에 긍정적인 영향을 미치는 중요한 영역이다. 그러나 아직 국내외에 게임 그래픽 데이터의 품질을 객관적으로 평가할 수 있는 기준이 마련되어 있지 않다. 이에 따라 본 논문에서는 게임 그래픽 데이터의 품질 평가를 위한 지표를 개발하는 프로세스를 제안한다. 제안된 프로세스는 그래픽 데이터의 품질 평가 영역 추출을 위한 방법과 세부 평가 지표 마련을 위한 평가 항목 추출방법들로 구성된다. 본 연구 결과는 고품질 게임 개발을 위한 품질평가 지표 개발에 적용될 것이며 관련 분야의 품질평가 모델 개발의 참조 모델이 될 것이다. 향후 본 연구는 국내외 게임 그래픽 데이터의 품질평가 표준안 설계 개발로 진행될 예정이다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2004.05a
• /
• pp.7-10
• /
• 2004

XML 데이터베이스 시스템이 개발되면 다른 XML 데이터베이스 시스템과의 성능 비교, 또는 자체 기능에 대한 성능 평가를 수행한다. 성능 평가를 수행하기 위해서는 해당 성능 평가에 적합한 XML 데이터를 생성하는 XML 데이터 생성기가 필요하다. 본 논문에서는 지금까지 개발되었던 다양한 XML 데이터 생성기들의 특징 및 장단점을 살펴보고, 이를 기반으로 하나의 사용자 인터페이스를 이용하여 XML 데이터를 생성하는 통합 XML 데이터 생성기의 설계 내용을 기술한다. 통합 XML 데이터 생성기는 레코드 단위의 텍스트 데이터 파일의 내용을 기반으로 XML 데이터를 생성한다. 통합 XML 데이터 생성기는 관계형 데이터베이스 시스템의 데이터를 이용하여 XML 데이터로 생성하는 등 사용자가 제공하는 데이터 활용이 가능하며, 타 XML 데이터 생성기에 비해 다양한 XML 데이터를 생성함으로써 광범위한 XML 데이터베이스 시스템 성능 평가에 이용될 수 있다.

• The Journal of Bigdata
• /
• v.1 no.1
• /
• pp.53-60
• /
• 2016

Data of central government and local government was collected automatically from the public data portal. And we did the multidimensional analysis based on various perspective like file format and present condition of public data. To complete this work, we constructed Data Warehouse based on the other countries' evaluation index case. Finally, the result from service level evaluation by using multidimensional analysis was used to display each area, establishment, fields.

• The Journal of the Korea Contents Association
• /
• v.21 no.12
• /
• pp.34-46
• /
• 2021

In the domestic data exchanging market, unreasonable pricing of purchase data is consistently mentioned as a major obstacle in data trading. This is a problem caused by the inability to properly evaluate the value of data products due to lack of product information and experience in using them. In order to activate trading, the data exchanges need to provide information that allows consumers to comprehensively judge the value of data products in addition to prices. The cost-based, income-based, and market-based methods, which are mainly applied to data valuation, are insufficient as data valuation methods to stimulate trading and distribution because only price information, a result of valuation from a supplier's point of view, can be shared with consumers. This study aims to develop a measurable valuation method that allows data trading stakeholders (exchanges, suppliers, and consumers) to judge and share the value of data products from a common perspective. To this end, we identified the value drivers of data products, which are considered important in overseas data exchanges and related research, and derived an evaluation method that can quantitatively measure each value driver. In addition, evaluation criteria in the form of a rating table were developed using data products for transactions, and a value evaluation index was developed through stratification analysis (AHP) to enable relative value comparison. As a result of applying the evaluation criteria to actual data products, it was found that the evaluation values were differentiated according to the characteristics of individual data products, so it could be used as a relative value comparison tool.

• STIMA Bulletin
• /
• s.5
• /
• pp.24-37
• /
• 2006

과학기술테이터는 엄격한 평가기준에 의해 신뢰성과 정확성이 보장된 참조표준(standard reference data)값을 지닐 수 있어야 한다. 참조표준은 측정표준을 바탕으로 구하여진 결과 값을 표준화시키는 작업으로서 테잍의 생산조건, 실험환경, 측정방법, 데이터 처리 등이 검토되어 참조데이터(reference data)와 구분된다. 참조표준은 '공인된 수치데이터'로 표현되고 이는 측정결과의 신뢰도를 정량적으로 나타내는 불확도(uncertainty)로 표기된다.본고에서는 참조표준에 대한 의미를 이해하고,평가되지 않은 과학기술 데이터가 어떤 평가 과정을 거쳐 참조표준으로 분류되는지를 알아보기 위해 소재물성분야를 예로 살펴보았다.

• Annual Conference on Human and Language Technology
• /
• 2019.10a
• /
• pp.213-218
• /
• 2019

기계독해는 자연어로 표현된 질문과 단락이 주어졌을 때, 해당 단락 내에 표현된 정답을 찾는 태스크이다. 최근 기계독해 태스크도 다른 자연어처리 태스크와 유사하게 BERT, XLNet, RoBERTa와 같이 사전에 학습한 언어모델을 이용하고 질문과 단락이 입력되었을 경우 정답의 경계를 추가 학습(fine-tuning)하는 방법이 우수한 성능을 보이고 있으며, 특히 KorQuAD v1.0 데이터셋에서 학습 및 평가하였을 경우 94% F1 이상의 높은 성능을 보이고 있다. 본 논문에서는 현재 최고 수준의 기계독해 기술이 학습셋과 유사한 평가셋이 아닌 일반적인 질문과 단락 쌍에 대해서 가지는 일반화 능력을 평가하고자 한다. 이를 위하여 첫번째로 한국어에 대해서 공개된 KorQuAD v1.0 데이터셋과 NIA v2017 데이터셋, 그리고 엑소브레인 과제에서 구축한 엑소브레인 v2018 데이터셋을 이용하여 데이터셋 간의 교차 평가를 수행하였다. 교차 평가결과, 각 데이터셋의 정답의 길이, 질문과 단락 사이의 오버랩 비율과 같은 데이터셋 통계와 일반화 성능이 서로 관련이 있음을 확인하였다. 다음으로 KorBERT 사전 학습 언어모델과 학습 가능한 기계독해 데이터 셋 21만 건 전체를 이용하여 학습한 기계독해 모델에 대해 블라인드 평가셋 평가를 수행하였다. 블라인드 평가로 일반분야에서 학습한 기계독해 모델의 법률분야 평가셋에서의 일반화 성능을 평가하고, 정답 단락을 읽고 질문을 생성하지 않고 질문을 먼저 생성한 후 정답 단락을 검색한 평가셋에서의 기계독해 성능을 평가하였다. 블라인드 평가 결과, 사전 학습 언어 모델을 사용하지 않은 기계독해 모델 대비 사전 학습 언어 모델을 사용하는 모델이 큰 폭의 일반화 성능을 보였으나, 정답의 길이가 길고 질문과 단락 사이 어휘 오버랩 비율이 낮은 평가셋에서는 아직 80%이하의 성능을 보임을 확인하였다. 본 논문의 실험 결과 기계 독해 태스크는 특성 상 질문과 정답 사이의 어휘 오버랩 및 정답의 길이에 따라 난이도 및 일반화 성능 차이가 발생함을 확인하였고, 일반적인 질문과 단락을 대상으로 하는 기계독해 모델 개발을 위해서는 다양한 유형의 평가셋에서 일반화 평가가 필요함을 확인하였다.