• Proceedings of the Korea Information Processing Society Conference
• /
• 2007.05a
• /
• pp.649-652
• /
• 2007

최근 e-Business 어플리케이션을 통합하기 위한 개념으로 서비스 지향구조 (Service Oriented Architecture)에 기본 원리를 둔 분산 소프트웨어 통합 기술이 널리 확산되고 있다. 따라서 각 서비스간의 데이터 정제기법을 통한 신뢰성 있는 데이터 교환은 필수적 요소로 자리 잡고 있다. 본 논문에서는 시스템에 상호작용 시 교환되는 데이터의 오류를 탐지하고 정제하기 위한 서비스로 사용자의 데이터 제약조건을 결합 시키는 변환 과정, 오류를 탐지하는 탐지과정, 탐지된 오류를 정제하고, 정보를 보여주는 정제과정으로 이루어진 오류 데이터 정제 서비스(DDCS; Dirty Data Cleansing Service)를 구현하고, 이를 이용하여 SOA기반 ESB상에서 통합된 시스템들 간에 상호 작용하는 오류 데이터 정제를 보장하는 서비스를 개발한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2003.10b
• /
• pp.310-312
• /
• 2003

샤모아 지식공학 시스템(Chamois Knowledge Engineering System)은 대용량의 데이터 소스로부터 의미 있는 지식을 추출하는 시스템이다. 이러한 지식공학 시스템에서 데이터 소스의 품질을 보장하는 일은 매우 중요하다. 본 논문에서는 샤모아 지식공학 시스템에서의 데이터 정제관련 컴포넌트의 구조 및 동작에 대해 기술한다. 또한 이들 컴포넌트들이 동작할 수 있는 컴포넌트 프레임웍의 기능 및 동작에 대해 기술한다. 구현한 데이터 정제 관련 컴포넌트는 컴포넌트 기반의 시스템에서 데이터의 정제를 통해 신뢰성 있는 데이터를 제공하고, 이를 통해 개발하고자 하는 시스템의 품질을 향상 시킬 수 있다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2014.04a
• /
• pp.653-655
• /
• 2014

스마트 디바이스 산업의 발전으로 소셜미디어 데이터의 양은 기하급수적으로 증가하고 있다. 이렇게 증가한 데이터와 함께 분석을 통해 발견할 수 있는 정보의 양도 다양해지면서 여러 산업분야에서 소셜미디어 데이터 분석을 위한 연구가 진행되고 있다. 소셜미디어는 종류가 다양하고 하루 평균 발생량이 너무 많기 때문에 분석시간이 오래 걸릴 뿐 아니라, 불필요한 불용어 및 방해요소 때문에 적절한 정제작업이 필요하다. 본 논문에서는 소셜미디어의 한 종류인 트위터 분석을 위해 여러 가지 기법으로 데이터를 정제한다. 정제과정은 분석에 용이한 형태로 데이터를 변형시킨 후 의미없는 데이터와 분석에 방해가 되는 불용어를 제거한다. 이 정제를 통해 데이터 정보의 질을 높이고 분석 시간을 단축시켜 빠르고 신뢰성 높은 분석결과를 도출할 수 있다.

• The KIPS Transactions:PartD
• /
• v.14D no.7
• /
• pp.829-840
• /
• 2007

Dirty Data Cleansing technique so far have aimed to integrate large amount of data from various sources and manage data quality resided in DB so that it enables to extract meaningful information. Prompt response to varying environment is required in order to persistently survive in rapidly changing business environment and the age of limitless competition. As system requirement is recently getting complexed, Service Oriented Architecture is proliferated for the purpose of integration and implementation of massive distributed system. Therefore, SOA necessarily needs Data Exchange among services through Data Cleansing Technique. In this paper, we executed quality management of XML data which is transmitted through events between services while they are integrated as a sole system. As a result, we developed Dirty Data Cleansing Service based on SOA as focusing on data cleansing between interactive services rather than cleansing based on detection of data error in DB already integrated.

• The Journal of the Convergence on Culture Technology
• /
• v.8 no.6
• /
• pp.891-897
• /
• 2022

In big data analysis, raw text data mostly exists in various unstructured data forms, so it becomes a structured data form that can be analyzed only after undergoing heuristic pre-processing and computer post-processing cleansing. Therefore, in this study, unnecessary elements are purified through pre-processing of the collected raw data in order to apply the wordcloud of R program, which is one of the text data analysis techniques, and stopwords are removed in the post-processing process. Then, a case study of wordcloud analysis was conducted, which calculates the frequency of occurrence of words and expresses words with high frequency as key issues. In this study, to improve the problems of the "nested stopword source code" method, which is the existing stopword processing method, using the word cloud technique of R, we propose the use of "general stopword corpus" and "user-defined stopword corpus" and conduct case analysis. The advantages and disadvantages of the proposed "unstructured data cleansing process model" are comparatively verified and presented, and the practical application of word cloud visualization analysis using the "proposed external corpus cleansing technique" is presented.

• The Journal of the Convergence on Culture Technology
• /
• v.7 no.4
• /
• pp.745-750
• /
• 2021

In Big data visualization analysis of unstructured text data, raw data is mostly large-capacity, and analysis techniques cannot be applied without cleansing it unstructured. Therefore, from the collected raw data, unnecessary data is removed through the first heuristic cleansing process and Stopwords are removed through the second machine cleansing process. Then, the frequency of the vocabulary is calculated, visualized using the word cloud technique, and key issues are extracted and informationalized, and the results are analyzed. In this study, we propose a new Stopword cleansing technique using an external Stopword set (DB) in Python word cloud, and derive the problems and effectiveness of this technique through practical case analysis. And, through this verification result, the utility of the practical application of word cloud analysis applying the proposed cleansing technique is presented.

• The Journal of the Convergence on Culture Technology
• /
• v.9 no.6
• /
• pp.935-940
• /
• 2023

Most text data collected through web scraping for artificial intelligence and big data analysis is generally large and unstructured, so a purification process is required for big data analysis. The process becomes structured data that can be analyzed through a heuristic pre-processing refining step and a post-processing machine refining step. Therefore, in this study, in the post-processing machine refining process, the Korean dictionary and the stopword dictionary are used to extract vocabularies for frequency analysis for word cloud analysis. In this process, "user-defined stopwords" are used to efficiently remove stopwords that were not removed. We propose a methodology for applying the "thesaurus" and examine the pros and cons of the proposed refining method through a case analysis using the "user-defined stop word thesaurus" technique proposed to complement the problems of the existing "stop word dictionary" method with R's word cloud technique. We present comparative verification and suggest the effectiveness of practical application of the proposed methodology.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2019.10a
• /
• pp.674-677
• /
• 2019

예측 모델은 어떤 상황이 주어졌을 때, 다음 상황에 대한 예측을 수행하는 시스템으로, 현재 상황을 올바르게 인지하고, 그 인지된 상황을 토대로 미래를 예측할 수 있는 지능을 갖고 있어야 한다. 이러한 예측 모델이 올바르게 동작하기 위해서는 상황을 올바르게 인지하는 기능이 우선되어야 하지만, 원시 데이터로부터 상황을 인지하기 위해서는 원시 데이터를 올바르게 해석하기 위한 데이터 정제 과정이 필요하다. 이에 본 연구에서는 다양한 형태의 원시 데이터를 예측 모델의 유효한 입력 값으로 변환시키기 위한 데이터 정제 방법을 제안한다. 본 방법은 윈시 데이터의 형태 정의, 데이터 정규화, 속성 관계 검증, 결측치 보정, 그리고 신뢰도 적용의 5단계로 구성되어 있다.

• Proceedings of The KACE
• /
• 2018.01a
• /
• pp.41-44
• /
• 2018

교육데이터마이닝은 다양한 교육 환경에서 생성되는 막대한 양의 데이터를 활용하여 학습자들의 학습 유형, 학습 진도를 분석, 예측하고 교육 성취를 효과적으로 향상시키는 것을 목적으로 한다. 효과적인 교육데이터마이닝 결과를 얻기 위해서는 교육데이터에 대한 정제 과정이 필요하며 DBSCAN 클러스터링을 통해 교육데이터에 포함된 노이즈 데이터를 제거하고 생성된 각 클러스터에서 동일한 비율로 데이터를 추출함으로써 편향되지 않은 표본 데이터를 생성할 수 있다. 하지만 DBSCAN은 두 개의 전역 매개변수에 의해 다양한 밀도분포를 가지는 클러스터를 생성할 수 없다는 문제점이 있으며 이는 교육 데이터를 정제함에 있어 치명적인 문제점이 될 수 있다. 본 논문에서는 DBSCAN의 문제점을 개선하고 클러스터링 정확도를 향상시키기 위해 고정된 매개변수를 사용하지 않고 각 밀도분포에 대해 최적의 입력 매개변수를 결정함으로써 다양한 밀도분포를 가지는 클러스터들을 효과적으로 생성하는 C-DBSCAN을 제안한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2006.10c
• /
• pp.62-65
• /
• 2006

XML은 웹 상에서 데이터의 표현과 교환을 위한 표준이다. XQuery는 XML 질의를 위한 W3C 표준으로서 XML 문서를 효율적으로 검색하기 위해서 W3C에서 제안한 표준질의어이다. XQuery가 등장하면서, 이를 빠르게 처리하기 위한 연구가 많이 진행 중이며, 이 연구 중 한 분야는 XQuery 질의를 정제하는 것이다. 사용자에 따라 다양하게 작성되는 XQuery 질의들은 정제되어 있지 않을 수 있다. 질의의 불필요한 연산이나 표현을 제거하여 간결하게 만드는 것은 질의를 효율적으로 처리하게 하여 성능을 향상시키는데 도움을 준다. 이에 대한 이전의 연구들은 XML 데이터의 저장구조나 시스템에 의존적인 질의 정제방법을 사용하므로 이들 방법을 일반적인 XQuery 질의 정제로 볼 수는 없다. 그러나 우리의 정제방법은 XQuery 질의를 기반으로 하여 일반적인 상황에서도 질의의 정제가 가능하므로 XQuery를 입력으로 하는 다른 시스템에서 우리의 방법으로 입력 질의를 정제하여 효율적으로 질의를 처리할 수 있다. 본 논문에서는 XQuery 질의를 효율적으로 처리하기 위하여 두가지 정제방법을 제안한다. 첫째는 불필요한 연산이나 표현을 제거하는 방법이고, 둘째는 질의의 순서를 재배치하는 방법이다. 이 방법들을 통하여 질의를 보다 빠르고 효율적으로 처리하도록 한다. 끝으로, 우리는 성능평가를 통하여 우리의 정제방법의 효율성을 입증한다.