• 제목/요약/키워드: Human-Knowledge Data Mining

검색결과 25건 처리시간 0.025초

데이터마이닝 기법을 이용한 지역 기업과 구직자로부터의 지식 도출에 관한 연구 (A Study on the Knowledge Acquisition from Local Companies and Job Seekers using Data Mining Techniques)

  • 김진성
    • 한국지능시스템학회논문지
    • /
    • 제22권2호
    • /
    • pp.141-147
    • /
    • 2012
  • 본 연구의 목적은 데이터마이닝 기법을 이용하여 지역 기업과 구직자로부터 취업과 관련된 지식을 도출하는 것이다. 이를 위해서 1단계로 전라북도에 본사를 두고 있는 지역 기업들을 선별하였다. 그리고 동일 지역 내에 소재한 고등학교, 2년제 전문대학, 그리고 4년제 종합대학교의 졸업반 학생들을 구직자로 선택하였다. 표본 집단을 선택한 후에는, 기초자료 수집을 위해서 560개 지역 기업과 14개 학교를 대상으로 설문조사를 실시하였다. 설문결과 지역 기업으로부터는 173개, 구직자로 부터는 551개의 설문응답 결과를 회수하였다. 2단계 데이터마이닝 과정에서는 관련규칙을 추출하기 위하여 C5.0 알고리즘을 적용하였다. 3단계에서는 규칙들의 효율적인 관리를 위하여 텍스트 형태의 추론규칙을 데이터베이스 테이블 형태로 변환하였다. 그리고 4단계에서는 지식을 시각화하기 위하여 비주얼베이직 (VB) 프로그래밍 언어/도구를 사용하였다. 그리고 마지막 단계에서 도출한 지식을 이용하여 지방자치단체의 장기적 인적자원개발 전략 수립을 지원하기 위한 규칙추론을 실시하였다. 그 결과, 인적자원개발 담당자와 구직자들의 업무와 경력개발을 위한 전략 설계에 도움이 되는 정보를 제공할 수 있었다.

교통사고 데이터의 마이닝을 위한 연관규칙 학습기법과 서브그룹 발견기법의 비교 (Comparison of Association Rule Learning and Subgroup Discovery for Mining Traffic Accident Data)

  • 김정민;류광렬
    • 지능정보연구
    • /
    • 제21권4호
    • /
    • pp.1-16
    • /
    • 2015
  • 교통사고의 원인을 규명하고 미래의 사고를 방지하기 위한 노력의 일환으로 데이터 마이닝 기법을 이용한 교통 데이터 분석의 연구가 이루어지고 있다. 하지만 기존의 교통 데이터를 이용한 마이닝 연구들은 학습된 결과를 사람이 이해하기 어려워 분석에 많은 노력이 필요하다는 문제가 있었다. 본 논문에서는 많은 속성들로 표현된 교통사고 데이터로부터 유용한 패턴을 발견하기 위해 규칙 학습 기반의 데이터 마이닝 기법인 연관규칙 학습기법과 서브그룹 발견기법을 적용하였다. 연관규칙 학습기법은 비지도 학습 기법의 하나로 데이터 내에서 동시에 많이 등장하는 아이템(item)들을 찾아 규칙의 형태로 가공해 주며, 서브그룹 발견기법은 사용자가 지정한 대상 속성이 결론부에 나타나는 규칙을 학습하는 지도학습 기반 기법으로 일반성과 흥미도가 높은 규칙을 학습한다. 규칙 학습 시 사용자의 의도를 반영하기 위해서는 하나 이상의 관심 속성들을 조합한 합성 속성을 만들어 규칙을 학습할 수 있다. 규칙이 도출되고 나면 후처리 과정을 통해 중복된 규칙을 제거하고 유사한 규칙을 일반화하여 규칙들을 더 단순하고 이해하기 쉬운 형태로 가공한다. 교통사고 데이터를 대상으로 두 기법을 적용한 결과 대상 속성을 지정하지 않고 연관규칙 학습기법을 적용하는 경우 사용자가 쉽게 알기 어려운 속성 사이의 숨겨진 관계를 발견할 수 있었으며, 대상 속성을 지정하여 연관규칙 학습기법과 서브그룹 발견기법을 적용하는 경우 파라미터 조정에 많은 노력을 기울여야 하는 연관규칙 학습기법에 비해 서브그룹 발견기법이 흥미로운 규칙들을 더 쉽게 찾을 수 있음을 확인하였다.

데이터 마이닝의 범죄수사 적용 가능성 (Usefulness of Data Mining in Criminal Investigation)

  • 김준우;손중권;이상한
    • 대한수사과학회지
    • /
    • 제1권2호
    • /
    • pp.5-19
    • /
    • 2006
  • 데이터 마이닝은 컴퓨터와 정보처리의 발전으로 각기 다른 차원에서 다량으로 수집되는 데이터 속에서 숨은 의미나 패턴을 발견하는 유용한 기법이다. 의사결정나무, 신경망 모형, 규칙 귀납, K-평균 군집화, 시각화 등의 데이터 마이닝 개별 기법들은 산재해 있는 데이터에서 연관성을 분석하고, 이를 분류함으로써 일반화된 개념을 정의하고, 새로운 지식을 추론함으로써 실제 생활에 적용 가능한 예측을 가능하게 한다. 따라서 현재 데이터 마이닝은 기업의 마케팅 분야, 금융기관의 고객 분석, 통신 회사의 고객 이탈 방지 등에서 유용하게 활용되고 있다. 우리가 접해야 하는 정보의 양이 늘어나는 것은 범죄 수사에 있어서도 마찬가지 현상이다. 범죄와 범죄자에 대한 데이터는 축적되어 가지만 정작 개별 사안에 있어서는 중요한 데이터가 접근조차 되지 않고 있으며, 많은 데이터 속에서 이것이 내포하고 있는 숨은 의미를 지나치게 되는 경우도 많다. 본 연구에서는 선행 연구와 사례 적용을 통해 데이터 마이닝의 범죄 수사 적용 가능성과 한계점을 살펴보고자 하였다. 미제 사건으로 남는 경우가 많은 절도나 사기 같은 습관적 상습 범죄의 경우 데이터 마이닝의 분류, 군집화 기능을 활용 한다면 향후 여죄 추적에 효율적으로 활용될 수 있음을 파악할 수 있었고, 특히 다양한 문제에 적용 가능하고, 잡음에 대한 견고성이 있음에도 예측의 정확성을 지니고 있는 신경망 모형의 경우 패턴 인식을 통하여 범죄자 프로파일링이나 화상 자료 대비 시스템 구축에 충분히 활용될 것으로 생각한다. 특히 보험 사기 사례 적용에서 살펴본 바와 같이 마약, 테러와 같은 조직적 범죄수사나 자금세탁과 같은 금융 추적 수사의 경우 해당 자료의 방대함과 모호성으로 인해 수사를 하는 데 많은 어려움이 있지만 이러한 데이터 마이닝 가시화 기법을 적절히 활용한다면 전체적인 윤곽을 파악하는 데 매우 유용하며, 효율적인 수사가 가능함을 확인할 수 있었다. 그러나 데이터 마이닝은 예측 모델이므로 오류를 내재하고 있다는 점에서 수사 기관의 데이터 마이닝 접근은 조심스러워야 하며, 정보 독점화 현상과 개인 사생활 보호라는 측면에서 각 수사기관은 해당 법률에 정한 범위 내에서 해당 사건별로 데이터를 수집하고 이를 통합, 재구성하여 활용하는 측면으로 적용되어야 할 것이다. 또한 각 수사기관별로는 자신의 보유하고 있는 데이터에 대해 다차원 처리가 가능하도록 데이터베이스 시스템을 구축하여 데이터 마이닝이 적용 가능한 환경을 구축하도록 하여야 할 것이다. 아직은 논의의 초기 단계이므로 효과가 크게 부각되지는 않았지만 지금까지 제시한 문제에 대한 연구가 계속 이루어진다면 인권중심, 증거중심의 수사 개념을 바탕으로 적법절차에 의한 수사 활동을 요구받는 시대에 새로운 대안으로 자리 잡을 것이며, 수사의 과학화에 기여할 것으로 전망한다.

  • PDF

Minimally Supervised Relation Identification from Wikipedia Articles

  • Oh, Heung-Seon;Jung, Yuchul
    • Journal of Information Science Theory and Practice
    • /
    • 제6권4호
    • /
    • pp.28-38
    • /
    • 2018
  • Wikipedia is composed of millions of articles, each of which explains a particular entity with various languages in the real world. Since the articles are contributed and edited by a large population of diverse experts with no specific authority, Wikipedia can be seen as a naturally occurring body of human knowledge. In this paper, we propose a method to automatically identify key entities and relations in Wikipedia articles, which can be used for automatic ontology construction. Compared to previous approaches to entity and relation extraction and/or identification from text, our goal is to capture naturally occurring entities and relations from Wikipedia while minimizing artificiality often introduced at the stages of constructing training and testing data. The titles of the articles and anchored phrases in their text are regarded as entities, and their types are automatically classified with minimal training. We attempt to automatically detect and identify possible relations among the entities based on clustering without training data, as opposed to the relation extraction approach that focuses on improvement of accuracy in selecting one of the several target relations for a given pair of entities. While the relation extraction approach with supervised learning requires a significant amount of annotation efforts for a predefined set of relations, our approach attempts to discover relations as they occur naturally. Unlike other unsupervised relation identification work where evaluation of automatically identified relations is done with the correct relations determined a priori by human judges, we attempted to evaluate appropriateness of the naturally occurring clusters of relations involving person-artifact and person-organization entities and their relation names.

The diagnosis of Plasma Through RGB Data Using Rough Set Theory

  • Lim, Woo-Yup;Park, Soo-Kyong;Hong, Sang-Jeen
    • 한국진공학회:학술대회논문집
    • /
    • 한국진공학회 2009년도 제38회 동계학술대회 초록집
    • /
    • pp.413-413
    • /
    • 2010
  • In semiconductor manufacturing field, all equipments have various sensors to diagnosis the situations of processes. For increasing the accuracy of diagnosis, hundreds of sensors are emplyed. As sensors provide millions of data, the process diagnosis from them are unrealistic. Besides, in some cases, the results from some data which have same conditions are different. We want to find some information, such as data and knowledge, from the data. Nowadays, fault detection and classification (FDC) has been concerned to increasing the yield. Certain faults and no-faults can be classified by various FDC tools. The uncertainty in semiconductor manufacturing, no-faulty in faulty and faulty in no-faulty, has been caused the productivity to decreased. From the uncertainty, the rough set theory is a viable approach for extraction of meaningful knowledge and making predictions. Reduction of data sets, finding hidden data patterns, and generation of decision rules contrasts other approaches such as regression analysis and neural networks. In this research, a RGB sensor was used for diagnosis plasma instead of optical emission spectroscopy (OES). RGB data has just three variables (red, green and blue), while OES data has thousands of variables. RGB data, however, is difficult to analyze by human's eyes. Same outputs in a variable show different outcomes. In other words, RGB data includes the uncertainty. In this research, by rough set theory, decision rules were generated. In decision rules, we could find the hidden data patterns from the uncertainty. RGB sensor can diagnosis the change of plasma condition as over 90% accuracy by the rough set theory. Although we only present a preliminary research result, in this paper, we will continuously develop uncertainty problem solving data mining algorithm for the application of semiconductor process diagnosis.

  • PDF

가중연관규칙 탐사를 이용한 재활훈련운동과 근육 활성의 연관성 분석 (Analysis on Relation between Rehabilitation Training Movement and Muscle Activation using Weighted Association Rule Discovery)

  • 이아름;박용군;권대규;김정자
    • 전자공학회논문지CI
    • /
    • 제46권6호
    • /
    • pp.7-17
    • /
    • 2009
  • 효과적인 재활 시스템을 구상하는데 있어서 훈련 데이터의 정교한 분석은 다음 단계 훈련을 위한 피드백 자료로서 매우 중요하다. 현재 다양한 생체 역학적 실험을 통해 인간의 운동 능력을 평가하고 이로부터 생성된 데이터의 분석을 위한 객관적이고 신뢰성 있는 연구결과들이 발표되고 있다. 그러나 대부분의 기존 연구들은 기초 통계적인 방법에 근거한 정량분석만을 수행함으로써, 획득된 정보를 임상에 적용 하는데 있어서는 충분한 신뢰성을 보장할 수 없다. 데이터마이닝은 대용량 데이터에 들어있는 숨겨진 규칙과 패턴을 탐사함으로써 임상 데이터에 숨어있는 의미 있는 정보추출에 성공적으로 사용되고 있으며, 특히 임상 연구 분야에서는 훌륭한 의사 결정 지원 시스템으로서 점점 그 사용이 증가되고 있다. 본 연구에서는 신뢰성 있는 자세 제어 능력(Postural control ability) 평가를 위해서 측정된 훈련 데이터에 가중연관규칙 탐사를 적용하여 자세 훈련 유형에 따른 근육 활성 패턴과의 연관성을 분석, 효율적인 재활 훈련 규칙을 탐사하였다. 탐사된 규칙은 재활 및 임상 전문가의 의사결정에 더욱 정성적이고 유용한 선험적 지식으로 사용 될 수 있으며, 이를 근거로 환자 맞춤형 최적의 재활 훈련 모델을 구상하기 위한 지표로서 사용될 수 있다.

다양한 웹 데이터를 이용한 특정 유기체의 단백질 상호작용 데이터베이스 개발 (Development of an Organism-specific Protein Interaction Database with Supplementary Data from the Web Sources)

  • 황두성
    • 정보처리학회논문지D
    • /
    • 제9D권6호
    • /
    • pp.1091-1096
    • /
    • 2002
  • 이 논문은 단백질 상호작용 데이터베이스 개발에 관해 기술한다. 개발된 시스템의 특징으로서는 첫째, 생물학자들의 직접적인 실험을 통해 얻어진 단백질 상호작용 및 유전인자 데이터를 제공한다. 둘째, 생물학적으로 관련 있는 다양한 형식의 데이터를 wrapper를 통해 광범위하게 분포된 웹사이트들로부터 추출한다. 셋째, 다양한 웹 데이터들 간의 어휘적, 의미적 이질성을 완화하기 위해 wrapper-mediator에 의한 계층적 모듈 구조를 이용하여 추출된 데이터는 통합 과정을 거친 후, 데이터베이스 저장 및 검색을 가능하게 하였다. 현재까지, 주어진 약 11,500 단백질들에 대해, 생물적으로 의미 있는 데이터를 약 40% 정도 데이터베이스 화 했다. 본 개발된 시스템은 프로티오믹스 연구에서 데이터 분석에 유용할 것으로 기대된다.

The World as Seen from Venice (1205-1533) as a Case Study of Scalable Web-Based Automatic Narratives for Interactive Global Histories

  • NANETTI, Andrea;CHEONG, Siew Ann
    • Asian review of World Histories
    • /
    • 제4권1호
    • /
    • pp.3-34
    • /
    • 2016
  • This introduction is both a statement of a research problem and an account of the first research results for its solution. As more historical databases come online and overlap in coverage, we need to discuss the two main issues that prevent 'big' results from emerging so far. Firstly, historical data are seen by computer science people as unstructured, that is, historical records cannot be easily decomposed into unambiguous fields, like in population (birth and death records) and taxation data. Secondly, machine-learning tools developed for structured data cannot be applied as they are for historical research. We propose a complex network, narrative-driven approach to mining historical databases. In such a time-integrated network obtained by overlaying records from historical databases, the nodes are actors, while thelinks are actions. In the case study that we present (the world as seen from Venice, 1205-1533), the actors are governments, while the actions are limited to war, trade, and treaty to keep the case study tractable. We then identify key periods, key events, and hence key actors, key locations through a time-resolved examination of the actions. This tool allows historians to deal with historical data issues (e.g., source provenance identification, event validation, trade-conflict-diplomacy relationships, etc.). On a higher level, this automatic extraction of key narratives from a historical database allows historians to formulate hypotheses on the courses of history, and also allow them to test these hypotheses in other actions or in additional data sets. Our vision is that this narrative-driven analysis of historical data can lead to the development of multiple scale agent-based models, which can be simulated on a computer to generate ensembles of counterfactual histories that would deepen our understanding of how our actual history developed the way it did. The generation of such narratives, automatically and in a scalable way, will revolutionize the practice of history as a discipline, because historical knowledge, that is the treasure of human experiences (i.e. the heritage of the world), will become what might be inherited by machine learning algorithms and used in smart cities to highlight and explain present ties and illustrate potential future scenarios and visionarios.

호텔 산업의 서비스 품질 향상을 위한 토픽 마이닝 기반 분석 방법 (An Analytical Approach Using Topic Mining for Improving the Service Quality of Hotels)

  • 문현실;성다윗;김재경
    • 지능정보연구
    • /
    • 제25권1호
    • /
    • pp.21-41
    • /
    • 2019
  • 정보 기술의 발전으로 온라인에서 활용 가능한 데이터의 양이 급속히 증대되고 있다. 이러한 빅데이터 시대에 많은 연구들이 통찰력을 발견하고 데이터의 효과를 입증하기 위해 노력하고 있다. 특히 관광 산업의 경우 정보에 민감한 사업으로 소셜 미디어의 영향력이 높고 소셜 미디어의 상품 후기에 소비자들이 영향을 많이 받아 많은 기업과 연구자들이 소셜 미디어를 분석하여 새로운 서비스 및 통찰력을 얻고자 시도하였다. 하지만 소셜 미디어의 후기는 텍스트로 이루어진 대표적인 비정형 데이터로 적절한 처리를 하지 않으면 분석에 활용할 수 없다. 또한 후기 데이터의 양이 방대함에 따라 사람이 직접 분석하기도 어려운 실정이다. 따라서, 본 연구에서는 이러한 소셜미디어 상의 온라인 후기로부터 직접 호텔의 서비스 품질 향상을 위한 통찰력을 추출할 수 있는 분석 방법을 제시하고자 한다. 이를 위해 본 연구에서는 먼저 후기 데이터에 포함되어 있는 주제어를 추출하는 토픽 마이닝 기법을 적용하였다. 토픽 마이닝은 대용량의 문서 집합으로부터 문서를 대표하는 단어 집합을 추출하는 기법을 의미하며 본 연구에서는 다양한 연구에서 활용되고 있는 LDA모형을 사용하여 토픽 마이닝을 수행하였다. 하지만, 토픽 마이닝 자체만으로는 주제어와 평점 사이의 관계를 도출할 수 없어 서비스 품질 향상을 위한 통찰력을 발견하기 어렵다. 그에 따라 본 연구에서는 토픽 마이닝의 결과값을 기반으로 의사결정나무 모형을 사용하여 주제어와 평점 사이의 관계를 도출하였다. 이러한 방법론의 유용성을 평가하기 위해 홍콩에 있는 4개 호텔의 온라인 후기를 수집하고 제안한 방법론의 분석 결과를 해석하는 실험을 진행하였다. 실험 결과 긍정 후기를 통해 각 호텔이 유지해야할 서비스 영역을 발견할 수 있었으며 부정 후기를 통해 개선해야할 서비스 영역을 도출할 수 있었다. 따라서, 본 연구에서 제안한 방법론을 사용하여 방대한 양의 후기 데이터로부터 서비스 개선 및 유지 영역을 발견할 수 있으리라 기대된다.

대화식 데이터 마이닝 기법을 활용한 자동차 보험사의 인입 콜량 예측 사례 (A Case Study on Forecasting Inbound Calls of Motor Insurance Company Using Interactive Data Mining Technique)

  • 백웅;김남규
    • 지능정보연구
    • /
    • 제16권3호
    • /
    • pp.99-120
    • /
    • 2010
  • 최근 고객들의 비대면 접점 서비스 이용도가 높아짐에 따라, 비대면 채널은 다양한 데이터의 분석을 통해 고객 만족도를 향상시킬 수 있는 유용한 창구로 인식되고 있다. 이러한 비대면 채널의 대표적 영역으로 콜센터를 들 수 있으며, 콜센터 운영에서 고객 만족도에 가장 큰 영향을 미치는 요소는 상담 인력의 규모인 것으로 알려져 있다. 즉, 일정수준 이상의 고객 만족도를 유지하기 위해서는 충분한 상담 인력을 확보하는 것이 관건이지만, 불필요하게 많은 인력을 확보하는 것은 인건비 측면에서 비용의 낭비를 초래할 수 있다. 따라서 부족하지도 않고 넘치지도 않을 정도의 적정 인력을 산출하는 능력은 콜센터 운영의 핵심 경쟁력으로 인식되고 있으며, 최근 콜센터에서는 적정 인력의 규모를 예측하기 위해 WFM(Work Force Management) 업무 전담 부서를 설치하고 콜량을 정확하게 예측하기 위한 노력을 기울이고 있다. 콜량 예측을 위해 현업에서 주로 사용되는 방법은 담당자의 직관에 의존하는 방법으로, 일정기간의 콜량 평균을 담당자가 주관적 판단에 의해 보정함으로써 이루어진다. 하지만 이러한 방식은 담당자의 주관적 성향에 크게 좌우된다는 한계를 갖고 있어서, 최근에는 다양한 예측 모형을 시스템화한 WFMS(Workforce Management System) 패키지가 널리 활용되고 있다. 하지만 이 시스템은 초기 도입 시 매우 고가의 구축비용이 발생하며, 신규 요인 발굴 시 이를 즉각적으로 시스템에 반영하기 어렵다는 한계점을 갖고 있다. 이를 극복하기 위해 본 연구에서는 데이터 마이닝의 대화식 의사결정나무 기법을 이용함으로써, 객관적이면서도 업무 배경 지식을 충분히 활용할 수 있는 예측 모형을 수립하고자 한다. 또한, 본 연구에서 수립한 모형의 정확성 평가를 위해, 국내 최대 규모의 한 자동차 보험사 콜센터의 4년 8개월 간의 실 데이터를 사용한 실험을 수행하고 그 결과를 제시하였다. 실험에서는 기존의 WFMS와 본 연구에서 제안하는 두 가지 모형인 대화식 의사결정나무 기반의 예측 모형, 일반 의사결정나무 기반의 예측 모형의 세 가지 모형에 대해, 다양한 오차 허용범위 하에서의 사고콜 및 고장콜에 대한 예측 적중률을 평가하였다.