• Title/Summary/Keyword: 데이터 정제

Search Result 466, Processing Time 0.045 seconds

Process of Automatic User Log Data Analysis Stored in Embedded Device (임베디드 기기에 저장된 사용자 로그 데이터 자동 분석 프로세스)

  • Kim, Bong-Jun;Kim, Sung-Sook;Kim, Jong-Cheol;Park, Kie-Jin
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2008.06b
    • /
    • pp.303-307
    • /
    • 2008
  • 임베디드 기기의 사용 이력을 정확히 파악하는 방식으로는 기기 내부에 자동으로 저장된 로그 데이터를 분석하는 방법이 있으며, 저장된 로그 데이터를 분석하기 위해서는 데이터 정제 및 변환 과정이 필요한데, 이 과정에서 임베디드 기기에 저장된 방대한 양의 로그 데이터로 인해 많은 시간과 인력이 소요되고 있다. 이에 본 논문에서는 임베디드 기기의 로그 데이터를 데이터베이스로 관리하고 이로부터 사용 이력 분석 데이터 셋을 입력, 출력, 기능부분으로 나누어 추출하는 일련의 프로세스를 설계하였고 또한 이 과정이 자동화가 되도록 구현하였으며, 이를 통해 임베디드 기기의 로그 데이터를 분석할 때 시간과 인력을 절약할 수 있다는 가능성을 확인하였다.

  • PDF

The Research of PPI Data Quality Improvement on Ontology (온톨로지 기반의 단백질 반응 데이터 품질향상 연구)

  • Jang Hee-Seon;Won Min-Young;Kim Tae-Kyeong;Cho Wan-Seop
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2006.06c
    • /
    • pp.94-96
    • /
    • 2006
  • 단백질 상호작용(Protein-Protein interaction : PPI )은 생명체 내에서 생명현상을 유지하기 위한 단백질 간의 유기적인 반응이다. 생물학 실험 도구의 발달로 현재 대량의 PPI 데이터가 발생하고 있으며 이것을 활용하여 생명체를 시스템 관점에서 이해하기 위한 시도가 진행되고 있다. 하지만 현재 PPI 데이터는 중복의 문제, 생물학자들 간의 용어사용의 불일치성 문제로 인해 데이터의 질이 저하되어 분석결과에 부정적인 영향을 끼치고 있다. 본 논문에서는 현재 인간 PPI 데이터의 문제점을 분석하고 이것을 해결하기 위한 온톨로지 기반의 데이터 정제 방법론을 제시한다. 본 연구를 통해 HPRD내에 존재하고 있던 약 52%의 결함이 있는 데이터를 발견하고 인간 단백질 상호작용 데이터의 품질을 향상시켰다.

  • PDF

A Study on User Behavior Analysis Tool for Convergence of Smart Appliances (스마트 기기의 컨버전스를 위한 사용자 행위 분석도구에 관한 연구)

  • Son, Hyun-Seung;Kim, Woo-Yeol;Kim, Young-Chul
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2006.11a
    • /
    • pp.559-562
    • /
    • 2006
  • 스마트 기기에 대한 사용자의 요구사항의 다양화, 고도화라는 키워드를 충족시키기 위해서는 효율성 측면에서 우수한 재조합적 혁신인 컨버전스가 효과적인 방안이다[1]. 사용자의 요구상황을 분석하는 방법으로는 사용자를 관측, 설문을 통한 행위 분석 방법도 있다. 이때 정제되지 않는 관측, 설문, 행위 데이터는 방대한 양이므로 분석하기가 매우 어렵다. 물론 사용자의 데이터 영역을 제한으로 데이터를 줄일 수도 있겠지만 필요한 데이터의 손실 위험을 가지고 있다. 그래서 본 논문에서는 요구사항 데이터를 이용하여 스마트 기기의 컨버전스에 필효한 요구사항 ��루을 위한 분석도구를 제안한다. 적용 사례로 사용자 데이터를 도구를 이용하여 핵심 데이터를 추출하였다. 향후에는 핵심데이터를 가지고 컨버전스된 스마트 기기를 개발할 수 있는 방법을 연구하려 한다.

  • PDF

Mathematical Foundations and Educational Methodology of Data Mining (데이터 마이닝의 수학적 배경과 교육방법론)

  • Lee Seung-Woo
    • Journal for History of Mathematics
    • /
    • v.18 no.2
    • /
    • pp.95-106
    • /
    • 2005
  • This paper is investigated conception and methodology of data selection, cleaning, integration, transformation, reduction, selection and application of data mining techniques, and model evaluation during procedure of the knowledge discovery in database (KDD) based on Mathematics. Statistical role and methodology in KDD is studied as branch of Mathematics. Also, we investigate the history, mathematical background, important modeling techniques using statistics and information, practical applied field and entire examples of data mining. Also we study the differences between data mining and statistics.

  • PDF

Deep Learning-based Image Data Processing for Golf Course Simulation (골프 코스 시뮬레이션을 위한 딥 러닝 기반 이미지 데이터 처리 기법)

  • Seunghyun Kim;Wonje Choi;Honguk Woo
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2023.07a
    • /
    • pp.545-548
    • /
    • 2023
  • 본 논문에서는 골프 코스 시뮬레이션을 위해 수집된 데이터의 정제 및 처리에 요구되는 딥 러닝 모델과 모델 적용 과정에 대해서 논의한다. 최근 스크린 골프 시장의 확대와 골프 시뮬레이터 기술의 발전으로, 위성 이미지, 항공 촬영 이미지, 공간 정보 시스템 (GIS) 등 다양한 데이터 소스로부터 골프 코스에 대한 정보를 수집에 대한 요구가 증가하였다. 이번 연구에서는 이러한 데이터 소스로부터 생성된 원시 데이터를 최적의 시뮬레이션 입력으로 변환하기 위한 컴퓨터 비전 기법과 딥 러닝 모델 구조에 대해서 검토한다. 특히, 데이터에서 골프 코스 시뮬레이션에 요구되는 메타 데이터를 도출하기 위해 코스 분할(Segmentation)과 코스 오브젝트 분류(Classification) 모델을 적용하는 과정을 다룬다. 이를 통해, 본 연구는 골프 코스 시뮬레이터의 개발 과정에서 중요한 기술 요소를 제공하며, 이는 시뮬레이션의 정확도와 골프 코스의 다양성을 증진시키는데에 기여한다.

  • PDF

Enhanced Meta Process Implementation For Growing Data Warehouse (데이터웨어하우스 성장에 따른 개선된 메타프로세스 구현)

  • Lee, Dong-Won;Moon, Seung-Jin
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2000.04a
    • /
    • pp.7-9
    • /
    • 2000
  • 데이터 웨어하우스는 기업의 의사 결정 과정을 향상시킬 수 있게 하는 정보기술이다. 대표적인 정의로는 '기업의 의사결정 과정을 지원하기 위한 주제 중심적이고 통합적이며 시간성을 가지는 비휘발성 자료의 집합 '이다.[1] 즉, 기업들이 보유하고 있는 분산된 대량의 데이터를 추출, 변환, 통합하여 요약된 읽기 전용의 데이터베이스로 구축함으로써, 경영분석이나 기업내의 의사 결정 지원 자료로 주로 활용된다. 데이터 웨어하우스의 경우, 일반사용자는 웨어하우스내에 저장된 데이터를 직접 이용하는 경우가 대부분이다. 따라서, 데이터의 구조와 의미에 대한 일반 사용자의 이해가 필요하게 되었다. 즉, 데이터의 추출 및 정제규칙, 데이터의 통합규칙, 요약알고리즘, 데이터 처리스케쥴 등을 알아야만 한다. 메타데이터는 최소한의 데이터 구조, 데이터의 요약에 사용된 알고리즘, 운영 데이터베이스와 데이터 웨어하우스사이의 대응관계와 같은 정보를 포함하여야 한다.[3] 여기서 변환프로세스에 대한 정보를 데이터의 형식에 대한 정보와 일반적인 데이터들과 차별화하여 메타프로세스라 한다.[5] 메타프로세스는 데이터를 변환하여 데이터 웨어하우스에 적재하는 과정에서 생성되는 메타데이터의 일부로써 데이터 웨어하우스에 통합된 자료들이 어떤 변환과정을 거쳐 생성된 자료인지를 알려주는 변환프로세스에 관한 정보를 제공한다. 본 연구에서는 대부분의 데이터 웨어하우스에서 구현되고 있는 메타데이터들은 데이터 항목의 속성정보를 위주로 한 것이며, 변환 프로세스와 관련된 데이터 관리가 미약하다. 따라서, 데이터 웨어하우스의 메타데이터 중 메타프로세스 정보의 추출 및 관리 시스템을 제안하는 것이다.

  • PDF

Time Series Prediction by Combining Evolutionary Neural Trees (진화 신경트리의 결합에 의한 시계열 예측)

  • 정제균;장병탁
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1999.10b
    • /
    • pp.342-344
    • /
    • 1999
  • 신경트리(evolutionary neural trees)는 트리 구조의 신경망 모델로서 진화 알고리즘으로 학습하기에 적합한 구조이다. 본 연구에서는 진화 신경트리를 시계열 예측에 적용하였다. 시계열 데이터는 대개 잡음이 포함되어 있으며 동역학적인 특성을 지닌다. 본 논문에서는 견고한 예측 결과를 획득하기 위해 한 개의 신경트리가 아닌 여러개의 신경트리를 결합하여 예측 모델을 구성하는 committee machine을 소개한다. 출력 패턴가에 correlation이 최소가 되도록 상이한 신경트리를 선택하여 결합함으로써 모델 결합 효과를 최대화하는 방법을 사용하였다. 인공적인 잡음을 포함한 시계열 예측 문제와 실세계 데이터에 대한 실험에서 예측에 대한 정확도가 단일 모델을 사용한 경우 보다 향상되었다.

  • PDF

빅데이터 기반 패션 추천 도우미 Shoes Navigator 설계 및 구현

  • 조현우 ;장지완 ;최현선;정목동
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2023.11a
    • /
    • pp.389-390
    • /
    • 2023
  • 본 논문에서는 패션 매칭의 어려움을 해결해주기 위하여 '무신사' 쇼핑몰을 이용하여 크롤링하고 이를 정제한 dataset을 이용하여 패션 스타일의 핵심 요소 중 하나인 신발에 초점을 맞추어, 이미지 기반의 패션 매칭 시스템인 빅데이터 기반 패션 도우미, Shoes Navigator 를 제안한다. 이를 위해 컴퓨터 비전 및 딥 러닝 기술을 활용하여 이미지에서 의류 항목을 자동으로 감지하고, 스타일, 색상과 같은 패션 특성을 추출한다. 또한, 사용자의 개인적인 스타일을 고려하여 최적의 매칭을 제안하기 때문에 패션 코디 문제를 용이하게 해결할 수 있다.

Packet Payload-based Network Traffic Classification using Convolutional Neural Network (Convolutional Neural Network을 활용한 패킷 페이로드 기반 네트워크 트래픽 분류)

  • Kim, Ju-Bong;Lim, Hyun-Kyo;Heo, Joo-Seong;Han, Youn-Hee
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2017.04a
    • /
    • pp.928-931
    • /
    • 2017
  • 네트워크 트래픽 데이터를 정제하여, Convolutional Neural Network Model 훈련에 적합한 데이터 세트로 변환하는데, 그 방법은 패킷 단위의 트래픽 데이터를 이미지 형태로 만드는 것이다. 완성된 데이터 세트를 훈련데이터로 하여 Convolutional Neural Network Model에 훈련하고, 훈련데이터의 이미지 크기를 변환해가며 훈련시킨 결과에 대해 비교 분석 및 평가를 진행한다.

Journal Subscription Value Curation Service Based on Incremental Big Data Learning (점진적 빅데이터 학습기반의 전자저널 구독가치 큐레이션 서비스)

  • Lee, Jeong-won;Jin, Seong-il
    • Proceedings of the Korea Contents Association Conference
    • /
    • 2019.05a
    • /
    • pp.409-410
    • /
    • 2019
  • 점진적 빅데이터 학습 기반의 전자저널 구독가치 큐레이션 서비스는 대용량의 학술정보 처리환경을 하드웨어 기반에서 소프트웨어 기반으로 데이터를 학습함에 있어 학습 소요시간 및 메모리 부족 문제 등을 해결하기 위해 널리 사용하는 자질축소 기법에 의존하지 않고 대량의 데이터를 자유롭게 학습하고 증분 데이터 변경요소만을 추가 반영할 수 있는 범용적이고 일반적인 분류기의 구조설계 방법이다. 학술정보의 논문요약과 참고문헌의 데이터 수집 정제 분류 저장 분석을 통해 활용할 수 있는 지표를 생성하여 도서관 학교 공공기관 연구기관 등에 제공하여 기관에서 구독하고 있는 학술지가 연구에 얼마나 활용되고 있는지를 판단하는 정보 가용성을 활용한 양질의 정보원을 확보하여 불필요한 저널 구독을 중단하고 연구자가 요구하는 품질 좋은 학술정보를 제공할 수 있는 서비스로 일반적인 학술문헌 이용도 평가방법과 달리 구독 가치에 대한 지표를 제공하는 큐레이팅 방법이다.

  • PDF