• 제목/요약/키워드: 데이터 정제

검색결과 466건 처리시간 0.051초

임베디드 기기에 저장된 사용자 로그 데이터 자동 분석 프로세스 (Process of Automatic User Log Data Analysis Stored in Embedded Device)

  • 김봉준;김성숙;김종철;박기진
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2008년도 한국컴퓨터종합학술대회논문집 Vol.35 No.1 (B)
    • /
    • pp.303-307
    • /
    • 2008
  • 임베디드 기기의 사용 이력을 정확히 파악하는 방식으로는 기기 내부에 자동으로 저장된 로그 데이터를 분석하는 방법이 있으며, 저장된 로그 데이터를 분석하기 위해서는 데이터 정제 및 변환 과정이 필요한데, 이 과정에서 임베디드 기기에 저장된 방대한 양의 로그 데이터로 인해 많은 시간과 인력이 소요되고 있다. 이에 본 논문에서는 임베디드 기기의 로그 데이터를 데이터베이스로 관리하고 이로부터 사용 이력 분석 데이터 셋을 입력, 출력, 기능부분으로 나누어 추출하는 일련의 프로세스를 설계하였고 또한 이 과정이 자동화가 되도록 구현하였으며, 이를 통해 임베디드 기기의 로그 데이터를 분석할 때 시간과 인력을 절약할 수 있다는 가능성을 확인하였다.

  • PDF

온톨로지 기반의 단백질 반응 데이터 품질향상 연구 (The Research of PPI Data Quality Improvement on Ontology)

  • 장희선;원민영;김태경;조완섭
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2006년도 한국컴퓨터종합학술대회 논문집 Vol.33 No.1 (C)
    • /
    • pp.94-96
    • /
    • 2006
  • 단백질 상호작용(Protein-Protein interaction : PPI )은 생명체 내에서 생명현상을 유지하기 위한 단백질 간의 유기적인 반응이다. 생물학 실험 도구의 발달로 현재 대량의 PPI 데이터가 발생하고 있으며 이것을 활용하여 생명체를 시스템 관점에서 이해하기 위한 시도가 진행되고 있다. 하지만 현재 PPI 데이터는 중복의 문제, 생물학자들 간의 용어사용의 불일치성 문제로 인해 데이터의 질이 저하되어 분석결과에 부정적인 영향을 끼치고 있다. 본 논문에서는 현재 인간 PPI 데이터의 문제점을 분석하고 이것을 해결하기 위한 온톨로지 기반의 데이터 정제 방법론을 제시한다. 본 연구를 통해 HPRD내에 존재하고 있던 약 52%의 결함이 있는 데이터를 발견하고 인간 단백질 상호작용 데이터의 품질을 향상시켰다.

  • PDF

스마트 기기의 컨버전스를 위한 사용자 행위 분석도구에 관한 연구 (A Study on User Behavior Analysis Tool for Convergence of Smart Appliances)

  • 손현승;김우열;김영철
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2006년도 추계학술발표대회
    • /
    • pp.559-562
    • /
    • 2006
  • 스마트 기기에 대한 사용자의 요구사항의 다양화, 고도화라는 키워드를 충족시키기 위해서는 효율성 측면에서 우수한 재조합적 혁신인 컨버전스가 효과적인 방안이다[1]. 사용자의 요구상황을 분석하는 방법으로는 사용자를 관측, 설문을 통한 행위 분석 방법도 있다. 이때 정제되지 않는 관측, 설문, 행위 데이터는 방대한 양이므로 분석하기가 매우 어렵다. 물론 사용자의 데이터 영역을 제한으로 데이터를 줄일 수도 있겠지만 필요한 데이터의 손실 위험을 가지고 있다. 그래서 본 논문에서는 요구사항 데이터를 이용하여 스마트 기기의 컨버전스에 필효한 요구사항 ��루을 위한 분석도구를 제안한다. 적용 사례로 사용자 데이터를 도구를 이용하여 핵심 데이터를 추출하였다. 향후에는 핵심데이터를 가지고 컨버전스된 스마트 기기를 개발할 수 있는 방법을 연구하려 한다.

  • PDF

데이터 마이닝의 수학적 배경과 교육방법론 (Mathematical Foundations and Educational Methodology of Data Mining)

  • 이승우
    • 한국수학사학회지
    • /
    • 제18권2호
    • /
    • pp.95-106
    • /
    • 2005
  • 본 논문에서는 수학을 기반으로 한 데이터베이스의 지식탐사 절차를 통하여 데이터의 선택, 정제, 통합, 변환, 축소, 데이터 마이닝 기법의 선택과 적용 및 모형의 평가에 관한 개념과 방법론을 소개하고 수학의 한 분야로서 통계학의 역할과 적용방법에 관하여 연구하고자 한다. 또한 오늘날 관심이 대상이 되고 있는 데이터 마이닝의 역사와 수학적 배경, 통계 및 정보 기술을 이용한 데이터 마이닝의 주요 모델링 기법, 실용적 응용 분야 및 적용 사례 그리고 데이터 마이닝과 통계의 차이점에 관하여 조사하고 논하고자 한다.

  • PDF

골프 코스 시뮬레이션을 위한 딥 러닝 기반 이미지 데이터 처리 기법 (Deep Learning-based Image Data Processing for Golf Course Simulation)

  • 김승현;최원제;우홍욱
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2023년도 제68차 하계학술대회논문집 31권2호
    • /
    • pp.545-548
    • /
    • 2023
  • 본 논문에서는 골프 코스 시뮬레이션을 위해 수집된 데이터의 정제 및 처리에 요구되는 딥 러닝 모델과 모델 적용 과정에 대해서 논의한다. 최근 스크린 골프 시장의 확대와 골프 시뮬레이터 기술의 발전으로, 위성 이미지, 항공 촬영 이미지, 공간 정보 시스템 (GIS) 등 다양한 데이터 소스로부터 골프 코스에 대한 정보를 수집에 대한 요구가 증가하였다. 이번 연구에서는 이러한 데이터 소스로부터 생성된 원시 데이터를 최적의 시뮬레이션 입력으로 변환하기 위한 컴퓨터 비전 기법과 딥 러닝 모델 구조에 대해서 검토한다. 특히, 데이터에서 골프 코스 시뮬레이션에 요구되는 메타 데이터를 도출하기 위해 코스 분할(Segmentation)과 코스 오브젝트 분류(Classification) 모델을 적용하는 과정을 다룬다. 이를 통해, 본 연구는 골프 코스 시뮬레이터의 개발 과정에서 중요한 기술 요소를 제공하며, 이는 시뮬레이션의 정확도와 골프 코스의 다양성을 증진시키는데에 기여한다.

  • PDF

데이터웨어하우스 성장에 따른 개선된 메타프로세스 구현 (Enhanced Meta Process Implementation For Growing Data Warehouse)

  • 이동원;문승진
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2000년도 제13회 춘계학술대회 및 임시총회 학술발표 논문집
    • /
    • pp.7-9
    • /
    • 2000
  • 데이터 웨어하우스는 기업의 의사 결정 과정을 향상시킬 수 있게 하는 정보기술이다. 대표적인 정의로는 '기업의 의사결정 과정을 지원하기 위한 주제 중심적이고 통합적이며 시간성을 가지는 비휘발성 자료의 집합 '이다.[1] 즉, 기업들이 보유하고 있는 분산된 대량의 데이터를 추출, 변환, 통합하여 요약된 읽기 전용의 데이터베이스로 구축함으로써, 경영분석이나 기업내의 의사 결정 지원 자료로 주로 활용된다. 데이터 웨어하우스의 경우, 일반사용자는 웨어하우스내에 저장된 데이터를 직접 이용하는 경우가 대부분이다. 따라서, 데이터의 구조와 의미에 대한 일반 사용자의 이해가 필요하게 되었다. 즉, 데이터의 추출 및 정제규칙, 데이터의 통합규칙, 요약알고리즘, 데이터 처리스케쥴 등을 알아야만 한다. 메타데이터는 최소한의 데이터 구조, 데이터의 요약에 사용된 알고리즘, 운영 데이터베이스와 데이터 웨어하우스사이의 대응관계와 같은 정보를 포함하여야 한다.[3] 여기서 변환프로세스에 대한 정보를 데이터의 형식에 대한 정보와 일반적인 데이터들과 차별화하여 메타프로세스라 한다.[5] 메타프로세스는 데이터를 변환하여 데이터 웨어하우스에 적재하는 과정에서 생성되는 메타데이터의 일부로써 데이터 웨어하우스에 통합된 자료들이 어떤 변환과정을 거쳐 생성된 자료인지를 알려주는 변환프로세스에 관한 정보를 제공한다. 본 연구에서는 대부분의 데이터 웨어하우스에서 구현되고 있는 메타데이터들은 데이터 항목의 속성정보를 위주로 한 것이며, 변환 프로세스와 관련된 데이터 관리가 미약하다. 따라서, 데이터 웨어하우스의 메타데이터 중 메타프로세스 정보의 추출 및 관리 시스템을 제안하는 것이다.

  • PDF

진화 신경트리의 결합에 의한 시계열 예측 (Time Series Prediction by Combining Evolutionary Neural Trees)

  • 정제균;장병탁
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1999년도 가을 학술발표논문집 Vol.26 No.2 (2)
    • /
    • pp.342-344
    • /
    • 1999
  • 신경트리(evolutionary neural trees)는 트리 구조의 신경망 모델로서 진화 알고리즘으로 학습하기에 적합한 구조이다. 본 연구에서는 진화 신경트리를 시계열 예측에 적용하였다. 시계열 데이터는 대개 잡음이 포함되어 있으며 동역학적인 특성을 지닌다. 본 논문에서는 견고한 예측 결과를 획득하기 위해 한 개의 신경트리가 아닌 여러개의 신경트리를 결합하여 예측 모델을 구성하는 committee machine을 소개한다. 출력 패턴가에 correlation이 최소가 되도록 상이한 신경트리를 선택하여 결합함으로써 모델 결합 효과를 최대화하는 방법을 사용하였다. 인공적인 잡음을 포함한 시계열 예측 문제와 실세계 데이터에 대한 실험에서 예측에 대한 정확도가 단일 모델을 사용한 경우 보다 향상되었다.

  • PDF

빅데이터 기반 패션 추천 도우미 Shoes Navigator 설계 및 구현

  • 조현우 ;장지완 ;최현선;정목동
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 추계학술발표대회
    • /
    • pp.389-390
    • /
    • 2023
  • 본 논문에서는 패션 매칭의 어려움을 해결해주기 위하여 '무신사' 쇼핑몰을 이용하여 크롤링하고 이를 정제한 dataset을 이용하여 패션 스타일의 핵심 요소 중 하나인 신발에 초점을 맞추어, 이미지 기반의 패션 매칭 시스템인 빅데이터 기반 패션 도우미, Shoes Navigator 를 제안한다. 이를 위해 컴퓨터 비전 및 딥 러닝 기술을 활용하여 이미지에서 의류 항목을 자동으로 감지하고, 스타일, 색상과 같은 패션 특성을 추출한다. 또한, 사용자의 개인적인 스타일을 고려하여 최적의 매칭을 제안하기 때문에 패션 코디 문제를 용이하게 해결할 수 있다.

Convolutional Neural Network을 활용한 패킷 페이로드 기반 네트워크 트래픽 분류 (Packet Payload-based Network Traffic Classification using Convolutional Neural Network)

  • 김주봉;임현교;허주성;한연희
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 춘계학술발표대회
    • /
    • pp.928-931
    • /
    • 2017
  • 네트워크 트래픽 데이터를 정제하여, Convolutional Neural Network Model 훈련에 적합한 데이터 세트로 변환하는데, 그 방법은 패킷 단위의 트래픽 데이터를 이미지 형태로 만드는 것이다. 완성된 데이터 세트를 훈련데이터로 하여 Convolutional Neural Network Model에 훈련하고, 훈련데이터의 이미지 크기를 변환해가며 훈련시킨 결과에 대해 비교 분석 및 평가를 진행한다.

점진적 빅데이터 학습기반의 전자저널 구독가치 큐레이션 서비스 (Journal Subscription Value Curation Service Based on Incremental Big Data Learning)

  • 이정원;진성일
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2019년도 춘계종합학술대회
    • /
    • pp.409-410
    • /
    • 2019
  • 점진적 빅데이터 학습 기반의 전자저널 구독가치 큐레이션 서비스는 대용량의 학술정보 처리환경을 하드웨어 기반에서 소프트웨어 기반으로 데이터를 학습함에 있어 학습 소요시간 및 메모리 부족 문제 등을 해결하기 위해 널리 사용하는 자질축소 기법에 의존하지 않고 대량의 데이터를 자유롭게 학습하고 증분 데이터 변경요소만을 추가 반영할 수 있는 범용적이고 일반적인 분류기의 구조설계 방법이다. 학술정보의 논문요약과 참고문헌의 데이터 수집 정제 분류 저장 분석을 통해 활용할 수 있는 지표를 생성하여 도서관 학교 공공기관 연구기관 등에 제공하여 기관에서 구독하고 있는 학술지가 연구에 얼마나 활용되고 있는지를 판단하는 정보 가용성을 활용한 양질의 정보원을 확보하여 불필요한 저널 구독을 중단하고 연구자가 요구하는 품질 좋은 학술정보를 제공할 수 있는 서비스로 일반적인 학술문헌 이용도 평가방법과 달리 구독 가치에 대한 지표를 제공하는 큐레이팅 방법이다.

  • PDF