• Title/Summary/Keyword: 이상데이터

검색결과 6,548건 처리시간 0.041초

교사학습 알고리즘을 이용한 텍스트 분류 시스템 (A Text Classification System based on a Supervised Learning Algorithm)

  • 김진상;성정호;김성주
    • 한국데이타베이스학회:학술대회논문집
    • /
    • 한국데이타베이스학회 1998년도 국제 컨퍼런스: 국가경쟁력 향상을 위한 디지틀도서관 구축방안
    • /
    • pp.421-430
    • /
    • 1998
  • 지식경영을 위한 다양한 대상 업무중에서 텍스트 데이터의 마이닝은 특히 중요하다. 그 이유는 텍스트 데이터가 양적인 면에서 가장 풍부하고, 또 발견할 수 있는 지식을 가장 많이 포함하고 있기 때문이다. 본 논문에서는 텍스트 데이터베이스에서 지식발견을 위한 한 과정으로 텍스트 데이터베이스 내의 텍스트들을 분류하는 기법을 기술한다. 특히 문서 분류 방법은 데이터베이스의 일부 데이터를 훈련, 예제로 간주하여 교사 학습 알고리즘을 통해 학습한 후 나머지 데이터를 이용해 분류 정확성을 검증 및 향상시킨다. 시험 데이터로는 인터넷의 뉴스그룹의 기사를 이용하였고, 시험 결과 분류의 정확성은 한글 및 영문 모두 최소 70% 이상으로 나타났다.

  • PDF

수질센서 데이터 마이닝을 위한 클러스터링 적용 모델 (An Application Model for Clustering in Water Sensor Data Mining)

  • 권대현;조수선
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2009년도 추계학술발표대회
    • /
    • pp.29-30
    • /
    • 2009
  • 센서 데이터의 마이닝 기술은 의사결정을 위한 통합정보 및 예측정보를 제공하는 USN 지능형 미들웨어의 주요 구성 요소이다. 본 논문에서는 수질 센서 데이터 마이닝 시스템을 개발하기위해 대표적인 데이터 마이닝 기법인 클러스터링의 적용 모델을 소개한다. 적용 모델의 클러스터링을 통해 중간노드에서의 데이터 이상치 검출과 호스트에서의 시간대별 데이터 변화 검출이 가능하다.

데이터 불균형과 측정 오차를 고려한 생분해성 섬유 인장 강신도 예측 모델 개발 (The Development of Biodegradable Fiber Tensile Tenacity and Elongation Prediction Model Considering Data Imbalance and Measurement Error)

  • 박세찬;김덕엽;서강복;이우진
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제11권12호
    • /
    • pp.489-498
    • /
    • 2022
  • 최근 노동 집약적인 성격의 섬유 산업에서는 인공지능을 통해 섬유 방사 공정에 들어가는 비용을 줄이고 품질을 최적화하려고 시도 하고 있다. 그러나 섬유 방사 공정은 데이터 수집에 필요한 비용이 크고 체계적인 데이터 수집 및 처리 시스템이 부족하여 축적된 데이터양이 적다. 또 방사 목적에 따라 특정한 변수에만 변화를 준 데이터만을 우선으로 수집하여 데이터 불균형이 발생하며, 물성 측정 환경의 차이로 인해 동일 방사 조건에서 수집된 샘플 간에도 오차가 존재한다. 이러한 데이터 특성들을 고려하지 않고 인공지능 모델에 활용할 경우 과적합과 성능 저하 등의 문제가 발생할 수 있다. 따라서 본 논문에서는 방사 공정 데이터 특성을 고려한 이상치 처리 기법과 데이터 증강 기법을 제안한다. 그리고 이를 기존 이상치 처리 기법 및 데이터 증강 기법과 비교하여 제안한 기법이 방사 공정 데이터에 더 적합함을 보인다. 또 원본 데이터와 제안한 기법들로 처리된 데이터를 다양한 모델에 적용하여 비교함을 통해 제안한 기법들을 사용한 모델들이 그렇지 않은 모델들에 비해 인장 강신도 예측 모델의 성능이 개선됨을 보인다.

플래시 메모리를 이용한 다중 버전 기반의 동시성 제어 기법의 성능 평가 (Performance Evaluation of Multi-Version Concurrency Control using a Flash Memory)

  • 오주형;김재명;나갑주;이상원
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2007년도 한국컴퓨터종합학술대회논문집 Vol.34 No.1 (C)
    • /
    • pp.130-133
    • /
    • 2007
  • 데이터베이스 시스템은 전통적으로 트랜잭션의 동시 접근 시 발생할 수 있는 문제들을 해결하고 동시성 향상을 위해 다양한 연구를 진행해 왔다. 다중 버전 기반의 동시성 제어 기법은 데이터 레코드에 대한 여러 버전을 전용 공간에 유지하고 이것을 통해 트랜잭션들의 동시 접근 시 블로킹 없이 원하는 데이터를 읽고 쓸 수 있게 된다. 그러나 데이터 레코드가 포함된 데이터 블록에 대해 여러 개의 트랜잭션이 동시에 데이터를 덮어쓰기 했을 경우 다수의 버전이 생성된다. 그래서 트랜잭션 별로 적합한 데이터 버전을 찾기 위해 버전들이 저장되어 있는 전용공간을 랜덤하게 검색해 데이터 블록을 찾아내야 하므로 많은 시간이 소모된다. 따라서 다중 버전 읽기의 부하를 줄이기 위해 차세대 저장 매체로 부상하고 있는 플래시 메모리를 이용할 경우 랜덤 읽기에 의한 데이터베이스 시스템의 성능저하를 줄일 수 있다. 플래시 메모리는 디스크와 달리 기계적인 파트가 존재하지 않기 때문에 저장된 모든 블록에 대해 빠른 랜덤 읽기를 가능하게 한다. 본 논문에서는 플래시 메모리를 다중 버전 기반의 동시성 기법에 적용했을 경우의 성능 평가를 통해 하드 디스크에 비해 3.5배 이상의 높은 성능을 보임을 증명한다.

  • PDF

무선 멀티미디어 센서 네트워크 환경에서 보안성 있는 에너지 인지 비-중첩 다중 경로 라우팅 기법 (An Energy Awareness Secure Disjointed Multipath Routing Scheme in Wireless Multimedia Sensor Networks)

  • 이상규;김동주;박준호;성동욱;유재수
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(D)
    • /
    • pp.308-310
    • /
    • 2012
  • 최근 무선 센서 네트워크 환경에서 대용량 멀티미디어 데이터에 대한 요구가 증가하면서 통신 대역폭 및 한정적인 에너지의 한계를 극복하기 위한 대안으로 데이터 분할 및 다중 경로 기법들이 제안되었다. 기존 기법들은 데이터 전송 시에 발생하는 부하의 분산을 통해 네트워크의 성능을 향상시킬 수 있다는 것을 증명하였지만, 데이터의 효율적인 분할과 악의적인 공격에 의한 보안성 문제에 대해서 고려하지 않았다. 이러한 문제점을 해결하기 위해 본 논문에서는 비트평면 분할 기반의 보안성 있는 비-중첩 다중경로 라우팅 기법을 제안한다. 제안하는 기법은 멀티미디어 데이터를 비트평면 단위로 분할하여 다중 경로로 전송함으로써 기존의 키 기반의 암호화 기법을 사용하지 않고도 전체 네트워크에 대한 보안성을 향상 시켰다. 또한 경로 상 노드들의 잔여 에너지를 고려하여 데이터 전송을 수행함으로써 전체 네트워크의 에너지 효율성을 향상시켰다. 성능평가 결과, 제안하는 기법은 기존 기법에 비해 노드의 생존율이 평균 50% 이상 향상되었고, 데이터가 노출되더라도 해당 패킷을 가지고 본래 이미지를 복구하는 것이 불가능하기 때문에 높은 보안성을 제공한다.

빅데이터 플랫폼 기반 건물 에너지 통합 관리 시스템 설계 (Design of Building Energy Management System Using Big data Platform)

  • 김태형;정연쾌;이일우
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2016년도 춘계학술발표대회
    • /
    • pp.580-581
    • /
    • 2016
  • 국제적으로 지속적인 이슈가 되고 있는 에너지 절감에 대한 대책으로 다양한 에너지 절감 기술들이 연구 개발되고 있다. 특히 전체 에너지 사용량의 약 20%이상을 차지하는 건물(가정/상업/공공)부문에서는 에너지 진단 및 분석을 수행하기 위해 건물 에너지 관리 시스템(BEMS: Building Energy Management System)과 건물 자동화 시스템(BAS: Building Automation System) 그리고 다양한 환경정보들을 수집하여 활용한다. 하지만 기존 분석 방식은 결과의 신뢰성에 최소한의 영향을 주면서 데이터 관리 효율을 높이는 방법에 초점을 맞춰 연구가 진행되었으며, 이를 위해 기존에 수집된 데이터를 압축하거나 샘플링하는 사전 정제 과정을 거치게 되었다. 하지만 빅데이터 플랫폼을 활용하면 더 이상 신뢰성을 낮추면서까지 데이터를 정제할 필요가 없어지고, 수집되는 모든 데이터에 대한 다차원 분석을 빠르게 수행할 수 있게 된다. 따라서 본 논문에서는 하드웨어의 한계로 기존 건물에너지 진단 및 분석 시스템에서 제공하지 못했던 다양한 분석 및 진단 서비스들을 빠르고 정확하게 제공하도록 하는 빅데이터 플랫폼 기반 건물 에너지 통합 관리 시스템 설계에 대해 서술한다.

데이터 웨어하우스 기반의 원격 건물에너지 통합 관리 시스템 설계 (Design of Remote Building Energy Management System Based-on Data Warehouse)

  • 김태형;정연쾌;이일우
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 추계학술발표대회
    • /
    • pp.1110-1112
    • /
    • 2015
  • 에너지 절감을 위해 다양한 분야에서 노력을 기울이고 있지만 전체 에너지 사용량의 약 20% 이상을 차지하는 건물 분야는 정부의 정책과 제도적인 지원 하에 에너지 절감활동을 활발하게 진행하고 있다. 특히 $3000m^2$ 이상의 중대형 건물의 경우 BEMS(Building Energy Management System)기반의 건물에너지 관리가 의무화 될 예정이다. 하지만 기존 BEMS의 경우 특정 기업에 의한 단독 솔루션 형태로 제공되고 있어 BEMS간 데이터 상호호환성을 보장하지 않고, 단순 모니터링 기능에 의존하여 저장/관리 되지 않고 버려지는 데이터들이 많아 차후 문제가 발생한 경우 과거 데이터를 통한 분석 작업에 어려움이 있다. 따라서 본 논문에서는 건물에너지 통합관리 측면에서 원격지에 설치된 다양한 BEMS들의 센서/미터 데이터들을 웹을 통해 수집하고 데이터 웨어하우스에 저장/관리되며 건물에너지 통계, 분석 및 진단을 가능하도록 하는 데이터 웨어하우스 기반의 원격 건물에너지 통합 관리 시스템 설계에 대해 서술한다.

이상거래 탐지 기법의 성능 비교 연구 (A Performance Comparison Study of Fraud Detection Techniques)

  • 김민석;박상현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 추계학술발표대회
    • /
    • pp.738-741
    • /
    • 2017
  • 금융 산업, IT 기술의 발전과 이를 융합한 핀테크 사업의 활성화에 따라 전자금융거래의 규모가 지속적으로 증가하고 있다. 이에 따라 다양한 사기 결제나 부정 결제의 위험도 증가하고 있다. 그래서 이러한 위험을 사전에 예방하기 위해 데이터 마이닝 기법을 이용한 이상거래 탐지 연구가 활발히 진행되고 있다. 본 연구에서는 데이터 마이닝을 이용한 이상거래 탐지 연구 동향을 살펴보고, 세부 응용 영역별(신용카드, 보험, 기타금융)로 최적의 성능을 보이는 기법을 비교 분석하였다. 이러한 연구의 결과는 이상거래 탐지 시스템에 대한 최신 연구 동향을 이해하고, 다양한 전자금융거래에 적용할 수 있는 범용(General-purpose) 이상거래 탐지 기술 연구에 큰 도움이 될 것으로 기대된다.

잡음 환경에서 선로 전환기 이상 상황 탐지 (Abnormal Detection of Railway Point-Machine Under Noise Conditions)

  • 최용주;이종욱;박대희;정용화
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2019년도 춘계학술발표대회
    • /
    • pp.394-397
    • /
    • 2019
  • 센서 및 정보 통신 기술의 발전은 산업 현장에서 취득한 정보를 기반으로 다양한 연구를 수행할 수 있는 토대가 되었다. 본 연구에서는 철도의 진로 방향을 전환하는 선로 전환기 주변에 설치한 소리 센서에서 수집한 소리를 기반으로 선로 전환기의 이상 상황을 탐지하고자 한다. 이와 같은 소리 데이터 기반의 이상 상황 탐지 시스템을 실제 산업 현장에서 성공적으로 운용되기 위해서는 소리 취득 시 발생하는 다양한 잡음 환경에서도 이상 상황을 식별할 수 있는 강인함이 보장되어야 한다. 본 논문에서는 소리 음질을 향상시키기 위하여 SEGAN(Speech Enhancement Generative Adversarial Network)을 활용하며, CNN(Convolutional Neural Network)을 기반으로 선로 전환기의 이상 상황을 식별하는 시스템을 제안한다. 수집된 소리 데이터를 기반으로 제안한 시스템을 실험적으로 검증한 바 잡음에 강인한 성능을 확인하였다.

반려동물 행동 분석 기반 이상행동 예측 시스템 (Abnormal behavior prediction system based on companion animal behavior analysis)

  • 신민찬;문남미
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2021년도 춘계학술발표대회
    • /
    • pp.487-490
    • /
    • 2021
  • 최근 반려동물 관련 산업이 증가함에 따라 반려동물의 행동을 분석하는 연구가 진행되고 있다. 이를 바탕으로 본 논문에서는 반려동물 행동 분석을 통한 이상행동 예측 시스템을 제안한다. 이 시스템은 CCTV로부터 반려동물의 영상 데이터를 수집하고, YOLOv4(You Only Look Once version 4)를 통해 반려동물의 객체를 탐지한다. 행동을 분석하기 위해 탐지된 반려동물 객체를 DeepLabCut 딥러닝 알고리즘을 사용하여 관절 좌표 정보를 추출한다. 추출된 관절 좌표와 반려동물의 일반적인 행동을 매칭하여 이상행동을 예측하기 위한 DNN(Deep Neural Networks)의 입력 데이터로써 사용된다. 위 과정을 통해 반려동물의 전체적인 행동을 분석하여 이상행동을 예측한다. 이 시스템을 통해 반려동물의 행동을 분석하고 이상행동을 예측함으로써 반려동물 의료 관련 사업에도 적용될 수 있을 것이다.