• 제목/요약/키워드: 데이터 분석기법

검색결과 5,776건 처리시간 0.035초

지방자치단체 통합 데이터 활용성 분석 : 데이터마이닝 기법을 활용하여 (Analysis of the Utilization of Integrated Data on Local Governments: Using Data Mining Techniques)

  • 임광혁
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2017년도 춘계 종합학술대회 논문집
    • /
    • pp.115-116
    • /
    • 2017
  • 자체별 또는 연도별과 같은 공통 요소를 통한 교차 분석이 가능하도록 통합 DB를 설계함으로써 다면적인 연구 분석을 위한 프레임워크를 구축하는 데 중점을 두어야 한다. 본 연구는 지자체 통합 데이터베이스에 구축되고 있는 지자체 통합 데이터의 활용성 검증을 위하여, 데이터마이닝 기법을 적용하여 지자체 통합 데이터를 분석하고자 한다. 데이터마이닝 기법을 적용하기 위해서 데이터의 추출, 적재, 변환의 과정을 수행하고, 이렇게 준비된 데이터를 실제 데이터마이닝 기법을 이용하여 분석하고 결과를 검증하는 과정을 수행하면서 지자체 통합 데이터의 활용성을 검증하고자 한다.

  • PDF

시퀀스 패턴 마이닝 기법을 적용한 침입탐지 시스템의 경보데이터 패턴분석

  • 신문선
    • 한국산학기술학회:학술대회논문집
    • /
    • 한국산학기술학회 2010년도 춘계학술발표논문집 1부
    • /
    • pp.451-454
    • /
    • 2010
  • 침입탐지란 컴퓨터와 네트워크 자원에 대한 유해한 침입 행동을 식별하고 대응하는 과정이다. 점차적으로 시스템에 대한 침입의 유형들이 복잡해지고 전문적으로 이루어지면서 빠르고 정확한 대응을 할 수 있는 시스템이 요구되고 있다. 이에 대용량의 데이터를 분석하여 의미 있는 정보를 추출하는 데이터 마이닝 기법을 적용하여 지능적이고 자동화된 탐지 및 경보데이터 패턴 분석에 이용할 수 있다. 본 논문에서는 경보데이터 패턴 분석을 위해 시퀀스패턴기법을 적용한 경보데이터 마이닝 엔진을 구축한다. 구현된 경보데이터 마이닝 시스템은 기존의 시퀀스 패턴 알고리즘인 PrefixSpan 알고리즘을 확장 구현하여 경보데이터의 빈발 경보시퀀스 분석과 빈발 공격시퀀스 분석에 활용할 수 있다.

  • PDF

빅데이터 컴퓨팅을 위한 분석기법에 관한 연구 (A Study on the Analysis Techniques for Big Data Computing)

  • 오선진
    • 문화기술의 융합
    • /
    • 제7권3호
    • /
    • pp.475-480
    • /
    • 2021
  • 모바일 컴퓨팅과 클라우드 컴퓨팅 기술 그리고 소셜 네트워크 서비스의 급속한 발전과 더불어, 우리들은 시시각각 양산되고 있는 데이터의 홍수 속에서 살고 있으며, 이러한 대규모의 데이터는 매우 가치가 높은 중요한 정보를 품고 있다는 사실을 알게 되었다. 하지만 빅데이터는 잠재적인 유용한 가치와 치명적인 위험을 모두 가지고 있으며 오늘날 이러한 빅데이터로부터 유용한 정보를 효율적으로 추출해 내고 잠재된 정보를 효과적으로 활용하기 위한 연구와 응용이 활발하게 이루어지고 있는 상황이다. 여기서 빅데이터 컴퓨팅 과정 중 무엇보다도 중요한 것은 대용량 데이터로부터 유용하고 귀중한 정보를 효율적으로 추출해 낼 수 있는 적절한 데이터 분석기법을 찾아 적용하는 것이다. 본 연구에서는 이러한 빅데이터 컴퓨팅을 효율적으로 수행하여 원하는 유용한 정보를 추출할 수 있는 기존의 다양한 빅데이터 분석기법들을 조사하여, 그 특징과 장·단점 등을 비교 분석하고, 특별한 상황에서 빅데이터 분석기법을 이용하여 유용한 정보를 효율적으로 추출해 내고, 이들 잠재된 정보를 효과적으로 활용할 수 있도록 하는 방안을 제시하고자 한다.

구간데이터분석을 위한 형식개념분석기반의 분류 (A FCA-based Classification Approach for Analysis of Interval Data)

  • 황석형;김응희
    • 한국컴퓨터정보학회논문지
    • /
    • 제17권1호
    • /
    • pp.19-30
    • /
    • 2012
  • 다양한 정보기기와 소셜네트워크시스템, 그리고, 클라우드컴퓨팅환경 등과 같은 인터넷기반의 인프라를 토대로 분산화되고 공유가능한 데이터가 폭발적으로 증가하고 있다. 최근에는 데이터에 내재되어 있는 유용한 정보와 지식을 추출하고 분석 및 분류하기 위한 데이터분석 및 마이닝기법으로서, 이진데이터 또는 다치데이터에 관한 형식개념분석기법에 관한 연구가 활발하게 진행되어 다양한 분야에서 성공적으로 활용되고 있다. 그러나, 각 속성들이 구간값을 갖는 형태로 이루어진 구간데이터의 분석에 대한 형식개념분석에 관한 연구는 많이 수행되지 못하였다. 본 논문에서는, 구간데이터를 분석하기 위하여 형식개념분석기법을 기반으로 하는 새로운 분류기법을 제안한다. 또한, 구간데이터의 이진화, 개념추출 및 개념계층구조 구축 등, 본 논문에서 제안한 새로운 분류기법을 지원하기 위한 도구(iFCA)의 구축에 관하여 소개하고, 마지막으로, 몇가지 실세계의 데이터를 대상으로 한 실험결과를 토대로, 본 논문에서 제안하는 분류기법의 유용성에 대해서 설명한다.

정교한 데이터 분류를 위한 방법론의 고찰 (A Review of the Methodology for Sophisticated Data Classification)

  • 김승재;김성환
    • 통합자연과학논문집
    • /
    • 제14권1호
    • /
    • pp.27-34
    • /
    • 2021
  • 전 세계적으로 인공지능(AI)을 구현하려는 움직임이 많아지고 있다. AI구현에서는 많은 양의 데이터, 목적에 맞는 데이터의 분류 등 데이터의 중요성을 뺄 수 없다. 이러한 데이터를 생성하고 가공하는 기술에는 사물인터넷(IOT)과 빅데이터(Big-data) 분석이 있으며 4차 산업을 이끌어 가는 원동력이라 할 수 있다. 또한 이러한 기술은 국가와 개인 차원에서 많이 활용되고 있으며, 특히나 특정분야에 집결되는 데이터를 기준으로 빅데이터 분석에 활용함으로써 새로운 모델을 발견하고, 그 모델로 새로운 값을 추론하고 예측함으로써 미래비전을 제시하려는 시도가 많아지고 있는 추세이다. 데이터 분석을 통한 결론은 데이터가 가지고 있는 정보의 정확성에 따라 많은 변화를 가져올 수 있으며, 그 변화에 따라 잘못된 결과를 발생시킬 수도 있다. 이렇듯 데이터의 분석은 데이터가 가지는 정보 또는 분석 목적에 맞는 데이터 분류가 매우 중요하다는 것을 알 수 있다. 또한 빅데이터 분석결과 통계량의 신뢰성과 정교함을 얻기 위해서는 각 변수의 의미와 변수들 간의 상관관계, 다중공선성 등을 고려하여 분석해야 한다. 즉, 빅데이터 분석에 앞서 분석목적에 맞도록 데이터의 분류가 잘 이루어지도록 해야 한다. 이에 본 고찰에서는 AI기술을 구현하는 머신러닝(machine learning, ML) 기법에 속하는 분류분석(classification analysis, CA) 중 의사결정트리(decision tree, DT)기법, 랜덤포레스트(random forest, RF)기법, 선형분류분석(linear discriminant analysis, LDA), 이차선형분류분석(quadratic discriminant analysis, QDA)을 이용하여 데이터를 분류한 후 데이터의 분류정도를 평가함으로써 데이터의 분류 분석률 향상을 위한 방안을 모색하려 한다.

데이터 기반 인공지능 알고리즘을 사용하는 배터리 충전상태 추정 기법 조사 분석 (Survey on Battery SOC Estimation Methods using Data-driven AI Algorithms)

  • 정대웅;배성우
    • 전력전자학회:학술대회논문집
    • /
    • 전력전자학회 2020년도 전력전자학술대회
    • /
    • pp.363-364
    • /
    • 2020
  • 본 논문은 최근 주목 받고 있는 데이터 기반 인공지능 알고리즘을 사용하는 배터리 충전 상태 추정 기법에 대하여 조사 분석한다. 기존의 배터리 모델링 기법의 단점을 회피할 수 있는 데이터 기반 인공지능 알고리즘의 구조적 특징을 확인하고, 배터리 충전 상태 추정에 데이터 기반 인공지능 알고리즘을 적용 했을 때, 충전 상태 추정 정확도에 영향을 끼치는 요소인 데이터 구성에 대한 분석을 실시하여, 데이터 구성 시 필수적으로 고려해야하는 설계조건을 조사 분석한다.

  • PDF

Geometry PIG 데이터 분석을 위한 통합 가시화 기법 (Integrated Visualization Techniques for Analyzing Geometry PIG Data)

  • 김복동;구상옥;권혁돈;정승대;정순기
    • 한국HCI학회:학술대회논문집
    • /
    • 한국HCI학회 2006년도 학술대회 1부
    • /
    • pp.1107-1112
    • /
    • 2006
  • Geometry PIG (Pipeline Inspection Gauge)는 배관 내에 삽입되어 내부를 흐르는 매체에 의해서 추진되는 장치로서 배관의 기하학적 형상을 파악하기 위해 사용된다. Geometry PIG는 여러 종류의 센서를 지니고 배관 내부를 주행 하면서 탑재된 저장장치에 빠른 샘플링 속도로 데이터를 저장하기 때문에 획득된 많은 양의 데이터를 분석하기 위한 가시화 기법이 필요하다. 본 논문에서는 데이터의 특성을 고려하여 다양한 가시화 기법들의 스키마를 정의하고, 이러한 가시화 기법들을 이용해 geometry PIG 데이터 분석을 위한 통합된 가시화 기법을 제안한다. 통합된 가시화 기법은 각 가시화 기법들을 사용자가 원하는 형태로 배치하며 사용자가 원하는 시점에서 데이터를 파악할 수 있도록 가시화 기법에 따른 동기화와 사용자 인터페이스를 지원한다.

  • PDF

이동 단말기에서 멀티미디어 연출을 위한 버퍼 선일출기법 (Prefetch Method for Multimedia Presentation on Mobile Device)

  • 공란숙;최원희;박성근;이종호;임영환
    • 한국멀티미디어학회:학술대회논문집
    • /
    • 한국멀티미디어학회 2003년도 추계학술발표대회(상)
    • /
    • pp.417-420
    • /
    • 2003
  • 요즘은 여러 멀티미디어 데이터가 기존의 PC에서 재생되는 것이 아니라 핸드폰, PDA와 같은 이동단말기에서 재생되기가 요구되고 있다 멀티미디어 데이터의 용량이 크고 시간에 종속적인 연속 미디어이기 때문에 데이터의 일부론 미리 가져와서 재생하는 Prefetch기법이 필요하다. 영역 분할 기법과 재생가능성 분석기법을 통해서 멀티미디어 프리젠테이션의 재생가능 여부를 분석하고 재생이 불가능한 프리젠테이션은 EPOB지정을 이용한 Prefetch기법을 적용한 후 재생가능 여부를 판단한다. Prefetch하는 시점과 데이터의 양을 지정함으로서 원활한 멀티미디어 프리젠테이션을 재생 할 수 있다.

  • PDF

데이터 웨어하우스에서 해쉬 테이블을 이용한 효율적인 데이터 큐브 생성 기법 (Efficient Creation of Data Cube Using Hash Table in Data Warehouse)

  • 김형선;유병섭;이재동;배해영
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 가을 학술발표논문집 Vol.32 No.2 (2)
    • /
    • pp.211-213
    • /
    • 2005
  • 데이터 웨어하우스는 축적된 대량의 데이터를 분석하여 의사결정을 지원하는 시스템이다. 의사결정을 위한 대량의 데이터 분석은 많은 비용을 요구하므로, 질의 처리 성능을 높이고 의사 결정자에게 빠른 응답을 제공하는 효율적인 데이터 큐브 생성 기법이 연구되었다. 기존 기법으로는 Multiway Array 기법과 H-Cubing 기법이 있다. Multiway Array 기법은 다차원 집계 연산에 필요한 모든 데이터를 배열로 저장하는 것으로 데이터의 양이 많아질수록 메모리 사용이 증가한다. H-Cubing 기법은 Hyper-Tree를 기반으로 튜플을 트리로 구축하므로 모든 튜플을 트리로 구축해야 하는 비용이 증가한다. 본 논문에서는 데이터 웨어하우스에서 해쉬 테이블을 이용한 효율적인 데이터 큐브 생성 기법을 제안한다. 제안 기법은 데이터 큐브 생성 시 필드 해쉬 테이블과 레코드 해쉬 테이블을 사용한다. 필드 해쉬 테이블은 저장될 레코드 순서 계산을 위하여 각 필드에 대해 레벨 값을 해쉬 테이블로 관리한다. 레코드 해쉬 테이블은 데이터 큐브 테이블에 저장될 레코드의 순서와 데이터 큐브 테이블에 저장하기 위한 임시 레코드의 위치를 관리한다. 필드 해쉬 테이블을 이용하여 다차원 데이터의 저장될 레코드 순서를 빠르게 찾아 저장함으로서 데이터 큐브의 생성속도가 향상된다. 또한 해쉬 테이블 만을 유지하면 되므로 메모리 사용량이 감소한다. 따라서 해쉬 테이블의 사용으로 데이터의 빠른 검색과 데이터 큐브 생성 요청에 빠른 응답이 가능하다.

  • PDF

PCA 기법에 의한 회귀분석 신경망의 성능개선 (Performance Improvement of Regression Neural Networks by Using PCA)

  • 조용현;박용수
    • 한국멀티미디어학회:학술대회논문집
    • /
    • 한국멀티미디어학회 2001년도 춘계학술발표논문집
    • /
    • pp.116-119
    • /
    • 2001
  • 본 논문에서는 주요성분분석 기법을 도입하여 회귀분석을 위한 신경망의 성능 개선방안을 제안하였다. 이는 대용량의 입력 데이터를 통계적으로 독립인 특징들의 집합으로 변환시키는 주요성분분석 기법의 속성을 살려 학습데이터의 타원을 감소시킴으로서 고차원의 학습데이터에 따른 신경망의 학습성능 의존성을 줄이기 위함이다. 제안된 기법의 신경망을 10개의 독립변수 패턴을 가진 자동차 연비문제에 적용하여 시뮬레이션한 결과, 기존의 학습데이터를 그대로 이용하는 신경 망보다 우수한 학습성능과 회귀성능이 있음을 확인할 수 있었다.

  • PDF