• 제목/요약/키워드: 데이터 항목

검색결과 1,278건 처리시간 0.028초

데이터베이스에서 빈발패턴의 추출을 위한 메모리 향상기법 (Memory Improvement Method for Extraction of Frequent Patterns in DataBase)

  • 박인규
    • 한국인터넷방송통신학회논문지
    • /
    • 제19권2호
    • /
    • pp.127-133
    • /
    • 2019
  • 지금까지의 빈발 항목 추출에서는 FP-Tree에 대한 순회와 패턴의 탐색이 필수적인 과정이기 때문에 마이닝 데이터를 트리에 저장하는데 공간이 필요하고 탐색하는데 CPU시간이 필요하기 마련이다. 이러한 단점을 극복하기 위하여 본 논문에서는 조건부 FP-Tree의 의존하지 않고 트랜잭션 데이터의 각 항목들의 위치 정보를 부여하여 트랜잭션 데이터를 2차원의 위치정보 Look-Up테이블로 변환하여 시간과 공간적인 접근성을 용이하게 한다. 또한 항목과 항목의 위치에 대한 매핑배열을 병행하여 시간 복잡도를 줄이는 방법을 고려하는 알고리즘을 제안한다. 실험 결과를 통하여 제안된 방법은 FIMI 저장소 웹 사이트에서 얻은 데이터 세트를 기반으로 많은 실행 시간과 메모리 사용을 줄일 수 있음을 보였다.

Prefix-트리를 이용한 동적 가중치 빈발 패턴 탐색 기법 (Efficient Dynamic Weighted Frequent Pattern Mining by using a Prefix-Tree)

  • 정병수
    • 정보처리학회논문지D
    • /
    • 제17D권4호
    • /
    • pp.253-258
    • /
    • 2010
  • 지금까지의 빈발 패턴(Frequent Pattern) 마이닝에서는 각 항목들의 중요도(Weight)는 모든 같은 값으로 다루어 왔으나 실 환경에서는 각 항목들의 중요도가 다르게 적용되는 경우가 많이 있고 또 같은 항목이라도 시간에 따라 다른 중요도 값으로 다루어져야 할 경우가 있다. 비즈니스 데이터 분석 환경이나 웹 클릭 데이터 분석 환경과 같은 응용에서도 동적으로 변하는 중요도를 고려하여야 한다. 지금까지 항목의 중요도를 고려하는 여러 패턴 마이닝 기법들이 제안되고 있으나 동적으로 변하는 항목의 중요도를 고려하는 연구는 발표되지 않고 있다. 본 논문에서는 처음으로 동적인 항목들의 중요도(혹은 가중치)를 고려하는 빈발 패턴 마이닝 알고리즘을 제안한다. 제안하는 기법은 단 한번의 데이터베이스 스캔으로 처리되므로 스트림 데이터를 분석할 수 있다. 여러 실험을 통하여 제안하는 기법은 매우 효과적이며 확장성이 좋은 것임을 보인다.

RDBMS를 이용한 웹기반 다중항목 데이터 분석 시스템 설계 및 구현 (A Design and Implementation of Web-based Multiple item Data Analysis System using RDBMS)

  • 이선영;이지선;최정민;장근;이병수
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2001년도 추계학술발표논문집 (상)
    • /
    • pp.27-30
    • /
    • 2001
  • 기존의 오프라인에서 이루어지는 데이터 분석 방법은 대부분 수작업으로 이루어지기 때문에 데이터를 분석하는데 시간과 장소의 제약을 받으며 데이터 수집 과정에서 오류 발생률이 높게 나타나고, 예전보다 분석해야 할 데이터의 양이 방대해짐에 따라 사용자는 더 많은 시간과 노력을 할애해야 한다. 이에 데이터를 신속, 정확하게 분석하기 위해서는 보다 향상된 데이터 분석 기법의 개발이 필요하다. 따라서 본 논문에서는 이러한 문제점을 해결함과 동시에 온라인 환경에서 사용자가 데이터를 효율적으로 입력하고 분석할 수 있는 다중항목 데이터 분석 시스템을 제안한다. 이 시스템으로 사용자는 현재 일반화되어 있는 웹을 통하여 분석된 데이터 결과를 제공받을 수 있다.

  • PDF

데이터 마이닝에서 IRG에 의한 효율적인 빈발항목 생성방법 (A New Method for Efficiently Generating of Frequent Items by IRG in Data Mining)

  • 허용도;이광형
    • 한국멀티미디어학회논문지
    • /
    • 제5권1호
    • /
    • pp.120-127
    • /
    • 2002
  • 기존의 데이터 마이닝 방법들은 공통적으로 최소지지도(minimal support) 값의 변경에 의한 빈발항목 탐사의 비효율성, 불필요한 연관규칙의 생성으로 인한 불편성, 그리고 새로운 트랜잭션을 추가하게 되면 이전탐사과정에서 발견한 결과를 재활용하기 어렵다는 문제점들을 가지고 있다. 본 연구에서는 이러한 문제점들을 해결할 수 있는 SPM-IRG 방법을 제안한다. SPM-IRG 방법은 최소지지도 값을 이용하지만 트랜잭션내의 각 항목에 대하여 다른 항목과의 직접적·간접적인 관련성을 파악한 후 빈발항목을 생성한다. 또한 관심있는 항목에 대해서만 빈발항목을 구성할 수 있기 때문에 기존의 방법에서 발생하는 비효율성을 최소화할 수 있다

  • PDF

상수관로 위험도 예측을 위한 평가 지표 개발 (Development of Risk Prediction Index in Water Distribution System)

  • 최예지;정한나;장동우
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2023년도 학술발표회
    • /
    • pp.402-402
    • /
    • 2023
  • 상수관망은 충분한 양질의 수돗물을 공급하기 위한 사회기반 시설물이다. 상수관로의 노후화, 누수 등은 수도 사고 발생의 가능성을 증가시키고, 수돗물 안전성에 대한 신뢰도를 감소시킨다. 수돗물 공급 전 과정을 인공지능(AI), 정보통신기술(ICT)과 결합한 지능형 상수도관 예측 및 관리 시스템을 구축하여, 상수도 수질 사고를 조기에 감지하고 사전에 취약지점을 예측할 필요가 있다. 이를 위해서는 상수관로의 위험도를 평가하기 위한 체계적인 데이터와 기준이 필요하다. 본 연구에서는 상수관로의 위험도 예측모델을 개발하기 위해 상수관로 위험도와 관련된 평가 인자를 선정하고 분류하였으며, 각 인자의 명확한 기준을 제시하였다. 국내·외 상수도 위험도 평가 항목에 대한 자료를 비교 및 분석하였고, 전문가 자문을 통해 인자를 정립하여 상수관로 위험도 평가 지표를 개발하였다. 개발된 평가 지표의 현장 적용성과 실효성 검증을 위해 정량적인 데이터 확보가 가능하고 상태를 평가할 수 있는 대상 지역을 선정하였다. 문헌 자료의 평가항목들과 전문가 의견을 바탕으로 상수관로 위험도 평가 인자를 31개의 직접 인자와 5개의 간접 인자로 구분하였고, 인자별 평가 기준을 제시하였다. 직접 인자는 노후화 정도를 파악할 수 있는 노후도 평가 항목, 지역 특성을 반영한 토양 부식성 항목, 실시간으로 측정하여 결과를 제공하는 실시간 계측 항목, 직접적인 수질 결과를 제공하는 정수장 수질 항목, 상수관로의 건전성을 평가하는 자산관리 항목으로 분류하였다. 추후, 위험도 평가 운용을 위한 알고리즘을 개발하면 상수도 사고 위험에 대한 예방 및 대응 전략을 수립할 수 있을 것으로 기대된다.

  • PDF

멀티미디어 데이타의 재발생 항목 마이닝을 위한 연관규칙 연구 (A Study on Association-Rules for Recurrent Items Mining of Multimedia Data)

  • 김진옥;황대준
    • 한국멀티미디어학회논문지
    • /
    • 제5권3호
    • /
    • pp.281-289
    • /
    • 2002
  • 컴퓨터 처리기술과 저장기술 그리고 인터넷 등의 영향으로 멀티미디어 데이터의 양은 급속하게 증가하지만 체계적으로 멀티미디어 데이터간의 연관규칙을 마이닝하는 연구는 초기 단계이다. 본 논문은 이미지 프로세싱 분야 및 내용기반 이미지 검색에 대한 기존 연구를 바탕으로 대형 영상 데이터 저장소에 저장된 이미지 데이터에서 재발생하는 항목간의 연관규칙을 찾으며 공간적 관계로 내용기반의 연관규칙을 마이닝하는 알고리즘을 제안한다. 제안된 연관규칙 탐색 알고리즘은 이미지의 색상, 질감, 모양 등 내용기반의 영상속성을 오브젝트 항목으로 하여 오브젝트가 이미지에서 재발생될 때를 이용, 이미지간의 연관규칙을 찾고 오브젝트들이 이미지에서 차지하고 있는 공간적 위치관계를 통해 드러나지 않는 이미지간의 연관규칙을 마이닝한다. 본 논문의 재발생 항목을 고려한 연관규칙 알고리즘은 Apriori 알고리즘보다 빈번한 항목 집합을 찾아내는데 더 높은 성능을 보인다는 것을 실험 을 통하여 제시한다. 제 안된 알고리즘은 동일한 정보원으로부터 받은 멀티미디어 데이터간의 연관성을 탐색하는데 특히 효과적이며 다양한 관련 응용분야에 적용할 수 있다.

  • PDF

국가 통계표준 메타데이터 설계에 관한 연구 (Construction of the Guidelines for National Statistical Metadata)

  • 남영준
    • 정보관리연구
    • /
    • 제36권1호
    • /
    • pp.33-56
    • /
    • 2005
  • 본 연구에서는 인터넷 상에서 국가 통계 데이터의 자유로운 활용과 공개를 위해 필요한 메타데이터 표준안을 제안하였다. 설계는 우리나라 통계조사보고서와 통계청 내부 확장 메타데이터 기준을 기반으로 국제기준에서 요구하는 최소한의 메타데이터 세트가 포함되도록 하였다. 그 결과, SDMX와 SDDS의 중복요소에서 29개의 항목을 채택하고, 더블린 코어에서 14개의 항목을 채택하여 최종적으로 43개로 이루어진 국가 통계표준 메타데이터를 완성하였다.

웹 기반 가시화 시스템의 설계 및 구현 (Design and Implementation of Web-based Visualization System)

  • 이재일;송정길
    • 한국멀티미디어학회:학술대회논문집
    • /
    • 한국멀티미디어학회 2000년도 춘계학술발표논문집
    • /
    • pp.429-432
    • /
    • 2000
  • 일반사용자들이 쉽게 웹을 통하여 컴퓨터 그래픽스, 이미지(CT, MARI) 컴퓨터공학, 지리정보, 수치적 통계, 데이터분석 데이터를 그래픽으로 표현하고자 한다. VRML Visualization Server 구축하여 웹 기반 Visualizer 설계한다. 궁극적으로는 가시화의 실시간 표현에 있다. 모델링 기법에 있어서는 객체지향 그래픽 라이브러인 Visualization Toolkit을 이용하여 데이터의 Surface, Contour, Plane, Streamline, Probe 등을 구현하며, VRML 파일형태로 변환하여 클라이언트 웹으로 보내지게된다. 클라이언트 측 웹은 자신이 원하는 형태의 가시화 항목들을 선택하면 HTTP 에 의해 Visualization Server로 전송되어지고 Server의 ISAP는 전송되어져온 가시화항목을 가지고 가시화하여 VRML화일 형식으로 클라이언트 측으로 보내게된다.

  • PDF

지식을 이용한 특정 문서의 논리 구조 추출에 관한 연구 (A Study on the Extraction into the Logical Structure of a Specific Document using Knowledge)

  • 손영우;남궁재찬
    • 정보기술과데이타베이스저널
    • /
    • 제3권1호
    • /
    • pp.85-95
    • /
    • 1996
  • 본 논문은 특정문서에서 문서가 갖고 있는 일반적인 지식을 이용하여 논리적 항목을 추출하는 방법에 관한 연구이다. 먼저 입력된 문서의 영역 분할, 분리자 추출, 그리고 문자와 비문자를 구별하였다. 논리구조 추출단계에서는 구별된 요소의 상대적 크기, 위치 및 전후 블록들의 연관성에 관한 지식을 이용하여 각 블록들을 레이블링 하였고, 레이블된 항목들의 위치정보값을 이용하여 각 항목들을 자료화하였다. 마지막으로, 오분류된 항목에 대해서는 배치기술자를 이용한 검증을 통해 정정하였다. 본 논문에서 구현한 방법으로 실험한 결과 96.5%의 논리항목 추출율을 획득함으로써 그 유효성을 입증하였다.

  • PDF

희소 데이터 집합에서 효율적인 빈발 항목집합 탐사 기법 (Efficient Mining of Frequent Itemsets in a Sparse Data Set)

  • 박인창;장중혁;이원석
    • 정보처리학회논문지D
    • /
    • 제12D권6호
    • /
    • pp.817-828
    • /
    • 2005
  • 빈발 항목집합 마이닝 분야의 주된 연구 주제는 수행과정에서의 메모리 사용량을 줄이고 짧은 수행 시간에 마이닝 결과 집합을 얻는 것으로서, 빈발항목 탐색을 위한 다수의 방법들은 Apriori 알고리즘에 기반을 둔 다중 탐색 방법들이다. 또한 최대 빈발 패턴의 길이가 길어질수록 마이닝 수행 시간이 급격히 증가되는 단점을 가진다. 이를 극복하기 위해서 이전의 연구에서 마이닝 수행 시간을 단축하기 위한 다양한 방법들이 제안되었다. 하지만, 다수의 이들 방법들은 희소 데이터 집합에서는 다소 비효율적인 성능을 나타낸다. 본 논문에서도 효율적인 빈발항목 탐색 방법을 제안하였다. 먼저 빈발항목 탐색을 위한 새로운 트리 구조인 $L_2$-tree 구조를 제안하였으며, 더불어 $L_2$-tree를 이용하여 빈발 항목집합을 탐색하는 $L_2$-traverse 알고리즘을 제안하였다. $L_2$-traverse 구조는 길이가 2인 빈발 항목집합 $L_2$에 기반하여 생성되는 것으로서 크기가 매우 작으며, 이를 활용한 $L_2$-traverse 알고리즘은 $L_2$-tree를 단순히 한번 탐색함으로써 전체 빈발 항목집합을 빠른 시간에 구한다. 또한 수행 시간을 보다 단축할 수 있는 방법으로 길이가 3인 빈발 항목집합 $L_3$가 될 수 없는 $L_2$ 패턴들을 미리 제거하는 $C_3$-traverse 알고리즘도 제안하였다. 다양한 실험을 통해 제안된 방법들은 특히 $L_2$가 상대적으로 적은 희소 데이터 집합 환경일 때 기존의 다른 방법들보다 우수함을 검증하였다.