• Title/Summary/Keyword: 데이터의 질

Search Result 2,244, Processing Time 0.032 seconds

공간 데이터 마이닝에서의 질의 처리 최적화 전략 (Query Optimization Infrastructure in Spatial Data Mining)

  • 김충석;이현창;김경창
    • 한국통신학회논문지
    • /
    • 제26권7A호
    • /
    • pp.1200-1211
    • /
    • 2001
  • 최근 각광을 받고 있는 데이터 마이닝 분야에서 데이터 마이닝 툴과 시스템의 등장으로 상호적이고 사용하기 쉬운 GUI 환경의 강력한 데이터 마이닝 질의 언어가 필요하게 되었다. 공간 데이터 마이닝은 공간 데이터에서 유용한 지식을 발견하기 위한 데이터 마이닝의 한 부문이며 공간 데이터는 점, 선, 사각형, 다각형 등으로 이루어져 있다. 공간 데이터 마이닝은 지리정보시스템(GIS)과 더불어 최근에 많은 관심과 연구가 활발히 진행되고 있다. 한편, 공간 데이터 마이닝을 위한 질의 언어와 그 언어에 기반한 공간 데이터 마이닝 질의 처리 및 최적화에 대한 연구가 중요하게 대두되고 있다. 공간 데이터에 대한 마이닝은 일반 관계형 데이터베이스에서의 질의 언어로는 표현이 불가능하다. 본 연구에서는 먼저 공간 데이터 마이닝 질의언어를 정의, 설계하고 질의 언어에 결과 표현 방식과 결과 데이터 집합의 저장을 명시하여 질의 표현의 효율을 높이는 방식을 제시하였다. 또한 공간 데이터 마이닝을 위한 질의 처리 및 최적화 과정을 질의에 기반한 공간 실체화 뷰의 생성과 유지, 인덱스 활용을 통한 질의 재사용, sampling 마이닝 질의 option 등의 방법론을 이용하여 제시하였다.

  • PDF

스트림 질의의 동적 최적화를 위한 질의 계획 재구성 기법 (Query Plan Reordering Techinque for Dynamic Optimization of Stream Queries)

  • 이원근;이상돈
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 봄 학술발표논문집 Vol.30 No.1 (A)
    • /
    • pp.716-718
    • /
    • 2003
  • 최근 들어 데이터가 연속적으로 생성되므로 인해 디스크에 저장된 형태로 모델링되기 어려운 특성을 갖는 데이터 응용환경에 대한 관심이 증대하고 있다. 스트림 데이터를 대상으로 이루어지는 스트림 질의는 저장된 릴레이션 내의 데이터를 대상으로 한번 적용되고 마는 기존의 데이터 응용에서와는 달리, 한번 등록이 되면 계속적으로 입력 데이터 스트림을 감시하다가 질의를 만족시키는 투플이 발생될 때마다 결과를 출력하는 연속성을 갖는다. 이러한 데이터 스트림 처리 시스템에서 성능 향상을 위한 질의 계획 최적화에 대한 연구가 이루어지고 있으며, 이를 위한 하나의 방법으로 현재 사용중인 질의 계획에서 질의 계획의 일부를 재구성하기 위해서 최적화 대상 질의 계획으로의 입력을 중단하고 최적화된 새로운 질의 계획으로 바꾸어 임시 저장된 데이터를 새로운 질의 계획에 입력하는 방법이 이용되고 있다. 그러나 이 방법을 사용하는 경우 입력 데이터 버퍼링을 위한 저장공간에 대한 비용이 증가하고. 부정확한 갑을 산출을 유발할 수 있는 등 몇 가지 문제점을 안고 있다. 본 논문에서는 이러한 문제를 해결하기 위하여 최적화 대상이 되는 질의 계획을 일시적으로 중복시켜 최적화가 진행되고 있는 과정 중에도 기존의 질의 계획이 입력 스트림을 계속 처리하고, 최적화된 새로운 질의 계획으로 입력 스트림을 처리하도록 하는 일시 중복을 이용한 동적 질의 계획 재구성 기법을 제시하였다.

  • PDF

데이터베이스 아웃소싱 환경에서 암호화된 데이터를 위한 힐버트 커브 기반 질의 결과 무결성 검증 기법 (A Hilbert Curve-based Query Integrity Auditing Method for Encrypted Data in Database Outsourcing)

  • 윤들녁;장미영;장재우
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 추계학술발표대회
    • /
    • pp.804-807
    • /
    • 2013
  • 최근 클라우드 컴퓨팅에 대한 관심이 고조됨에 따라, 이를 활용한 데이터베이스 아웃소싱(Outsourcing)에 대한 연구가 활발히 진행되고 있다. 그러나 아웃소싱 된 데이터베이스는 사용자 개인 정보, 증권, 또는 의료 정보 등 민감한 정보를 포함하기 때문에 서비스 제공자로부터 수행한 질의 결과 데이터가 데이터 소유자로부터 생성된 데이터이며, 정확한 질의 결과를 포함하는지 확인하기 위한 질의 결과 무결성 검증 기법의 필요성이 대두되었다. 기존 질의 결과 무결성 검증 기법은 질의 결과에 포함되는 무결성 검증 데이터의 크기가 증가하여 검증 데이터 전송 오버헤드 증가 및 데이터 노출 위험 증가 문제를 지닌다. 따라서, 본 논문에서는 데이터 보호를 지원하는 암호화 데이터 기반 질의 결과 무결성 검증 기법을 제안한다. 제안하는 질의 결과 무결성 검증 기법은 암호화된 데이터 그룹을 주기 함수를 이용하여 재분할하고, 최종 데이터 그룹 id를 힐버트 커브를 통해 변환한다. 따라서, 검증 데이터 오버헤드를 감소시켜 효율적인 질의 처리를 지원하며, 그룹 id 변경을 통해 검증 데이터 유출 위험을 방지한다. 성능평가를 통해, 제안하는 기법이 기존 기법에 비해 질의 처리 시간 측면에서 평균 2배, 검증 데이터 오버헤드 측면에서 최대 20배의 성능을 개선함을 보인다.

Data Warehousing, Contextual Data Quality, and Problem Solving Performance

  • 정원진;박용태
    • 한국정보시스템학회지:정보시스템연구
    • /
    • 제14권2호
    • /
    • pp.237-256
    • /
    • 2005
  • 데이터 웨어하우스는 기업의 통합된 데이터의 저장하는 곳이며, 대게는 상당한 규모를 가지고 있다. 또한, 데이터 웨어하우스는 일반적으로 다양한 종류의 데이터를 저장함으로 데이터 웨어하우스에 저장된 데이터는 의사결정 임무에 따라서는 그 질적, 적합성에 차이를 나타내고는 한다. 이러한 데이터 웨어하우스의 특성으로 인해서 때로는 데이터 웨어하우스의 데이터의 효용성이 기업의 의사결정을 지원하는데 있어 제한적일 수 있다. 정보 시스템의 문헌에는 데이터의 질이 의사결정 성과에 미치는 영향에 대해서 많이 알려져 있지 않다. 그래서, 본 연구는 contextual data(상황적 데이터)의 질과 업무의 복잡성이 의사결정 성과에 미치는 영향에 대해서 탐구해보고자 한다. Contextual data의 질과 업무의 복잡성이 의사결정의 성과에 미치는 영향을 조사하기 위하여 웹을 기반으로 하는 데이터 웨어하우스를 이용하는 실험을 실행했다. 연구의 결과는 contextual data의 질이 의사결정의 성과에 영향을 미친다는 것을 통계적으로 보여주었다. 이러한 연구결과는 의사결정자의 의사결정 성과를 향상시키기 위해서는 데이터 웨어하우스의 contextual data의 질을 향상시켜야한다는 것을 제시하고 있다.

  • PDF

물류 데이터의 연속 질의 처리를 위한 다차원 색인 기법 (Multi dimensional index technique for continuous Query of logistics data)

  • 추병조;홍봉희;김기홍
    • 한국GIS학회:학술대회논문집
    • /
    • 한국GIS학회 2008년도 공동춘계학술대회
    • /
    • pp.82-88
    • /
    • 2008
  • EPCglobal은 기업 간의 물류 활동 촉진과 글로벌 유통물류 시스템 구축을 위하여 EPCglobal Architecture Framework을 제시 하였다. EPCglobal Architecture Framework의 한 구성요소인 EPCIS(Electronic Product Code Information Services)는 EPC 기반 물류 관련 정보에 대한 저장 및 검색 서비스를 제공한다. EPCIS는 단발성 질의(poll)와 연속 질의(subscribe) 검색 서비스를 제공한다. EPCIS의 연속 질의는 시스템 자동화 및 재고 관리, 공급망 관리를 위해 다양한 응용에서 활용이 가능하다. 일반적으로 연속 질의의 성능을 향상시키기 위해서는 질의 색인을 사용한다. 그러나 EPCIS는 13차원의 도메인과 모든 데이터 필드가 필수 조건이 아니라는 것으로 인해, 차원의 저주 및 무한 영역 질의 문제를 발생 시킨다. 본 논문에서는 EPCIS의 물류 데이터의 연속 질의 처리를 위한 다차원 색인 기법을 제안한다. 13차원의 도메인을 여러 개의 질의 색인으로 구성하고, 등록된 질의 및 입력되는 데이터에 의해 변경되는 동적 질의 실행 계획을 제안함으로써, 차원의 저주와 무한 영역 질의의 문제를 해결하고, EPCIS에서 다수의 연속 질의 등록 시 효율적으로 처리가 가능하도록 한다.

  • PDF

데이터 중심 저장 환경에서 소실 데이터 보정 기법을 이용한 인-네트워크 질의 처리 (In-network Query Processing using the Data-Loss Correction method in Data-Centric Storage Scheme)

  • 이효준;박준호;성동욱;유재수
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2010년도 한국컴퓨터종합학술대회논문집 Vol.37 No.1(D)
    • /
    • pp.337-342
    • /
    • 2010
  • 센서 네트워크에서 발생하는 데이터를 저장하고, 효율적으로 질의를 처리하는 기법에 대한 많은 연구가 이루어지고 있다. 대표적인 연구로 데이터 중심 저장 기법이 있다. 데이터 중심 저장 기법의 경우 질의를 효과적으로 처리하기 위해 수집한 데이터 값에 따라 저장 될 센서 노드를 지정하고, 질의 처리를 위해 질의에 해당하는 데이터를 저장하는 노드에서만 데이터를 수집한다. 하지만 노드의 결함이 발생하면 결함 노드에 저장 되어 있는 전체 데이터가 소실 됨에 따라 질의 결과 정확도가 저하 되는 문제점이 발생한다. 이러한 문제를 해결하기 위해, 본 논문에서는 데이터 중심 저장 기법에서 노드 결함에 따른 데이터 소실이 발생하여도 높은 정확도를 보이는 인-네트워크 질의 처리 기법을 제안한다. 데이터 소실이 발생 하였을 경우 선형 회귀 분석 기법을 이용하여 소실 된 영역에 해당하는 보정 모델을 생성하고, 이를 통해 가상의 데이터를 포함한 질의 결과를 반환한다. 제안하는 기법의 우수성을 보이기 위해 시뮬레이션을 통해 기존의 데이터 중심 저장 기법과 성능을 비교하였으며, 그 결과 평균 98% 이상의 질의 결과 정확도를 보였고, 질의 처리 시 기존 기법에 비교하여 약 80% 이상의 에너지 소모를 감소 시켰다.

  • PDF

OR 연결 질의에 대한 능력 기반 질의 재작성 과정 (Capabilities-based Query Rewriter for Disjunctive Query with Single Source)

  • 윤정기;이지행;문강식;이전영
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1999년도 가을 학술발표논문집 Vol.26 No.2 (1)
    • /
    • pp.275-277
    • /
    • 1999
  • 능력기반 질의 처리기는 데이터 소스의 질의 처리 능력과 데이터 소스에 대한 목적 질의 (target query)를 입력으로 받아 목적 질의와 동일한 결과를 내는 질의 수행 계획을 출력하는 시스템이다. 이전 능력기반 질의 처리기에서는 AND 결합 질의(Conjunctive query)만을 처리하였기 때문에 데이터 소스의 질의 처리 능력을 충분히 이용하지 못했다. 본 논문에서는 AND 및 OR연결 (Disjunctive query) 형태의 목적 질의에 대한 질의 재작성 방법을 제시한다. 재 장성된 질의는 데이터 소스에서 처리 가능한 지원 질의(supported query)들의 유니온으로 표현된다. 제안된 시스템에서는 각 지원 질의의 질의 수행 계획에 대한 기여도와 수행 비용을 고려함으로써 질의 재작성에 필요한 탐색 공간을 줄이고, 최적화 된 질의 수행 계획을 생성할 수 있다.

  • PDF

실시간 발전소 시설 장비 센서 데이터에 대한 빅데이터 스트리밍 질의 처리 시스템 설계 및 구현 (Design and Implementation of Big Data Streaming Query Processing System for Realtime Power Plant Sensor data)

  • 엄정호;유찬희;;박경석
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2020년도 추계학술발표대회
    • /
    • pp.88-91
    • /
    • 2020
  • 발전 시설은 연간 무중단으로 운영되어야 하고, 고장이 발생하면 손해가 막대하기 때문에 발전 시설 장비에는 수십만 개의 센서 데이터가 설치되어 있다. 본 논문에서는 효율적인 센서 데이터의 수집과 시설 모니터링 및 고장 예측 등을 위한 빅데이터 스트리밍 질의 처리 시스템을 설계 및 구현하였다. 또한 실시간 데이터 수집의 효율적인 관리를 위해 인코딩 방식을 설계하였으며, 데이터 전송 성능을 측정하여 문자열로 데이터를 전송하는 것보다 평균 12%, 최대 32% 데이터 처리 성능이 향상됨을 보였다. 또한, 스트리밍 데이터에 대한 윈도우 질의 처리 성능을 측정하여 약 0.97초의 평균 집계 질의 처리 시간이 소요됨을 확인하였다. 향후에는 고장 감지를 위한 인공지능 추론 모델을 제안하는 빅데이터 스트리밍 질의 처리 시스템에 적용할 예정이다.

데이터 마이닝 질의 처리를 위한 질의 처리기 설계 및 구현 (Design and Implementation of a Data Mining Query Processor)

  • 김충석;김경창
    • 정보처리학회논문지D
    • /
    • 제8D권2호
    • /
    • pp.117-124
    • /
    • 2001
  • 데이터 마이닝 시스템은 기본적으로 요약화, 연관화와 분류화 등 다양한 유형의 데이터 마이닝 기능을 포함한다. 이들 기능을 수행하기 위해서 포괄적으로 표현하기 위한 강력한 데이터 마이닝 질의 언어가 요구되며, 사용자에게 보다 친숙한 마이닝 환경을 제공하기 위해서 그래픽 사용자 인터페이스(GUI)를 이용한 데이터 마이닝 질의 언어의 개발이 중요하게 언급된다. 뿐만 아니라 데이터 마이닝 그 자체로서 독립적인 수행이 아니라 수많은 데이터를 포함하며, 의사결정에 적합한 구조로 설계되어 있는 데이터 웨어하우스와 연관된 데이터 마이닝 질의 처리가 필요하다. 본 논문에서는 먼저 GUI를 통하여 사용자가 쉽게 데이터 마이닝 질의를 수행할 수 있도록 한다. 또한 질의를 처리하기 위한 데이터 마이닝 질의 처리 프레임워크를 제시한다. 데이터마이닝 질의의 대상은 데이터 웨어하우스에 저장되어 있는 데이터이기 때문에 데이터 웨어하우스의 구축이 필요하다. 본 논문에서는 데이터 웨어하우스 구축에 필요한 스키마 생성을 위해서 스키마 생성기를 아울러 개발하여 이용한다. 마지막으로 연관 규칙 발견을 위한 데이터 마이닝 질의를 처리하기 위한 질의 처리기의 구현 내용을 보인다.

  • PDF

질의 결과 크기 추정을 위한 효과적인 공간 분할 기법 (Effective Spatial Partitioning Technique for Query Result Size Estimation)

  • 김현국;김학자;황환규
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 봄 학술발표논문집 Vol.29 No.1 (B)
    • /
    • pp.55-57
    • /
    • 2002
  • 공간 데이터베이스의 규모는 매우 방대하여 질의 처리에 많은 비용이 발생한다. 따라서 효율적인 질의 처리를 위해서는 질의 수행 결과의 예측이 필요하다. 이를 위해 실제 공간 데이터의 특성을 근접하게 나타내는 요약 데이터를 생성하여 그 결과를 통해 질의 결과의 크기를 추정하게 된다. 기존의 공간 데이터 요약 기법으로는 면적 균등 분할 기법, 개수 균등 분할 기법, 인덱스 분활 기법 등이 있다. 본 논문에서는 기존에 연구된 다양한 분말 기법에 대해 알아보고, 힐버트 공간 재움 곡선 방법에 개수 균등 분말 기법을 적용시킨 새로운 공간 분할 방법을 제안하여 기존의 방법과 새로운 방법의 성능을 비교한다.

  • PDF