• 제목/요약/키워드: 데이터 질 관리 알고리즘

검색결과 56건 처리시간 0.042초

데이터 웨어하우스에서 점진적 뷰 유지를 위한 효율적인 알고리즘 (An Efficient Algorithm for Incremental View Maintenance In a Data Warehouse)

  • 이현창;김충석;김경창
    • 한국통신학회논문지
    • /
    • 제25권8A호
    • /
    • pp.1265-1272
    • /
    • 2000
  • 데이터 웨어하우스는 사용자의 의사 결정에 필요한 정보를 제공하여 효율적인 데이터 마이닝 질의 처리 및 그에 대한 응답을 이루도록 한다. 이를 위해서 데이터 웨어하우스는 소스 데이터로부터 유도된 실체 뷰를 저장하고 있다 특히 소스 데이터가 단일 소스 환경에서 잘 알려진 보상 알고리즘을 들수 있다 보상 알고리즘에서는 질의 평가 결과를 얻기 위해서 뷰와 관련된 갱신 발생이 많을수록 웨어하우스의 복잡성과 메시지 양이 증가하며 웨어하우스 내에 질의 관리 오보헤드가 발생되는 문제점이 있었다 본논문에서는 뷰유지를 위한 질의 관리 오버헤드를 감소시키며 정확성을 향상시킨 알고리즘을 제시한다 또한 메시지 전송과 데이터 전송 측면에서 제시 하고 있는 알고리즘을 보상 알고리즘 및 재 계산 알고리즘과 성능을 분석 비교하였다.

  • PDF

데이터 마이닝을 이용한 고혈압환자의 당뇨질환 동반에 관한 데이터 질 관리 알고리즘 개발 (Developing data quality management algorithm for Hypertension Patients accompanied with Diabetes Mellitus By Data Mining)

  • 황규연;이은숙;김고원;홍성옥;박정선;곽미숙;이예진;임채혁;박태현;박종호;강성홍
    • 디지털융복합연구
    • /
    • 제14권7호
    • /
    • pp.309-319
    • /
    • 2016
  • 보건의료데이터의 질적 수준을 향상시키기 위해서는 데이터 질 관리 알고리즘을 개발할 필요성이 있다. 이에 본 연구에서는 질환의 유병률, 입원율이 높은 고혈압 환자의 당뇨질환 동반에 관련된 데이터 질 관리 알고리즘을 개발하고자 하였다. 이를 위해 2011년, 2012년 퇴원손상심층조사 자료 중 고혈압 환자 61,199건을 추출하여 분석대상으로 하였다. 데이터 마이닝의 대화식 의사결정나무 방법과 Outlier Detection 방법론을 통해 데이터 질 관리 알고리즘 개발한 결과 고혈압 환자가 당뇨병을 동반상병으로 가지는데 영향을 미치는 요인으로는 성별, 연령, 당뇨병성 사구체 장애, 당뇨병성 망막병증, 당병성 다발성 신경병증 등이 있었다. 의사결정나무 결과에 따라 당뇨병을 동반상병으로 가질 확률 값이 80% 이상이거나, 20% 이하인 집단을 Outlier(극단치)로 정의하고, 고혈압 환자의 당뇨 동반에 대한 극단치를 가지는 6개 집단을 발견하였다. 이와 같이 Outlier(극단치) 집단에 포함되는 실제 데이터를 확인하여 데이터의 질적 수준을 향상 시킬 필요가 있다.

서버 처리 비용 분산을 위해 확장된 Peer-to-peer 방식을 사용한 공간데이터 관리기 (The spatial data manager using extended peer-to-peer computing method for balancing the cost of server side)

  • 김호석;강동재;정보홍;김재홍;배해영
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 봄 학술발표논문집 Vol.28 No.1 (B)
    • /
    • pp.28-30
    • /
    • 2001
  • 클라이언트-서버 환경에서 공간 데이터와 같은 대용량의 데이터를 처리하는 시스템이나 다수의 클라이언트의 요구가 발생하는 시스템에서는 데이터 처리 시 발생하는 서버 I/O 연산의 수행 비용과 질의 처리비용 및 결과 데이터의 전송 비용이 서버 사이드의 병목 현상과 질의 처리속도의 저하라는 문제점을 유발한다. 본 논문에서는 이러한 문제점을 개선하기 위한 방법으로 서버 처리비용의 분산을 위한 확장된 Peer-to-peer를 지원하는 방식을 제안하며, 이러한 확장 된 Peer-to-peer방식을 지원할 수 있는 공간데이터 관리기의 설계 및 구현상황을 제안한다. 공간데이터 관리기는 서버에 접속된 클라이언트의 정보와 클라이언트에 캐쉬된 데이터의 정보를 관리하는 공간데이터 관리기의 CIT(Client Information Table)와 이 CIT에 가용한 데이트를 캐쉬한 클라이언트가 여럿인 경웨 대상 클라이언트의 선정이 요구되며, 적은 비용으로 처리 가능한 클라인트의 선정의 위한 알고리즘과 클라이언트 사이의 확장된 Peer-to-peer 방식을 지원하기 위한 서버와 클라이언트간의 데이터 일관성 유지를 위한 데이터 유효성 관리를 제안한다.

  • PDF

동적 분할에 의한 평균 빙산 질의 처리 (Computing Average Iceberg Query by Dynamic Partition)

  • 배진욱;이석호
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1999년도 가을 학술발표논문집 Vol.26 No.2 (1)
    • /
    • pp.126-128
    • /
    • 1999
  • 평균 빙산 질의란 대용량의 데이터들에 의해 avg 집단 함수를 수행한 뒤 임계값 이상인 데이터들을 결과로 출력하는 연산을 의미한다. 이 때 데이터 도메인의 크기가 메모리에 생성할 수 있는 카운터의 수보다 크기 때문에 연산 처리가 어렵다. 지난 연구에서 빙산 질의에 대해 제안한 해시 카운터는 avg 연사의 경우 착오누락이 발생한다는 문제점이 존재한다. 그래서 이런 문제점들을 해결하며 효율적으로 연산을 수행하기 위해, 데이터베이스를 분할하며 카운터를 관리하는 '메모리 Full 분할', '후보 Full 분할'의 두 알고리즘을 제안한다. 실험결과 두 알고리즘은 메모리크기, 데이터 분포, 데이터 순서에 영향을 받았는데, 데이터들이 정렬이 되어 있거나 데이터분포가 정규분포를 이룰 때 우수한 성능을 보였다.

  • PDF

RFID 입력 테이터 스트림에 대한 다중 버퍼 기반의 고속 데이터 처리 알고리즘 (A High-Speed Data Processing Algorithm for RFID Input Data Stream Using Multi-Buffer)

  • 한수;신승호
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2007년도 가을 학술발표논문집 Vol.34 No.2 (B)
    • /
    • pp.302-307
    • /
    • 2007
  • RFID를 기반으로 유비쿼터스 환경의 응용 서비스를 지원하는 미들웨어는 지속적으로 끊임없이 입력되는 데이터를 정확하게 실시간으로 처리하고 응용 서비스에서 질의하는 결과를 획득해서 전달하여야 한다. 이와 같은 지속적으로 입력되는 대량의 데이터 스트림을 처리하기 위해서 데이터 스트림 관리 시스템(Data Stream Management System: DSMS)을 개발하기 위한 연구가 진행되고 있다. 기존에 연구되는 데이터 스트림에 대한 알고리즘은 대부분 연속 질의 결과들 사이의 평균 오차를 줄이고, 부하 발생 시 데이터의 우선순위에 따라 버리는 것에 초점이 맞추어져 있다. 본 논문에서는 RFID EPC 라는 데이터 특성에 맞추어 다중버퍼를 이용함으로써 고속의 데이터 처리 능력을 얻고, 각 버퍼마다 일정한 규칙을 통해 질의에 있어서도 빠른 대응을 할 수 있는 알고리즘을 제안한다. 본 논문은 현재 DSMS의 관련 연구와 고속 데이터 처리의 필요성을 말하고, 제안하는 알고리즘 설명과 시뮬레이션을 통해 단일버퍼와 다중버퍼일 경우 데이터 처리 속도 성능 평가와 제안한 알고리즘에 맞도록 버퍼가 생성 되는지 테스트하는 것으로 구성된다.

  • PDF

스트리밍 XML 데이터에 대한 빠른 트윅 질의 처리 기법 (Fast Twig Query Processing for Streaming XML Data)

  • 류병걸;박상현;하종우;이상근
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2010년도 추계학술발표대회
    • /
    • pp.65-68
    • /
    • 2010
  • 스트리밍 XML 데이터는 고정된 저장소에 유지되지 않고 사용자 측으로 계속적으로 데이터가 전송된다는 특성을 지닌다. 이러한 스트리밍 XML에 대한 질의 처리를 위해서는 효과적인 메모리 관리와 빠른 질의 처리 성능이 요구된다. 최근 최소한의 메모리 사용으로 효과적으로 트윅 질의를 처리하기 위한 기법인 StreamTX가 제안되었으나 반복적인 질의 처리 알고리즘 호출로 인해 불필요한 질의 처리시간이 발생한다. 따라서, 본 논문에서는 이러한 불필요한 질의 처리 시간을 줄이기 위해 실시간으로 질의와 무관한 노드를 제거하여 보다 효과적인 질의 처리를 수행 기법을 제안한다. 제안된 기법은 기존 연구와 유사한 메모리 사용량을 가지면서도 빠른 질의 처리 속도를 가짐을 성능평가를 통해 검증한다.

효율적인 센서 네트워크 관리를 위한 다중 연속질의 분할 (The Multiple Continuous Query Fragmentation for the Efficient Sensor Network Management)

  • 박정업;조명현;손진현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2006년도 춘계학술발표대회
    • /
    • pp.43-46
    • /
    • 2006
  • 최근 센서네트워크에 관련된 많은 연구가 진행되고 있다. 특히, 센서의 전력 보전을 위한 많은 기술들이 개발되고 있는데, 본 논문에서는 센서 네트워크의 불필요한 전력 소비를 줄이는 다중 연속질의 최적화에 관련된 방법을 제시한다. 우리는 센서 네트워크에서 전송되는 데이터의 횟수나 전송량의 원천적 문제가 되는 다중 연속 질의의 중복성 문제를 해결하는 분할 알고리즘을 제안한다. 분할 알고리즘은 새롭게 생성된 사용자 질의와 기존의 질의 들 사이에 질의 중첩 질의 영역을 제거하기 위해, QR-트리 기반의 질의 인덱스를 통해 하나의 질의를 둘 이상의 질의로 분할하는 알고리즘이다. QR-트리는 효율적인 질의 분할을 위해, $R^*$-트리를 본 논문의 구조에 맞게 개량한 것이다.

  • PDF

도로 네트워크 환경에서 암호화된 공간데이터를 위한 K-최근접점 질의 처리 알고리즘 (A K-Nearest Neighbour Query Processing Algorithm for Encrypted Spatial Data in Road Network)

  • 장미영;장재우
    • Spatial Information Research
    • /
    • 제20권3호
    • /
    • pp.67-81
    • /
    • 2012
  • 최근 클라우드 컴퓨팅의 발전에 따라, 데이터베이스 아웃소싱(Outsourcing)에 대한 연구가 활발히 진행되고 있다. 또한 무선 통신 기술 및 모바일 기기의 발전으로 인해 위치 기반 서비스를 이용하는 사용자의 수가 증가하였다. 따라서 개인 또는 소규모의 사업자는 데이터 저장 및 관리 비용을 줄이기 위해 그들의 공간 데이터를 위치 기반 서비스 제공자에게 아웃소싱 한다. 그러나 사용자의 위치 정보는 시간대별 방문 장소 및 개인 정보를 지니고 있기 때문에, 이에 대한 허용되지 않은 접근 시 개인 정보 유출 문제가 발생한다. 따라서 위치 정보 아웃소싱을 위한 개인 정보 보호 연구가 필요하다. 이러한 문제를 해결하기 위해, 본 논문에서는 아웃소싱 환경에서 도로네트워크를 고려한 암호화된 공간 데이터베이스 기반 k-최근접점 질의 처리 알고리즘을 제안하였다. 제안하는 기법은 데이터베이스 아웃소싱을 위해 위치 데이터를 네트워크 거리 정보로 변환 및 암호화한 가공데이터를 생성하여 이를 서비스 제공자에게 전송한다. 또한, 전처리 과정을 통해 네트워크 노드와 POI 거리를 미리 저장하여 네트워크 탐색을 빠르게 수행하며, 질의 수행 시 최근접 대표 POI 및 암호화된 거리 정보를 이용하여 질의 결과 후보 집합을 탐색한다. 마지막으로, 질의 영역 재설정 과정을 통해 불필요한 후보 탐색을 줄임으로써 효율적으로 POI를 탐색한다. 마지막으로, 성능평가를 통해 제안하는 기법이 기존 방법에 비해 우수함을 보인다.

아웃소싱 암호화 데이터에 대한 효율적인 Top-k 질의 처리 알고리즘 (An Efficient Top-k Query Processing Algorithm over Encrypted Outsourced-Data in the Cloud)

  • 김종욱;서영균
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제4권12호
    • /
    • pp.543-548
    • /
    • 2015
  • 최근 다양한 분야에서 생산되는 데이터의 양이 폭발적으로 증가함에 따라 사용자가 가장 관심 있어 하는 몇 개의 데이터를 검색하는 top-k 질의에 대한 관심이 고조되고 있다. Top-k 질의는 사용자의 점수 함수를 이용하여, 사용자가 원하는 모든 조건을 만족시키는 데이터들 중에서 최상위 (또는 최하위) 점수를 가지는 k개의 데이터를 사용자에게 반환한다. 최근 들어 클라우드 컴퓨팅 서비스의 대중화로 인하여 사용자의 대용량 데이터를 클라우드에 아웃소싱하여 경제적으로 저장 및 관리하는 데이터 아웃소싱이 크게 주목받고 있다. 그러나 데이터 아웃소싱으로 인하여 사용자의 민감한 데이터가 클라우드 서비스 제공자에게 노출될 수 있다는 위험이 존재하며, 이러한 문제를 방지하기 위해서는 사용자의 민감한 데이터를 암호화하여 클라우드에 저장하는 것이 필수적으로 요구된다. 본 논문은 클라우드 컴퓨팅 환경에서 암호화된 데이터에 대한 top-k 질의를 효율적으로 처리하는 알고리즘을 제안한다. 제안되는 알고리즘은 순서보존 암호화 기법을 이용하여, 암호화된 데이터만을 대상으로 top-k 질의 결과에 포함되지 않을 것으로 예상되는 중간 결과들을 클라우드 내에서 미리 제거함으로써 효율적인 top-k 질의 처리가 가능하게 한다. 논문의 실험 결과는 제안된 top-k 질의 처리 알고리즘이 단순 방법과 비교하여 사용자 시스템의 부하를 10배~10000배 줄일 수 있음을 증명한다.

하이브리드 공간 DBMS에서 질의 분류를 이용한 최적화 기법 (Query Optimization Scheme using Query Classification in Hybrid Spatial DBMS)

  • 정원일;장석규
    • 한국콘텐츠학회논문지
    • /
    • 제8권1호
    • /
    • pp.290-299
    • /
    • 2008
  • 본 논문에서는 하이브리드 공간 DBMS에서 질의 분류를 이용한 최적화 기법을 제안한다. 제안 기법은 질의에 이용되는 데이터의 위치에 따라 메모리 질의, 디스크 질의, 하이브리드 질의로 분류하여 처리한다. 특히, 하이브리드 질의의 경우에는 실체화 뷰의 사용률을 높이기 위해 실체화 뷰 생성 조건과 사용자 질의 조건을 비교하여 술어를 분할하는 메커니즘을 적용한다. 또한 질의를 최적화하기 위해 분류된 질의의 비용 계산 결과를 이용하여 최소 비용의 데이터 접근 경로를 선택할 수 있는 데이터 접근 경로 선택 알고리즘을 제안한다. 제안 기법은 대용량 데이터 관리와 빠른 응답 속도를 동시에 만족하는 하이브리드 공간 DBMS의 성능을 기존의 디스크 기반 공간 DBMS보다 최소 20%에서 최대 50%의 성능 향상을 보인다.