• 제목/요약/키워드: 고차원 데이터

검색결과 254건 처리시간 0.028초

고차원 자료에서 영향점의 영향을 평가하기 위한 그래픽 방법 (Graphical method for evaluating the impact of influential observations in high-dimensional data)

  • 안소진;이재은;장대흥
    • Journal of the Korean Data and Information Science Society
    • /
    • 제28권6호
    • /
    • pp.1291-1300
    • /
    • 2017
  • 고차원 자료에서는 관측값의 개수보다 변수의 개수가 과다하게 많은 것이 특징이다. 그러므로 회귀 계수 추정에 있어 관측값의 영향이 매우 클 수 있다. Jang과 Anserson-Cook (2017)은 라쏘추정량 사용시 영향점의 영향을 평가할 수 있는 라쏘 영향그림을 제안하였다. 본 연구에서는 고차원 자료에서 영향점을 평가하기 위한 그래픽 방법들로서 라쏘 영향그림 뿐만 아니라 라쏘 변수선택 순위그림, 삼차원 라쏘 영향그림을 제안하였다. 실세 두 가지 고차원 자료 예들에 영향점들을 찾기 위한 회귀진단 수단으로서 세가지 그래픽 방법들을 사용하여 본 결과 영향점들을 효과적으로 찾아낼 수 있었다.

고차원 공간 데이터를 위한 연속 범위 질의의 효율적인 처리 (An Efficient Processing of Continuous Range Queries on High-Dimensional Spatial Data)

  • 장수민;유재수
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제13권6호
    • /
    • pp.397-401
    • /
    • 2007
  • 이동객체에 대한 연속 범위 질의(Continuous Range Query)의 응용프로그램이 급속도로 확장되면서 이차원정보를 넘어서 고차원 공간 데이타에 대한 처리를 요구하고 있다. 만약 고차원 데이타에 대한 중첩되어지는 연속 범위 질의의 정보를 기존의 색인으로 구성한다면 객체의 수와 질의의 수가 증가함에 따라 질의처리성능이 저하된다. 본 논문은 이러한 문제점을 해결하기 위하여 PAB(Projected Attribute Bit)-기반의 질의색인방법을 제안한다. 제안하는 기법은 성능향상을 위하여 질의의 정보를 각 속성 축에 투영이라는 작업을 통하여 고차원의 데이타를 1차원 정보들로 변환하고 이러한 정보를 비트단위로 구성하였다. 또한 제안하는 질의색인은 보다 효율적인 질의의 처리를 위하여 점진적인 갱신(Incremental Update)을 지원한다. 다양한 성능평가 및 분석을 통하여 제안하는 방법이 최근에 연구된 CES-기반의 질의색인 기법보다 더 나은 확장성(Scalability)을 가짐을 입증한다.

구형 피라미드 기법 : 고차원 데이터의 유사성 검색을 위한 효율적인 색인 기법 (Spherical Pyramid-Technique : An Efficient Indexing Technique for Similarity Search in High-Dimensional Data)

  • 이동호;정진완;김형주
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제26권11호
    • /
    • pp.1270-1281
    • /
    • 1999
  • 피라미드 기법 1 은 d-차원의 공간을 2d개의 피라미드들로 분할하는 특별한 공간 분할 방식을 이용하여 고차원 데이타를 효율적으로 색인할 수 있는 새로운 색인 방법으로 제안되었다. 피라미드 기법은 고차원 사각형 형태의 영역 질의에는 효율적이나, 유사성 검색에 많이 사용되는 고차원 구형태의 영역 질의에는 비효율적인 면이 존재한다. 본 논문에서는 고차원 데이타를 많이 사용하는 유사성 검색에 효율적인 새로운 색인 기법으로 구형 피라미드 기법을 제안한다. 구형 피라미드 기법은 먼저 d-차원의 공간을 2d개의 구형 피라미드로 분할하고, 각 단일 구형 피라미드를 다시 구형태의 조각으로 분할하는 특별한 공간 분할 방법에 기반하고 있다. 이러한 공간 분할 방식은 피라미드 기법과 마찬가지로 d-차원 공간을 1-차원 공간으로 변환할 수 있다. 따라서, 변환된 1-차원 데이타를 다루기 위하여 B+-트리를 사용할 수 있다. 본 논문에서는 이렇게 분할된 공간에서 고차원 구형태의 영역 질의를 효율적으로 처리할 수 있는 알고리즘을 제안한다. 마지막으로, 인위적 데이타와 실제 데이타를 사용한 다양한 실험을 통하여 구형 피라미드 기법이 구형태의 영역 질의를 처리하는데 있어서 기존의 피라미드 기법보다 효율적임을 보인다.Abstract The Pyramid-Technique 1 was proposed as a new indexing method for high- dimensional data spaces using a special partitioning strategy that divides d-dimensional space into 2d pyramids. It is efficient for hypercube range query, but is not efficient for hypersphere range query which is frequently used in similarity search. In this paper, we propose the Spherical Pyramid-Technique, an efficient indexing method for similarity search in high-dimensional space. The Spherical Pyramid-Technique is based on a special partitioning strategy, which is to divide the d-dimensional data space first into 2d spherical pyramids, and then cut the single spherical pyramid into several spherical slices. This partition provides a transformation of d-dimensional space into 1-dimensional space as the Pyramid-Technique does. Thus, we are able to use a B+-tree to manage the transformed 1-dimensional data. We also propose the algorithm of processing hypersphere range query on the space partitioned by this partitioning strategy. Finally, we show that the Spherical Pyramid-Technique clearly outperforms the Pyramid-Technique in processing hypersphere range queries through various experiments using synthetic and real data.

고차원 데이터에서 공분산행렬의 추정에 대한 비교연구 (A Comparative Study of Covariance Matrix Estimators in High-Dimensional Data)

  • 이동혁;이재원
    • 응용통계연구
    • /
    • 제26권5호
    • /
    • pp.747-758
    • /
    • 2013
  • 공분산 행렬은 다변량 통계분석에서 중요한 역할을 하고 있으며 전통적인 다변량 분석의 경우 표본 공분산 행렬이 참공분산 행렬의 추정량으로 주로 사용되었다. 하지만 변수의 수가 표본의 크기보다 훨씬 큰 고차원 데이터와 같은 경우에는 표본 공분산 행렬은 비정칙행렬이 되어 기존의 다변량 기법을 사용하는 데 적절하지 않을 수가 있다. 최근 이러한 문제점을 해결하기 위해 축소추정, 경계추정, 수정 콜레스키 분해 추정 등의 새로운 공분산 행렬의 추정량들이 제안되었다. 본 논문에서는 추정량들의 성능에 영향을 미칠 수 있는 여러 현실적인 상황들을 가정하여 모의실험을 통해 참공분산 행렬의 추정량들의 성능을 비교하였다.

고차원 벡터 공간에서 k-최근접 검색에 관한 분석 (Analysis of k-Nearest Neighbor Search in High-Demensional Vector Spaces)

  • 최승락;곽태영;신봉근;이윤준;김명호
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1998년도 가을 학술발표논문집 Vol.25 No.2 (1)
    • /
    • pp.191-193
    • /
    • 1998
  • 지금까지 제시된 최근접 질의 알고리즘은다소간의 cklms 있으나 기본적으로 질의 점과 MBR간의 최소거리에 기반한 분기와 한정 기법을 이용하고 있다. 그러나 차원이 증가함에 따라 질의 구와 겹치는 노드가 급속히 증가하기 때문에 최근접 질의 알고리즘의 성능은 매우 비효율적이다. 이러한 문제를 해결하기 위해서 MBR 간의 중첩을 줄이고 MBR 내에 가급적 많은 점을 포함할 수 있는 다양한 다차원 색인 구조가 제시도 되었다. 그러나 우리의 실험에 의하면 이러한 방법이 근본적인 해결책이 되지 못함을 알 수 있다. 고차원 백터 공간 모델이 가지는 문제로써 임의의 질의 점으로부터 모든 데이터 점들까지의 거리가 차원이 올라감에 따라 유사해지는 현상 때문에 비효율적인 성능이 나옴을 본 논문에서 지적한다.

CIR-Tree : 효율적인 고차원 색인기법 (CIR-Tree : An Efficient High-Dimentsional Index Structure)

  • 이석희;유재수;조기형;허대영
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제26권6호
    • /
    • pp.724-734
    • /
    • 1999
  • 내용기반 이미지검색을 위한 기존의 색인구조들은 데이터 객체들을 대표하는 특성들이 증가함에 따라 검색시간 또는 공간요구량이 지수 함수적으로 증가하게 되는 문제점이 있다. 본 논문은 내용기반 이미지검색을 위한 기존의 색인구조들을 분석하여 새로운 색인구조가 갖추어야할 요구조건을 제시한 후, 제시된 요구조건들을 만족하는 새로운 색인구조 CIR-트리를 제안한다. 제안된 방법의 우수성을 보이기 위해 실험을 통하여 색인구조들에 관한 성능을 여러 환경에서 비교하고 분석한다. 이를 통해 제안된 CIR-트리가 기존의 색인구조들에 비해 고차원에 적합하면서 검색시간과 저장공간면에서 성능이 우수함을 보인다.

Daubechies 웨이블릿 변환을 이용한 볼륨 데이터 압축 (Volume Data Compression Using Daubechies Wavelet Transforms)

  • 허영주;박상훈
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2005년도 추계학술발표대회 및 정기총회
    • /
    • pp.1411-1414
    • /
    • 2005
  • 볼륨 데이터는 시뮬레이션 통해 생성되거나 고성능 측정 장비를 이용해 측정된 값으로 구성되는 고차원 데이터의 한 형태로서 다양한 자연과학과 공학분야에서 폭넓게 활용되고 있다. 최근에는 각 분야에서 생성되는 계산 데이터의 용량이 점점 더 증가하고 있기 때문에 이런 대용량의 볼륨 데이터를 효과적으로 처리하기 위한 기법들에 관한 연구가 수행되고 있으며, 특히 대용량 볼륨 데이터 압축 기법에 대한 필요성이 증가하고 있다. 본 논문에서는 Daubechies 웨이블릿 변환과 zerobit 인코딩 스킴을 응용한 새로운 볼륨 데이터 압축 기법을 제안한다. 이 방법은 기존의 압축 방법에 비해 복원 데이터의 손실이 낮기 때문에 정밀한 영상을 요구하는 대용량 데이터 압축에 유용하게 사용될 수 있다.

  • PDF

일반적인 그림 데이터에서의 빠른 최인접 검색 (Fast Nearest Neighbor Search on General Size Images)

  • 황윤호;안희갑
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(A)
    • /
    • pp.417-418
    • /
    • 2012
  • 우리는 유클리드 공간에서 그림 데이터의 평균화 분산을 이용한 비선형 변환을 이용하여, 그림 데이터에서 최인접검색(nearest neighbor search)을 빠르게 할 수 있는 알고리즘을 제시한다. 기존의 평균과 분산을 이용한 최인접검색 알고리즘은 고차원 그림 데이터를 그보다 낮은 차원의 유클리드 공간의 데이터로 변환하고, 낮은 차원에서의 비교를 통해 최인접검색의 해가 될 수 없는 그림 데이터를 빠르게 제외하는 방법을 사용한다. 우리는 기존의 방법이 균일하게 나누어지는 크기의 그림 데이터에서만 가능하던 기존방법에 대한 해결책을 이 논문에서 제시하여 일반적인 그림 데이터에서도 평균과 분산을 이용하는 최인접검색을 가능하게 한다.