• Title/Summary/Keyword: 근사 질의 처리

Search Result 58, Processing Time 0.024 seconds

A Study on Approximation Query Processing Method Based on Machine Learning Models (머신 러닝 모델 기반 근사 질의 처리 방법에 관한 연구)

  • Park, Choon Seo;Kim, Sung-Soo;Nam, Taek Yong;Lee, Taewhi
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2021.11a
    • /
    • pp.532-534
    • /
    • 2021
  • 최근 데이터의 양이 급격히 증가함에 따라 빅데이터 환경에서 데이터 질의 처리 수행 시 연산 시간이 많이 소요되는 문제점이 발생한다. 이러한 처리 시간을 줄이기 위한 방법으로 근사질의 처리에 대한 연구의 필요성이 대두되고 있다. 근사 질의 처리 방법은 정확도가 다소 떨어지더라도 빠른 결과를 요구하는 응용 분야에서 매우 유용하게 쓰일 수 있다. 본 논문에서는 사용자가 원하는 결과 정확도와 적시성 등을 지원하기 위한 근사 질의 처리 언어 확장, 실행 계획생성 및 질의 최적화 기술을 제안하고, 설계 방향 및 특징 등에 대해서 설명한다.

Streaming Data Management Technique using Concept Hierarchy (개념 계층을 이용한 스트리밍 데이터의 관리 기법)

  • Han, Chang-Hee;Park, Seog
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2004.04b
    • /
    • pp.154-156
    • /
    • 2004
  • 센서 네트웍, 유비쿼터스 컴퓨팅 환경으로 발전하면서 스트리밍 데이터와 같이 무한한 데이터의 처리에 대한 요구가 많이 커지고 있다. 스트리밍 데이터에 대한 질의 처리는 크게 실시간으로 처리가 요구되는 질의와 과거 데이터에 대한 동향 근사치 요청질의로 나누어질 수 있다. 기존의 스트리밍 데이터 처리에 대한 연구들은 실시간 질의 처리만을 고려하고 과거 데이터에 대한 질의에 대한 고려는 미약하다. 그리고 사용자가 과거의 데이터에 대한 동향 분석을 요청하는 질의, 또는 과거 어느 시점의 데이터에 대한 요청 혹은 근사치를 요구하는 질의에 대해서는 처리를 할 수 없는 한계점이 있다. 본 논문에서는 스트리밍 데이터 프로세서의 메모리의 범위를 넘어서서 삭제되는 과거 데이터를 디스크의 I/O처리 속도에 맞추기 위해서 로드 셰딩 기법을 적용해서 저장한 후에 개념 계층을 이용해서 사용자가 원하는 데이터만을 효과적으로 저장하는 기법을 제안한다.

  • PDF

A Study of Approximation Method of Spatial Objects (공간 객체의 근사화 방법 연구)

  • Kim, Yong-Hyeon;Lee, Hyeong-Su;Lee, Seong-Su;Kim, Eung-Mo
    • The Transactions of the Korea Information Processing Society
    • /
    • v.3 no.7
    • /
    • pp.1753-1762
    • /
    • 1996
  • Since the number of spatial objects go easily into millions, they are stored on a secondary storage. In order to speed up accessing the geometric objects, we investigate spatial database system. The spatial objects are organized and accessed by spatial access methods(SAMs). But, SAMs are not able to organize polygons directly The most popular approach for handing polygon in SAMs is to use MBR apporximaotion as a geometric key. MBR provides a fast but inaccurate answers to approximation-based query processing. The performance of approximation-based spatial query processing depends on which type of approximation is chosen for the spatial objects. A suitable approximation is crucial for reducing the size of the candidate set. The better the approxmation quality, the fewer accesses to the exact object are necessary. In this paper, I proposed a new multicontainer approximation named Slice decomposition. The performance of proposed method is compared with other method.

  • PDF

The Method to Process Approximate k-Nearest Neighbor Queries in Spatial Database Systems (공간 데이터베이스 시스템에서 근사 k-최대근접질의의 처리방법)

  • 선휘준;김홍기
    • Journal of the Korea Computer Industry Society
    • /
    • v.4 no.4
    • /
    • pp.443-448
    • /
    • 2003
  • Approximate k-nearest neighbor queries are frequently occurred for finding the k nearest neighbors to a given query point in spatial database systems. The number of searched nodes in an index must be minimized in order to increase the performance of approximate k nearest neighbor queries. In this paper. we suggest the technique of approximate k nearest neighbor queries on R-tree family by improving the existing algorithm and evaluate the performance of the proposed method in dynamic spatial database environments. The simulation results show that a proposed method always has a low number of disk access irrespective of object distribution, size of nearest neighbor queries and approximation rates as compared with an existing method.

  • PDF

Efficient k-Nearest Neighbor Query Processing Method for a Large Location Data (대용량 위치 데이터에서 효율적인 k-최근접 질의 처리 기법)

  • Choi, Dojin;Lim, Jongtae;Yoo, Seunghun;Bok, Kyoungsoo;Yoo, Jaesoo
    • The Journal of the Korea Contents Association
    • /
    • v.17 no.8
    • /
    • pp.619-630
    • /
    • 2017
  • With the growing popularity of smart devices, various location based services have been providing to users. Recently, some location based social applications that combine social services and location based services have been emerged. The demands of a k-nearest neighbors(k-NN) query which finds k closest locations from a user location are increased in the location based social network services. In this paper, we propose an approximate k-NN query processing method for fast response time in a large number of users environments. The proposed method performs efficient stream processing using big data distributed processing technologies. In this paper, we also propose a modified grid index method for indexing a large amount of location data. The proposed query processing method first retrieves the related cells by considering a user movement. By doing so, it can make an approximate k results set. In order to show the superiority of the proposed method, we conduct various performance evaluations with the existing method.

Harmonic Wavelet Method for Minimizing Relative Error (상대 오차의 최소화를 위한 조화 웨이블릿 기법)

  • Ham, Sung-Ho;Kang, Seong-Goo;Lee, Suk-Ho
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2005.07b
    • /
    • pp.91-93
    • /
    • 2005
  • 대용량 데이타에 대한 복잡한 질의 처리가 요구되는 응용에서 빠른 시간 안에 응답을 돌려주기 위해, 데이타를 작은 크기로 근사하여 질의를 처리하는 방법이 연구되고 있다. 빠른 응답을 위해 주어진 저장 공간의 제약 하에서 얼마나 원본 데이타와 유사하게 근사할 수 있는지가 데이타 근사의 성능을 결정한다. 본 논문에서는 데이타 근사에서 유사도의 척도 중 하나인 최대 상대 오차를 줄이기 위하여 Haar 웨이블릿을 변형한 조화 웨이블릿 기법을 제안한다. 조화 웨이블릿은 데이타 변환 과정 중 조화평균을 이용하여 상대 오차 정보를 손쉽게 얻어낼 수 있어 근사 데이타의 상대 오차를 최소화하는 데 적합한 기법이다.

  • PDF

Approximate Top-k Subgraph Matching Scheme Considering Data Reuse in Large Graph Stream Environments (대용량 그래프 스트림 환경에서 데이터 재사용을 고려한 근사 Top-k 서브 그래프 매칭 기법)

  • Choi, Do-Jin;Bok, Kyoung-Soo;Yoo, Jae-Soo
    • The Journal of the Korea Contents Association
    • /
    • v.20 no.8
    • /
    • pp.42-53
    • /
    • 2020
  • With the development of social network services, graph structures have been utilized to represent relationships among objects in various applications. Recently, a demand of subgraph matching in real-time graph streams has been increased. Therefore, an efficient approximate Top-k subgraph matching scheme for low latency in real-time graph streams is required. In this paper, we propose an approximate Top-k subgraph matching scheme considering data reuse in graph stream environments. The proposed scheme utilizes the distributed stream processing platform, called Storm to handle a large amount of stream data. We also utilize an existing data reuse scheme to decrease stream processing costs. We propose a distance based summary indexing technique to generate Top-k subgraph matching results. The proposed summary indexing technique costs very low since it only stores distances among vertices that are selected in advance. Finally, we provide k subgraph matching results to users by performing an approximate Top-k matching on the summary indexing. In order to show the superiority of the proposed scheme, we conduct various performance evaluations in diverse real world datasets.

Shortest Path Finding for k-Nearest Neighbor Searching in Road Network Databases (도로 네트워크에서 k-최근접 이웃 검색을 위한 최단 경로 탐색)

  • Shin, Sung-Hyun;Lee, Sang-Chul;Kim, Sang-Wook
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2009.04a
    • /
    • pp.336-339
    • /
    • 2009
  • 본 논문에서는 최단 경로 탐색 및 거리 계산의 필요성을 가지고 근사 인덱싱 방법의 후처리 부분을 제안한다. 근사 인덱싱 방법이란 오프라인에서 네트워크 공간상의 객체들을 유클리드 공간 상의 절대 좌표로 사상하여 인덱싱한 후, k-최근접 이웃 질의를 처리하는 방법이다. 그러나 기존 연구는 질의 점으로부터 각 정적 객체까지의 경로를 탐색해주지 않을 뿐만 아니라 착오 기각이 발생한다. 따라서 본 논문에서는 질의 점으로부터 k개의 정적 객체까지의 경로를 효과적으로 탐색할 수 있는 방법을 제안한다. 또한, 이 방법을 통하여 착오 기각 역시 완화시킬 수 있는 방법을 제안한다. 실험을 통하여 제안하는 방법이 기존 경로 탐색 기법들에 비해 노드 탐색 횟수 및 실행 성능이 크게 향상시킨 것으로 나타났다.

도로 네트워크를 위한 k-최근접 이웃 질의의 처리 방안

  • Lee, Sang-Cheol;Kim, Sang-Uk
    • Information and Communications Magazine
    • /
    • v.25 no.7
    • /
    • pp.16-23
    • /
    • 2008
  • 텔레매틱스에서 위치 정보 서비스를 효과적으로 제공하기 위해 이동 객체와 더불어 시설물과 같은 정적 객체에 대한 위치 정보를 효과적으로 관리하는 데이터베이스 기술들이 요구된다 본 논문에서는 도로 네트워크 데이터베이스를 위한 인덱싱 및 질의 처리 기술 현황에 대하여 고찰한다. 텔레매틱스에서는 영역 질의, k-최근접 이웃 질의, 연속 k-최근접 이웃 질의, 공간 조인 질의 등이 발생하며, 이 중 k-최근접 이웃 질의가 빈발하게 발생한다. k-최근접 이웃 질의를 처리하기 위한 효과적인 방안으로 IER, INE, $VN^3$, 근사 인덱싱 기법 등이 있다. 본 논문에서는 각 기법의 개념, 알고리즘, 장단점에 대하여 고찰한다.

Approximate Indexing in Road Network Databases (도로 네트워크 데이터베이스를 위한 근사 인덱싱)

  • Lee, Sang-Chul;Kim, Sang-Wook
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2007.05a
    • /
    • pp.61-62
    • /
    • 2007
  • 본 논문에서는 도로 네트워크 데이터베이스에서 k-최근접 이웃 질의를 효율적으로 처리하기 위한 방안에 대하여 논의한다. 네트워크 거리는 삼각형 부등식 성질(triangular inequality property)을 만족하지 못하므로 기존의 기법들은 네트워크 거리를 기반으로 하는 인덱스를 사용하지 않았다. 이러한 기법들은 질의 처리 시 심각한 성능 저하의 문제를 가진다. 사전 계산된 네트워크 거리를 이용하는 또 다른 기법은 저장 공간의 오버헤드가 크다는 문제를 갖는다. 본 논문에서는 이러한 두 가지 문제점들을 동시에 해결하기 위하여 객체들 간의 네트워크 거리를 근사하여 객체들에 대한 인덱스를 구축하고, 이를 이용하여 k-최근접 이웃 질의를 처리하는 새로운 기법을 제안한다. 실제 도로 네트워크를 이용한 정확도 검증 실험을 통하여 제안된 기법의 우수성을 규명한다.