• 제목/요약/키워드: 분산 데이터 색인

검색결과 48건 처리시간 0.024초

SAN 환경에 적합한 고차원 색인 구조 설계 (Design of High-dimensional Index Structures for SAN Environment)

  • 박춘서;신재룡;송석일;복경수;유재수;신범주
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 가을 학술발표논문집 Vol.27 No.2 (1)
    • /
    • pp.86-88
    • /
    • 2000
  • SAN(Storage Area Network)이 최근 대용량 데이터를 효율적으로 관리하기 위한 차세대 저장 장치로 각광받고 있다. 이 SAN에는 이미지, 동영상, 지도, 캐드 데이터와 같은 대용량의 고차원 특징을 갖는 데이터들이 저장되어 관리 될 것이다. 따라서 SAN 환경에서 이들을 보다 빠르고 정확하게 검색할 수 있는 효율적인 고차원 색인구조가 필요하다. SAN 환경은 저장 장치를 공유하는 형태의 병렬 환경이라 볼 수 있다. 이 논문에서는 SAN의 병렬성을 충분히 이용해서 고차원 데이터를 색인할 수 있는 방법을 제안한다. 제안하는 고차원 색인 구조는 하나의 노드를 여러 디스크에 분산시켜 팬-아웃을 증가시키고 트리의 높이를 줄임으로서 검색성능을 향상시킨다. 또한 범위 질의와 K-최근접 질의 수행시 병렬성을 최대화하는 방법을 제안한다.

  • PDF

도로 네트워크 환경에서 센서 네트워크를 이용한 분산 브로드캐스트 색인 기법 (Distributed Broadcast Index Method using Sensor Networks in Road Network Environments)

  • 장용진;박준호;이진주;성동욱;유재수
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2010년도 춘계 종합학술대회 논문집
    • /
    • pp.55-57
    • /
    • 2010
  • 수많은 이동 노드가 존재하는 유비쿼터스 환경에서 위치 기반 서비스가 중요한 응용 분야로 부상하고 있다. 효율적인 위치 기반 서비스를 제공하기 위해 브로드캐스팅을 이용한 다양한 기법들이 연구 되었지만, 대부분 효율적인 인덱스 구축에 대한 연구이고, 브로드캐스팅 데이터의 크기를 줄이기 위한 기법은 고려되지 않았다. 이에 본 논문에서는 최근 많은 연구가 이루어지고 있는 센서 네트워크와 브로드캐스팅 기법을 활용하여, 객체의 이동 패턴을 고려한 데이터 분산 브로드캐스팅 기법을 제안한다. 제안하는 기법을 수행하기 위한 기반 인프라를 구축하기 위해 도로 네트워크 기반의 센서 클러스터링 기법을 제안하고, 센서 노드에 의해 측정 된 객체의 이동 정보를 기반으로 한 최적의 데이터 분산 브로드캐스팅 기법을 적용한다.

  • PDF

병렬 분산 처리 시스템에서 공간 연산을 위한 데이터 접근 방안 (A Method to Access Data for Spatial Operation in Parallel Distributed Processing System)

  • 김진덕
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2016년도 추계학술대회
    • /
    • pp.442-444
    • /
    • 2016
  • 과거에 비해 비약적으로 생산되는 공간 데이터에 대한 처리를 위한 공간 연산은 빠른 처리 응답성을 요구하는 경우가 많다. 그래서 최근 하둡(Hadoop)과 같은 빅데이터 처리 시스템을 이용하여 처리하고자 하는 시도가 많다. 한편, 공간 조인은 데이터 분할(Partitioning)과 공간 색인의 이용 여부, 여과 단계와 정제 단계를 거치는 등 그 복잡도가 강한 공간 연산이다. 그래서 빅데이터 처리 시스템을 이용한 공간 조인의 처리 방식은 매우 다양하다. 그러나 지금까지 이러한 공간 조인의 처리 방식에 다른 리소스 활용에 대한 비교는 거의 없다. 이 논문에서는 다양한 공간 연산의 수행 방법에 따른 빅데이터 시스템 클러스터에서 데이터 전송 방식을 고찰하고 데이터 전송에 따른 네트워크 리소스의 효율적인 사용 방안을 제안하고자 한다. 구체적으로 단일할당과 다중할당 색인 기법의 비교, 파티셔닝 방법의 비교, 맵리듀스 시스템의 태스크 할당 방법에 따른 비교를 통해 다양한 연산 유형에 따른 공간 조인의 처리 방안 선정에 고려 요소를 제시하고자 한다.

  • PDF

P2P를 이용한 이동 객체 궤적 분산 색인 방법 (Distributed Indices of Trajectory of Moving Objects)

  • 박경민;강혜영;이기준
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2004년도 추계학술발표논문집(상)
    • /
    • pp.67-70
    • /
    • 2004
  • 수십, 수백만의 이동 객체가 존재하는 환경에서 전체 이동 객체의 궤적을 중앙 서버가 모두 관리하는 것은 적절한 접근 방법이 아니다. 통신 메시지들이 서버에 집중되기 때문에, 높은 네트워크 대역폭, 처리 능력, 그리고 방대한 저장 공간을 보유한 서버를 필요로 하기 때문이다. 이에 본 논문에서는 중앙 서버없이 각각의 이동 객체들이 자기 자신의 궤적을 관리하는 방식을 통해 앞서의 문제를 해결하려한다. 중앙 서버없이 데이터가 네트워크에 분산되어 있는 경우, 특정 데이터에 효율적으로 접근하기 위해서는 색인이 필요하게 되는데, 본 논문에서는 헤더 객체와 헤더 검색 트리라는 것을 정의하여 IPv6의 모바일 IP를 이용한 P2P방법으로 영역 질의, 최근접 질의, 궤적 질의 처리를 할 수 있는 모델을 제시한다.

  • PDF

Prime Sequence Codes를 이용한 chirped 2.5Gb/s 광 CDMA 신호에 대한 색분산 패널티로 전송 이행 분석

  • Huh, Tae-Sang;Yang, Myung-Seok;Lee, Seung-Bock;Park, Kiseok;You, Beom-Jong
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 봄 학술발표논문집 Vol.30 No.1 (C)
    • /
    • pp.49-51
    • /
    • 2003
  • 가입자망과 메트로 광 가입자망에서 광범위한 적용범위에 대해 광 기술을 선도하는 기존의 WDM은 증가하는 사용자 수를 수용하는 데 어려움을 가지며 WDM은 채널간의 잡음에 의한 제한과 유효 채널의 최대가 WDM 채널에서 광 증폭기 이득의 균일성에 의해 제한받는다. 따라서 사용자 수를 증가시키고 데이터량을 확장시킬 수 있는 CDMA 기술 도입이 하나의 대안으로 요구된다. 본 논문에서는 SMF에서 수십 km 거리를 갖는 가입자망에서 Prime sequence code를 사용한 2.5Gb/s 광 COMA 신호의 색분산 패널티에 대해 연구하였다. 시스템 모델에서, 색분산 패널티, 파형과 디코드된 신호의 아이 다이어그램(eye diagram)이 결과로써 보여지며, prime sequence code 수의 증가에 대해 Chirp 파라미터를 갖는 코드화된 신호의 색분산 패널티를 보인다. 이러한 접근은 pseudo-orthogonality를 가지는 비동기식 광 CDMA의 디자인에 특히 적합할 것이다.

  • PDF

무선 단말기에서 지도 서비스를 위한 시스템의 설계 및 구현 (The Design and Implementation of System for providing mobile may service in Wireless Devices)

  • 이재호;임덕성;홍봉희
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 봄 학술발표논문집 Vol.29 No.1 (B)
    • /
    • pp.46-48
    • /
    • 2002
  • 무선 네트웍을 통해 공간 데이터를 요청하고 수신하는 PDA에서 지도 정색을 하기 위해 캐쉬와 공간 색인을 사용하는 한정을 대상으로 한다. 서 대로부터 전송되는 공간 객체들은 캐쉬된 영역의 공간 객체와 중복이 발생하므로 이에 대한 처리 방법이 필요하다. 또한 추가되는 영역의 공간 데이터를 색인에 추가하는 연산은 Bulk-Insertion기법이 효과적이지만 추가영역에 대한 색인 구축 연산이 무선 단말기에 부하를 준다. 그리고 교체로 인한 캐쉬 영역 삭제 시에도 신속한 영역 단위의 삭제 방법이 필요하다 이 논문에서는 먼저 중복 객체에 대한 처리 방법을 분류하고 Bulk-operation을 통해 캐쉬 영역의 빠른 색인 삽입, 삭제 연산을 수행하는 지도 서비스를 위한 시스템을 계시한다. 무선 단말기에 집중된 부하를 분산시키고 성능 향상을 위해 에이전트를 이용한 시스템을 설계하고 구현한다. 구현하여 실험한 결과 클리핑 방법이 효과적이며 전체적인 성능 향상을 보인다

  • PDF

실세계 도로 네트워크 환경에서의 이동객체 패턴기반 분산 예측 프레임워크 설계 (Design of Moving Object Pattern-based Distributed Prediction Framework in Real-World Road Networks)

  • 정재화
    • 디지털콘텐츠학회 논문지
    • /
    • 제15권4호
    • /
    • pp.527-532
    • /
    • 2014
  • 최근 모바일 스마트 기기의 보급으로 스마트 기기에 탑재된 다양한 센서에서 수집되는 대량의 데이터를 분석하여 처리하는 빅 데이터의 시대는 위치기반 서비스(LBSs: Location-Based Services)에 까지 확대대고 있다. 이동객체 위치 예측 기술은 차세대 시공간 정보 서비스에서 요구하는 필수적인 기술로 많은 연구가 진행되어 왔다. 그러나 대부분의 기존연구는 특정 어플리케이션에 종속적인 이동객체 위치 예측 질의처리 연구로서 증가하는 차세대 시공간 정보 서비스의 기술적 요구를 반영하기가 어렵다. 따라서 본 논문은 실세계 공간 네트워크에서 이동객체들의 초대용량 시공간적 데이터를 토대로 필수적으로 예측에 필요한 기본적이고 다양한 질의를 효율적으로 처리할 수 있는 범용적 분산 이동객체 예측 질의처리 프레임워크 설계를 제안한다.

GDCS : 센서네트워크를 위한 에너지 효율적인 그리드 기반 데이터 중심 저장 시스템 (GDCS : Energy Efficient Grid based Data Centric Storage for Sensor Networks)

  • 신재룡;유재수;송석일
    • 한국콘텐츠학회논문지
    • /
    • 제9권1호
    • /
    • pp.98-105
    • /
    • 2009
  • 이 논문에서는 동적으로 작업부하의 변화에 대응하는 새로운 데이터 중심 스토리지를 제안한다. 제안하는 데이터 중심 스토리지는 가상의 다중 레벨 그리드를 기반으로 구성되며 동적으로 핫스폿 영역의 부하를 분산할 수 있다. 또한, 제안하는 데이터 중심 스토리지는 기존의 GPSR (Greedy PerimeterStateless Routing)과 같은 라우팅 기법을 적용하여 수집한 데이터를 특정 센서 노드에 저장할 수 있다. 시뮬레이션을 수행하여 기존에 제안된 데이터 중심 스토리지에 비해 데이터를 저장하는데 소요되는 에너지를 크게 줄일 수 있음을 보인다. 그리고, 제안하는 방법을 실제 센서 네트워크용 운영체제를 기반으로 구현하고 시뮬레이션 도구를 이용해서 실행한 후 제안하는 방법이 부하를 효과적으로 분산할 수 있음을 보인다.

대용량 그래프 스트림 환경에서 데이터 재사용을 고려한 근사 Top-k 서브 그래프 매칭 기법 (Approximate Top-k Subgraph Matching Scheme Considering Data Reuse in Large Graph Stream Environments)

  • 최도진;복경수;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제20권8호
    • /
    • pp.42-53
    • /
    • 2020
  • 소셜 네트워크 서비스의 발전과 함께 다양한 응용에서 객체 간의 관계를 표현하기 위한 그래프 자료구조가 자주 활용되고 있다. 최근에는 실시간 그래프 스트림에서 서브 그래프 매칭의 요구가 늘어나고 있다. 따라서 실시간 그래프 스트림에서 높은 응답성을 위한 효율적인 근사 Top-k 매칭 기술이 필요하다. 본 논문에서는 그래프 스트림 환경에서 데이터 재사용을 고려한 근사 Top-k 서브 그래프 매칭 기법을 제안한다. 제안하는 기법은 대용량 스트림을 효율적으로 처리하기 위해서 기존 분산 스트림 처리 플랫폼인 스톰을 활용하고 스트림 처리 비용을 감소시키기 위한 기존 데이터 재사용 방법을 활용한다. Top-k 결과 생성을 위해서 거리 기반의 요약 색인 기법을 제안한다. 제안하는 요약 색인은 사전에 선택된 정점 간의 거리 값만을 저장하기 때문에 색인의 부하가 적다. 제안하는 요약 색인에서의 근사 Top-k를 수행하여 사용자에게 근사한 k개의 결과를 제공한다. 제안하는 기법의 우수성을 입증하기 위해 다양한 실세계 그래프 데이터 집합에서의 성능 평가를 수행한다.

모바일 지도 서비스를 위한 에이전트 기반의 공간 데이터 캐쉬의 설계 및 구현 (Design and Implementation of the Spatial Data Cache Based on Agents for Providing Mobile Map Services)

  • 임덕성;이재호;홍봉희
    • 정보처리학회논문지D
    • /
    • 제10D권2호
    • /
    • pp.175-186
    • /
    • 2003
  • PDA와 같은 무선단말기에서 지도 데이터에 대한 검색 및 접근을 위해 영역단위의 캐쉬와 R-tree 기반의 공간색인이 필요하다. 그러나 서버로부터 낮은 저장용량의 무선단말기에 전송되는 공간객체는 캐쉬된 공간 객체와 중복되는 문제가 있다. 또한 추가되는 데이터를 저장하고, 효율적인 공간 질의를 위한 색인 재구축 비용은 낮은 컴퓨팅 파워를 가진 무선단말기에 부하를 준다. 따라서 낮은 컴퓨팅 파워를 가진 무선단말기의 부하를 분산시키는 방법과 중복객체의 처리기법이 필요하다. 이 논문에서는 먼저 캐슁시 중복 객체에 대한 처리기법을 분류하고, 클리핑기밥을 사용한 공간 객체 저장과 색인 재구성방법을 분석한다. 또한, 무선단말기에 집중된 부하를 분산시키기 위해 색인구성 및 클리핑 작업을 에이전트에서 처리하는 에이전트 기반 캐슁시스템을 제시한다. 그리고, 제시한 시스템을 설계 및 구현하고, 성능을 평가한다.