• 제목/요약/키워드: 데이타 그리드

검색결과 35건 처리시간 0.027초

주기적 편중 분할에 의한 다차원 데이터 디클러스터링 (Declustering of High-dimensional Data by Cyclic Sliced Partitioning)

  • 김학철;김태완;이기준
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제31권6호
    • /
    • pp.596-608
    • /
    • 2004
  • 디스크 입출력 성능에 의해서 많은 영향을 받는 대용량의 데이타를 저장하고 처리하는 시스템에서 데이타를 다수의 병렬 디스크에 분산 시켜 저장한 후 질의 처리 시 디스크 접근 시간을 감소시키기 위한 노력들이 많이 행해졌다. 대부분의 이전 연구들은 데이타 공간이 정형의 그리드 형태로 분할되어 있다는 가정 하에 각 그리드 셀에 대해서 효과적으로 디스크 번호를 할당하는 알고리즘 연구에 치중하였다. 하지만, 그리드 형태의 분할은 저차원 데이타에 대해서는 효과적이지만 고차원 데이타에 대해서는 우수한 디스크 할당 알고리즘을 적용하더라도 디클러스터링에 의한 성능 향상을 이룰 수가 없다. 그 이유는 그리드 분할 방법은 데이타 분포 비율에 관계없이 전체 데이타 공간을 동일한 비율로 분할하기 때문이다. 고차원 데이타는 대부분 데이타 공간의 표면에 존재한다. 본 논문에서는 이와 같은 현상을 고려하여 데이타 표면으로부터 주기적으로 편중 분할하는 알고리즘을 이용한 새로운 디클러스터링 알고리즘을 제시한다. 다양한 실험 결과에 의하면 표면으로부터 주기적으로 편중 분할하는 방법은 차원이 증가할 수록, 또한 질의 크기가 증가할 수록 그리드 형태의 분할에 비해서 질의를 만족하는 데이타 블록의 수를 현저히 감소시킬 수 있다. 본 논문에서는 분할 결과 데이타 블록들의 배치(layout)를 이용한 디스크 번호 할당 알고리즘들을 제시하였다. 우리는 제시한 알고리즘의 성능을 보이기 위해서 다양한 차원과 디스크 수에 대해서 여러 가지 실험을 하였다. 본 연구에서 제시한 디스크 할당 알고리즘은 절대 최적의 디스크 할당 방법에 비해서 추가적인 디스크 접근 횟수가 10번을 넘지 않는다. 디클러스터링 알고리즘의 응답 시간에 대해서 그리드 분할에 대해서 가장 좋은 성능을 보이는 것으로 알려져 있는 Kronecker sequence을 이용한 디스크 할당 알고리즘과 비교하였으며 차원이 높아짐에 따라 최대 14배까지 성능이 향상된다.

고에너지물리 데이타 그리드 시스템의 구현 (An Embodiment of High Energy Physics Data Grid System)

  • 조기현;한대희;권기환;김진철;양유철;오영도;공대정;서준석;김동희;손동철
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제33권7호
    • /
    • pp.390-398
    • /
    • 2006
  • 고에너지 물리학 (HEP, High Energy Physics)은 물질의 근본 구성 입자와 상호 작용 연구를 통해 궁극적으로 우주 탄생의 비밀을 밝히는 학문이다. 2007 년에 시작하는 유럽입자물리연구소 (CERN)의 대형강업자충돌기(LHC, Large Hadron Collider)의 CMS(Compact Muon Solenoid)실험에 참여하는 연구진은 2000여명이나 되며, 생산되는 데이타 양은 연간 수 PetaByte에 달할 예정이다. 그러므로 고에너지물리 실험에서 생산하는 데이타는 기존의 전산자원의 개념으로 처리하는 것이 불가능하다. 그리하여 고에너지물리 분야에서 자료의 계층적 구조(Tier-0, 1, 2) 및 데이타 그리드를 활용하게 되었으며, 이러한 고에너지물리 데이타 그리드 연구는 기존에 수행중인 고에너지물리 실험에도 활용하고 있다. 본 논문에서는 그리드 응용의 한 분야로서 고에너지물리 데이타 그리드에 관한 연구를 보여준다.

고정 그리드를 이용한 병렬 공간 조인을 위한 비용 모델 (Cost Model for Parallel Spatial Joins using Fixed Grids)

  • 김진덕;홍봉희
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제28권4호
    • /
    • pp.665-676
    • /
    • 2001
  • 공간 데이타베이스에서 가장 비용이 큰 공간 연산자는 공간 조인이다. 공간 조인은 두개의 데이타 집합으로부터 공간적인 조건을 만족하는 두 객체 쌍의 집함을 구하는 것이다. 지난 수년동안 공간 조인의 순차 수행 시간은 많이 향상되었지만, 그 웅답시간은 사용자의 요구를 만족시키지 못하고 있다. 그래서 공간조 인의 병렬 수행에 대한 연구가 자연스럽게 대두되고 있다. 공간 데이타베이스 관리 시스템에서 공간 데이타 의 관리의 용이성 및 부분 지역 검색의 효율성 등을 위해 고정 크기의 격자 구조를 갖는 고정 그리드를 이용 할 수 있다. 그러나 지금가지 고정 그리드를 이용한 공간조인의 병렬 처리에 관한 연구는 거의 없다. 이 논문에서는 고정 그리드를 이용한 병렬 공간 조인 알고리즘의 성능을 예측하는 비용 모델을 제시하 였는데, 이는 최소 경계 사각형(Minimum Bounding Rectangle : MBR)의 비교 횟수. 디스크 접근 횟수,메시지 전송 횟수 등을 근거로 하였다. 실제 데이타 및 인위 데이타 집합을 이용한 실험은 제안한 비용 모델이 정확함을 보여주었다. 이 비용 모델은 복합 공간 질의의 비용을 예측할 필요가 있는 공간 질의 최 적화를 위한 유용한 도구가 될 것으로 기대된다.

  • PDF

MGrid: 분자 시뮬레이션 그리드 시스템 (MGrid: A Molecular Simulation Grid system)

  • 정갑주;이종현;조금원;정선호;황선태;허대영;최영진
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제33권7호
    • /
    • pp.380-389
    • /
    • 2006
  • 본 논문에서는, MGrid 시스템과 이를 통한 응용 어플리케이션으로서 Glycoconjugates 시뮬레이션 데이타베이스 구축에 대한 연구를 소개한다. MGrid 시스템은 분자 시뮬레이션 계산 및 분석에 대한 그리드 서비스를 상호 운용 가능한 방법으로 제공하는 그리드 시스템이다. e-Glycoconjugates는 당접합체류의 분자 시뮬레이션을 수행하는 그리드 포털이다. 이 프로젝트는 MGrid 시스템을 통해 PDB와 같은 단백질 구조 데이타베이스 상에서 지금까지 알려진 2000 여개의 glycan chain들과 100 여개의 당접합체류에 대한 분자 시뮬레이션 데이타베이스 구축을 목표로 하고 있다. 본 논문에서는, MGrid 시스템의 목표와 시스템 아키텍처, 현재 시스템의 구현과 e-Glycoconjugates의 초기 결과를 기술하고자 한다.

현재 위치 데이타 관리를 위한 그리드 기반 노드 분할 알고리즘 (A Grid-based Node Split Algorithm for Managing Current Location Data)

  • 이승원;홍동숙;강홍구;한기준
    • 한국공간정보시스템학회:학술대회논문집
    • /
    • 한국공간정보시스템학회 2005년도 추계학술대회
    • /
    • pp.67-73
    • /
    • 2005
  • 최근 이동체의 위치 데이타를 활용하는 위치 기반 서비스에 대한 관심이 급증하고 있다. 이러한 위치 기반 서비스에서 이용되는 대용량 위치 데이타를 효율적으로 관리하기 위한 아키텍처로서 클러스터 기반 분산 컴퓨팅 구조를 갖는 GALIS(Gracefully Aging Location Information System) 아키텍처가 제안되었다. GALIS는 비균등 2-단계 그리드를 사용하여 노드들의 부하 분산 및 색인을 수행한다. 하지만 비균등 2-단계 그리드의 분할 알고리즘은 이동체가 특정 지역에 편중되는 경우 불필요한 노드를 생성하는 문제를 가지고 있다. 따라서 본 논문에서는 이동체의 다양한 분포에 대하여 더욱 효율적인 노드 분할 알고리즘을 제시한다. 본 논문에서 제시한 노드 분할 알고리즘은 이동체의 현재 위치에 따른 공간적 분포를 고려하기 때문에 이동체가 특정 지역에 편중되는 경우에도 불필요한 노드를 생성하지 않고 효율적인 부하 분산을 수행할 수 있으며, 분산 시스템에서 중요시되는 균형 있는 부하 분산을 수행할 수 있다. 또한, 가상 노드 분할 시뮬레이터를 구현하여 다양한 이동체 데이타 분포 형태에 대해 실험하였으며, 이러한 실험을 통하여 기존의 알고리즘보다 더욱 효율적으로 노드를 분할하는 것을 검증하였다.

  • PDF

공간데이타 마이닝을 위한 효율적인 그리드 셀 기반 공간 클러스터링 알고리즘 (An Efficient Grid Cell Based Spatial Clustering Algorithm for Spatial Data Mining)

  • 문상호;이동규;서영덕
    • 정보처리학회논문지D
    • /
    • 제10D권4호
    • /
    • pp.567-576
    • /
    • 2003
  • 대용량의 공간데이터베이스로부터 암시적이고 유용한 지식을 자동적으로 추출하는 공간데이터 마이닝은 데이타 양이 급격히 증가하면서 필요성이 더욱 증대되고 있다. 공간데이터 마이닝에서 데이타를 분석하여 유사한 그룹으로 분류하는 공간 클러스터링은 매우 중요한 분야이다. 기존 연구에서 공간 클러스터링을 위한 여러 가지 알고리즘들이 제시되었지만, 다음과 같은 문제점들이 있다. 먼저 클러스터링을 위하여 객체들 간의 거리론 기반으로 하므로 데이타 양이 많아질수록 계산 비용이 커진다. 또한, 메모리 상주 데이타를 대상으로 하므로 대용량의 데이타인 경우에 효율이 떨어진다. 본 논문에서는 공간데이터 마이닝을 위하여 그리드 셀을 기반으로 한 효율적인 공간 클러스터링 방법을 제시한다. 이 클러스터링에서는 기존 공간 클러스터링 기법들의 문제점을 해결하는데 중점을 둔다. 세부적으로 공간 클러스터링의 효율성을 높이기 위하여 클러스터링시에 발생하는 비용(계산량)을 감소시키는 것이다. 이를 위해서 공간지역성을 보장하는 대표적인 공간분할 방법인 그리드 셀을 기반으로 한 공간 클러스터링 기법을 제시한다.

플라보노이드 정보의 효율적인 검색을 위한 그리드 웹 포탈 (Grid Web Portal for the Efficient Retrieval of Flavonoid Information)

  • 서해국;전세길;정갑주;김현명;정선호
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 가을 학술발표논문집 Vol.32 No.2 (2)
    • /
    • pp.253-255
    • /
    • 2005
  • 최근 생물학 문제를 해결하기 위하여 생명 정보 분야에서 많은 컴퓨터 기술들이 응용되고 있다. 플라보노이드 정보는 항암, 항산화 효과가 있는 유용한 물질인 플라보노이드의 연구와 관련된 정보를 분석하고 관리하는 컴퓨터 기술 기반의 응용 기술이다. 현재 플라보노이드 정보 관련 연구는 일부에서 수행되고 있으며 플라보노이드의 다양한 정보를 효율적으로 저장 검색 할 수 있는 시스템은 부족한 실정이다. 플라보노이드 물질에 관한 정보를 더욱 효과적으로 저장 관리하고 관련된 연구자들 간에 정보를 쉽게 공유할 수 있도록 본 논문에서는 플라보노이드 정보를 위한 그리드 웹 포탈 시스템 구조와 관련된 데이타 모델을 제안한다. 본 논문에서 제안한 시스템과 데이타 모델의 유용함을 보이기 위해 웹 기반으로 플라보노이드 정보 그리드 포탈을 구현한다.

  • PDF

비디오 데이타를 위한 그리드 기반의 유사 부분 궤적 검색 기법 (Similar sub-Trajectory Retrieval Technique based on Grid for Video Data)

  • 이기영;임명재;김규호;김정준
    • 한국인터넷방송통신학회논문지
    • /
    • 제9권5호
    • /
    • pp.183-189
    • /
    • 2009
  • 최근, PCS, PDA와 같은 이동기기 보급의 확산, GPS(Global Positioning System)의 활용, 유무선 네트워크의 급속한 발전 등으로 일반 사용자들조차 이미지, 오디오, 비디오 등과 같은 멀티미디어 데이타에 대한 활용이 증가하고 있다. 특히, 멀티미디어 데이타 중에서도 비디오 데이타는 텍스트나 이미지 데이타와는 달리 이동 객체에 대한 움직임 정보를 포함하고 있고 시간의 변화에 따라 공간의 변화를 가지는 시공간적 특성을 가진다. 객체의 공간적 위치가 시간의 흐름에 따라 계속 변하는 이동객체(Moving Object)들의 연속적인 움직임들의 모임을 궤적이라 하며, 데이타베이스에서 사용자로부터 주어진 질의 궤적과 유사한 궤적을 포함하는 데이타를 찾는 것을 유사 부분궤적 검색(Similar Sub-trajectory Retrieval)이라 한다. 그리고 이러한 유사 부분궤적 검색을 하기 위해선 사용자 질의 궤적과 주어진 유사정도(Tolerance) 내에서 유사한 데이타 궤적을 검색 할 수 있는 근사 매칭(Approximate Matching)이 가능해야 한다. 또한, 방대한 멀티미디어 데이타베이스에서 사용자가 원하는 데이타 만을 보다 빠른 시간 내에 찾을 수 있도록 기존 연구와는 다른 효과적인 검색방법이 요구된다. 이를 위해, 본 논문에서는 효과적인 검색을 위해 궤적을 그리드로 분할하여 이동 객체의 궤적에 대한 효율적인 유사 부분궤적 검색을 지원하는 새로운 그리드 기반 검색 기법을 제안한다.

  • PDF

PPMMLG :다차원 색인구조를 위한 다중 레벨 그리드 방식의 유령현상 방지 기법 (PPMMLG : A Phantom Protection Method based on Multi-Level Grid Technique for Multi-dimensional Index Structures)

  • 이석재;송석일;유재수
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제32권3호
    • /
    • pp.304-314
    • /
    • 2005
  • 이 논문에서는 다중 레벨 그리드 기법을 기반으로 하는 새로운 다차원 색인구조의 유령 방지 기법을 제안한다. 제안하는 기법은 트리 기반 및 비 트리 기반의 색인구조 모두에 적용이 가능하다. 또한, 제안하는 방법은 데이타베이스 관리시스템에 통합이 용이하며 적은 잠금 부담에 높은 동시성을 제공한다. 기존의 방법과 비교를 하기 위해 실제로 구현을 하였으며 다양한 환경에서의 실험을 통해 우수성을 입증 하였다.

데이타 그리드상에서 TCP 버퍼의 PID 제어를 통한 QoS 구현 (QoS Implementation by using PID Control of TCP Buffer in Data Grid)

  • 이홍석;허의남;추현승;조금원
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제33권7호
    • /
    • pp.363-369
    • /
    • 2006
  • 데이타 그리드 상의 빈번한 대용량의 파일 전송으로 급격히 증가하는 트래픽에 따른 대역폭 관리는 이제 네트워크 운영에서 필수적인 요소로 인식되고 있다. 본 논문에서는 TCP 버퍼 튜닝 연구를 통해 대역폭을 조정하는 기존의 연구를 바탕으로 TCP 계층의 자원을 제어함으로써 QoS를 보장하는 새로운 기법을 제안한다. 일반적으로 QoS솔루션은 IP 계층이나 링크 계층에서 네트워크 자원을 관찰하고 관리 하지만, 본 논문에서는 네트워크 상위 계층인 TCP 계층에서 네트워크 자원을 제어한다. 그 결과 각 사용자에게 부여된 권한에 따라 서로 다른 대역폭을 사용할 수 있도록 효율적으로 조절할 수 있다. 이는 네트 워크 자원관리와 과금에 새로운 패러다임을 제공할 것으로 기대한다.