• 제목/요약/키워드: 중복조

검색결과 111건 처리시간 0.029초

비공유 공간 데이터베이스 클러스터에서 효율적인 병렬 공간 조인 기법 (Efficient Parallel Spatial Join Method In Shared-Nothing Spatial Database Cluster)

  • 김종현;김명근;김재홍;배해영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2002년도 추계학술발표논문집 (하)
    • /
    • pp.1871-1874
    • /
    • 2002
  • 최근 인터넷 환경에서 지리 정보 서비스를 제공받으려는 사용자들의 지속적인 증가로 인해 저비용의 여러 개의 단일 노드를 고속의 네트워크로 연결하여 고성능을 제공하는 클러스터 기반의 공간 데이터베이스에 대한 연구가 활발하게 진행되고 있다. 이러한 공간 데이터베이스 클러스터에서 사용자가 요구한 공간 질의를 빠르게 처리하기 위해서는 고비용의 공간 조인 연산을 효율적으로 처리하기 위한 기법이 요구된다. 본 논문에서는 비공유 공간 데이터베이스 클러스터 환경하에서 공간 조인 연산 수행 시 효율적인 병렬 처리를 위한 영역 분할 기법 및 병렬 공간 조인 기법을 제안한다. 기존의 병렬 공간 데이터베이스 시스템에서의 분할 기반 병렬 공간 조인 기법들은 병렬로 수행할 작업 분배 및 할당과 분할 경계선 상에 존재하는 공간 객체들에 대한 중복 조인 연산 및 중복 결과 제거 등의 추가적인 연산을 해야 한다는 문제점들이 있다. 제안된 기법은 공간 릴레이션들을 일정 영역들로 분할하여 비공유 공간 데이터베이스 클러스터의 각 노드에서 중복없이 저장, 관리하도록 하며 분할 영역의 경계선 상에 위치하는 공간 데이터에 대해서만 중복 저장을 허용하여 병렬 공간 조인 연산 시 누락되는 공간 데이터가 없도록 한다. 본 기법은 공간 조인 연산 시 병렬 처리를 위한 별도의 작업 할당 과정을 거치지 않고 각 노드에서 병렬적으로 공간 조인 연산을 수행하며, 분할 경계선 상에 존재하는 공간 객체들은 여과 과정을 거쳐 한번만 공간 조인이 수행되므로 중복 결과들을 제거하기 위한 별도의 연산이 필요없는 특징을 갖는다. Ad Hoc망의 위상변화에 대한 적응성을 높일 수 있도록 한다. SQL Server 2000 그리고 LSF를 이용하였다. 그리고 구현 환경과 구성요소에 대한 수행 화면을 보였다.ool)을 사용하더라도 단순 다중 쓰레드 모델보다 더 많은 수의 클라이언트를 수용할 수 있는 장점이 있다. 이러한 결과를 바탕으로 본 연구팀에서 수행중인 MoIM-Messge서버의 네트워크 모듈로 다중 쓰레드 소켓폴링 모델을 적용하였다.n rate compared with conventional face recognition algorithms. 아니라 실내에서도 발생하고 있었다. 정량한 8개 화합물 각각과 총 휘발성 유기화합물의 스피어만 상관계수는 벤젠을 제외하고는 모두 유의하였다. 이중 톨루엔과 크실렌은 총 휘발성 유기화합물과 좋은 상관성 (톨루엔 0.76, 크실렌, 0.87)을 나타내었다. 이 연구는 톨루엔과 크실렌이 총 휘발성 유기화합물의 좋은 지표를 사용될 있고, 톨루엔, 에틸벤젠, 크실렌 등 많은 휘발성 유기화합물의 발생원은 실외뿐 아니라 실내에도 있음을 나타내고 있다.>10)의 $[^{18}F]F_2$를 얻었다. 결론: $^{18}O(p,n)^{18}F$ 핵반응을 이용하여 친전자성 방사성동위원소 $[^{18}F]F_2$를 생산하였다. 표적 챔버는 알루미늄으로 제작하였으며 본 연구에서 연구된 $[^{18}F]F_2$가스는 친핵성 치환반응으로 방사성동위원소를 도입하기 어려운 다양한 방사성의 약품개발에 유용하게 이

  • PDF

데이터 중복 제거 기술 분석 (An analysis of Data Deduplication techniques)

  • 조민정;이창훈
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2016년도 추계학술발표대회
    • /
    • pp.305-308
    • /
    • 2016
  • 저장하는 데이터의 용량이 증가함에 따라 데이터들은 효율적으로 보관될 필요성이 증가하였다. 이에 따라, 데이터 용량을 줄이는 기술로 많은 서비스들이 데이터 중복 제거 기술을 사용한다. 본 연구에서는 일부 서비스의 데이터 중복 제거 기술을 분석하고, 데이터 중복 제거 기술의 발전 동향을 예측하고자한다.

맵리듀스를 이용한 멀티웨이 조인 알고리즘의 비교 (A Comparison of Multi- Way Join Algorithms in MapReduce)

  • 명재석;이상구
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2011년도 한국컴퓨터종합학술대회논문집 Vol.38 No.1(C)
    • /
    • pp.127-130
    • /
    • 2011
  • 맵리듀스는 데이터의 분산 및 병렬 처리를 돕는 프레임워크로서, 하둡과 같은 오픈 소스 맵리듀스 구현이 배포되면서 많은 연구가 이루어지고 있다. 맵리듀스를 이용한 조인은 대용량 데이터 분석을 위한 필수적인 연산이며, 여러 개의 테이블을 한 번의 맵리듀스로 조인하기 위한 멀티웨이 조인 알고리즘에 대한 연구도 계속 진행되고 있다. 이 논문에서는 반복(iteration) 기반 멀티웨이 조인과 중복(replication) 기반 멀티웨이 조인 알고리즘의 장단점을 분석한다. 또한 두 가지 방식의 조인 알고리즘의 단점을 보완하여 하나의 통합적인 2단계 멀티웨이 세미조인을 제시하고, 이를 기존의 방식과 비교한다. 결과적으로, 2단계 멀티웨이 세미조인은 반복 기반의 조인에 비하여 입출력 비용을 절감하고, 중복 기반의 조인에 비하여 커뮤니케이션 비용을 절감한다.

맵리듀스를 이용한 다중 조인의 효율적인 처리 기법 (Efficient Processing of Multi-Way Joins using MapReduce)

  • 최연정;박진경;이기용
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2014년도 추계학술발표대회
    • /
    • pp.779-782
    • /
    • 2014
  • 맵리듀스(MapReduce)는 대용량 데이터의 병렬 처리에 사용되는 프로그래밍 모델이다. 조인(join)은 둘 이상의 테이블에서 동일한 애트리뷰트 값을 가지는 레코드들을 결합하는 연산으로, 데이터베이스 분야에서 가장 중요한 연산 중 하나이다. 본 논문은 맵리듀스를 이용하여 다중 조인(multi-way)을 효율적으로 처리하는 방법을 제안한다. n개 테이블의 다중 조인을 처리하기 위해 기존 방법은 2-way 조인을 수행하는 맵리듀스 잡을 (n-1)번 수행하거나, 레코드들을 중복시켜 n개 테이블의 조인을 1 개의 맵리듀스 잡으로 한 번에 처리한다. 하지만 전자는 맵리듀스 잡을 (n-1)번 수행해야 하며, 후자는 레코드들을 상당히 많이 중복시켜야 한다는 단점이 있다. 본 논문은 레코드를 전혀 중복시키지 않고도 ${\lceil}{\log}_2n{\rceil}$개의 맵리듀스 잡만으로 다중 조인을 효율적으로 처리하는 방법을 제안한다. 실험을 통해 제안 방법은 기존 방법에 대해 다중 조인을 더 빠르게 처리함을 보인다.

천연고무 국제협정-전문

  • 대한타이어공업협회
    • 타이어
    • /
    • 통권87호
    • /
    • pp.27-46
    • /
    • 1980
  • 1978년 국제연합회의에서 제정된 「천연고무국제협정」전문을 수시 입수되는 대로 번역정리하여 제1조에서 제34조까지를 본회지 1~2월호에 게재한 바 있으나, 그후 본협정전문의 완벽한 정본이 입수되어 기게재분과 비교검토한 바, 다소 정정된 부분이 있어 중복되는 감도 없지 않으나 기게재분도 처음부터 다시 총수정정리하여 본협정전문(총 69조,부칙)을 완전 수록하오니 참고하여 주시기 바랍니다.

  • PDF

엑스플러스 조인 : 조인 중복체크의 오버헤드를 줄이기 위한 개선된 방법 (X+ Join : The improved X join scheme for the duplicate check overhead reduction)

  • 백주현;박성욱;정성원
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2006년도 가을 학술발표논문집 Vol.33 No.2 (C)
    • /
    • pp.28-32
    • /
    • 2006
  • 유비쿼터스(Ubiquitous)환경과 같이 외부로부터 입력되는 데이터가 stream의 형식으로 실시간으로 들어오고, 입력의 끝을 알 수 없는 환경에서는 기존의 join방식으로는 문제를 해결 할 수 없다. 또한 이러한 환경 하에서는 데이터의 크기나 특성이 모두 다르고 네트워크 상태에 따라 입력이 많은 영향을 받게 된다. 이런 stream환경의 join연산을 위하여 double pipelined hash join, Xjoin, Pjoin등 많은 알고리즘이 기존의 연구를 대표하여 왔다. 그 중 Xjoin은 symmetric hash join과 hybrid hash join의 특징들을 이용해서 들어오는 data의 흐름에 따라서 reactive하게 join과정을 조절함으로써 streaming data에 대한 join을 수행한다. 그러나 여러 단계의 수행에 따른 연산의 중복결과를 체크하기 위한 overhead로 인해 성능이 떨어진다. 이 논문에서는 이러한 점을 개선하기 위해서 Xjoin의 수행과정을 수정한 방법을 제시할 것이다. 각 partition마다 구분자만을 추가함으로써 간단하게 중복을 만들어내지 않는 방법을 제안하고 불필요한 연산과 I/O를 줄일 수 있도록 partition선택방법을 추가할 것이다. 이를 통해서 중복된 연산인지 체크하는 과정을 상당히 단순화함으로써 좀 더 좋은 성능을 가지게 될 것이고 또한 timestamp를 저장해야 하는 overhead를 줄여서 전체 연산에 필요한 저장 공간을 절약할 수 있다.

  • PDF

가상 디렉토리 확장 해시 색인: 확장 해싱에서의 새로운 디렉토리 구조를 이용한 저비용 해시 색인 (Virtual Directory Extendible Hash index: An Economic Hash Index Using New Directory Structure)

  • 박상근;박순영;김명근;배해영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2003년도 추계학술발표논문집 (하)
    • /
    • pp.1493-1496
    • /
    • 2003
  • 데이터베이스 관계 연산자 중 프로젝션(projection)과 집단 연산(aggregate function)시 사용되는 GROUP BY절, 그리고 동등 조인(equi join)에 대한 질의 처리는 중복된 튜플 중복된 GROUP BY 필드, 조인 중 발생하는 임시결과에 대한 제거나 집단 연산, 임시 결과의 저장을 위해 정렬이나 해싱 기반 알고리즘을 적용하고 있다. 이 중 해싱 기반 알고리즘은 데이터에 대한 직접적인 접근 방법과 정렬비용이 없다는 장점으로 인해 자주 사용하게 된다. 그러나 이러한 해싱(extendible hashing)[1] 기반 알고리즘은 키 값이 저장되는 버켓(bucket) 페이지의 넘침(overflow)으로 인해 분할(split)이 발생하는 경우, 분할을 야기시킨 버켓 페이지에 대한 정보를 제외한 동일한 내용의 기존 디렉토리 구조를 배로 확장해야 하는 공간 확장과, 확장된 디렉토리 구조의 유지를 위해 많은 비용을 소모하게 된다. 본 논문에서는 다량의 데이터에 대한 접근 기법과 디렉토리 구조의 저장공간, 유지 비용 절감 및 중복 해시 값을 지니는 데이터를 처리하기위한 해시 색인인 가상 디렉토리 확장 해시 색인을 제안한다. 가상 디렉토리 확장 해시 색인은 디렉토리 구조를 다단계 구조로 유지함으로써, 넓은 저장 공간을 필요로 하는 다량의 데이터에 대한 접근경로 문제를 해결하였고, 가상 디렉토리 레벨이라는 새로운 구조를 통해, 기존 디렉토리 구조의 공간 낭비 및 유지 비용을 최소화 시켰으며, 버켓 페이지를 리스트(list) 구조로 유지함으로써 중복 해시 값에 의한 디렉토리 구조의 연쇄적 분할 문제를 해결하였다.

  • PDF

조석유동 해석을 위한 비선형 유한요소 모형(II) -모형의 적용- (Nonlinear Finite Element Model for Tidal Analysis(II) -Model Application)

  • 나정우;권순국
    • 한국농공학회지
    • /
    • 제37권1호
    • /
    • pp.37-48
    • /
    • 1995
  • The TIDE, nonlinear finite element model for the simulation of tidal analysis in a shal- low ooastal area was tested for its applicability at the Saemankeum day. Calibration of the TIDE model has been carried out using the six observed field data collected at five locations within the region for tidal velocity. Verification tests have been done using the six observed field data and four data o- tained from the hydraulic model test for the tidal velocity and elevation. Since the simula- tion results for the tidal elevation at Kunsan outer port by the TIDE model are well agreed with the results from the tidal table for one month, it is proved that the TIDE model may be used effectively to predict the tidal movement in the Saemankeum bay for a longer period.

  • PDF

분산 환경을 위한 중복데이타 서버(replication server) 구조에 관한 연구

  • 이종호;이우기;박주석;강석호
    • 한국데이타베이스학회:학술대회논문집
    • /
    • 한국데이타베이스학회 1994년도 DB산업기술 활성화를 위한 학술대회 및 기술 심포지움
    • /
    • pp.71-103
    • /
    • 1994
  • 중복데이타 서버(replication server) 는 자주 사용되는 데이타의 부분 또는 전부를 뷰 형태로 여러 지역에 중복하여 저장함으로써 최종 사용자가 원하는 데이터에 빨리 접근할 수 있도록 해준다. 또한 기본 테이블의 변화된 내용을 주기적으로 뷰에 반영함으로써 데이타 동시성의 문제를 완화하며 통신량을 감소시킬 수 있다. 본 연구에서는 기본 테이블에 일어난 변화를 저장뷰(materialized view)에 반영시켜주기 위해 테이블 전체를 읽는 방식을 피하고 일정기간 동안 테이블에 일어난 변화가 기록된 로그(log)를 이용하는 디프런셜 갱신(differential update) 방법을 사용한다. 이 방법은 테이블의 잠금(locking) 을 피함으로 시스템의 성능을 향상시 킬 수 있다. 또한 갱신에 관련된 통신량을 최소화하기 위한 기법들을 제안한다. 위의 방법을 이용하여 분산 상황에서 조인 저장뷰(join materialized view)의 갱신을 효과적으로 지원해 주는 중복데이타 서버(replication server)의 구조에 관해 연구한다.

  • PDF

조선조 전기 지방간본의 연구 (A Study on Local Publication in the Early $Chos\u{o}n$ Dynasty)

  • 김치우
    • 한국문헌정보학회지
    • /
    • 제33권4호
    • /
    • pp.17-27
    • /
    • 1999
  • 조선조 전기 책판목록에 수록된 간본의 부존본을 조사하고 고증하여 제반 서지사항을 분석 검토하여 보았다. 조선조 전기 책판목록에 수록된 간본은 $\ulcorner$고사촬요$\lrcorner$ 책판목록에 989종과 $\ulcorner$영남책판기$\lrcorner$에서 중복되지 않는 25종을 합하면 모두 1014종이다. 이중 221종은 $\ulcorner$영남책판기$\lrcorner$, 57종은 $\ulcorner$동경잡기$\lrcorner$ 서적조 책판목록의 수록 간본과 각각 중복된다. 그러므로 책판목록에 수록된 간본은 이것을 합하면 모두 1292종이다. 조선조 전기 책판목록에 소재된 전존본은 $\ulcorner$고사촬요$\lrcorner$ 팔도정도 책판목록 117종이다. 이중 33종은 $\ulcorner$영남책판기$\lrcorner$, 10종은 $\ulcorner$동경잡기$\lrcorner$ 서적조의 책판목록에 수록된 간본과 각각 중복된다. 그러므로 책판목록에 수록된 간본의 전존본은 이것을 합하면 모두 160종이 된다. 이 전존본의 현황을 지방별로 살펴보면 강원도 5개 지방 10종, 경상도 17개 지방 55종 전라도 10개 지방 33종 충청도 4개 지방 4종 평안도 2개 지방 9종, 함경도 1개 지방 1종, 황해도 3개 지방 3종이다.

  • PDF