• Title/Summary/Keyword: '분산 컬렉션'

Search Result 18, Processing Time 0.022 seconds

A Method for Collection Selection using Incomplete Information in a distributed retrieval system (분산검색에서 부분정보를 이용한 컬렉션 선택 방법)

  • 이현숙;맹성현;이만호
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2002.04b
    • /
    • pp.484-486
    • /
    • 2002
  • 본 논문은 여러 컬렉션에 대해 검색을 수행하는 분산 검색시스템에서 질의어가 들어 왔을 때 질의어에 적합한 컬렉션을 자동으로 선택할 수 있도록 하는 컬렉션 선택 모델과 브로커 구조를 제안하였다. 각 컬렉션마다 과거 질의에 대해 검색된 결과 문서들을 색인하여 인접단어를 고려한 불완전 인텍스를 생성한다. 이러한 불완전 인덱스를 이 용하여 컬렉션 선택하는 모델을 TREC 문서집합과 SMART 시스템을 이용하여 구현하였다.

  • PDF

An Adaptive Policy for Garbage Collection of NAND Flash Memory (낸드 플래시 메모리의 가비지 컬렉션을 위한 적응적인 정책)

  • Han, Gyu-Tae;Kim, Sung-Jo
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2008.06b
    • /
    • pp.361-365
    • /
    • 2008
  • 낸드 플래시 메모리를 저장매체로 사용하기 위해서는 제자리 덮어쓰기가 불가능하고 블록의 지움 횟수가 제한된다는 문제점을 해결해야 한다. 이러한 문제점을 해결하기 위해 지움 횟수 평준화를 지원하는 다양한 가비지 컬렉션 정책들이 연구되고 있다. 하지만 기존 정책들은 지움 횟수 평준화를 지원하기 위해 가비지 컬렉션이 수행될 때마다 전체 블록에 대해 지움 대상 블록을 선정하기 위한 클리닉 지표를 구하는 연산을 수행하여야 하고 이 연산들은 시스템의 성능을 저하시킨다. 본 논문은 블록당 지움 횟수의 분산과 블록들의 최대 지움 횟수에 따라 변경되는 임계값을 이용하여 전체 블록에 대한 클리닉지표를 구하는 연산을 수행하지 않으면서 지움 횟수 평준화를 제공한다. 가비지 컬렉션 시 분산이 임계값 보다 작을 때에는 Greedy 정책을 이용하여 지움 비용을 최소화하고, 분산이 임계값 보다 클때에는 최대 지움 횟수를 가진 블록을 지움 대상에서 제외하여 지움 횟수를 평준화시킨다. 제안된 방법은 전체 블록에 대한 클리닉 지표를 연산하는 과정을 제거하여 가비지 컬렉션 속도를 향상시킨다.

  • PDF

A Deterministic Fusion Method for Multiple Lists of Documents from Heterogeneous Search Engines (이질적 검색기와 컬렉션으로부터 검색된 복수 문서 리스트의 효율적인 용합 방법)

  • Lee, Min-Ho;Myaeng, Sung-Hyon
    • Annual Conference on Human and Language Technology
    • /
    • 1999.10e
    • /
    • pp.13-19
    • /
    • 1999
  • 본 논문은 분산, 독립적인 다수의 문서 컬렉션으로부터의 검색결과를 병합하는 컬렉션 융합(collection fusion)문제에 대한 효과적인 랭킹방법을 제시한다. 일반적인 컬렉션 융합 문제란 분산되어 있는 다수의 문서 컬렉션에서 독립적이고 능동적인 검색기들의 검색결과를 효과적으로 랭킹(ranking) 병합하는 것인데, 각기 다른 특성을 가진 다수의 컬렉션을 동일한 검색기를 통하여 검색된 결과를 병합하는 환경과 서로 다른 알고리즘을 갖는 검색기를 통한 검색 결과 병합 환경으로 나누어 질 수 있다. 본 논문에서는 서로 다른 특성을 갖는 다수의 컬렉션을 서로 다른 알고리즘을 갖는 검색기들을 통하여 검색한 결과를 병합하는 방법을 제시한다. 각 컬렉션에 학습 질를 넣어 얻은 정보를 토대로, 실제 질의를 넣었을 때 각각의 컬렉션에서 나온 결과가 통합 결과 집합에서 차지하는 비율과 각 문서의 순위를 결정한다. 기존 연구에서 사용한 방법들은 랜덤성에 의존한 비결정적인 랭킹 방법을 제시하거나, 단순하게 검색결과 집합의 문서 수를 바탕으로 인터리빙(interleaving)하는 방법을 제시하였다. 본 논문에서는 학습 질의에서 나온 정보를 기반으로 결정적이면서도 보다 효과적인 랭킹 방법을 제시한다.

  • PDF

An Adaptive Garbage Collection Policy for NAND Flash Memory (낸드 플래시 메모리를 위한 적응형 가비지 컬렉션 정책)

  • Han, Gyu-Tae;Kim, Sung-Jo
    • Journal of KIISE:Computing Practices and Letters
    • /
    • v.15 no.5
    • /
    • pp.322-330
    • /
    • 2009
  • In order to utilize NAND flash memory as storage media which does not allow update-in-place and limits the number of block erase count, various garbage collection policies supporting wear-leveling have been investigated. Conventional garbage collection policies require cleaning-index calculation for the entire blocks to choose a block to be garbage-collected to support wear-leveling whenever a garbage collection is required, which results in performance degradation of system. This paper proposes a garbage collection policy which supports wear-leveling using a threshold value, which is in fact a variance of erase counts and by the maximum erase count of all blocks, without calculating the cleaning-index. During garbage collection, the erase cost is minimized by using the Greedy Policy if the variance is less than the threshold value. It achieves wear-leveling by excluding the block with the largest erase count from erase target blocks if the variance is larger than threshold value. The proposed scheme shows that a standard deviation approaches to zero as the erase count of blocks approaches to its upper limit and the measured speed of garbage collection is two times faster than the conventional schemes.

Collection Fusion using Document Clustering (문서 클러스터링 정보를 이용한 컬렉션 융합)

  • 금기문;남세진;신동욱;김태균
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1998.10c
    • /
    • pp.147-149
    • /
    • 1998
  • 본 논문에서는 여러 정보검색 엔진들이 분산되어 있는 환경에서 이 엔진들의 검색 결과를 효과적으로 취합하여 사용자에게 제시하는 컬렉션 융합 방안을 제안하고자 한다. 이 방법은 우선 학습 질의어로 검색된 문서들의 클러스터링 정도를 이용하여 컬렉션에의 신뢰도를 측정하고 새로운 질의어가 입력되었을 때 각 컬렉션에서 검색된 문서의 유사도를 조정하여 융합하는 방법이다. 여기에서 각 컬렉션의 신뢰도는 미리 준비된 학습 질의어와 이 학습 질의어를 입력하여 검색된 문서들 사이의 유사도를 분석하여 측정한다. 이 신뢰도는 새로운 질의어가 입력되었을 때 각 컬렉션마다 문서들을 검색하고 이들 문서들을 어느 정도 신뢰할 것인가를 결정하는데 사용된다. 본 논문에서 제안한 방법은 학습과정에서 사람이 학습시킬 필요가 없는 비지도 학습에 기초하고 있다. 따라서 지금까지 지도 학습에 기초한 컬렉션 융합 방법과는 달리 인터넷과 같이 문서들이 동적으로 변하는 환경에서 쉽게 사용할 수 있다는 장점을 가진다.

  • PDF

A Study on the Organization of Literary Archives as National Cultural Heritage (국가문화유산으로서 문학기록의 조직화 방안)

  • Lee, Eun Yeong
    • The Korean Journal of Archival Studies
    • /
    • no.61
    • /
    • pp.31-69
    • /
    • 2019
  • This study seeks to find an organizational method suitable for literary records through a review of the application of records management and an archival exploration of the literary materials of the authors, which are housed in a decentralized collection of domestic literary museums. First, through literature research and case analysis, I explored the "principles of original order" for organizing by characteristics and values of literary records. Next, the organization model was applied to the literature materials of author Jo Jung-rae(1943~) that existed in the form of a 'split-collection' in the local literature museum after drawing a model suitable for organizing literary records as an example. In order to gain an integrated approach to the 'split-collection' by Cho Jung-rae, the research result suggests a model provided through a single gateway by linking descriptive information related to ICA AtoM-based 'Records-Writers-Literature Museum'. The organizational model for the collection of individual literature museum was designed to provide richer collective and contextual information compared to the existing simple list by developing a hierarchical classification system in accordance with the principle of record organizing.

A Design of Distributed Information Retrieval System using Learning Method (학습방법을 이용한 분산통합검색시스템의 설계)

  • 강무영;이민호;주원균
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2002.10c
    • /
    • pp.133-135
    • /
    • 2002
  • 본 논문에서는 여러 가지 분산통합 검색 방법 중 학습을 이용한 분산통합 검색 시스템을 설계한다. 분산통합 검색시스템의 여러 가지 이슈 중 결과통합 문제에 주안점을 두었으며, 설계목적은 다양한 학습방법을 적용한 검색 결과 통합 실험을 위함이다. 이러한 목적을 달성하기 위하여 확장성을 고려한 모듈화를 통한 설계를 적용하여 다양한 실험과 향후 컬렉션 선택모듈, 질의변환 모들도 삽입이 가능하도록 설계하였다.

  • PDF

Garbage Collection Synchronization Technique for Improving Tail Latency of Cloud Databases (클라우드 데이터베이스에서의 꼬리응답시간 감소를 위한 가비지 컬렉션 동기화 기법)

  • Han, Seungwook;Hahn, Sangwook Shane;Kim, Jihong
    • Journal of KIISE
    • /
    • v.44 no.8
    • /
    • pp.767-773
    • /
    • 2017
  • In a distributed system environment, such as a cloud database, the tail latency needs to be kept short to ensure uniform quality of service. In this paper, through experiments on a Cassandra database, we show that long tail latency is caused by a lack of memory space because the database cannot receive any request until free space is reclaimed by writing the buffered data to the storage device. We observed that, since the performance of the storage device determines the amount of time required for writing the buffered data, the performance degradation of Solid State Drive (SSD) due to garbage collection results in a longer tail latency. We propose a garbage collection synchronization technique, called SyncGC, that simultaneously performs garbage collection in the java virtual machine and in the garbage collection in SSD concurrently, thus hiding garbage collection overheads in the SSD. Our evaluations on real SSDs show that SyncGC reduces the tail latency of $99.9^{th}$ and, $99.9^{th}-percentile$ by 31% and 36%, respectively.

A Study on the Model of Collection-Level Description based on Ontology for Resources Sharing (자원공유를 위한 온톨로지기반 컬렉션 단위 기술 모형개발 연구)

  • Lee, Hye-Won
    • Journal of the Korean Society for information Management
    • /
    • v.25 no.3
    • /
    • pp.209-230
    • /
    • 2008
  • This study is based on the practical use for distributed resources considering growing network rapidly. The focal point of this study will be argued on semantic interoperability for sharing of resources, not be emphasized the technical issues of network. The aim of this article is developing the model of Collection-Level Description(CLD) for sharing of resources. The present article consists of a definition of collection in relation to the scope, objectives, and agents of the collection and an analysis of researches about CLD strengths and standards. Lastly, it was intended to construct the model focused on relation which was needed to be strengthened the existing CLD's function, thus, this study attempted to use the concept of ontology. The model of CLD based on ontology suggested the description could represent new relations inferred between classes and properties. Distinguishing class and property, furthermore, this study suggested properties were separated the characteristic of class and the relation with classes.

A File Clustering Algorithm for Wear-leveling (마모도 평준화를 위한 File Clustering 알고리즘)

  • Lee, Taehwa;Cha, Jaehyuk
    • Journal of Digital Contents Society
    • /
    • v.14 no.1
    • /
    • pp.51-57
    • /
    • 2013
  • Storage device based on Flash Memory have many attractive features such as high performance, low power consumption, shock resistance, and low weight, so they replace HDDs to a certain extent. An Storage device based on Flash Memory has FTL(Flash Translation Layer) which emulate block storage devices like HDDs. A garbage collection, one of major functions of FTL, effects highly on the performance and the lifetime of devices. However, there is no de facto standard for new garbage collection algorithms. To solve this problem, we propose File Clustering Algorithm. File Clustering Algorithm respect to update page from same file at the same time. So, these are clustered to same block. For this mechanism, We propose Page Allocation Policy in FTL and use MIN-MAX GAP to guarantee wear leveling. To verify the algorithm in this paper, we use TPC Benchmark. So, The performance evaluation reveals that the proposed algorithm has comparable result with the existing algorithms(No wear leveling, Hot/Cold) and shows approximately 690% improvement in terms of the wear leveling.