• Title/Summary/Keyword: 데이터 확장 기법

Search Result 827, Processing Time 0.028 seconds

A Extension Technique of Parallel VOD server using Striping Policy (스트라이핑 정책을 이용한 병렬 VOD 서버의 확장기법)

  • 한주희;최숙영;유관종
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.10c
    • /
    • pp.668-670
    • /
    • 2000
  • 병렬 VOD서버를 구성하기 위해서는 서버의 확장성과 서버 결함의 복구문제 등이 충분히 고려되어야 한다. 본 논문에서는 서버의 확장성을 고려한 병렬 VOD서버를 설계한다. 또 기존의 병렬 VOD서버에 새로운 서버가 추가될 경우 부하 불균형 문제를 방지하기 위한 데이터 분배 방법을 고려한다. 이 문제를 해결하기 위해서 로드밸런스를 유지하면서, 서버에 저장되어 있는 최소한의 데이터만을 이동시킴으로써 각 서버의 사용 가능한 디스크 공간을 조정하는 스트라이핑 방법을 제시한다. 그리고 제시한 스트라이핑 방법을 모의 실험을 통해 분석한다.

  • PDF

Avoidance-based Cache Consistency Technique on Transaction Processing Using an Asynchronus Write Intention Declaration (비동기적 갱신 의도 선언에 의한 트랜잭션 처리의 회피-기반 캐쉬 일관성 유지 기법)

  • 박용문;이찬섭;최의인
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.10a
    • /
    • pp.107-109
    • /
    • 2000
  • 고속 LAN과 같은 통신 장비의 발달로 클라이언트/서버 시스템 환경이 일반화됨에 따라 데이터베이스 시스템도 클라이언트/서버 환경을 지원하는 데이터 서버로서의 역할이 요구되었다. 또한, 다양하고 복잡한 형태의 제어 시스템들이 필요한 각 응용 분야에서 클라이언트/서버 시스템이 이용되고 있다. 이러한 상황에서 클라이언트들은 통신 비용 절감과 서버의 부하를 줄이기 위해 클라이언트의 버퍼에 데이터의 사본을 캐쉬(cache) 함으로써 클라이언트 시스템의 확장성 및 독립성을 추구한다. 하지만, 캐쉬한 데이터의 사본에 의해 갱신 연산이 수행되기 때문에 캐쉬 데이터의 일관성 유지를 위한 효율적인 방법들이 필요하다. 본 논문에서 제안한 기법은 클라이언트/서버 간의 데이터 전송이 페이지 단위로 행해지는 페이지-서버 환경에서 적용되는 회피-기반(avoidance-based) 기법으로써, 클라이언트가 데이터를 갱신할 때 갱신 의도를 비동기적으로 선언하는 캐위 일관성 유지 기법을 제안하였다. 그리고 제안한 기법과 최근에 제안된 기법들을 비교 분석하였다.

  • PDF

Optimization of Data Augmentation Techniques in Neural Machine Translation (신경망 기계번역에서 최적화된 데이터 증강기법 고찰)

  • Park, Chanjun;Kim, Kuekyeng;Lim, Heuiseok
    • Annual Conference on Human and Language Technology
    • /
    • 2019.10a
    • /
    • pp.258-261
    • /
    • 2019
  • 딥러닝을 이용한 Sequence to Sequence 모델의 등장과 Multi head Attention을 이용한 Transformer의 등장으로 기계번역에 많은 발전이 있었다. Transformer와 같은 성능이 좋은 모델들은 대량의 병렬 코퍼스를 가지고 학습을 진행하였는데 대량의 병렬 코퍼스를 구축하는 것은 시간과 비용이 많이 드는 작업이다. 이러한 단점을 극복하기 위하여 합성 코퍼스를 만드는 기법들이 연구되고 있으며 대표적으로 Back Translation 기법이 존재한다. Back Translation을 이용할 시 단일 언어 데이터를 가상 병렬 데이터로 변환하여 학습데이터의 양을 증가 시킨다. 즉 말뭉치 확장기법의 일종이다. 본 논문은 Back Translation 뿐만 아니라 Copied Translation 방식을 통한 다양한 실험을 통하여 데이터 증강기법이 기계번역 성능에 미치는 영향에 대해서 살펴본다. 실험결과 Back Translation과 Copied Translation과 같은 데이터 증강기법이 기계번역 성능향상에 도움을 줌을 확인 할 수 있었으며 Batch를 구성할 때 상대적 가중치를 두는 것이 성능향상에 도움이 됨을 알 수 있었다.

  • PDF

Online Reorganization of B+ tree in a Scalable and Highly Available Database Cluster (확장 가능한 고가용 데이터베이스 클러스터에서 B+ 트리 색인의 온-라인 재조직 기법)

  • Lee, Chung-Ho;Bae, Hea-Young
    • The KIPS Transactions:PartD
    • /
    • v.9D no.5
    • /
    • pp.801-812
    • /
    • 2002
  • On-line reorganization in a shared nothing database cluster is crucial to the performance of the database system in a dynamic environment like WWW where the number of users grows rapidly and changing access patterns may exhibit high skew. In the existing method of on-line reorganization have a drawback that needs excessive data migrations in case more than two nodes within a cluster have overload at the same time. In this paper, we propose an advanced B$^{+}$ tree based on-line reorganization method that solves data skew on multi-nodes. Our method facilitates fast and efficient data migration by including spare nodes that are added to cluster through on-line scaling. Also we apply CSB$^{+}$ tree (Cache Sensitive B$^{+}$ tree) to our method instead of B$^{+}$ tree for fast select and update queries. We conducted performance study and implemented the method on Ultra Fault-Tolerant Database Cluster developed for high scalability and availability. Empirical results demonstrate that our proposed method is indeed effective and fast than the existing method. method.

Virtual Directory Extendible Hash index: An Economic Hash Index Using New Directory Structure (가상 디렉토리 확장 해시 색인: 확장 해싱에서의 새로운 디렉토리 구조를 이용한 저비용 해시 색인)

  • Park, Sang-Keun;Park, Soon-Young;Kim, Myung-Keun;Bae, Hae-Young
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2003.11c
    • /
    • pp.1493-1496
    • /
    • 2003
  • 데이터베이스 관계 연산자 중 프로젝션(projection)과 집단 연산(aggregate function)시 사용되는 GROUP BY절, 그리고 동등 조인(equi join)에 대한 질의 처리는 중복된 튜플 중복된 GROUP BY 필드, 조인 중 발생하는 임시결과에 대한 제거나 집단 연산, 임시 결과의 저장을 위해 정렬이나 해싱 기반 알고리즘을 적용하고 있다. 이 중 해싱 기반 알고리즘은 데이터에 대한 직접적인 접근 방법과 정렬비용이 없다는 장점으로 인해 자주 사용하게 된다. 그러나 이러한 해싱(extendible hashing)[1] 기반 알고리즘은 키 값이 저장되는 버켓(bucket) 페이지의 넘침(overflow)으로 인해 분할(split)이 발생하는 경우, 분할을 야기시킨 버켓 페이지에 대한 정보를 제외한 동일한 내용의 기존 디렉토리 구조를 배로 확장해야 하는 공간 확장과, 확장된 디렉토리 구조의 유지를 위해 많은 비용을 소모하게 된다. 본 논문에서는 다량의 데이터에 대한 접근 기법과 디렉토리 구조의 저장공간, 유지 비용 절감 및 중복 해시 값을 지니는 데이터를 처리하기위한 해시 색인인 가상 디렉토리 확장 해시 색인을 제안한다. 가상 디렉토리 확장 해시 색인은 디렉토리 구조를 다단계 구조로 유지함으로써, 넓은 저장 공간을 필요로 하는 다량의 데이터에 대한 접근경로 문제를 해결하였고, 가상 디렉토리 레벨이라는 새로운 구조를 통해, 기존 디렉토리 구조의 공간 낭비 및 유지 비용을 최소화 시켰으며, 버켓 페이지를 리스트(list) 구조로 유지함으로써 중복 해시 값에 의한 디렉토리 구조의 연쇄적 분할 문제를 해결하였다.

  • PDF

Similarity Search in Time-Series Databases Using Decomposition Method (시계열 데이터베이스에서의 분해법을 이용한 유사 검색 기법)

  • 박신유;문봉희
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.10a
    • /
    • pp.110-112
    • /
    • 2000
  • 최근 몇 년간 시계열 데이터의 저장 및 분석에 대한 연구가 활발히 진행되고 있으며, 시계열 데이터베이스에서 유사패턴(similarity pattern)을 탐색하는 기법이 광범위한 응용분야에서 중요한 연구주제로 자리잡고 있다. 본 논문에서는 회귀분석방법을 바탕으로 한 분해 시계열 방법을 이용함으로써 기존의 유사성의 개념을 확장시켰다. 즉, 시계열 데이터가 가지고 있는 패턴을 여러 성분으로 분해하여 각기 다른 저장 공간에 저장하고, 이를 이용하여 유사성을 탐색할 때에도 분리된 각 성분 중 특정 변동특성이 유사한 데이터를 추가적으로 요구되는 시간없이 검색할 수 있다. 이는 전체 시계열 데이터를 이해하는데 뿐만 아니라 데이터를 예측하는 방법에도 유용하게 사용될 수 있다.

  • PDF

Extended Entity-Relationship Model for Conceptual Modeling of XML Schema (XML 스키마의 개념적 모델링을 위한 확장된 개체관계 모델)

  • Jung, In-Hwan;Kim, Young-Ung
    • The Journal of the Institute of Internet, Broadcasting and Communication
    • /
    • v.15 no.1
    • /
    • pp.157-163
    • /
    • 2015
  • XML has become one of the most influential standard language for representing and exchanging data on internet. However, XML itself has a ability to represent a logical structure for storing and managing data, it is inadequate to use as a conceptual modeling tool because of its complexity for representing the document structures. In this paper, we propose the graphical form of conceptual modeling techniques for representing the structure of the XML schema documents using an extended entity relationship diagram. For this, extended entity relationship model is presented for representing the XML schema structure, transformation rules are presented for transforming extended entity relationship model into XML schema document to show the completeness of the proposed model.

A Study on Synthetic Aperture Technique in Beam Domain using Real Data (실측데이터를 이용한 빔 영역 합성처리 기법에 관한 연구)

  • Gang Jin-Seok;Kim Ki-Man;Kang Hyun-Woo;Lee Chungyong;Youn Dae-Hee;Do Kyoung-Cheol;Oh Won-Tcheon;Cho Chom-Gun
    • Proceedings of the Acoustical Society of Korea Conference
    • /
    • autumn
    • /
    • pp.455-458
    • /
    • 2004
  • 소나 시스템의 표적 탐지 성능을 향상시키기 위해 물리적으로 제한된 길이의 어레이를 확장하는 합성 어퍼쳐 소나에 대한 연구와 실험이 이루어지고 있다. 본 논문에서는 왜곡된 어레이의 형상을 추정하여 왜곡을 보상한 후에 빔 영역에서 어레이를 합성하는 FFTSA(Fast Fourier Transform Synthetic Aperture) 기법의 성능을 분석하였다. 실험 데이터로는 한국 근해에서 견인 어레이로부터 획득한 데이터를 이용하였으며 실측된 데이터로 부어레이 간의 시-공간적인 위상 차이를 보상함으로써 어레이 길이를 확장하였다.

  • PDF

Probability Estimation Method for Imputing Missing Values in Data Expansion Technique (데이터 확장 기법에서 손실값을 대치하는 확률 추정 방법)

  • Lee, Jong Chan
    • Journal of the Korea Convergence Society
    • /
    • v.12 no.11
    • /
    • pp.91-97
    • /
    • 2021
  • This paper uses a data extension technique originally designed for the rule refinement problem to handling incomplete data. This technique is characterized in that each event can have a weight indicating importance, and each variable can be expressed as a probability value. Since the key problem in this paper is to find the probability that is closest to the missing value and replace the missing value with the probability, three different algorithms are used to find the probability for the missing value and then store it in this data structure format. And, after learning to classify each information area with the SVM classification algorithm for evaluation of each probability structure, it compares with the original information and measures how much they match each other. The three algorithms for the imputation probability of the missing value use the same data structure, but have different characteristics in the approach method, so it is expected that it can be used for various purposes depending on the application field.

Efficient Data Reduction for Point-Based Rendering using Extended QEM (효율적인 점 기반 렌더링을 위한 확장 이차 오류 척도 기반의 간략화 방법 개발)

  • Kim Duck-bong;Kang Eui-chul;Lee Kwan H.;Pajarola Renato B.
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2005.11a
    • /
    • pp.712-714
    • /
    • 2005
  • 본 논문은 효율적인 점 기반 렌더링(Point-based Rendering)을 위해 확장 이차 오류 척도(Quadric Error Metrics) 기법을 이용하는 간략화 알고리즘을 제안한다. 점 기반 렌더링의 기본 개념은 자유곡면을 메쉬와 같은 연결정보 없이 직접 점들로 표현하고, 렌더링하는 것이다. 확장 이차 오류 척도 기법은 메쉬를 간략화 하는데 있어 기하 정보뿐만 아니라 색상, 텍스쳐 좌표 정보까지 고려하여 간략화 하는 알고리즘이다. 이 연구는 3차원 점 데이터로부터 복원한 폴리곤 메쉬 모델로부터 효율적인 점 기반 렌더링(Point-based Rendering)을 위해 기하 정보 및 색상 정보까지 고려하여 원본 점 데이터를 간략화 하는 저용량의 효율적인 점 기반 렌더링 알고리즘을 제안하고, GPU 기반 렌더링 결과를 보였다.

  • PDF