• Annual Conference of KIPS
• /
• 2013.05a
• /
• pp.79-82
• /
• 2013

현재 널리 사용되는 클라우드 스토리지 서비스들의 파일 동기화 기능에 있어 적게 변경된 파일 또는 이름만 변경된 파일에 있어 동기화 시 전체를 전송하는 문제가 있다. 또한 사용자들 간 동일한 파일이 존재함에도 불구하고 전체를 전송하는 문제가 있다. 이러한 문제를 해결하기 위해 본 연구에서는 이중 레벨 메타데이터를 사용한 중복 제거 동기화 시스템을 구현하였다. 주요 아이디어는 VLC(Variable-length Chunking)를 사용하여 중복되지 않은 데이터만 전송하며 서버는 글로벌 메타데이터를 유지하여 사용자 간 중복된 데이터를 검출하는 것이다. 실험 결과로 부분 추가/삭제된 파일 전송 시 제안한 시스템이 네트워크 대역폭과 시간을 감소시키는 것을 보였다.

• Proceedings of the KIEE Conference
• /
• 2008.07a
• /
• pp.1863-1864
• /
• 2008

한국전력거래소에서 운영중인 EMS(Energy Management System)와 MOS(Market Operation System) 설비는 각각 Alstom사와 ABB사에 의해 우리나라의 전력계통 특성에 맞게 제작되어 공급된 전력계통과 전력시장의 운영을 자동화한 시스템이다. EMS는 전력계통 감시와 효율적인 운영을 위해 전력계통을 모델링한 데이터를 활용하며, MOS는 실시간 급전계획 수립을 위한 기반자료로 전력계통을 모델링한 데이터를 사용하게 된다. 그러나, 대한민국 전력산업의 핵심인 두 시스템은 시스템 설계 방식 및 DB 구조가 상이하여 전력계통의 신.증설 및 변경 시 동일한 데이터를 양 시스템에 각각 따로 구축, 운영해야하는 실정이다. 이에 따라 DB작업을 위한 자료 준비부터 입력, 수정, 검증 등 모든 과정에 중복된 관리가 이루어지고 있다. 중복 관리는 양 시스템 간 DB의 주요 데이터 특성 및 명칭이 상이하여 일률적인 관리가 어렵고, 시스템별 특성 및 운영노하우가 없이는 인적실수에 의한 입력오류 개연성이 폭넓게 존재하는 등 현 상황에서 피할 수 없는 현실이었다. EMS와 MOS 시스템 중 최소한 개의 시스템을 전면 재구축하지 않으면 해결되지 않을 본 문제를 해소하기 위하여 전력거래소는 특정 시스템에 구축된 데이터를 변환알고리즘을 통해 나머지 하나의 시스템에 자동 구축할 수 있는 시스템을 개발하여 활용하고자 한다. 이것이 바로 EMS에 입력되어 정확성이 검증된 계통데이터를 추출하여 MOS의 데이터 형식으로 변환하고, 변환된 데이터를 MOS시스템에 자동으로 입력할 수 있는 MOS/EMS 데이터 자동변환시스템이다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2011.06a
• /
• pp.539-542
• /
• 2011

TAR와 같은 아카이브 포맷에는 파일 중복을 제거하는 기능이 포함되어 있지 않아서 리눅스 배포 미러와 같이 버전단위로 저장되는 시스템에서 디스크 공간의 낭비가 발생하였다. 본 연구에서는 파일 중복 제거 기능을 추가한 TAR형태의 압축 포맷인 DTAR와 이를 제어하는 DTM 유틸리티를 제안하였다. 주요 아이디어는 클라이언트에서 DTAR 생성 시, 헤더에 SHA1 해시 정보를 추가하여 DTM 유틸리티를 통해 SHA1 해시를 노드로 하는 R-B Tree를 생성하고 이를 서버에 저장된 해시 정보와 비교하여 DTAR내에서 중복이 없는 파일을 선택적으로 파일을 압축하고 서버로 백업하고 관리하는 것이다. 실험 결과 DTM을 통한 백업은 중복 데이터가 누적될수록 DTAR가 tar.gz보다 공간적인 측면이나 백업을 위한 데이터 패킷 전송 시간에서 크게 향상된 성능을 보였다.

• Annual Conference of KIPS
• /
• 2013.05a
• /
• pp.68-70
• /
• 2013

대량의 데이터를 효과적으로 저장하고 관리하기 위해서 클라우드 스토리지 시스템에서는 분산 파일 시스템 기술이 이용되고 있다. 그러나 데이터가 증가함에 따라 분산 파일 시스템을 이용함에도 스토리지 확장 비용이 증가하게 된다. 본 논문에서는 분산 파일 시스템의 스토리지 확장 비용을 줄이기 위해서 우리는 중복제거 파일 시스템을 적용한 분산 파일 시스템에서의 청크 배치 기법을 제안한다. 오픈 소스 기반의 분산 파일 시스템인 MooseFS 에 중복제거 파일 시스템인 lessfs 를 적용함으로써 스토리지의 가용공간을 늘릴 수 있으며, 이는 스토리지 확장 비용을 줄이는 효과를 가져온다. 또한, 동일한 청크는 같은 청크 서버에 배치 시킴으로써 중복제거 기회를 높인다. 실험을 통해서 제안 시스템의 중복제거량과 성능에 대해서 평가한다.

• Journal of the Korean Society for Library and Information Science
• /
• v.37 no.4
• /
• pp.69-88
• /
• 2003

This study intends to develop a new duplicate detection algorithm to improve database quality. The new algorithm is developed to analyze by variables of language and bibliographic type, and it checks elements in bibliographic data not just MARC fields. The algorithm computes the degree of similarity and the weight values to avoid possible elimination of records by simple input error. The study was peformed on the 7,649 newly uploaded records during the last one year against the 210,000 sample master database. The findings show that the new algorithm has improved the duplicates recall rate by 36.2%.

• Proceedings of the Korean Information Science Society Conference
• /
• 2003.10c
• /
• pp.460-462
• /
• 2003

PDA(Personal Data Assistant)나 Handheld PC와 같은 모바일 디바이스(Mobile Device)를 이용하여 주소록이나 일정관리와 같은 개인 정보를 관리하는 것이 일반적인 추세이다. 모바일 디바이스는 그 특성상 중요한 정보를 신뢰성 있는 서버와 같은 컴퓨터에 중복 저장하는 것이 필요한데, 동일한 데이터를 중복 저장하면 데이터 동기화(Data Synchronization)를 통하여 일치성을 유지하도록 해야 한다. 그러나 동기화 과정에서 데이터 충돌이 발생할 수 있다. 본 논문에서는 이러한 데이터 충돌에 대한 해결 정책을 제시하였고, 그 중 서버 우선 정책과 클라이언트 우선 정책에 필요한 해결 규칙을 설명하였다. 서버 우선 정책은 서버에 이미 존재하고 있는 값을 유지하는 것을 기본으로 하는 정책이며, 클라이언트 우선 정책은 클라이언트가 요청한 값이 우선하는 정책이다.

• ETRI Journal
• /
• v.14 no.4
• /
• pp.148-164
• /
• 1992

본 논문에서는 TDX-10 데이터베이스 데이터의 고장을 주기적으로 진단하고 복구할 수 있는 고장진단 전문가 시스팀을 제안하고 구현하였다. 실시간 환경 및 분산구조를 갖는 데이터베이스 관리 시스팀에서 데이터베이스의 효과적인 접근을 위해서 필요한 데이터베이스의 데이터 즉, 디렉토리와 딕셔너리는 매우 중요하며 고장이 발생할 경우 데이터베이스 관리시스팀에 미치는 영향은 치명적이다. 따라서, 실시간 환경을 갖는 데이터베이스 관리 시스팀에서 데이터베이스 데이터에 대한 고장 진단 및 복구는 필수적이라고 할 수 있다. 본 논문에서 제안한 고장진단 전문가 시스팀은 데이터베이스 데이터를 운용중 변하는 부분과 변하지 않는 부분으로 분류하고 미리 주어진 고장진단 규칙에 따라 진단하는 방법이다. 데이터베이스 데이터의 고장진단 데이터, 고장진단 규칙, 고장진단 데이터 생성기, 고장진단 데이터 검증기, 그리고 고장진단기로 구성되어 있다. 고장진단 데이터는 고장진단기가 데이터베이스 데이터를 주기적으로 진단하기 위하여 사용하는 마스터 데이터로서 두개가 존재한다. 고장진단 데이터 생성기는 데이터베이스 데이터의 고장진단을 위한 데이터 구조를 생성하고 데이터베이스로부터 데이터베이스를 데이터를 중복하여 읽어들이는 역할을 한다. 이와 같은 과정은 시스팀이 초기에 동작을 시작하거나 운용중 운용자에 의해서 릴레이션의 추가 및 삭제, 그리고 튜플의 추가등과 같은 사건이 발생할 경우에 이루어진다. 데이터베이스 검증기는 고장진단 데이터 생성기가 중복하여 생성한 데이터에 대해서 데이터베이스 데이터의 제작시의 초기 오류를 검증해냄으로써 데이터베이스 관리 시스팀의 안전한 운용을 가능하게 하며 고장진단기가 데이터베이스 데이터를 주기적으로 진단할 데이터를 탄생시킨다. 마지막으로 고장진단기는 주기적으로 데이터베이스 데이터의 고장을 진단하여 고장이 발생한 데이터를 미리 분류한 규칙에 따라 원래의 데이터로 복구하거나 운용자에게 보고함으로써 고장에 대비하도록 한다. 그리고 데이터베이스 상의 운용자에 의한 변경을 감지하여 고장진단 데이터의 재생성을 지시한다. 본 논문에서 제시하고 구현한 데이터베이스 데이터의 고장진단 및 복구를 위한 전문가 시스팀은 실시간 환경과 고장허용 환경, 분산 구조 그리고 빈번한 접근을 갖는 데이터베이스 관리 시스팀에서 아주 중요한 역할을 할 수 있다.

• Journal of Korea Spatial Information System Society
• /
• v.11 no.2
• /
• pp.143-150
• /
• 2009

Spatial data warehouses are a system managing manufactured data through ETL step with extracted spatial data from spatial DBMS or various data sources. In load period, duplicated spatial data in the same subject are not useful in extracted spatial data dislike aspatial data and waste the storage space by the feature of spatial data. Also, in case of extracting source data on heterogeneous system, as those have different spatial type and schema, the spatial extract method is required for them. Processing a step matching address about extracted spatial data using a standard Geocoding DB, the exiting methods load formal data set. However, the methods cause the comparison operation of extracted data with Geocoding DB, and according to integrate spatial data by subject it has problems which do not consider duplicated data among heterogeneous spatial DBMS. This paper proposes efficient extracting method to integrate update query extracted from heterogeneous source systems in data warehouse constructer. The method eliminates unnecessary extracting operation cost to choose related update queries like insertion or deletion on queries generated from loading to current point. Also, we eliminate and integrate extracted spatial data using update query in source spatial DBMS. The proposed method can reduce wasting storage space caused by duplicate storage and support rapidly analyzing spatial data by loading integrated data per loading point.

• Proceedings of the Korean Operations and Management Science Society Conference
• /
• 2006.05a
• /
• pp.328-332
• /
• 2006

소비자의 요구가 다양해지면서 많은 기업들이 관리해야 할 제품의 종류가 지난 몇 년간 급격히 늘어났다. 이에 한 제품에 대해 다양한 품목군을 유지해야 할 필요성이 제기되었으며, 전통적인 BOM(Bill of Material)으로 다양한 제품을 표현하기에는 막대한 양의 데이터가 발생하여 관리상의 어려움이 생기며, 데이터의 구성에도 중복성의 문제가 발생하게 되는 등의 한계가 드러남에 따라 다양한 제품군을 자체적으로 반영할 수 있는 Variant BOM의 개념 및 설계 방법론이 주목을 받고 있다. Variant BOM은 동일한 제품군에 대해 일부 구성품을 달리하여 구현한 다양한 제품을 반영하는 BOM의 한 종류로서 산업에서의 활용도가 높은 편이나, 여기에도 데이터의 중복성이나 Variant의 정도가 많아지면 관리에 어려움이 생기는 등의 몇 가지 단점을 내포하고 있다. 본 연구에서는 Variant Bill of Material을 대상으로 기존 연구들의 문제점을 분석하고 이를 해결하기 위하여 BOM에 좌표개념을 도입한 새로운 접근법을 제시한다. 이를 통해 BOM의 Structure와 Part를 분리시켰고, Linking Table을 통해 Structure와 Part를 연결하여 기존의 Variant BOM에 있던 문제들을 해결하였다.

• Journal of Internet Computing and Services
• /
• v.11 no.6
• /
• pp.123-133
• /
• 2010

XML has been become the new standard for publishing and exchanging data on the Web. However, most business data is still stored and maintained in relational database management systems. As such, there is an increasing need to efficiently publish relational data as XML data for Internet-based applications. The most important issue in the transformation is to reflect structural and semantic relations of RDB to XML schema exactly. Most transformation approaches have been done to resolve the issue, but those methods have several problems. In this paper, we discuss algorithm in transforming a relational database schema into corresponding XML schema in XML Schema. We aim to achieve not only explicit/implicit referential integrity relation information but also high level of nested structure while introducing no data redundancy for the transformed XML schema. To achieve these goals, we propose a transformation model which is redundancy free and then we improve the XML Schema structure by exploring more nested structure.