• 제목/요약/키워드: Dirty Data

검색결과 47건 처리시간 0.02초

이동 컴퓨팅 환경에서 데이타 방송을 위한 동시성 제어 기법 (A Concurrency Control Method for Data Broadcasting in Mobile Computing Environment)

  • 윤혜숙;김영국
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제31권2호
    • /
    • pp.140-149
    • /
    • 2004
  • 수많은 이동 클라이언트가 있는 이동 사용자 환경에서 데이타 방송 기법은 매우 효과적인 데이타 전달 방식으로 주목을 받고 있다. 이 방식에서 데이타베이스 서버는 데이타를 무선채널을 통해 주기적으로 배포하며 클라이언트는 필요한 데이타를 선택적으로 액세스하는 읽기 전용 트랜잭션을 수행한다. 한편, 서버에서는 데이타 방송과 병행해서 데이타베이스 갱신도 수행하므로 플라이언트가 일관성 있는 데이타를 액세스할 수 있으려면 동시성제어 문제가 해결되어야 한다. 본 연구에서는 이러한 동시성제어 문제를 효율적으로 해결하는 알고리즘인 SCDSC(Serialization Checking with DirtySet on Commit) 기법을 제안한다. SCDSC는 이동 클라이언트에서 다중 데이타를 요구하는 읽기 트랜잭션을 커미트할 때 일반 데이타와 함께 방송된 DirtySet을 점검하여 일관성을 유지하는 일종의 낙관적 동시성 제어기법이다. DirtySet은 일정 방송주기 동안 변경된 데이타 집합으로 방송주기가 바뀔 때마다 슬라이딩 윈도우 방식으로 서버에서 갱신되어 배포된다. 또한, 제안하는 알고리즘의 성능을 데이타 일관성(data consistency) 및 현재성(data currency) 관점에서 분석하고 시뮬레이션을 통해 알아본다.

Exterior egg quality as affected by enrichment resources layout in furnished laying-hen cages

  • Li, Xiang;Chen, Donghua;Meng, Fanyu;Su, Yingying;Wang, Lisha;Zhang, Runxiang;Li, Jianhong;Bao, Jun
    • Asian-Australasian Journal of Animal Sciences
    • /
    • 제30권10호
    • /
    • pp.1495-1499
    • /
    • 2017
  • Objective: This study aimed to investigate the effects of enrichment resources (a perch, dustbath, and nest) layout in furnished laying-hen cages (FC) on exterior quality of eggs. Methods: One hundred and sixty-eight (168) Hy-Line Brown laying hens at 16 weeks of age were randomly distributed to four treatments: small furnished cages (SFC), medium furnished cages type I (MFC-I), medium furnished cages type II (MFC-II), and medium furnished cages type III (MFC-III). Each treatment had 4 replicates or cages with 6 hens for SFC (24 birds for each SFC) and 12 hen/cage for MFC-I, -II, and -III (48 birds for each MFC-I, -II and -III). Following a 2-week acclimation, data collection started at 18 weeks of age and continued till 52 weeks of age. Dirtiness of egg surface or cracked shell as indicators of the exterior egg quality were recorded each week. Results: The results showed that the proportion of cracked or dirty eggs was significantly affected by the FC type (p<0.01) in that the highest proportion of cracked or dirty eggs was found in MFC-I and the lowest proportion of dirty eggs in SFC. The results of this showed that furnished cage types affected both dirty eggs and cracked eggs (p<0.01). The results also indicated that not nest but dustbath lead to more dirty eggs. Only MFC-I had higher dirty eggs at nest than other FC (p<0.01). The results of dirty eggs in MFC-I and MFC-II compared with SFC and MFC-III seemed suggest that a low position of dustbath led to more dirty eggs. Conclusion: SFC design affected exterior egg quality and the low position of dustbath in FC resulted in higher proportion of dirty eggs.

A Technique for Accurate Detection of Container Attacks with eBPF and AdaBoost

  • Hyeonseok Shin;Minjung Jo;Hosang Yoo;Yongwon Lee;Byungchul Tak
    • 한국컴퓨터정보학회논문지
    • /
    • 제29권6호
    • /
    • pp.39-51
    • /
    • 2024
  • 이 논문은 컨테이너 기반의 시스템 보안 강화를 목표로, 커널을 수정하지 않고 시스템콜을 분석하여 경쟁 상태를 동적으로 감지하는 새로운 방법을 제시한다. 컨테이너 탈출 공격은 공격자가 컨테이너의 격리를 벗어나 다른 시스템에 접근할 수 있게 하는데, 이 중 경쟁 상태 기반의 공격은 병렬 컴퓨팅 환경에서 발생할 수 있는 보안 취약점을 이용한다. 이러한 공격을 효과적으로 감지하고 방어하기 위해, 본 연구에서는 eBPF를 활용하여 공격 시 발생하는 시스템콜 패턴을 관찰하고, AdaBoost 모델을 사용하여 공격 프로세스와 정상 프로세스를 구분하는 방법을 개발하였다. 이를 위해 Dirty COW, Dirty Cred와 같은 공격과 MongoDB, PostgreSQL, Redis와 같은 일반 컨테이너 사용 사례에서 발생하는 시스템콜을 분석하여 학습 데이터로 활용하였다. 실험 결과, 이 방법은 99.55%의 Precision, 99.68%의 Recall 그리고 99.62%의 F1-score를 달성했으며, 이로 인한 시스템 오버헤드는 약 8%로 나타났다.

비휘발성 메모리를 이용한 로그 구조 파일 시스템의 성능 향상 (Improving Log-Structured File System Performance by Utilizing Non-Volatile Memory)

  • 강양욱;최종무;이동희;노삼혁
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제14권5호
    • /
    • pp.537-541
    • /
    • 2008
  • 로그 구조 파일 시스템(Log-Structured File System, LFS)은 변경된 데이타를 메모리에 충분히 모아서 한번에 순차 쓰기로 디스크에 기록함으로써 높은 쓰기 성능을 실현한 파일 시스템이다. 그러나 실제 시스템에서는 여전히 디스크와 메모리 상의 일관성을 위해서 동기화가 발생하며 변경된 데이타를 충분히 메모리에 모으지 못한 채 디스크로 쓰기가 발생하는 모습을 보인다. 자주 발생되는 쓰기는 클리너의 오버헤드를 증가시키고, 더 많은 메타데이타를 기록하게 한다. 본 연구에서는 비휘발성 메모리를 이용해서 동기화를 없애고, 작은 단위의 쓰기를 효과적으로 활용하도록 LFS와 운영체제의 관련된 서브 시스템들을 변경하였다. 이를 통하여 DRAM만 있는 LFS에 비해서 256M의 NVRAM을 가진 시스템에서 약 2.5배의 성능 향상을 보였다.

부산항의 기피화물 취급 개선에 관한 연구 (A Study on Improvement of Handling Dirty Bulk Cargo in Busan Port)

  • 송계의
    • 한국항만경제학회지
    • /
    • 제26권3호
    • /
    • pp.114-129
    • /
    • 2010
  • 부산항은 세계 주요 항만에 비해 컨테이너화물 취급 중심의 기능을 수행하는 항만이며, 기피화물과 같은 일반화물의 취급 비중이 매우 낮은 항만이다. 즉, 2008년도에 1,329만 TEU의 컨테이너화물 처리실적을 기록한 부산항은 전체 컨테이너화물 중량은 1억 1,305만 톤에 달하지만, 일반화물의 중량은 1,531만톤으로 컨테이너화물 비율이 88.1%를 차지하였다. 그러나 기피화물의 유치 및 취급 증대를 통해 부가가치를 창출할 시점에 와있다. 본래 기피화물은 처음부터 기피화물은 아니었다. 어떻게 보면 국가 기간산업에 반드시 필요한 전략물자로서 매우 중요한 고부가가치 화물이었다. 그런데 취급하다 보니 컨테이너화물에 비해 환경문제, 취급상의 특수성, 수급불안으로 인한 수지타당성의 불확실성 등으로 인해 기업(선사 포함)은 취급을 꺼려하여 기피화물이 된 것이다. 그러나 현재 기피화물로 분류된 품목 등은 국가 기간산업에, 또는 국민생활에 반드시 필요한 전략적인 물자이다. 또한 현시점에서 어떻게 보면 고부가가치화물이다. 따라서 기피화물 유치 마케팅을 통한 기피화물 취급 증대와 이를 효율적으로 취급하여 줄 수 있는 체제, 즉 전용항만부두의 건설과 시설 및 장비의 현대화, 품목별 물류단지의 조성을 통한 보관 취급 장소의 안정적 확보, 효율적 정보처리, 유관기관간의 SCM구축을 통한 긴밀한 협조가 필요한 시점이다.

A Working-set Sensitive Page Replacement Policy for PCM-based Swap Systems

  • Park, Yunjoo;Bahn, Hyokyung
    • JSTS:Journal of Semiconductor Technology and Science
    • /
    • 제17권1호
    • /
    • pp.7-14
    • /
    • 2017
  • Due to the recent advances in Phage-Change Memory (PCM) technologies, a new memory hierarchy of computer systems with PCM is expected to appear. In this paper, we present a new page replacement policy that adopts PCM as a high speed swap device. As PCM has limited write endurance, our goal is to minimize the amount of data written to PCM. To do so, we defer the eviction of dirty pages in proportion to their dirtiness. However, excessive preservation of dirty pages in memory may deteriorate the page fault rate, especially when the memory capacity is not enough to accommodate full working-set pages. Thus, our policy monitors the current working-set size of the system, and controls the deferring level of dirty pages not to degrade the system performances. Simulation experiments show that the proposed policy reduces the write traffic to PCM by 160% without performance degradations.

SOA 기반 서비스 사이의 오류 데이터 정제 서비스 개발 (Developing dirty data cleansing service between SOA-based services)

  • 지은미;최병주;이정원
    • 정보처리학회논문지D
    • /
    • 제14D권7호
    • /
    • pp.829-840
    • /
    • 2007
  • 현재까지 오류 데이터를 정제하는 기법은 여러 소스로부터 대량의 데이터를 통합하여 데이터베이스에 저장되어 있는 데이터의 품질을 관리함으로써 의미 있는 정보를 추출하기 위함이었다. 급변하는 비즈니스 환경과 무한경쟁 사회에서 지속적으로 생존하려면 환경 변화에 빠르게 대처해야 한다. 최근 시스템의 요구사항이 복잡해짐에 따라 대규모의 분산 시스템을 통합 구축하기 위한 서비스 기반 구조 (Service Oriented Architecture)로 확산되고 있으며, 여기에서도 각 서비스간의 데이터 정제기법을 통한 신뢰성 있는 데이터 교환이 필수적이다. 따라서 본 논문에서는 서비스들이 하나의 시스템으로 통합되는 과정에서 이벤트를 통해 서비스 간에 전송되는 XML데이터의 품질 관리를 수행하여, 이미 통합되어 저장된 데이터베이스 데이터의 오류를 탐지하여 정제하는 것이 아니라 상호 작용하는 서비스간의 데이터 정제에 초점을 두고 SOA를 기반으로 하는 오류 데이터 정제 서비스를 개발한다.

데이타 품질 측정 도구 (A Data Quality Measuring Tool)

  • 양자영;최병주
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제9권3호
    • /
    • pp.278-288
    • /
    • 2003
  • 소프트웨어 제품을 실행시키기 위해 요구되는 데이타의 품질은 소프트웨어 품질에 영향을 미치고 있다 특히 대용량의 데이타로부터 의미 있는 지식을 추출하는 지식공학 시스템에서 원시 데이터의 품질을 보장하는 일은 매우 중요하다. 본 논문에서는 데이타의 측정 도구인 DAQUM도구를 설계 구현하였다. 본 논문에서는 DAQUM도구의 설계 및 구현에 관한 주요내용을 기술하고, 사례연구를 통하여 DAQUM도구가 오류데이타를 검색하여 데이타 사용자 관점에서 데이타의 품질을 정량적으로 측정 가능하도록 함을 나타낸다. DAQUM도구는 데이타의 품질 측정 및 품질 제어를 가능하게 함으로써 데이타를 주로 처리하는 소프트웨어 제품의 품질 향상에 기여할 수 있다.

소프트웨어 RAID 파일 시스템에서 오손 블록 교체시에 효율적인 캐슁 기법 (An efficient caching scheme at replacing a dirty block for softwre RAID filte systems)

  • 김종훈;노삼혁;원유헌
    • 한국통신학회논문지
    • /
    • 제22권7호
    • /
    • pp.1599-1606
    • /
    • 1997
  • The software RAID file system is defined as the system which distributes data redundantly across an aray of disks attached to each workstations connected on a high-speed network. This provides high throughput as well as higher availability. In this paper, we present an efficient caching scheme for the software RAID filte system. The performance of this schmem is compared to two other schemes previously proposed for convnetional file systems and adapted for the software RAID file system. As in hardware RAID systems, small-writes to be the performance bottleneck in softwre RAID filte systems. To tackle this problem, we logically divide the cache into two levels. By keeping old data and parity val7ues in the second-level cache we were able to eliminate much of the extra disk reads and writes necessary for write-back of dirty blocks. Using track driven simulations we show that the proposed scheme improves performance for both the average response time and the average system busy time.

  • PDF

SOA에서의 오류 데이터 정제를 위한 서비스 개발 (Developing the SOA-based Dirty Data Cleansing Service)

  • 지은미;최병주;이정원
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2007년도 춘계학술발표대회
    • /
    • pp.649-652
    • /
    • 2007
  • 최근 e-Business 어플리케이션을 통합하기 위한 개념으로 서비스 지향구조 (Service Oriented Architecture)에 기본 원리를 둔 분산 소프트웨어 통합 기술이 널리 확산되고 있다. 따라서 각 서비스간의 데이터 정제기법을 통한 신뢰성 있는 데이터 교환은 필수적 요소로 자리 잡고 있다. 본 논문에서는 시스템에 상호작용 시 교환되는 데이터의 오류를 탐지하고 정제하기 위한 서비스로 사용자의 데이터 제약조건을 결합 시키는 변환 과정, 오류를 탐지하는 탐지과정, 탐지된 오류를 정제하고, 정보를 보여주는 정제과정으로 이루어진 오류 데이터 정제 서비스(DDCS; Dirty Data Cleansing Service)를 구현하고, 이를 이용하여 SOA기반 ESB상에서 통합된 시스템들 간에 상호 작용하는 오류 데이터 정제를 보장하는 서비스를 개발한다.