• 제목/요약/키워드: IO 크기 기반 분할

검색결과 5건 처리시간 0.017초

CORE-Dedup: 내용보존 접근 지역성 활용한 IO 크기 분할 기반 중복제거 (CORE-Dedup: IO Extent Chunking based Deduplication using Content-Preserving Access Locality)

  • 김명식;원유집
    • 한국컴퓨터정보학회논문지
    • /
    • 제20권6호
    • /
    • pp.59-76
    • /
    • 2015
  • 고성능 내장형 기기의 대중화 및 광대역 통신기술의 발달로 생성-관리되는 데이터가 증가하고 있다. 중복제거 기법은 중복된 저장 요청을 판별하여 유일한 데이터만을 저장함으로써 저장 공간을 절약하는 방법으로 폭증하는 데이터의 저장과 처리 시스템을 경제적으로 구축 할 수 있다. 본 연구는 입출력 크기 (IO Extent) 단위 기반 분할 방법을 사용한 CORE-Dedup을 제안한다. CORE-Dedup의 Extent 단위 분할은 접근한 Content가 보존하는 접근 단위의 속성을 활용 한다. 가상머신에서 IO 경향을 수집하고 고정 크기 분할과 새로운 Extent 분할 방법에 대해 중복제거 성능을 비교 평가하였다. 동일 크기 워크로드 경우 4 KB 고정 분할 대비 적은 색인 버퍼를 가지고 유사한 수준의 중복 비교를 성능을 얻을 수 있다. 특히 다수 유저의 유사 IO 중복 접근을 가정한 워크로드 경우에는 CORE-Dedup이 Extent 단위 분할의 넓은 워크로드 Coverage에 의해 고정 크기 분할을 사용한 동일 조건의 Inline-Dedup에 비해 1/10 수준 버퍼를 가지고도 유사 중복제거 성능을 얻었다. 10명 사용자의 동일 compile 입출력을 가정한 병합 워크로드에서 4 KB 고정 크기 분할에서는 14,500개 분할 색인에서 최대 60.4%의 중복 발견율을 얻었으나 Extent 분할에서는 1,700개 색인만으로 57.6%를 얻었다.

다중 분할된 구조를 가지는 클러스터 검사점 저장 기법 (A Multistriped Checkpointing Scheme for the Fault-tolerant Cluster Computers)

  • 장윤석
    • 정보처리학회논문지A
    • /
    • 제13A권7호
    • /
    • pp.607-614
    • /
    • 2006
  • 검사점 저장 기법을 사용하여 주기적으로 클러스터 노드들의 프로세스 수행 정보를 전역 저장 장치에 저장하는 분산 클러스터 시스템에서 결함 허용 성능을 유지하는 데 드는 비용을 줄이고 전체 프로세스의 수행 성능을 증가시키기 위해서는 검사점 정보를 저장할 때에 네트워크로 전달되는 부하를 각 노드에 최대한 적절하게 분산하여 데이터 저장 시간을 줄임으로써 검사점 정보를 저장하는 동안 전체 클러스터 시스템의 프로세스가 지연되는 시간을 줄이도록 하여야 한다. 이를 위하여 분산 RAID 기반의 단일 입출력 공간을 사용하는. 클러스터 시스템에서는 여러가지 검사점 저장 기법을 사용하며, 검사점 정보의 저장 기법에 따라서 저장 성능과 결함 회복 성능이 달라진다. 본 연구에서는 분할된 검사점 저장 기법을 개선하여 검사점 데이터를 분산 RAID 기반의 단일 입출력 공간에 저장할 때에 그룹별로 분할되는 분할 그룹 크기를 검사점 정보가 저장될 때의 네트워크의 트래픽에 따라서 동적으로 결정하여 네트워크를 통한 분산 RAID에 저장함으로써 네트워크 병목현상을 최소화하는 다중 분할된 검사점 저장 구조를 제안하였다. 제안된 구조의 성능을 분석하기 위하여 최대 512개의 가상 노드로 구성된 클러스터 시스템을 대상으로 하여 MPI 와 Linpack HPC 벤치마크를 통한 성능 평가를 수행하였으며, 성능 평가 결과는 검사점 정보의 크기와 클러스터의 크기가 증가할수록 제안된 기법이 검사점 정보의 저장과 결함 회복 능력에 대하여 기존의 검사점 저장 기법에 비하여 우수한 성능을 보인다.

의미론적 영상 분할의 정확도 향상을 위한 에지 정보 기반 후처리 방법 (Post-processing Algorithm Based on Edge Information to Improve the Accuracy of Semantic Image Segmentation)

  • 김정환;김선혁;김주희;최형일
    • 한국콘텐츠학회논문지
    • /
    • 제21권3호
    • /
    • pp.23-32
    • /
    • 2021
  • 컴퓨터 비전 분야의 의미론적 영상 분할(Semantic Image Segmentation) 기술은 이미지를 픽셀 단위로 분할 하여 클래스를 나누는 기술이다. 이 기술도 기계 학습을 이용한 방법으로 성능이 빠르게 향상되는 중이며, 픽셀 단위의 정보를 활용할 수 있는 높은 활용성이 주목받는 기술이다. 그러나 이 기술은 초기부터 최근까지도 계속 '세밀하지 못한 분할'에 대한 문제가 제기되어 왔다. 이 문제는 레이블 맵의 크기를 계속 늘리면서 발생한 문제이기 때문에, 자세한 에지 정보가 있는 원본 영상의 에지 맵을 이용해 레이블 맵을 수정하여 개선할 수 있을 것으로 예상할 수 있었다. 따라서 본 논문은 기존 방법대로 학습 기반의 의미론적 영상 분할을 유지하되, 그 결과인 레이블 맵을 원본 영상의 에지 맵 기반으로 수정하는 후처리 알고리즘을 제안한다. 기존의 방법에 알고리즘의 적용 한 뒤 전후의 정확도를 비교했을 때 평균적으로 약 1.74% 픽셀 정확도와 1.35%의 IoU(Intersection of Union) 정확도가 향상되었으며, 결과를 분석했을 때 성공적으로 본래 목표한 세밀한 분할 기능을 개선했음을 보였다.

잘피 서식지 모니터링을 위한 딥러닝 기반의 드론 영상 의미론적 분할 (Semantic Segmentation of Drone Imagery Using Deep Learning for Seagrass Habitat Monitoring)

  • 전의익;김성학;김병섭;박경현;최옥인
    • 대한원격탐사학회지
    • /
    • 제36권2_1호
    • /
    • pp.199-215
    • /
    • 2020
  • 잘피는 연안해역에 서식하는 해양수생관속식물로 해양생태계의 중요한 역할을 하고 있어, 주기적인 잘피 서식지의 모니터링이 이루어지고 있다. 최근 효율적인 잘피 서식지의 모니터링을 위해 고해상도의 영상 획득이 가능한 드론의 활용도가 높아지고 있다. 그리고 의미론적 분할에 있어 합성곱 신경망 기반의 딥러닝이 뛰어난 성능을 보임에 따라, 원격탐사 분야에 이를 적용한 연구가 활발하게 이루어지고 있다. 그러나 다양한 딥러닝 모델, 영상, 그리고 하이퍼파라미터에 의해 의미론적 분할의 정확도가 다르게 나타나고, 영상의 정규화와 타일과 배치 크기에서도 정형화되어 있지 않은 상태이다. 이에 따라 본 연구에서는 우수한 성능을 보여주는 딥러닝 모델을 이용하여 드론의 광학 영상에서 잘피 서식지를 분할하였다. 그리고 학습 자료의 정규화 및 타일의 크기를 중점으로 결과를 비교 및 분석하였다. 먼저 정규화와 타일, 배치 크기에 따른 결과 비교를 위해 흑백 영상을 만들고 흑백 영상을 Z-score 정규화 및 Min-Max 정규화 방법으로 변환한 영상을 사용하였다. 그리고 타일 크기를 특정 간격으로 증가시키면서 배치 크기는 메모리 크기를 최대한 사용할 수 있도록 하였다. 그 결과, Z-score 정규화가 적용된 영상이 다른 영상보다 IoU가 0.26 ~ 0.4 정도 높게 나타났다. 또한, 타일과 배치 크기에 따라 최대 0.09까지 차이가 나타나는 것을 확인하였다. 딥러닝을 이용한 의미론적 분할에 있어 정규화, 타일의 배치 크기의 변화에 따른 결과가 다르게 나타났다. 그러므로 실험을 통해 이들 요소에 대한 적합한 결정 과정이 있어야 함을 알 수 있었다.

산악 관리를 위한 지오펜싱 기술을 이용한 IoT 응용 구현 (Implementation of IoT Application using Geofencing Technology for Mountain Management)

  • 권혁준;안은규;김훈
    • 한국항행학회논문지
    • /
    • 제27권3호
    • /
    • pp.300-305
    • /
    • 2023
  • 최근 우리나라에서는 지진, 산불, 태풍, 홍수, 산사태 등의 자연재해가 빈번하게 발생하고 있다. 산불의 경우 10년 평균, 발생빈도, 피해면적, 피해금액은 2021년 기준으로 감소했지만, 2022년 3월 4일부터 13일까지 9일간 경북 울진과 강원 삼척 일대에서 발생했다. 산불은 삼림 2만ha를 불태우고 213시간 43분 만에 진화를 완료해 산림청이 관련 통계를 작성한 1986년 이후 '최장기 산불' 기록을 남겼다. 피해 규모도 커지고 있다. 본 논문에서는 Geofencing 기술을 적용한 LoRa 기반의 센서 네트워크 구축을 통해, 저렴한 비용으로 효율적인 센서 네트워크 구축이 가능함을 확인하였으며 산불 등의 재해 관리에 대한 실효성 검증을 하였다. GPS와 자이로센서, 연소탐지 센서를 통해 변화량을 감지하고, 정확한 Geofencing Cell의 유효성 크기를 정의하였다. Node와 Node, Node와 Server사이의 효율적인 데이터 통신을 위해 LoRa Payload Frame Structure를 센서정보의 크기에 맞게 유동적 크기를 갖도록 설계하여 제안하였다.