• 제목/요약/키워드: 소실 데이터 복구

검색결과 6건 처리시간 0.02초

차세대 클라우드 저장 시스템을 위한 소실 복구 코딩 기법 동향

  • 김정현;박진수;박기현;남미영;송홍엽
    • 정보와 통신
    • /
    • 제31권2호
    • /
    • pp.105-111
    • /
    • 2014
  • 클라우드 컴퓨팅과 빅데이터 시대의 개막으로 클라우드에 저장되는 데이터가 급속도로 증가함에 따라 최근 클라우드 컴퓨팅의 주요한 요소로 클라우드 저장 시스템이 주목받고 있다. 클라우드 저장 시스템은 크게 두 가지 목적에 의해 동작한다. 첫 번째는 사용자에게 데이터를 소실 없이 정확하게 전달해주는 것이고, 두 번째는 네트워크 상에서 소실된 데이터를 복구해 내는 것이다. 데이터 소실은 분산 노드 내 장비의 결함, 소프트웨어 업데이트 등과 같은 요인에 의해 발생하는데, 이와 같은 데이터 소실에 대응하기 위해 소실 복구 코딩 기법을 사용한다. 본 고에서는 클라우드 저장 시스템의 요구사항들을 토대로 현재 클라우드 저장 시스템에 사용되는 다양한 코딩 기법을 살펴보고 차세대 클라우드 저장 시스템을 위한 코딩 기법에 대해 논의해본다.

무선 센서 네트워크 데이터 중심 저장 환경을 위한 소실 데이터 근사 복구 기법 (Approximate Lost Data Recovery Scheme for Data Centric Storage Environments in Wireless Sensor Networks)

  • 성동욱;박준호;홍승완;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제12권7호
    • /
    • pp.21-28
    • /
    • 2012
  • 데이터 중심 저장 기법(DCS)은 무선 센서 네트워크에서 수집된 데이터를 효율적으로 저장하고 관리하기 위한 대표적인 연구이다. DCS 기법에서는 발생하는 데이터를 값에 따라 저장을 담당하는 노드들이 할당되어 있다. 이러한 특성으로 인해 노드의 결함에 매우 취약하다는 문제점이 있다. 본 논문은 DCS 환경에서 노드 결함에 의한 데이터 소실이 발생하였을 경우, C-Point(Character-Point)기반 근사 복구 기법을 제안한다. 제안하는 기법은 물리 데이터의 공간 연속성을 이용하여 소실 데이터를 복구하여 질의 결과의 정확도를 높인다. 제안하는 기법의 우수성을 보이기 위해 결함이 발생하는 DCS 환경에서 시뮬레이션을 수행하였다. 성능평가 결과, 약 2.5%의 에너지 소모량 증가를 통해 정확도를 약 28% 향상시켰다.

선형 재생 부호 앙상블의 평균 복구 접속 비용 (Average Repair Read Cost of Linear Repairable Code Ensembles)

  • 박진수;김정현;박기현;송홍엽
    • 한국통신학회논문지
    • /
    • 제39B권11호
    • /
    • pp.723-729
    • /
    • 2014
  • 본 논문에서는 임의의 선형 재생 부호 앙상블에 대하여 복구 대역폭(Repair bandwidth)과 접속 비용(Repair read cost)의 평균을 유도한다. 한 데이터가 여러 노드에 부호화 되어 분산 저장된 상황에서 하나의 노드가 소실될 경우, 이를 복구하기 위해 필요한 데이터 량을 복구 대역폭, 접속해야 하는 노드 수를 복구 접속 비용이라 한다. 이 때, 선형 재생 부호 앙상블은 데이터 심볼의 수 k와 패리티 심볼의 수 m, 그리고 그들의 차수 분포로 주어진다. 우리는 이러한 부호들이 시스터메틱(Systematic)이며 정확한 복구(Exact repair)를 수행하고 n=k+m개의 모든 저장소(Storages)들이 전부 연결되어 있는 상황을 가정한다. 본 논문의 결과는 파운틴 부호 등과 같이 위와 같은 파라미터들로 랜덤하게 만들어진 부호들에 바로 적용 가능하다. 최종 결과식은 평균 복구 접속 비용이 차수 분포와 n, k에 따라 결정됨을 보여준다.

SVM과 딥러닝에서 불완전한 데이터를 처리하기 위한 알고리즘 (Algorithms for Handling Incomplete Data in SVM and Deep Learning)

  • 이종찬
    • 한국융합학회논문지
    • /
    • 제11권3호
    • /
    • pp.1-7
    • /
    • 2020
  • 본 논문은 불완전한 데이터를 처리하기 위해 2가지의 서로 다른 기법과 이를 학습하는 알고리즘을 소개한다. 첫째방법은 손실변수가 가질 수 있는 균등한 확률로 손실값을 할당하여 불완전한 데이터를 처리하고, SVM 알고리즘으로 이 데이터를 학습하는 것이다. 이 기법은 임의의 변수에 손실 값의 빈도가 높을수록 엔트로피가 높도록 하여 이 변수가 결정트리에서 선택되지 않도록 하는 것이다. 이 방법은 손실 변수에 남아있는 정보를 모두 무시하고 새로운 값을 할당한다는 특징이 있다. 이에 반해 새로운 방법은 손실 값을 제외하고 남아있는 정보로 엔트로피 확률을 구하고 이를 손실 변수의 추정 값으로 사용하는 것이다. 즉, 불완전한 학습데이터로부터 소실되지 않은 많은 정보들을 이용해 소실된 일부 정보를 복구하고 딥러닝을 이용해 학습한다. 이 2가지 방법은 학습데이터에서 차례로 변수 하나를 선택하고, 이 변수에 손실된 데이터의 비율을 달리하면서 서로 다른 측정값들의 결과들과 반복적으로 비교함으로써 성능을 측정한다.

텍스트마이닝을 활용한 숭례문 관련 기사의 트렌드 분석 (Trend Analysis of News Articles Regarding Sungnyemun Gate using Text Mining)

  • 김민정;김철주
    • 한국콘텐츠학회논문지
    • /
    • 제17권3호
    • /
    • pp.474-485
    • /
    • 2017
  • 국보 제1호인 숭례문은 2008년 2월 10일 화재로 일부가 소실되었으나 화재 이후 복구 작업을 통해 2013년 5월 4일 시민에게 공개되었다. 이로 인해 숭례문은 국가적으로 큰 이슈가 되어 언론의 관심을 받으며 동시에 많은 연구의 대상이 되었다. 본 연구는 문화재로서 숭례문을 키워드로 하여 2002년부터 2016년까지 신문 기사에 대한 빈도분석을 통해 숭례문 관련 어떤 키워드들이 자주 나타나고 있는지에 대해 파악하였다. 또한 추출된 숭례문 관련 키워드들간 연관관계 분석을 통해 키워드간 연결의 맥락을 파악하고 분석하였다. 다음으로 숭례문 화재 전후, 언론사별 주요 키워드 추출을 통해 공통점과 차이점을 보여줌으로써 관점의 다양성을 제공하였다. 본 연구를 통해 문화재로서 숭례문 관련 키워드는 화재 이후에 나타난 키워드가 전체 기사에서 고빈도어로 나타남을 알 수 있었고 몇 가지 키워드간 상관관계가 높게 나타났다. 또한 화재 전후 키워드에는 명확한 차이를 보이고 있었으며 언론사별 키워드에서 상위 키워드들은 명확한 차이는 보여주지 않았지만 차상위 키워드들은 차이가 발생하여 언론사별로 주로 다루어진 기사들의 내용은 차이가 있다는 것을 발견했다. 본 연구는 문화재로서 숭례문 관련 기사에 대해 텍스트마이닝 기법을 활용하여 다량의 데이터를 분석하였음에 의미가 있으며 정보생산자 및 정보소비자들에게 숭례문 관련 기사의 동향과 정보를 제공할 수 있을 것이라 기대한다.

딥러닝과 Landsat 8 영상을 이용한 캘리포니아 산불 피해지 탐지 (Detection of Wildfire Burned Areas in California Using Deep Learning and Landsat 8 Images)

  • 서영민;윤유정;김서연;강종구;정예민;최소연;임윤교;이양원
    • 대한원격탐사학회지
    • /
    • 제39권6_1호
    • /
    • pp.1413-1425
    • /
    • 2023
  • 기후변화로 인한 대형 산불의 빈도가 증가함에 따라 극심한 인명 및 재산상의 피해를 초래하고 있다. 이로 인해 많은 식생이 소실되며, 그 강도와 발생 형태에 따라 생태계 변화에 영향을 끼친다. 생태계 변화는 다시 산불 발생을 유발하여 2차 피해를 야기한다. 따라서 산불 피해지에 대한 정확한 탐지 및 면적 산정의 중요성이 지속적으로 제기되고 있다. 효율적인 산불 피해지 모니터링을 위해 산불 발생 후 실시간 지형 및 기상정보는 물론 피해지역의 영상을 대규모로 취득할 수 있는 위성영상이 주로 활용되고 있다. 최근, 합성곱 신경망(convolution neural network, CNN) 기반 모델부터 고성능 트랜스포머(Transformer) 기반 모델에 이르기까지 딥러닝 알고리즘이 빠르게 발전하면서 산림원격탐사에서 이를 적용한 연구가 활발히 이루어지고 있다. 하지만 현재까지 적용된 딥러닝 모델은 제한적이며 현업에서의 합리적인 활용을 위한 정량적 성능평가에 대한 보고가 부족한 상황이다. 따라서 본 연구에서는 모델에 따른 성능향상과 데이터 설계에 따른 성능향상을 중점적으로 비교 분석하였다. 미국 캘리포니아 지역을 대상으로 CNN 기반 모델의 U-Net, High Resolution Network-Object Contextual Representation (HRNet-OCR)을 활용하여 산불 피해지 모델을 구축하였다. 또한, 기본 파장대역과 함께 식생활력도 및 지표의 수분함량 정도를 고려하고자 normalized difference vegetation index (NDVI), normalized burn ratio (NBR)와 같은 산불 관련 분광지수를 산출하여 입력 이미지로 사용하였다. U-Net의 mean intersection over union (mIoU)이 0.831, HRNet-OCR이 0.848을 기록하여 두 모델 모두 우수한 영상분할 성능을 보였다. 또한, 밴드 반사도뿐 아니라 분광지수를 추가한 결과 모든 조합에서 평가지표 값이 상승하여 분광지수를 활용한 입력 데이터 확장이 픽셀 세분화에 기여함을 확인하였다. 이와 같은 딥러닝 방법론을 발전시킨다면 우리나라의 산불 피해지에 대한 신속한 파악 및 복구 계획 수립의 기초자료로 활용될 수 있을 것으로 기대된다.