• 제목/요약/키워드: 손실 데이터

검색결과 2,060건 처리시간 0.037초

EXT$_3$ 파일 시스템 안정성 지원을 위한 저널링 매카니즘 개발 (The Development of Journaling Mechanism for supporting Ext3 File System Reliability)

  • 석진선;노재춘;박성순
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2006년도 가을 학술발표논문집 Vol.33 No.2 (A)
    • /
    • pp.193-196
    • /
    • 2006
  • 파일 시스템의 안정성에 문제가 생긴 경우, 파일 시스템의 동작이 중단되어 수정 중이던 데이터가 손실되거나 기존 데이터의 복구가 불가능하게 되는 상황이 발생 할 수 있다. 데이터의 종류에는 파일의 데이터와 같이 데이터 자체가 중요한 내용을 담고 있는 것과 파일의 데이터를 관리하기 위한 정보를 담고 있는 데이터가 있는데 후자를 메타데이터라고 한다. 단순히 파일의 데이터가 손실된 경우에 약간의 데이터 손실이 발생할 수는 있지만, 파일 시스템은 정상적으로 동작 할 수 있다. 하지만 메타데이터가 손상된 경우에는 파일 시스템이 볼륨에 접근조차 할 수 없게 되어 볼륨 내의 모든 파일을 접근할 수 없게 된다. 이러한 문제점들을 극복하기 위해 DualFS [8], log-structured 파일 시스템 [10], XFS [9] 등의 다양한 저널링 파일 시스템들이 제안되었다. 그 중 Ext$_3$ 파일 시스템은 가장 안정적이고 치명적인 문제점이 없는 것으로 알려져 있다.[7] 하지만 Ext$_3$ 파일 시스템에서 기본적으로 사용되고 있는 ordered mode 저널링은 메타데이터의 복사가 이루어져야 하기 때문에 속력의 저하가 발생한다. 본 논문에서는 ordered mode의 메타데이터의 복사 작업이 필요 없는 개선된 ordered mode 저널링을 제안한다.

  • PDF

무선 Ad­-hoc 네트워크 환경에서 대체 경로를 이용한 데이터 손실 감소 기법 (A Routing Mechanism for Reducing Data Loss Using Alternate Path in Wireless Ad-­hoc Networks)

  • 이상림;김인숙;김문정;엄영익
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 가을 학술발표논문집 Vol.30 No.2 (3)
    • /
    • pp.529-531
    • /
    • 2003
  • 최근 이동성을 가진 노드들에 의해 자율적으로 구성되는 무선 애드 혹 네트워크(Ad­hoc Network)에 대한 연구가 진행되고 있다. 무선 애드 혹 네트워크 환경을 위한 라우팅 프로토콜은 크게 테이블 기반 라우팅 프로토콜. 요구 기반 라우팅 프로토콜. 그리고 혼합형 라우팅 프로토콜로 구분된다. 특히 무선 애드 혹 네트워크의 요구 기반 라우팅 프로토콜 상에서 한 노드에 여러 데이터가 한꺼번에 집중될 경우 데이터 집중화 현상으로 데이터의 손실이 발생될 수 있다. 이를 해결하기 위해 본 논문에서는 대체 경로를 이용하여 데이터의 손실을 줄이는 라우팅 기법을 제시한다. 제안 기법은 향후 데이터 트래픽이 많이 발생하는 네트워크에 응용될 수 있다.

  • PDF

로컬 데이터를 이용한 지구-우주 통신 링크의 전파 예측 모델 분석 (An Analysis on the Propagation Prediction Model of Earth-space Communication Link using Local Data)

  • 이화춘;김우수;최태일;오순수
    • 한국전자통신학회논문지
    • /
    • 제14권3호
    • /
    • pp.483-488
    • /
    • 2019
  • 국제 표준으로 사용되고 있는 지구-우주 통신 링크의 전파 예측 모델을 사용하여 통신 경로의 총 손실을 계산하고 분석하였다. 총 손실의 계산에 사용되는 각 파라미터(강우, 신틸레이션, 대기 가스, 구름에 의한 감쇠)에 대한 ITU-R의 표준 정의 및 적용 범위를 분석하였다. 각 파라미터별 표준 모델과 ITU-R에서 제공하는 통계 데이터를 사용하여 총 손실을 계산하였고, 그 결과를 검증 사례 데이터를 사용하여 분석하였다. 국내에서 측정된 장기간의 지역 강우 감쇠 통계 데이터를 사용하여 강우 손실을 계산하고, ITU-R 권고서의 강우율 지도를 사용한 계산 결과와 비교하였다. 강우 손실 계산에서는 천리안 위성의 L-대역과 Ka-대역에 대한 신호 측정 데이터를 사용하였다. 0.01%-0.1%의 범위에서 ITU-R의 모델에 의한 감쇠보다 지역 측정 데이터를 사용 했을 때 더 큰 감쇠 기울기를 갖는 것을 확인하였다.

반수동형 센서 태그 데이터의 효율적인 읽기 기법 (Techniques for Efficient Reading of Semi-Passive Sensor Tag Data)

  • 김수한;류우석;홍봉희
    • 전자공학회논문지CI
    • /
    • 제46권3호
    • /
    • pp.34-41
    • /
    • 2009
  • 본 논문은 반수동형 센서 태그의 센서 데이터를 효율적으로 읽기에 대한 주제를 고찰한다. 콜드 체인 관리 시스템에서는 데이터의 손실이 없이 센서 데이터가 완전하게 읽히고 빠른 처리 시간 안에 센서 태그 데이터를 읽는 것을 요구한다. 하지만, 센서 태그 데이터를 읽을 때 전파방해나 장애물과 같은 RF 환경에 의한 간섭을 받게 된다. 본 연구에서는 이러한 원인이 센서데이터의 손실을 발생시키고 데이터 손실이 발생하였을 때 센서 데이터를 읽는데 더 많은 시간이 걸리는 것을 알아냈다. 이러한 문제점을 해결하기 위하여, 우리는 센서 데이터의 효율적인 읽기를 보장해주는 트랜잭션 처리 메커니즘을 제안한다. 이를 위해, 우리는 읽기 트랜잭션 실행을 위해 동적 패킷 크기 기법과 데이터 복구 기법을 설명한다. 이러한 기법은 대용량의 데이터를 위한 처리시간 단축뿐만 아니라 읽기 연산의 신뢰성 또한 개선시킨다. 본 논문에서 데이터의 손실도 없고 많은 시간 소요도 없는 센서 데이터의 효율적인 읽기 수행의 개선에 기여함을 확인하였다.

불균형 블랙박스 동영상 데이터에서 충돌 상황의 다중 분류를 위한 손실 함수 비교 (Comparison of Loss Function for Multi-Class Classification of Collision Events in Imbalanced Black-Box Video Data)

  • 이의상;한석민
    • 한국인터넷방송통신학회논문지
    • /
    • 제24권1호
    • /
    • pp.49-54
    • /
    • 2024
  • 데이터 불균형은 분류 문제에서 흔히 마주치는 문제로, 데이터셋 내의 클래스간 샘플 수의 현저한 차이에서 기인한다. 이러한 데이터 불균형은 일반적으로 분류 모델에서 과적합, 과소적합, 성능 지표의 오해 등의 문제를 야기한다. 이를 해결하기 위한 방법으로는 Resampling, Augmentation, 규제 기법, 손실 함수 조정 등이 있다. 본 논문에서는 손실 함수 조정에 대해 다루며 특히, 불균형 문제를 가진 Multi-Class 블랙박스 동영상 데이터에서 여러 구성의 손실 함수(Cross Entropy, Balanced Cross Entropy, 두 가지 Focal Loss 설정: 𝛼 = 1 및 𝛼 = Balanced, Asymmetric Loss)의 성능을 I3D, R3D_18 모델을 활용하여 비교하였다.

의료 영상 바이오마커 추출을 위한 딥러닝 손실함수 성능 비교 (Comparison of Deep Learning Loss Function Performance for Medical Video Biomarker Extraction)

  • 서진범;조영복
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2021년도 춘계학술대회
    • /
    • pp.72-74
    • /
    • 2021
  • 다양한 분야에서 현재 활용되고 있는 딥러닝 과정은 데이터 준비, 데이터 전처리, 모델 생성, 모델 학습, 모델 평가로 구성 된다. 이중 모델 학습 과정에서 손실함수는 모델이 학습하면서 출력한 값을 실제 값과 비교하여 그 차이를 출력하게 되고, 출력된 손실값을 기반으로 모델은 역전파 알고리즘을 통해 손실값이 감소하는 방향으로 가중치를 수정해가며 학습을 진행한다. 본 논문에서는 바이오마커 추출을 위한 딥러닝 모델에서 사용될 신경망 출력 값의 손실도를 측정하여 출력해주는 다양한 손실함수를 분석하고 실험을 통해 최적의 손실함수를 찾아내고자 한다.

  • PDF

딥러닝을 이용한 부채널 데이터 압축 프레임 워크 (Side-Channel Archive Framework Using Deep Learning-Based Leakage Compression)

  • 정상윤;진성현;김희석
    • 정보보호학회논문지
    • /
    • 제34권3호
    • /
    • pp.379-392
    • /
    • 2024
  • 데이터의 급속한 증가와 함께 저장 공간 절약과 데이터 전송의 효율성이 중요한 문제로 대두되면서, 데이터 압축기술의 효율성 연구가 중요해졌다. 무손실 알고리즘은 원본 데이터를 정확히 복원할 수 있지만, 압축 비율이 제한적이며, 손실 알고리즘은 높은 압축률을 제공하지만 데이터의 일부 손실을 수반한다. 이에 딥러닝 기반 압축 알고리즘, 특히 오토인코더 모델이 데이터 압축 분야에서 활발한 연구가 진행됐다. 본 연구에서는 오토인코더를 활용한 새로운 부채널 분석 데이터 압축기를 제안한다. 제안하는 부채널 데이터 대상 압축기는 부채널데이터 특성을 잘 유지할 뿐만 아니라, 기존의 널리 사용되는 Delfate 압축방식 대비 높은 압축률을 보인다. 로컬 연결 레이어를 사용한 인코더는 부채널 데이터의 시점별 특성을 효과적으로 보존하고, 디코더는 멀티 레이어 퍼셉트론을 사용하여 빠른 압축해제 시간을 유지한다. 상관 전력 분석을 통해 제안된 압축기가 부채널 데이터의 특성을 손실 없이 데이터 압축이 가능을 증명하였다.

오류가 발생한 멀티바이트 인코딩 데이터의 인코딩 기법 판별 알고리즘 개선 (Improvement of Encoding Detection Algorithm for Multi-byte Encoded Data with Errors)

  • 배준우;김선범;박희진
    • 한국차세대컴퓨팅학회논문지
    • /
    • 제13권2호
    • /
    • pp.18-25
    • /
    • 2017
  • 인코딩(encoding)은 컴퓨터에서 사용되는 음성, 영상 및 텍스트 문자를 부호화하는 방법을 가리킨다. 그러므로 특정 데이터를 열람하기 위해서는 해당 인코딩 정보를 알아야하며, 데이터마다 인코딩을 판별해주는 알고리즘들이 존재한다. 하지만 실제 음원이나 문서를 송수신하는 과정에서 패킷 손실이 발생할 수 있으며, 특히 무선 통신망에서 패킷 스니핑으로 정보를 가로챌 경우 손실률은 더욱 증가되어 인코딩 기법 판별에 어려움이 발생한다. 본 논문에서는 이러한 오류가 발생한 데이터의 인코딩 기법 판별율을 향상시키기 위해 기존의 문자 인코딩 기법 판별 프로그램인 'uchardet'에 Bit-shift 알고리즘을 적용하여 성능 향상을 이루었다. 알고리즘의 성능 평가를 위해 임의의 한글 및 일본어 텍스트 파일에 손실률(loss rate)을 적용하여 부분적으로 데이터가 소실된 인코딩 파일을 생성하여 결과를 비교하였다. 그 결과, 패킷이 손실된 데이터에서 Bit-shift 알고리즘을 적용한 'uchardet-bitshift' 경우 기존의 알고리즘보다 더 나은 성능을 보였다. 한국어 인코딩의 경우 기존의 uchardet는 0.005% 손실률까지 100%의 정확도를 보이고 1%보다 높은 손실률에서는 인코딩을 전혀 판별해 내지 못한데 비해, Bit-shift 알고리즘을 적용할 경우 0.05%의 손실률에도 100%의 정확도를 보였으며 그보다 큰 손실률에서도 해당 인코딩을 판별해냈다. 또한 한자어를 많이 포함하는 일본어의 경우 손실률이 높아질수록 중국어 인코딩으로 잘못 판별하는 경향을 보였다. 시뮬레이션 분석 결과, Bit shift 알고리즘을 추가하여 기존 인코딩 기법 판별 알고리즘의 개선이 가능하였다.

도시 컴퓨팅 파일 시스템에서 미리 읽기 성능 향상을 위한 자료구조 (Data Structure Improving Prefetch Performance for Urban Computing File System)

  • 윤익준;고광진;신현식
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(A)
    • /
    • pp.311-312
    • /
    • 2012
  • 도시 컴퓨팅에서의 파일 시스템은 하나의 메타 데이터 서버와 여러 개의 데이터 저장 서버로 구성되어 있다. 이 데이터 저장 서버의 자료구조를 사용자의 두 가지 질의에 맞게 구성함으로써 미리읽기의 성능을 향상시킨다. 또한 데이터의 손실을 방지하기 위해 복사본을 만들 때, 두 가지의 형태로 바꿔 저장함으로써 데이터의 손실을 막고 여러 질의에 대응하여 좋은 성능을 낼 수 있다.

무손실 데이터 삽입 알고리즘을 위한 새로운 키 파라미터 유도 방법 (New key parameter deriving method for lossless data embedding algorithm)

  • 강지홍;김홍림;최윤식
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송공학회 2010년도 하계학술대회
    • /
    • pp.291-293
    • /
    • 2010
  • 이 논문은 공간 영역에서 하나의 키 파라미터로 영상에 데이터를 삽입하고 추출해 내는 무손실 데이터 삽입 알고리즘에 기반하여, 키 파라미터의 유도 및 데이터 삽입 방법을 개선한 알고리즘을 제안한다. 제안한 알고리즘은 기존의 방법에 비해 삽입 가능한 데이터 용량의 효율이 크게 증가하였다.

  • PDF