• 제목/요약/키워드: 데이터 압축

검색결과 1,714건 처리시간 0.031초

모바일 벡터 지도 서비스를 위한 공간 데이터 압축 기법의 설계 (Design of Spatial Data Compression Methods for Mobile Vector Map Services)

  • 최진오
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2004년도 춘계종합학술대회
    • /
    • pp.358-362
    • /
    • 2004
  • 컴퓨터와 통신 기술의 빠른 발전으로 모바일 인터넷 서비스의 요구가 급격히 증대하고 있다. 그러나 모바일 벡터 지도 서비스 환경에서의 가장 큰 걸림돌은 큰 데이터 용량과 제한된 대역폭이다. 많은 가능한 해결방안중 공간 데이터 압축 기법이 대역폭과 클라이언트에서의 대기 시간 축소에 공헌할 수 있을 것으로 기대된다. 본 논문은 공간 데이터를 압축하기 위한 2가지 기법을 제시한다. 하나는 공간 객체별로 기준 좌표 및 상대 좌표를 전송하는 상대좌표 변환 압축 기법이고 또 하나는 클라이언트 좌표로 서버에서 미리 좌표 변환하는 클라이언트좌표 변환 압축 기법이다. 이 두 압축 기법은 압축 효율과 응답시간을 측정하여 평가할 수 있다.

  • PDF

웹-모니터링용 전송데이터의 압축을 위한 wavelet 기법의 적용 (Application of wavelet scheme to transmission data for web-monitoring system)

  • 이영삼;배금동;김성호
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국퍼지및지능시스템학회 2004년도 춘계학술대회 학술발표 논문집 제14권 제1호
    • /
    • pp.483-486
    • /
    • 2004
  • 일반적으로 재해 방제용 시스템은 측정 데이터를 현장에 설치된 데이터 로거에 저장하고 일정시간 후 체계적인 분석을 위해 데이터 로거에 저장된 데이터를 원격의 서버로 전송하는 구조로 되어있다. 신뢰도가 높은 재해 방제용 시스템의 구현을 위해서는 계측 현장에 되도록이면 많은 센서들이 설치되어야 함과 동시에 짧은 시간 간격으로 원격의 서버에 데이터를 전송하는 것이 바람직하다. 이들 전송 데이터의 양은 관측구간이 넓어짐에 따라 늘어나게 되며 따라서 전송 효율을 극대화를 위해서는 측정 데이터를 압축하여 전송하는 것이 바람직하게 된다. 본 연구에서는 측정 데이터의 전송 효율을 향상시키기 위해 데이터 압축 성능이 우수한 것으로 알려진 wavelet 이론을 웹-모니터링 시스템에 적용하여 봄으로써 이의 유용성을 확인하고자 한다.

  • PDF

하둡 클러스터의 대역폭을 고려한 압축 데이터 전송 및 저장 기법 (Data Transmitting and Storing Scheme based on Bandwidth in Hadoop Cluster)

  • 김용민;김희진;김영관;홍지만
    • 스마트미디어저널
    • /
    • 제8권4호
    • /
    • pp.46-52
    • /
    • 2019
  • 산업 현장과 공공 기관에서 생성 및 수집되는 데이터의 크기가 빠르게 증가하고 있다. 기존의 데이터 처리 서버는 스케일업 방식으로 성능을 높여 증가하는 데이터를 처리하였다. 그러나 데이터의 생성 속도가 폭증하는 빅데이터 시대에는 기존 방식의 서버로는 데이터 처리에 한계가 있다. 이러한 한계를 극복하기 위해 스케일 아웃 방식으로 데이터를 분산 처리하는 분산 클러스터 컴퓨팅 시스템이 등장하게 되었다. 그러나 분산 클러스터 컴퓨팅 시스템은 데이터를 분산 처리하기 때문에 네트워크 대역폭을 비효율적으로 사용할 경우 클러스터 전체의 성능을 하락시킬 수 있다. 본 논문에서는 네트워크 대역폭을 고려하여 하둡 클러스터에서 데이터 전송 시 데이터를 압축 전송하는 기법을 제안한다. 제안 기법은 네트워크 대역폭과 압축 알고리즘의 특징을 고려하여 최적의 압축 전송 기법을 선정 후 전송한다. 실험 결과는 제안 기법을 사용할 경우 데이터 전송 시간과 크기를 감소시킨 것을 보여준다.

신경망에 의한 테두리를 보존하는 영상압축 (Edge Preserving Image Compression with Weighted Centroid Neural Network)

  • 박동철;우영준
    • 한국통신학회논문지
    • /
    • 제24권10B호
    • /
    • pp.1946-1952
    • /
    • 1999
  • 무지도 경쟁학습을 이용하여 압축된 영상의 복원 후에 나타나는 테두리부분의 손상을 최소화하기 위한 영상압축 방법이 제안되었다. 제안된 영상압축방법은 영상데이터에서 테두리부분에 해당하는 데이터의 기하학적인 특징을 이용하는데, 영상데이터의 통계학적인 특성을 함께 이용하여 기존의 Centroid Neural Network을 일반화시키는 무지도 경쟁학습에 의하여 자동적으로 더욱 많은 code vector를 테두리부분에 배정함으로서 압축된 영상의 복원 후에 나타나는 테두리부분의 손상을 초소화하게 한다. 실험 결과, 기존의 SOM, M-SOM, M/R-CNN등과 비교하여 제안된 방법에 의해 압축된 영상의 복원된 테두리 부분에서 PSNR이 약 2dbv정도 향상된 결과를 보여줄 수 있었다.

  • PDF

신호의 길이 특성을 이용한 효율적인 CAN 데이터 압축 알고리즘 (Efficient CAN Data Compression Algorithm Using Signal Length)

  • 오유경;정진균
    • 스마트미디어저널
    • /
    • 제3권3호
    • /
    • pp.9-14
    • /
    • 2014
  • 차량에 연결된 ECU 개수의 증가는 CAN 버스 점유율을 증가시킬 뿐만 아니라 메시지 전송오류 확률의 증가를 초래한다. CAN 데이터 전송 시간은 CAN 프레임의 길이에 비례하기 때문에 프레임의 길이를 줄이게 되면 효율적으로 CAN 버스로드와 오류확률을 감소시킬 수 있다. 본 논문에서는 CAN 메시지의 길이를 단축시키기 위해서 비트재배열과 Data Length Code (DLC)를 이용한 압축 방법을 제안한다. 실제 차량 주행에서 얻은 데이터로 제안한 알고리즘을 시뮬레이션 해본 결과, 기존의 방법에 비해 최대 54%까지 CAN 데이터가 더 압축됨을 확인하였다.

PQRST파 특징 기반 신호의 분류를 이용한 심전도 압축 알고리즘 성능 평가 (Performance Evaluation of ECG Compression Algorithms using Classification of Signals based PQSRT Wave Features)

  • 구정주;최광석
    • 한국통신학회논문지
    • /
    • 제37권4C호
    • /
    • pp.313-320
    • /
    • 2012
  • 심전도의 압축은 시스템의 처리 속도를 높일 뿐만 아니라 신호의 전송량, 장기적인 기록 데이터 저장량을 줄일 수 있다. 본 논문에서는 기존의 심전도 데이터의 손실 혹은 무 손실 압축 알고리즘에 대한 성능 평가가 엔지니어의 관점에서 PRD(Percent RMS Difference)와 CR(Compression Ratio)을 측정하였다면 심전도를 진단하는 진단자의 관점에서 압축의 성능 평가에 대한 연구를 하였다. 일반적으로 심전도 데이터의 압축이 진단에 영향을 미치지 않게 하기위해서는 압축 후 복원된 PQRST파의 위치, 길이, 진폭, 파의 형태 등 진단에 필요한 것들이 손상되어선 안 된다. 대표적인 심전도 압축 알고리즘 AZTEC은 기존의 성능평가에 그 효율성이 검증되었지만 진단자의 관점에서 새로운 성능평가를 제시한다.

실시간 데이터 이중화를 위한 고속 블록 전송기술 설계 (Design of high-speed block transmission technology for real-time data duplication)

  • 한재승;안재훈;김영환;박창원
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2018년도 제58차 하계학술대회논문집 26권2호
    • /
    • pp.445-448
    • /
    • 2018
  • 본 논문에서는 데이터 이중화 저장시스템의 장애발생으로 인한 백업서버 데이터 손실을 보호하기 위해 무 손실 실시간 데이터 이중화 시스템 설계방안을 제안한다. 이는 원본서버의 데이터와 백업서버의 데이터가 특정 시점 T에서 100% 일치하지 않는 비동기 방식을 동기방식으로 해결하기 위한 시스템 설계 제안으로, 원본서버의 데이터 생성과 동시에 실시간 데이터 백업을 목적으로 한다. 이를 위해 전송단계에서 필요한 가장 빠른 압축인 LZ4 압축 알고리즘을 기반으로 Intel AVX 명령어를 사용하여 보다 압축속도를 증진시켜 실시간 시스템을 구축한다. 또한 전송 중 보안위협으로부터 보호하기 위해 Key 전달 기법과 AES 암호화 알고리즘에 대해 기술한다.

  • PDF

언어 정보가 반영된 문장 점수를 활용하는 삭제 기반 문장 압축 (Deletion-Based Sentence Compression Using Sentence Scoring Reflecting Linguistic Information)

  • 이준범;김소언;박성배
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제11권3호
    • /
    • pp.125-132
    • /
    • 2022
  • 문장 압축은 원본 문장의 중요한 의미는 유지하면서 길이가 축소된 압축 문장을 생성하는 자연어처리 태스크이다. 문법적으로 적절한 문장 압축을 위해, 초기 연구들은 사람이 정의한 언어 규칙을 활용하였다. 또한 시퀀스-투-시퀀스 모델이 기계 번역과 같은 다양한 자연어처리 태스크에서 좋은 성능을 보이면서, 이를 문장 압축에 활용하고자 하는 연구들도 존재했다. 하지만 언어 규칙을 활용하는 연구의 경우 모든 언어 규칙을 정의하는 데에 큰 비용이 들고, 시퀀스-투-시퀀스 모델 기반 연구의 경우 학습을 위해 대량의 데이터셋이 필요하다는 문제점이 존재한다. 이를 해결할 수 있는 방법으로 사전 학습된 언어 모델인 BERT를 활용하는 문장 압축 모델인 Deleter가 제안되었다. Deleter는 BERT를 통해 계산된 perplexity를 활용하여 문장을 압축하기 때문에 문장 압축 규칙과 모델 학습을 위한 데이터셋이 필요하지 않다는 장점이 있다. 하지만 Deleter는 perplexity만을 고려하여 문장을 압축하기 때문에, 문장에 속한 단어들의 언어 정보를 반영하여 문장을 압축하지 못한다. 또한, perplexity 측정을 위한 BERT의 사전 학습에 사용된 데이터가 압축 문장과 거리가 있어, 이를 통해 측정된 perplexity가 잘못된 문장 압축을 유도할 수 있다는 문제점이 있다. 이를 해결하기 위해 본 논문은 언어 정보의 중요도를 수치화하여 perplexity 기반의 문장 점수 계산에 반영하는 방법을 제안한다. 또한 고유명사가 자주 포함되어 있으며, 불필요한 수식어가 생략되는 경우가 많은 뉴스 기사 말뭉치로 BERT를 fine-tuning하여 문장 압축에 적절한 perplexity를 측정할 수 있도록 하였다. 영어 및 한국어 데이터에 대한 성능 평가를 위해 본 논문에서 제안하는 LI-Deleter와 비교 모델의 문장 압축 성능을 비교 실험을 진행하였고, 높은 문장 압축 성능을 보임을 확인하였다.

MPEG Video-based Point Cloud Compression 표준 소개

  • 장의선
    • 방송과미디어
    • /
    • 제26권2호
    • /
    • pp.18-30
    • /
    • 2021
  • 본 고에서는 최근 국제표준으로 완성된 MPEG Video-based Point Cloud Compression(V-PCC) 표준 기술에 대해 소개하고자 한다. AR/VR 등 새로운 미디어 응용의 출현과 함께 그 관심이 3D 그래픽 데이터에 더 많이 모아지는 가운데, 지금까지는 효율적인 압축에 관심이 높지 않았던 포인트 클라우드 데이터의 표준 압축 기술로 만들어진 V-PCC 표준의 표준화 현황과 주요 응용분야, 그리고 주요 압축 기술에 대하여 살펴보고자 한다.

제조 현장 데이터 전송효율 향상을 위한 압축 알고리즘 비교 및 분석 (Comparison and analysis of compression algorithms to improve transmission efficiency of manufacturing data)

  • 이민정;오성빈;김진호
    • 한국정보통신학회논문지
    • /
    • 제26권1호
    • /
    • pp.94-103
    • /
    • 2022
  • 제조 현장의 센서나 기기들에서 생성된 대량의 데이터들이 서버나 클라이언트로 전송되면서 네트워크 처리시간 지연, 스토리지 자원 비용 증가의 문제가 발생한다. 이러한 문제 해결을 위해 실시간 대응성과 무중단 공정이 필수인 제조 현장을 고려하여 실시간 및 무손실 압축이 가능한 QRC(Quotient Remainder Compression)와 BL_beta 압축 알고리즘을 처음으로 실제 제조 현장 센서 데이터에 적용하여 실험 결과로 두 알고리즘 중 어떤 알고리즘이 성능이 좋은지 비교 분석하였다. 실험 결과는 BL_beta가 QRC보다 압축률이 높았다. QRC의 데이터 크기를 조금 조정하여 동일한 데이터로 실험을 진행한 실험결과는 데이터 크기를 조정한 QRC 알고리즘이 기존 QRC와 BL_beta 압축 알고리즘보다 압축률이 35.48%, 20.3% 더 높았다.