• 대한전자공학회논문지TE
• /
• 제37권3호
• /
• pp.37-44
• /
• 2000

본 논문에서는 실시간 데이터 압축을 위한 Lempel-Ziv 압축기의 효과적인 하드웨어 구조를 제안한다. 일반적으로 Lempel-Ziv 알고리즘의 구현에서는 matching 바이트 탐색과 dictionary 버퍼의 누적된 shift 동작이 처리 속도에 가장 중요한 문제이다. 제안하는 구조에서는 dictionary 크기를 최적화하는 방법과 복수개의 바이트를 동시에 비교하는 matching 바이트 처리 방법, 그리고 회전 FIEO 구조를 이용하여 shift 동작 제어 방법을 이용함으로써 효과적인 Lempel-Ziv 알고리즘의 처리 구조를 제안하였다. 제안된 구조는 상용 DSP를 사용하여 하드웨어적으로 정확하게 동작함을 검증하였으며, VHDL로 기술한 후 회로 합성을 수행하여 상용 FPGA 칩에 구현하였다. 제안된 구조는 시스템 클락 33㎒, 비트율 256Kbps 전용선에서 오류 없이 동작함을 확인하였다.

• 한국측량학회지
• /
• 제28권2호
• /
• pp.265-271
• /
• 2010

본 논문에서는 대용량의 수치표고모델(DEM) 데이터의 효율적인 압축을 위해 허프만 코딩과 Lempel-Ziv-Welch 압축방법을 기반으로 하는 새로운 DEM 압축 소프트웨어인 DEM_Comp를 개발하였다. DEM_Comp의 개발을 위해서 $C^{++}$ 언어를 이용하였으며, 모든 Window 플랫폼에서 사용이 가능하도록 하였다. 개발된 소프트웨어의 성능을 평가하기 위해 다양한 지형의 형태를 가지는 DEM에 대해 압축을 수행하고, 출력파일의 용량에 따른 압축효율을 평가하였다. 최근 새로운 지형데이터 취득장비인 LiDAR와 SAR 등에 의해 고해상도의 DEM의 활용이 급격하게 증가하고 있어, 데이터의 저장용량과 전송대역폭을 감소시킬 수 있는 DEM 압축기술이 매우 유용하게 이용되고 있다. 일반적으로 데이터 압축기술은 i) 데이터 사이의 관계를 분석하고, ii) 분석 결과에 따라 압축 및 저장기술을 결정하는 2부분으로 구성되는데, DEM_Comp에서는 정규격자, Lempel-Ziv 압축방법, 허프만 코딩의 3단계 압축 알고리즘을 통해 DEM이 압축된다. DEM_Comp의 압축효율 실험 결과 전처리만 수행하였을 경우 지형의 기복과 상관없이 압축효율은 약 83% 정도를 나타내었지만, 3단계의 압축 알고리즘이 완료된 경우에는 압축효율이 97%까지 증가하는 것으로 나타났다. 이러한 수치는 일반적인 상업용 압축 소프트웨어들과 비교하여 약 14% 정도의 압축효율이 향상되었음을 나타낸다. 이에 따라 본 연구에서 개발된 DEM_Comp S/W를 이용하면 대용량의 고해상도 DEM의 관리, 저장, 배포를 보다 효율적으로 수행할 수 있을 것으로 판단된다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제31권12호
• /
• pp.1628-1636
• /
• 2004

저장 공간이나 전송 시간을 줄여서 비용을 아끼는 데이타 압축 기술은 그 유용성 때문에 오래전부터 연구되어 왔다. Lempel-Ziv 77(LZ77) 알고리즘은 실용적인 사전-기반 비손실 압축 알고리즘이다. 기존의 LZ77 알고리즘에서 알고리즘의 성능에 큰 영향을 미치는, 사전의 크기는 고정되어 있다. 본 논문에서는 사전의 크기를 동적으로 바꾸면서 압축을 하는 동적 LZ77 알고리즘과 동적 LZ77 알고리즘에서 사용하는 전략을 진화시키는 유전 알고리즘을 소개한다. 유전 알고리즘으로 진화시킨 전략을 가지고 동적 LZ77 알고리즘은 기존의 LZ77 알고리즘보다 최대 약 16%까지 더 좋은 압축 효율을 보여 주었다.

• Spatial Information Research
• /
• 제19권1호
• /
• pp.107-116
• /
• 2011

최근 무선 인터넷 환경의 발달로 실시간 교통정보안내와 지도를 통해 목적지까지의 경로 안내를 해주는 차량 항법 서비스 등 공간 데이터를 활용한 위치기반서비스가 증가되고 있다. 하지만, 현재 시스템 환경에서는 대용량의 공간 데이터를 파일 시스템 기반으로 관리하기 때문에 실시간적인 데이터 저장과 관리측면에서 많은 제약을 가진다. 이를 보완하기 위해 임베디드 데이티베이스를 바탕으로 대용량의 공간 데이터를 구조적으로 관리할 수 있는 연구가 요구된다. 이에 본 연구는 임베디드 시스템에서 대용량의 공간 데이터의 효율적인 저장을 위해 데이터베이스에 적용 가능한 바이트패킹과 Lempel-Ziv 압축기법을 혼합 개선한 무손실 압축 기법을 제시하고자 하였다. 이렇게 제시된 공간 데이터 압축 기법을 실제 대도시권 데이터(서울 인천)에 적용하여 실험해 보고 농일 데이터에 대하여 실험을 통해 재구성이 되기까지의 질의 처리 시간을 분석을 통해 선행 연구에서 제시한 방법을 적용한 결과와 비교 하였다. 연구결과로 본 연구에서 제시된 압축 방법이 높은 위치 정확도를 요구하는 데이터에 대해 더 나은 성능을 보이는 것을 획인 할 수 있었다.

• Journal of Information Processing Systems
• /
• 제12권2호
• /
• pp.322-331
• /
• 2016

Image compression is an essential technique for saving time and storage space for the gigantic amount of data generated by images. This paper introduces an adaptive source-mapping scheme that greatly improves bit-level lossless grayscale image compression. In the proposed mapping scheme, the frequency of occurrence of each symbol in the original image is computed. According to their corresponding frequencies, these symbols are sorted in descending order. Based on this order, each symbol is replaced by an 8-bit weighted fixed-length code. This replacement will generate an equivalent binary source with an increased length of successive identical symbols (0s or 1s). Different experiments using Lempel-Ziv lossless image compression algorithms have been conducted on the generated binary source. Results show that the newly proposed mapping scheme achieves some dramatic improvements in regards to compression ratios.

• 한국콘텐츠학회논문지
• /
• 제10권12호
• /
• pp.70-76
• /
• 2010

최근의 스마트폰, 임베디드시스템 등의 정보통신 단말기는 데이터의 송 수신 및 분산처리 등의 업무를 수행하기 위하여 데이터의 크기를 축소시키는 압축률 향상이 매우 크게 대두되어졌다. 일반적으로 텍스트의 압축에는 LZW(Lempel Ziv Welch)알고리즘을 활용하고 있다. 그러나 LZW알고리즘은 1Byte 조합형 텍스트(알파벳 등)의 압축에는 효율적이나 2Byte 완성형 텍스트(한글 등)에 압축률이 현저하게 저하되는 단점을 가지고 있다. 이를 극복하기 위하여 본 논문에서는 2Byte 전위 필드(prefix)와 반복 계수를 위한 1Byte 후위 필드(suffix)를 사용하는 확장된 ELZW(EBCDIC Lempel Ziv Welch)알고리즘을 제안한다. 제안 알고리즘은 압축률 증가를 위해 압축사전을 구성하여, 알파벳, 한글, 포인터에 따라 각각 서로 다른 비트 스트링으로 적절하게 패킹된다. 제안하는 알고리즘의 성능분석을 위하여 각 140,355byte의 영문, 한글, 한영혼용 텍스트를 비교 실험하였고, 실험결과 제안한 ELZW알고리즘의 압축률은 기존의 1Byte 방식의 LZW 알고리즘보다 5.22% 더 우수하고, 2Byte LZW 알고리즘 보다 8.96% 더 우수함을 보였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 1999년도 가을 학술발표논문집 Vol.26 No.2 (1)
• /
• pp.658-660
• /
• 1999

Ziv-Lempel 코딩 방식은 문자열이 반복해서 나올 때 뒤에 나오는 문자열을 앞에 나온 문자열에 대한 포인터로 대칭시킴으로써 압축을 한다. 따라서 이 방식을 위해서는 앞서 나온 문자열을 유지하는 사전과 문자열 매칭이 필수적이다. 그래서 이 두 가지에 효율적인 자료구조인 접미사 트리를 Ziv-Lempel 코딩 방식에 적용시키려고, 그 이후에 Fiala, Greene와 Larsson은 각각 McCreight와 Ukkonen의 접미사 트리 생성 알고리즘을 LZ77 코딩에 이용하였다. 접미사 트리를 이용한 Zv-Lempel 코딩에는 만들어진 사전, 즉 접미사 트리와 앞으로 압축될 문자열과의 가장 긴 매치는 찾는 과정이 있다. 이는 단순히 접미사 트리의 루트부터 차례로 검색해 나가도 되지만 이렇게 했을 때 걸리는 시간은 노드에서 자식을 찾는데 걸리는 분기 결정 시간에 의해 좌우된다. 즉 분기에 성형 시간 이상이 걸리면 가장 긴 매치를 찾는데도 역시 선형 시간 이상이 걸린다. 게다가 이 방법은 자기 중복(self-overlapping)의 이점을 살릴 수가 없다. Rodeh, Pratt와 Even은 McCreight의 생성 알고리즘을 이용할 때 가장 긴 매치를 바로 찾을 수 있다는 것을 발견했다. 그러나 Ukkonend의 알고리즘에 대해서는 아직 이러한 방법이 알려지지 않았다. 본 논문에서는 Ukkonen의 알고리즘에 몇가지 작업을 추가하여 전체적으로 선형시간안에 가장 긴 매치를 찾는 방법을 소개한다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제14권12호
• /
• pp.4648-4663
• /
• 2020

This paper proposes the Lempel-Ziv 4(LZ4) compression accelerator optimized for scale-out servers in data centers. In order to reduce CPU loads caused by compression, we propose an accelerator solution and implement the accelerator on an Field Programmable Gate Array(FPGA) as heterogeneous computing. The LZ4 compression hardware accelerator is a fully pipelined architecture and applies 16 dictionaries to enhance the parallelism for high throughput compressor. Our hardware accelerator is based on the 20-stage pipeline and dictionary architecture, highly customized to LZ4 compression algorithm and parallel hardware implementation. Proposing dictionary architecture allows achieving high throughput by comparing input sequences in multiple dictionaries simultaneously compared to a single dictionary. The experimental results provide the high throughput with intensively optimized in the FPGA. Additionally, we compare our implementation to CPU implementation results of LZ4 to provide insights on FPGA-based data centers. The proposed accelerator achieves the compression throughput of 639MB/s with fine parallelism to be deployed into scale-out servers. This approach enables the low power Intel Atom processor to realize the Hadoop storage along with the compression accelerator.

• 한국통신학회논문지
• /
• 제23권7호
• /
• pp.1817-1823
• /
• 1998

이 논문에서는 비통기식 데이터 압축의 국제 표준으로 되어있는 Lempel-Ziv-Welch 부호의 일종인 V.42bis 방식을 데이터의 고속 전송에 적용할 경우 압축 과정에서 나타나는 여러 현상들을 분석하고 이에 맞는 변형기법을 제안한다. 제안된 기법은 압축률을 결정하는 중요한 요인중의 하나인 부호책의 크기를 최적화하고, 부호책의 갱신 방법을 개선하여 압축률을 향상시킨다. 또 빈번한 압축 형식 전환에서 오는 문제점을 분석하고 형식 전환에 사용되는 문턱값 조절로 이를 어느정도 개선하여, 압축률의 시간에 따른 변화를 줄인다는 측면에서 성능 향상을 이루었다. 후자의 개선은 데이터의 고속 전송시에 완충기(buffer) 설계 및 제어에 중요한 기여를 한다.

• 전자공학회논문지C
• /
• 제34C권3호
• /
• pp.23-36
• /
• 1997

In tis paper, sthe new data model for the hardware implementation of lempel-ziv compression algorithm was proposed. Traditional model generates the codeword which consists of 3 bytes, the last symbol, the position and the matched length. MSB (most significant bit) of the last symbol is the comparession flag and the remaining seven bits represent the character. We confined the value of the matched length to 128 instead of 256, which can be coded with seven bits only. In the proposed model, the codeword consists of 2 bytes, the merged symbol and the position. MSB of the merged symbol is the comression flag. The remaining seven bits represent the character or the matched length according to the value of the compression flag. The proposed model reduces the compression ratio by 5% compared with the traditional model. The proposed model can be adopted to the existing hardware architectures. The incremental factors of the compression ratio are also analyzed in this paper.