• 한국통신학회논문지
• /
• 제29권8C호
• /
• pp.1113-1124
• /
• 2004

본 논문에서는 입력 영상을 실시간으로 압축 및 복원할 수 있는 하드웨어(hardware, H/W)의 구조를 제안하고 처리되는 영상의 보안 및 보호를 위한 워터마킹 기법(watermarking)을 제안하여 H/W로 내장하고자 한다. 영상압축과 복원과정을 하나의 FPGA 칩 내에서 처리할 수 있도록 요구되는 모든 영상처리 요소를 고려하였고 VHDL(VHSIC Hardware Description Language)을 사용하여 각각을 효율적인 구조의 H/W로 사상하였다. 필터링과 양자화 과정을 거친 다음에 워터마킹을 수행하여 최소의 화질 감소를 가지고 양자화 과정에 의해 워터마크의 소실이 없으면서 실시간으로 동작이 가능하도록 하였다. 구현된 하드웨어는 크게 데이터 패스부(data path part)와 제어부(Main Controller, Memory Controller)로 구분되고 데이터 패스부는 영상처리 블록과 데이터처리 블록으로 나누어진다. H/W 구현을 위해 알고리즘의 기능적인 간략화를 고려하여 H/W의 구조에 반영하였다. 동작은 크게 영상의 압축과 복원과정으로 구분되고 영상의 압축 시 대기지연 시간 없이 워터마킹이 수행되며 전체 동작은 A/D 변환기에 동기하여 필드단위의 동작을 수행한다. 구현된 H/W는 APEX20KC EP20K600CB652-7 FPGA 칩에서 69%(16980개)의 LAB(Logic Array Block)와 9%(28352개)의 ESB(Embedded System Block)을 사용하였고 최대 약 82MHz의 클록주파수에서 안정적으로 동작할 수 있어 초당 67필드(33 프레임)의 영상에 대해 워터마킹과 압축을 실시간으로 수행할 수 있었다.

• 대한전자공학회논문지SP
• /
• 제42권2호
• /
• pp.27-36
• /
• 2005

년 논문에서는 MPEG과 JPEG, H.26X 계열 등의 DCT-기반 영상/비디오 컨텐츠에 효과적인 암호화 방법을 제안하였고, 이를 최적화된 하드웨어로 구현하여 고속동작이 가능하도록 하였다. 영상/비디오의 압축, 복원 및 암호화로 인한 많은 연산량을 고려하여 영상의 중요한 정보(DC 및 DPCM계수)만을 암호화 대상 데이터로 선정하여 부분 암호화를 수행하였다. 그 결과 암호화에 소요되는 비용은 원 영상 전체를 암호화하는 비용이 감소하였다. 여기서 Nf는 GOP내의 프레임수이고 PI는 B와 P 프레임에 존재하는 인트라 매크로블록의 수이다. 암호화 알고리즘으로는 다중모드 AES, DES, 그리고 SEED를 선택적으로 사용할 수 있도록 하였다. 제안한 암호화 방법은 C++로 구현한 소프트웨어와 TM-5를 사용하여 약 1,000개의 영상을 대상으로 실험하였다 그 결과 부분 암호화된 영상으로부터 원 영상을 추측할 수 없어 암호화 효과가 충분함을 확인하였으며, 이 때 암호화에 의한 압축률 감소율은 $1.6\%$에 불과하였다. Verilog-HDL로 구현한 하드웨어 암호화 시스템은 하이닉스 $0.25{\mu}m$ CMOS 팬텀-셀 라이브러리를 사용하여 SynopsysTM의 디자인 컴파일러로 합성함으로써 게이트-수준 회로를 구하였다. 타이밍 시뮬레이션은 CadenceTM의 Verilog-XL을 이용해서 수행한 결과 100MHz 이상의 동자 주파수에서 안정적으로 동작함을 확인하였다. 따라서 제안된 암호화 방법 및 구현된 하드웨어는 현재 중요한 문제로 대두되고 있는 종단간(end-to-end) 보안에 대한 좋은 해결책으로 유용하게 사용될 수 있으리라 기대된다.

• 방송공학회논문지
• /
• 제21권3호
• /
• pp.341-348
• /
• 2016

HEVC 표준은 기존의 H.264 표준을 대체할 차세대 고효율 영상 압축 코덱이다. H.264 표준에 비해 약 50% 수준으로 비트레이트를 감소시켰지만 계산 복잡도는 약 1.4배 정도 증가하였다. 계산 복잡도를 낮추기 위해 다양한 고속화 알고리즘들이 제안되어 왔다. 인트라 코딩에는 rough mode decision(RMD) 기법이 적용되었다. 최적의 모드를 선정하기 위한 rate-distortion optimization (RDO) 과정은 복잡도가 높기 때문에 RMD를 사용하여 더 간소화된 방법으로 RDO 단계를 위한 후보 모드들을 선정한다. 그러나 큰 사이즈의 블록들의 경우 RMD 과정 역시 계산 복잡도를 줄일 필요가 있다. 본 논문에서는 RMD 과정에서 참조 픽셀을 가져오고, 예측 픽셀 생성하는 과정에서 다운 샘플링을 적용하였으며 참조 소프트웨어에 적용된 기존 RMD 방식에 비해 계산량을 70%가량 줄일 수 있었다. 이때 BDBR 증가는 0.04%로 미미한 수준이다. 제안한 다운샘플링 기법을 RMD 하드웨어에 적용하면 게이트 카운트는 약 33%, 버퍼의 크기는 약 66% 줄어든다.

• 대한전자공학회논문지SP
• /
• 제40권5호
• /
• pp.332-346
• /
• 2003

본 논문에서는 2차원 DWT(Discrete Wavelet Transform)를 이용하여 디지털 영상을 압축 및 복원할 수 있는 시스템을 구현하였다. 제시한 DWT 기반 영상압축 시스템은 크게 영상을 압축하는 FPGA 보드와 영상을 복원하는 응용 소프트웨어로 구성된다. 먼저 영상을 압축하는 FPGA는 A/D 변환기로부터 영상을 받아들여서 웨이블릿 변환을 이용하여 영상을 압축하고 PCI 인터페이스를 이용하여 PC로 저장하며, PC에 저장된 압축된 영상정보는 응용 소프트웨어를 이용하여 복원된다. 영상압축 시스템은 A/D 변환기에 동기하여 NTSC YCbCr(4:2:2)의 640×240 영상을 초당 약 60 필드 압축한다. 구현된 하드웨어는 APEX20KC EP20K1000CB652-7의 FPGA에서 11,120개의 LAB(Logic Array Block)와 27,456개의 ESB(Embedded System Block)를 사용하여 하나의 FPGA내에 사상되었다. 전체적으로 33MHz의 클럭을 사용하고 메모리 제어부는 100MHz의 클럭을 사용하여 동작한다.

• 한국통신학회논문지
• /
• 제41권12호
• /
• pp.1834-1843
• /
• 2016

DVR은 감시를 위한 가장 기본적인 저장 및 전송 장비다. 영상 압축은 DVR 저장 공간의 절약을 위해 중요한 역할을 하는데 영상 압축의 표준인 H.264/AVC가 최근 DVR을 위해 주로 선택 되고 있다. DVR은 빠른 순방향, 역방향 재생과 정지 같은 다양한 출력 모드를 요구하는데, 이러한 것들을 트릭 모드라고 한다. 정밀한 트릭 모드재생의 구현은 복잡한 연산을 처리하기 위한 매우 높은 디코딩 능력이나 지능적인 구조가 요구된다. 이 복잡 도는 하나 이상의 카메라를 사용하여 여러 장소를 모니터 하거나 하나의 장소를 다양한 각도에서 모니터하는 많은 감시 어플리케이션일 때 증가한다. 본 논문에는 여러 채널을 위한 하드웨어 기반의 H.264/AVC 코덱의 트릭 모드재생 구현과 프레임 버퍼 운용 기법을 제시하고 있다. 실험 결과는 비트스트림 크기의 증가를 대가로 키 프레임 인코딩 특성으로 H.264/AVC 비디오 코덱 표준을 사용한 정확한 트릭 모드 재생이 가능하다는 것을 보여준다.

• 대한임베디드공학회논문지
• /
• 제18권3호
• /
• pp.89-100
• /
• 2023

Recently, on-device artificial intelligence (AI) solutions using mobile devices and embedded edge devices have emerged in various fields, such as computer vision, to address network traffic burdens, low-energy operations, and security problems. Although vision transformer deep learning models have outperformed conventional convolutional neural network (CNN) models in computer vision, they require more computations and parameters than CNN models. Thus, they are not directly applicable to embedded edge devices with limited hardware resources. Many researchers have proposed various model compression methods or lightweight architectures for vision transformers; however, there are only a few studies evaluating the effects of model compression techniques of vision transformers on performance. Regarding this problem, this paper presents a performance evaluation of vision transformers on embedded platforms. We investigated the behaviors of three vision transformers: DeiT, LeViT, and MobileViT. Each model performance was evaluated by accuracy and inference time on edge devices using the ImageNet dataset. We assessed the effects of the quantization method applied to the models on latency enhancement and accuracy degradation by profiling the proportion of response time occupied by major operations. In addition, we evaluated the performance of each model on GPU and EdgeTPU-based edge devices. In our experimental results, LeViT showed the best performance in CPU-based edge devices, and DeiT-small showed the highest performance improvement in GPU-based edge devices. In addition, only MobileViT models showed performance improvement on EdgeTPU. Summarizing the analysis results through profiling, the degree of performance improvement of each vision transformer model was highly dependent on the proportion of parts that could be optimized in the target edge device. In summary, to apply vision transformers to on-device AI solutions, either proper operation composition and optimizations specific to target edge devices must be considered.

• 융합신호처리학회논문지
• /
• 제9권4호
• /
• pp.321-328
• /
• 2008

본 논문에서는 차세대 정지영상 압축 표준 JPEG2000 CODEC의 Wavelet 변환부와 양자화기의 하드웨어 구조를 제안하고 선계하였다. 본 논문의 칼라 2-D DWT 프로세서는 JPEG 2000 Hard-wired Encoder에 적용하기 위해 제안하였다. JPEG 2000DWT(Discrete Wavelet Transform)에서는 Daubechies 9/7 filter를 사용하였고 2-B DWT의 변환과 복원과정에서의 오차가 ${\pm}1$LSB 이내로 들어갈 수 있게 설계하였다. 기존에 설계되었던 filter의 하드웨어 구조에서 하드웨어 복잡도를 높이는 곱셈기를 사용하지 않고 shift-and-adder 구조를 사용하였다. 이것은 DWT 변환에서 가장 많은 연산을 차지하는 filter의 동작 속도를 향상시킬 수 있으며 하드웨어 복잡도도 낮출 수 있다. 본 시스템은 표준화된 하드웨어 설계 언어인 Verilog-HDL을 사용하여 설계하였고, Synopsys사의 Design Analyzer와 TSMC $0.25{\mu}m$ ASIC Library를 사용하여 검증하였다.

• 한국통신학회논문지
• /
• 제32권3C호
• /
• pp.297-305
• /
• 2007

본 논문에서는 주요 영화사들로 구성된 DCI(Digital Cinema Initiatives)에 의해 디지털 시네마를 위한 영상 압축 표준으로 제정된 Motion JPEG2000 부호화기를 FPGA를 타겟으로 구현하였다. JPEG2000의 주요 구성요소인 리프팅-기반의 DWT(Discrete Wavelet Transform)와 EBCOT(Embedded Block Coding with Optimized Truncation)의 Tier 1을 하드웨어로 구현하였고, Tier 2과정은 소프트웨어로 구현하였다. 디지털 시네마를 위해 입력 영상의 크기(tile size)는 최대 $1024\times1024$까지의 고해상도를 지원할 수 있도록 하였고, 실시간성을 보장하기 위해 3개의 엔트로피 부호화기를 사용하였다. Verilog-HDL을 이용하여 하드웨어로 구현했을 경우 Altera사의 Stratix EP1S80에서 32,470 LE (logic element)에 해당하는 자원을 사용하면서 FPGA에 사상되었고, 150Mhz의 주파수에서 안정적으로 동작하였다.

• 한국정보통신학회논문지
• /
• 제21권4호
• /
• pp.774-780
• /
• 2017

본 논문은 HEVC의 엔트로피 코딩방법인 CABAC 부호화기를 위한 효율적인 이진 산술 부호화기 하드웨어 구조를 제안한다. CABAC은 HEVC 표준에서 사용되는 엔트로피 코딩 방법으로 통계적 중복성을 제거하여 영상의 높은 압축률을 지원한다. 하지만 이진 산술 부호화(Binary Arithmetic Encode)는 데이터 간의 의존 관계가 높아 병렬처리가 어렵고 실시간 처리의 지연이 발생 된다. 제안하는 이진 산술 부호화기는 입력으로 들어오는 빈을 고속으로 처리하기 위하여 재정규화 과정을 분리 시켜 동작하도록 설계한다. 기존의 반복적인 알고리즘을 병렬적으로 처리함으로써 최대지연시간(Critical Path)을 최적으로 줄일 수 있는 4단계의 파이프라인 구조로 설계하였다. 또한, 멀티-빈 구조를 적용하여 클록 사이클 당 3개의 빈을 처리한다. 제안하는 CABAC의 이진 산술 부호화기는 Verilog-HDL로 설계하였으며 65nm 공정으로 합성하였다. 합성 결과 게이트수는 8.07K 이며 최대 동작주파수는 769MHz로 최대 빈 처리량은 2307Mbin/s이다. 제안하는 하드웨어 구조는 기존의 이진 산술 부호화기와 비교하여 최대 빈 처리량이 26% 만큼 증가 하였다.

• 방송공학회논문지
• /
• 제27권3호
• /
• pp.318-331
• /
• 2022

최근 하드웨어 연산 장치와 소프트웨어 기반 프레임워크의 발전으로 딥러닝 네트워크를 활용한 머신 태스크가 다양한 산업 분야 및 개인 IoT 장비에서의 활용이 기대되고 있다. 그러나 딥러닝 네트워크를 구동하기 위한 장치의 고비용 문제와 서버에서 머신 태스크 결과만을 전송받을 때 사용자가 요구하는 결과를 받지 못할 수 있다는 제한 사항을 극복하기 위하여 Collaborative Intelligence (CI)에서는 피처 맵의 전송을 그 해결 방법으로 제시하였다. 본 논문에서는 CI 패러다임을 지원하기 위하여 방대한 데이터 크기를 갖는 피처 맵의 효율적인 압축 방법을 실험을 통해 분석 및 제시하였다. 해당 방법은 전통적인 비디오 코덱에서의 압축 효율을 높이기 위하여 피처 맵의 재정렬을 적용하여 중복성을 높였으며, 정지 영상 압축 포맷과 동영상 압축 포맷을 동시에 활용하여 압축 효율을 높이고 머신 태스크의 성능을 유지하는 피처 맵 방법을 제시하였다. 본 논문에서는 이와 같은 방법의 분석을 통해 MPEG-VCM의 피처 압축 앵커 대비 BPP와 mAP의 BD-rate에서 14.29%의 성능이 향상됨을 검증하였다.