• 제목/요약/키워드: Data-free Quantization

검색결과 5건 처리시간 0.019초

Bit-width Aware Generator and Intermediate Layer Knowledge Distillation using Channel-wise Attention for Generative Data-Free Quantization

  • Jae-Yong Baek;Du-Hwan Hur;Deok-Woong Kim;Yong-Sang Yoo;Hyuk-Jin Shin;Dae-Hyeon Park;Seung-Hwan Bae
    • 한국컴퓨터정보학회논문지
    • /
    • 제29권7호
    • /
    • pp.11-20
    • /
    • 2024
  • 본 논문에서는 생성 모델을 이용한 데이터 프리 양자화에서 발생할 수 있는 지식 격차를 줄이기 위하여 BAG (Bit-width Aware Generator)와 채널 어텐션 기반 중간 레이어 지식 증류를 제안한다. 생성 모델을 이용한 데이터 프리 양자화의 생성자는 오직 원본 네트워크의 피드백에만 의존하여 학습하기 때문에, 양자화된 네트워크의 낮은 bit-width로 인한 감소된 수용 능력 차이를 학습에 반영하지 못한다. 제안한 BAG는 양자화된 네트워크와 동일한 bit-width로 양자화하여, 양자화된 네트워크에 맞는 합성 이미지를 생성하여 이러한 문제를 완화한다. 또한, 양자화된 네트워크와 원본 모델 간의 지식 격차를 줄이는 것 역시 양자화에서 매우 중요한 문제이다. 이를 완화하기 위해 제안한 채널 어텐션 기반 중간 레이어 지식 증류는 학생 모델이 교사 모델로부터 어떤 채널에 더 집중해서 학습해야 하는지를 가르친다. 제안한 기법의 효율성을 보이기 위해, CIFAR-100에서 학습한 원본 네트워크를 가중치와 활성값을 각각 3-bit로 양자화하여 학습을 수행하였다. 그 결과 56.14%의 Top-1 Accuracy를 달성하였으며, 베이스라인 모델인 AdaDFQ 대비 3.4% 정확도를 향상했다.

A Revocable Fingerprint Template for Security and Privacy Preserving

  • Jin, Zhe;Teoh, Andrew Beng Jin;Ong, Thian Song;Tee, Connie
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제4권6호
    • /
    • pp.1327-1342
    • /
    • 2010
  • With the wide deployment of biometric authentication systems, several issues pertaining security and privacy of the biometric template have gained great attention from the research community. To resolve these issues, a number of biometric template protection methods have been proposed. However, the design of a template protection method to satisfy four criteria, namely diversity, revocability and non-invertibility is still a challenging task, especially performance degradation when template protection method is employed. In this paper, we propose a novel method to generate a revocable minutiae-based fingerprint template. The proposed method consists of feature extraction from fingerprint minutiae pairs, quantization, histogram binning, binarization and eventually binary bit-string generation. The contributions of our method are two fold: alignment-free and good performance. Various experiments on FVC2004 DB1 demonstrated the effectiveness of the proposed methods.

고품질 스테레오 음악을 위한 오디오 워터마크 정보 삽입/추출 기술 (An Embedding /Extracting Method of Audio Watermark Information for High Quality Stereo Music)

  • 배경율
    • 지능정보연구
    • /
    • 제24권2호
    • /
    • pp.21-35
    • /
    • 2018
  • 본 논문에서는 스테레오 음악에 오디오 워터마크를 삽입하기 위한 알고리즘을 제안하였다. 스테레오 음악은 2개의 채널을 갖고 있기 때문에 기존 워터마킹 기술은 일반적으로 각 채널을 독립적으로 생각하고 처리하는 경우가 많다. 그러나 스테레오를 모노로 변환하는 과정에서 워터마크의 손실이 발생하는 경우가 많이 발생할 수 있다. 제안한 알고리즘은 스테레오를 모노로 변환하더라도 워터마크의 손실이 발생하지 않도록 워터마크를 삽입할 때 스테레오와 모노변환의 특성을 이용하였다. 제안된 알고리즘에 사용된 오디오 워터마크는 "Copyright"와 "Copy_free"라는 두 가지 정보를 터보코드를 이용하여 생성하였다. 두 워터마크는 9바이트(72비트)로 이루어져 있으며, 오류정정을 위하여 터보코드를 적용하면 222비트로 삽입해야 하는 정보량이 늘어난다. 222비트의 워터마크는 추가적인 오류에 강인하도록 1024비트로 확장하여 최종적으로 스테레오 음악에 삽입할 워터마크로 사용하였다. 평균적으로 SNR은 40dB를 넘어서서 전통적인 양자화 방식보다 10dB 이상의 음질 개선을 가져왔다. 이는 상대적으로 10배의 음질 개선도를 의미하는 것으로 매우 유의미한 결과이다. 또한 워터마크의 추출에 필요한 샘플길이는 1초 이내의 길이면 충분히 추출이 가능하고, 128Kbps의 비트레이트를 갖는 MP3 압축에 대해서도 모두 1초 이내 길이의 음악 샘플로부터 워터마크의 완전한 추출이 가능하였다. 전통적인 양자화 방식이 10초 길이의 샘플을 이용해도 대부분 워터마크의 추출에 실패한 것에 비하면 1/10에 불과한 길이로 워터마크의 추출이 가능하다.

고정밀 저속 다중채널 아날로그-디지털 변환기 (Multi-Channel AD Converters with High-Resolution and Low-Speed)

  • 배성환;이창기
    • 한국전자통신학회논문지
    • /
    • 제3권3호
    • /
    • pp.165-169
    • /
    • 2008
  • 계측 및 측정분야에 사용되는 아날로그-디지털 변환기는 우수한 선형성과 무시할 만큼 적은 dc 오프셋 특성을 갖으면서 높은 정밀도를 요구한다. 증분형 변환기는 전형적인 ${\Delta}{\Sigma}$ 변환기의 대부분의 장점을 보유하면서 측정 응용분야에 적합한 해법을 제공한다. 또한 이러한 형태의 변환기는 오프셋 조정이 필요 없이 정확한 변환을 할 수 있다. 대부분 이전의 증분형 변환기에 관한 연구는 단일-채널과 dc 신호 응용에 초점을 맞추었으며 20 비트 이상의 해상도보다 더 정확한 데이터 변환을 할 수 초정밀 데이터 변환에 관한 연구도 있었다. 본 논문에서는 협대역 ac 신호를 변환시켜 주는 다중화 증분형 데이터 변환기의 구현 기술을 제안한다. 또한 다중화 증분형 데이터 변환기의 SQTNR을 최적화하는 설계 방법을 제안한다. 동작 원리, 토폴로지, 그리고 디지털 decimation 필터 설계에 대해 논의한다. 시뮬레이션 결과를 통해 제안한 이론에 대한 우수성을 검증한다.

  • PDF

홍채표지와 비만지표와의 상관성 연구 (A Study on the Correlation between Iris Markings and Obesity Indices)

  • 임영우;박성일;박영재;박영배
    • 대한한의진단학회지
    • /
    • 제17권2호
    • /
    • pp.112-121
    • /
    • 2013
  • Objectives This study analyze the correlation between iris markings and the obesity level shown in body composition indices. And It quantitatively evaluates iris markings according to the level of obesity to improve a clinical application plan for the iris analysis. Methods This study analyzed the iris and body composition through the quantization of iris markings for 28 female patients. It calculated descriptive statistics by using SPSS 13.0 and investigated correlation coefficients of non-parametric Spearman in order to analyze the relation between iris markings and body composition indices. Results Considering the correlation between iris markings and body composition indices, an area of the pupil had a significant positive correlation with height and with fat-free amount such as body water, protein, and minerals. BMI showed significant positive correlations with the length of the autonomic nerve wreath and the ratio of the autonomic nerve wreath, and the area of the autonomic nerve wreath. Moreover, the number of lacunas in the pancrea area had a significant positive correlation with weight and BMI. Conclusions This study objectifies the quantification of iris markings to identify the correlation between iris markings and the level of obesity. The study results will be used as a basic data to make standards for the diagnosis of obesity, the treatment of related diseases, and the diagnosis of iris markings for prevention.