• 제목/요약/키워드: Quantization Effect

검색결과 128건 처리시간 0.026초

Bit-width Aware Generator and Intermediate Layer Knowledge Distillation using Channel-wise Attention for Generative Data-Free Quantization

  • Jae-Yong Baek;Du-Hwan Hur;Deok-Woong Kim;Yong-Sang Yoo;Hyuk-Jin Shin;Dae-Hyeon Park;Seung-Hwan Bae
    • 한국컴퓨터정보학회논문지
    • /
    • 제29권7호
    • /
    • pp.11-20
    • /
    • 2024
  • 본 논문에서는 생성 모델을 이용한 데이터 프리 양자화에서 발생할 수 있는 지식 격차를 줄이기 위하여 BAG (Bit-width Aware Generator)와 채널 어텐션 기반 중간 레이어 지식 증류를 제안한다. 생성 모델을 이용한 데이터 프리 양자화의 생성자는 오직 원본 네트워크의 피드백에만 의존하여 학습하기 때문에, 양자화된 네트워크의 낮은 bit-width로 인한 감소된 수용 능력 차이를 학습에 반영하지 못한다. 제안한 BAG는 양자화된 네트워크와 동일한 bit-width로 양자화하여, 양자화된 네트워크에 맞는 합성 이미지를 생성하여 이러한 문제를 완화한다. 또한, 양자화된 네트워크와 원본 모델 간의 지식 격차를 줄이는 것 역시 양자화에서 매우 중요한 문제이다. 이를 완화하기 위해 제안한 채널 어텐션 기반 중간 레이어 지식 증류는 학생 모델이 교사 모델로부터 어떤 채널에 더 집중해서 학습해야 하는지를 가르친다. 제안한 기법의 효율성을 보이기 위해, CIFAR-100에서 학습한 원본 네트워크를 가중치와 활성값을 각각 3-bit로 양자화하여 학습을 수행하였다. 그 결과 56.14%의 Top-1 Accuracy를 달성하였으며, 베이스라인 모델인 AdaDFQ 대비 3.4% 정확도를 향상했다.

分子 Exciton 狀態에서의 Stark 效果 (Stark Effect in Molecular Exciton States)

  • 이조웅
    • 대한화학회지
    • /
    • 제19권5호
    • /
    • pp.304-316
    • /
    • 1975
  • 제이양자화 형식을 이용하여 분자 exciton 상태에서의 Stark 효과를 설명하는 이론을 전개하였다. 하나의 단위 세포당 두 개이상의 분자를 함유하는 결정에서의 스펙트럼 분리는 Stark효과 뿐만 아니라 Davydov 효과에도 관계 있으므로 이 두 효과를 모두 고려하여 결과에 반영되도록 하였다. 특히 단위세포당 두개의 분자를 함유하는 결정에 있어서의 스펙트럼 분리는 외부에서 걸어준 균일한 전기장의 세기에 따라 쌍곡선함수적으로 변한다는 것을 보였으며 이로부터 한 분자의 들뜬 상태에서의 쌍극자모멘트에 관한 정보를 얻을 수 있음을 밝혔다.

  • PDF

NMOSFET의 반전층 양자 효과에 관한 연구 (Analysis of Invesion Layer Quantization Effects in NMOSFETs)

  • 박지선;신형순
    • 대한전기학회논문지:전기물성ㆍ응용부문C
    • /
    • 제51권9호
    • /
    • pp.397-407
    • /
    • 2002
  • A new simulator which predicts the quantum effect in NMOSFET structure is developed. Using the self-consistent method by numerical method, this simulator accurately predicts the carrier distribution due to improved calculation precision of potential in the inversion layer. However, previous simulator uses analytical potential distribution or analytic function based fitting parameter Using the developed simulator, threshold voltage increment and gate capacitance reduction due to the quantum effect are analyzed in NMOS. Especially, as oxide thickness and channel doping dependence of quantum effect is analyzed, and the property analysis for the next generation device is carried out.

MB-OFDM UWB 시스템에서 초기 반송파 주파수 동기의 정확도 향상을 위한 다중 심볼 간격 추정 알고리즘 (A Multiple-Symbol Interval Estimation Algorithm for Precision Improvement of Initial Carrier-Frequency Synchronization in Multiband-OFDM UWB System)

  • 진용선;박계완
    • 전자공학회논문지 IE
    • /
    • 제47권3호
    • /
    • pp.35-40
    • /
    • 2010
  • 본 논문은 MB-OFDM UWB 시스템에서 양자화 잡음의 영향에 의해 저하된 초기 반송파 주파수 오프셋 추정의 정확도를 향상시키는 알고리즘을 제안한다. 일반적인 OFDM 시스템에서 반복적으로 이웃하는 프리엠블 심볼들이 초기 반송파 주파수 동기에 사용되지만, 수신부 A/D 변환기에서 발생한 양자화 잡음의 영향에 의해 주파수 오프셋 추정의 성능은 제한된다. 본 논문에서는 초기 주파수 동기를 위해 이웃하는 한 심볼 간격의 프리엠블 심볼을 사용하는 일반적 방식을 위상 모호성 (phase ambiguity)이 발생하지 않는 범위 안에서 바로 이웃하지 않는 다중 심볼 간격의 프리엠블 심볼에 기반한 방식으로 확장하여 초기 주파수 오프셋 추정의 성능을 향상시키는 다중 심볼 간격 추정 알고리즘이 제안된다. 또한 본 논문은 3-대역 도약 (hopping)하는 최대 30 개의 프리엠블 심볼이 4-비트 A/D 변환기를 통해 입력될 때 최적의 다중 심볼 간격이 '6'임을 구하여 제시한다. MB-OFDM UWB 시스템용 채널 환경에서의 시뮬레이션 결과, 제안된 다중 심볼 간격 추정 방식은 5 ppm 미만의 정확도로 초기 주파수 오프셋을 추정할 수 있음을 확인하였다.

음성 인식에서 음소 클러스터 수의 효과 (The Effect of the Number of Phoneme Clusters on Speech Recognition)

  • 이창영
    • 한국전자통신학회논문지
    • /
    • 제9권11호
    • /
    • pp.1221-1226
    • /
    • 2014
  • 본 논문에서는 음성 인식의 효율을 높이기 위하여 음소 클러스터 개수의 효과에 대해 연구하였다. 이를 위하여 음소 클러스터 개수를 바꾸어 가면서 수정된 k-평균 군집 알고리듬을 사용하여 코우드북을 작성하였다. 그런 다음, 퍼지 벡터 양자화와 은닉 마코브 모델을 사용하여 음성인식 테스트를 수행하였다. 실험 결과 두 개의 영역이 구분되어 나타났다. 음소 클러스터 개수가 클 때 인식 성능은 대체로 그와 무관하지만, 개수가 작을 때에는 그 감소와 더불어 인식 오류율이 비선형적으로 증가하는 것으로 나타났다. 수치 해석적 계산으로부터, 이 비선형 영역은 멱승함수에 의해 모델링 될 수 있었다. 또한 300개의 고립단어 인식의 경우에, 166개의 음소클러스터가 최적의 수임을 보일 수 있었다. 이는 음소당 3개 정도의 변화에 해당하는 값이다.

LOT와 2-채널 결합 코드북을 갖은 FSVQ를 이용한 영상 부호화 (Image Coding Using LOT and FSVQ with Two-Channel Conjugate Codebooks)

  • 채종길;황찬식
    • 한국통신학회논문지
    • /
    • 제19권4호
    • /
    • pp.772-780
    • /
    • 1994
  • 2-채널 결합 코드북을 사용한 벡터 양자화는 계산의 복잡성과 코드북의 기억용량을 줄일 수 있는 효과적인 방법으로 연구되었다. 본 논문에서는 FSVQ를 할 땐 나타나는 상태-코드북의 수를 줄이기 위한 방법으로 2-채널 결합 코드북을 이용하는 방법을 제안하였다. 2-채널 결합 벡터 양자화에서 입력벡터는 각 코드북의 상태데 따른 상태-코드북을 이용하여 부호화를 한다. 그리고 블록 부호화에서 나타나는 블록화 현상을 줄이며 높은 부호화 이득을 얻기 위한 방법으로 LOT를 적용하였다. 결과로 FSVQ는 일반적 벡터 양자화에 비하여 보다 높은 데이터 압축율을 얻을 수 있지만 매우 많은 상태 코드북을 가지는 단점을 가지고 있다. 그러나 2-채널 결합 코드북을 이용한 FSVQ는 하나의 코드북을 사용한 기존의 FSVQ에 비하여 PSNR면에서는 약간의 손실이 있다는 단점을 가지지만 상태-코드북의 수를 현저히 감소시킬 수 있는 장점을 갖는다. 그리고 공간영역 신호에서의 FSVQ보다 LOT영역 신호에서의 FSVQ는 블록화를 줄일 수 있을 뿐 아니라 보다 높은 PSNR을 얻을 수 있는 효율적인 방법으로 나타났다.

  • PDF

시간-보간법을 활용한 5-bit FLASH ADC (5-bit FLASH A/D Converter Employing Time-interpolation Technique)

  • 남재원;조영균
    • 융합정보논문지
    • /
    • 제11권9호
    • /
    • pp.124-129
    • /
    • 2021
  • 본 연구는 시간-보간법을 적용한 FLASH analog-to-digital converter (ADC)에 관한 것이다. 시간-보간법은 기존의 FLASH ADC에서 요구되는 전압영역 비교기의 개수를 줄일 수 있으며 이 따른 전력 소모 및 칩 면적의 절약을 기대할 수 있다. 본 연구에서는 5-bit, 즉 31개의 양자화 레벨을 갖는 ADC를 설계 및 구현하였으며, 16개의 양자화 레벨은 기존의 전압영역 비교기 방식을 유지하고, 나머지 15개의 양자화 레벨은 시간영역 비교기를 통하여 처리되도록 구성하여, 기존 5-bit FLASH ADC 대비 전압영역 비교기의 숫자를 48.4% 줄일 수 있었다. 시제품은 14 nm Fin Field-effect transistor (FinFET) 공정으로 제작되었으며 구현면적은 0.0024 mm2, 전력소모는 0.8 V 전원전압에서 0.82 mW로 측정되었으며, 400 MS/s의 변환속도 21 MHz 정현파 입력에 대하여 ADC는 28.03 dB의 신호-대-잡음비 (SNDR), 즉 4.36 유효비트(ENOB)의 성능을 보였다.

폴리 게이트의 양자효과에 의한 Double-Gate MOSFET의 특성 변화 연구 (Poly-gate Quantization Effect in Double-Gate MOSFET)

  • 박지선;이승준;신형순
    • 대한전자공학회논문지SD
    • /
    • 제41권8호
    • /
    • pp.17-24
    • /
    • 2004
  • Density-gradient 방법을 이용하여 게이트의 양자효과가 double-gate MOSFET의 단채널 효과에 미치는 영향을 2차원으로 분석하였다. 게이트와 sidewall 산화막 경계면에서 발생하는 2차원 양자공핍 현상에 의하여 게이트 코너에 큰 전하 다이폴이 형성되며 subthreshold 영역에서 다이폴의 크기가 증가하고 classical 결과에 비하여 전자 농도와 전압 분포가 매우 다름을 알 수 있었다. Evanescent-nude분석을 통하여 게이트의 양자효과가 소자의 단채널 효과를 증가시키며 이는 기판에서의 양자효과에 의한 영향보다 크다는 것을 확인하였다. 양자효과에 의하여 게이트 코너에 형성되는 전하 다이폴이 단채널 효과를 증가시키는 원인임을 밝혔다.

The Effect of the Number of Clusters on Speech Recognition with Clustering by ART2/LBG

  • Lee, Chang-Young
    • 말소리와 음성과학
    • /
    • 제1권2호
    • /
    • pp.3-8
    • /
    • 2009
  • In an effort to improve speech recognition, we investigated the effect of the number of clusters. In usual LBG clustering, the number of codebook clusters is doubled on each bifurcation and hence cannot be chosen arbitrarily in a natural way. To have the number of clusters at our control, we combined adaptive resonance theory (ART2) with LBG and perform the clustering in two stages. The codebook thus formed was used in subsequent processing of fuzzy vector quantization (FVQ) and HMM for speech recognition tests. Compared to conventional LBG, our method was shown to reduce the best recognition error rate by 0${\sim$}0.9% depending on the vocabulary size. The result also showed that between 400 and 800 would be the optimal number of clusters in the limit of small and large vocabulary speech recognitions of isolated words, respectively.

  • PDF

A New Controller for Improvement of Response Time by Data Compression Using Color Space Conversion

  • Koo, Sung-Jo;Kim, Chang-Gon;An, Jong-Ki;Park, Man-Hyo;Yeo, Sang-Deog
    • 한국정보디스플레이학회:학술대회논문집
    • /
    • 한국정보디스플레이학회 2005년도 International Meeting on Information Displayvol.II
    • /
    • pp.863-864
    • /
    • 2005
  • In recent years, we use overdriving scheme to improve the response time of the liquid crystal. Since conventional overdriving scheme uses memory to perform ideal processing, it is desired to reduce system cost by decreasing the data stored in these SDRAMs. As a general compression method, quantization, sub-sampling and Block Truncation Coding ( BTC ) are used, which process data in block base and cause block effect. So we proposed new data compression method by color space conversion. Because this method compresses luminance and chrominance signal by different ratio, it can efficiently reduce error of block effect in decompression image.

  • PDF