• 전자공학회논문지C
• /
• 제35C권2호
• /
• pp.56-64
• /
• 1998

Multi-layered perceptrons that are a nonlinear neural network model, have been widely used for various applications mainly thanks to good function approximation capability for nonlinear fuctions. However, for digital hardware implementation of the multi-layere perceptrons, the quantization scheme using "look-up tables (LUTs)" is commonly employed to handle nonlinear signmoid activation functions in the neworks, and thus requires large amount of storage to prevent unacceptable quantization errors. This paper is concerned with a new effective methodology for digital hardware implementation of multi-layered perceptrons, and proposes a "piecewise affine approximation" method in which input domain is divided into (small number of) sub-intervals and nonlinear sigmoid function is linearly approximated within each sub-interval. Using the proposed method, we develop an expression and an error backpropagation type learning algorithm for a multi-layered perceptron, and compare the performance with the quantization method through Monte Carlo simulations on XOR problems. Simulation results show that, in terms of learning convergece, the proposed method with a small number of sub-intervals significantly outperforms the quantization method with a very large storage requirement. We expect from these results that the proposed method can be utilized in digital system implementation to significantly reduce the storage requirement, quantization error, and learning time of the quantization method.quantization method.

• ETRI Journal
• /
• 제45권1호
• /
• pp.119-130
• /
• 2023

We propose a quantized gradient search algorithm that can achieve global optimization by monotonically reducing the quantization step with respect to time when quantization is composed of integer or fixed-point fractional values applied to an optimization algorithm. According to the white noise hypothesis states, a quantization step is sufficiently small and the quantization is well defined, the round-off error caused by quantization can be regarded as a random variable with identically independent distribution. Thus, we rewrite the searching equation based on a gradient descent as a stochastic differential equation and obtain the monotonically decreasing rate of the quantization step, enabling the global optimization by stochastic analysis for deriving an objective function. Consequently, when the search equation is quantized by a monotonically decreasing quantization step, which suitably reduces the round-off error, we can derive the searching algorithm evolving from an optimization algorithm. Numerical simulations indicate that due to the property of quantization-based global optimization, the proposed algorithm shows better optimization performance on a search space to each iteration than the conventional algorithm with a higher success rate and fewer iterations.

• 한국감성과학회:학술대회논문집
• /
• 한국감성과학회 1997년도 한국감성과학회 연차학술대회논문집
• /
• pp.146-151
• /
• 1997

Recntly many devics print electronic images in a variety of ways. But the reproduced color, gamut mappung method and expanded nonlinear quantization are proposed. The color gamut mapping uses saturation mapping of HSI color space. Dithering operation for printing uses expanded nonlinear quantization which considers overlapping phenomena of neighboring printing dots. So the printed image is similar to the image of monitor and can produce high quality image in the low bit color devices.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 1999년도 하계종합학술대회 논문집
• /
• pp.569-574
• /
• 1999

New methods for both color palette design and dithering based on human visual system (HVS) characteristics are proposed. Color quantization for palette design uses the relative visual sensitivity and spatial masking effect of HVS. The dithering operation for printing uses nonlinear quantization, which considers the overlapping phenomena among neighbor printing dots, and then a modified dot-diffusion algorithm is followed to compensate the degradation produced in the quantization process. The proposed techniques can produce high quality image in the low-bit color devices.

• 전자공학회논문지B
• /
• 제33B권3호
• /
• pp.88-95
• /
• 1996

Recently, the use of color data is growing fast in the area of image processing. To represent full resolution image on a limited output device, image has to be quantized an dithered. So, many dithering techniques are foundd in the printing. In this paper, we propose nonlinear quantization to consider the overlapping phenomena of neighboring printing dots and modified dot diffusion algorithm to compensate the color degradation produced in the quantization process. In the modified dot-diffusion quantization errors to be diffused are adjusted to improve both image blur and color change produced in the dot diffusion. The printed image obtained by the proposed color dithering method has higher visual quality an less color degradation than the images by conventional printing method.

• 한국지능시스템학회논문지
• /
• 제26권5호
• /
• pp.375-382
• /
• 2016

본 논문에서는 다차원 인접화소 간 명암차 기반 극좌표의 비선형 양자화 히스토그램을 이용한 서명인식을 제안한다. 다차원 인접화소 간 명암차는 기준화소를 중심으로 횡방향, 종방향, 대각 방향, 역대각 방향 각각의 이웃화소 간 명암차이고, 극좌표는 횡과 종 방향 및 대각과 비대각 방향 각각의 직교좌표로부터 변환된 좌표이며, 비선형 양자화 히스토그램은 반복계산 기법인 Lloyd 알고리즘에 의해 극좌표 값을 비균일 양자화한 히스토그램이다. 여기서 4방향 명암차의 극좌표 히스토그램은 대응하는 화소간의 상관성을 좀 더 많이 고려할 뿐만 아니라 히스토그램의 수를 감소시켜 계산부하를 줄이기 위함이다. 또한 비선형 양자화는 화소간의 명암변화의 속성을 더욱 더 잘 반영할 뿐만 아니라 저차원의 히스토그램 레벨을 얻기 위함이다. 제안된 기법을 256*256 픽셀의 90개(3인*30개) 서명들을 대상으로 city-block거리, Euclidean 거리, 순서값, 그리고 정규상호상관계수 각각의 정합척도에 기반 한 실험결과, 선형 양자화 기반 히스토그램에 비해 우수한 인식성능을 가지며, Euclidean 거리가 가장 우수한 정합척도임을 확인하였다.

• 한국음향학회지
• /
• 제21권6호
• /
• pp.522-530
• /
• 2002

본 논문에서는 선형 예측 후에 얻어지는 잔차 신호 (residual signal)를 신경 회로망에 바탕을 둔 비선형 예측기로 예측하는 방법을 제안하였다. 신경 회로망을 이용한 예측 방법의 타당성을 입증하기 위해, 먼저 선형 장구간 예측기와 신경 회로망이 도입된 비선형 장구간 예측기의 성능을 서로 비교하였다. 그리고 비선형 예측 후의 잔차 신호를 양자화 하는 과정에서 발생하는 양자화 오차의 영향에 대해 분석하였다. 제안된 신경망 예측기는 예측 오차뿐만 아니라 양자화의 영향을 함께 고려하였으며, 양자화오차에 대한강인성을 갖게 하기 위하여 쿤-터커 (Kuhn-Tucker) 부등식 조건을 만족하는 제한조건 역전파 알고리즘을 새로이 제안하였다. 실험 결과, 제안된 신경망 예측기는 제한조건을 갖는 학습 알고리즘을 사용했음에도 불구하고, 예측 이득이 크게 뒤떨어지지 않는 성능을 나타내었다.

• 방송공학회논문지
• /
• 제25권2호
• /
• pp.157-165
• /
• 2020

본 논문에서는 임베디드 시스템에서의 양자화 기계학습을 수행할 경우 발생하는 양자화 오차를 효과적으로 보상하기 위한 방법론을 제안한다. 경사 도함수(Gradient)를 사용하는 기계학습이나 비선형 신호처리 알고리즘에서 양자화 오차는 경사 도함수의 조기 소산(Early Vanishing Gradient)을 야기하여 전체적인 알고리즘의 성능 하락을 가져온다. 이를 보상하기 위하여 경사 도함수의 최대 성분에 대하여 직교하는 방향의 보상 탐색 벡터를 유도하여 양자화 오차로 인한 성능 하락을 보상하도록 한다. 또한, 기존의 고정 학습률 대신, 내부 순환(Inner Loop) 없는 비선형 최적화 알고리즘에 기반한 적응형 학습률 결정 알고리즘을 제안한다. 실험 결과 제안한 방식의 알고리즘을 로젠블록 함수를 통한 비선형 최적화 문제에 적용할 시 양자화 오차로 인한 성능 하락을 최소화시킬 수 있음을 확인하였다.

• 한국지능시스템학회논문지
• /
• 제25권2호
• /
• pp.133-138
• /
• 2015

본 논문에서는 비균일 양자화에 기반을 둔 영상의 질감분석에 널리 이용되고 있는 gray level co-occurrence matrix(GLCM)의 성능개선을 제안하였다. 여기서 비균일 양자화는 평균자승오차의 최소화를 위한 반복계산 기법인 Lloyd 알고리즘을 이용하였다. 이는 영상에서의 비균일 양자화 과정으로 얻어지는 비선형의 명암레벨을 GLCM의 생성에 이용함으로써 행렬의 차원을 감소시켜, GLCM의 생성과 질감특성 파라미터들의 계산에 따른 부하를 줄이기 위함이다. 제안된 기법을 30개의 $120{\times}120$ 픽셀의 256 그레이 레벨을 가진 영상들을 대상으로 적용하여 angular second moment, contrast, variance, entropy, correlation, inverse difference moment 6개의 질감특성 파라미터들을 각각 계산한 실험결과, 양자화를 수행하지 않은 256 레벨 GLCM에 비해 계산시간과 저장 공간에서 개선된 성능이 있음을 확인하였다. 특히 48, 32, 16, 12, 8의 비균일 양자화 레벨 중에서 16일 때 가장 우수한 질감특성분석 성능이 있음을 알 수 있었다.

• 전기학회논문지
• /
• 제62권4호
• /
• pp.529-535
• /
• 2013

This paper considers the problem of robust stability for uncertain discrete-time interval time-varying delayed descriptor systems using any combinations of quantization and overflow nonlinearities. First, delay-dependent linear matrix inequality (LMI) condition for discrete-time descriptor systems with time-varying delay and quantization/overflow nonlinearities is presented by proper Lyapunov function. Second, it is shown that the obtained condition can be extended into descriptor systems with uncertainties such as norm-bounded parameter uncertainties and polytopic uncertainties by some useful lemmas. The proposed results can be applied to both descriptor systems and non-descriptor systems. Finally, numerical examples are shown to illustrate the effectiveness and less conservativeness.