• 전자공학회논문지CI
• /
• 제41권3호
• /
• pp.55-65
• /
• 2004

신경회로망을 이용하여 주어진 문제를 해결할 때, 문제의 복잡도에 맞는 구조를 찾는 것이 중요하다. 이것은 신경회로망의 복잡도가 학습능력과 일반화 성능에 크게 영향을 주기 때문이다. 그러므로, 문제에 적합한 신경회로망의 구조를 자기 구성적으로 찾는 알고리즘이 유용하다. 본 논문에서는 시그모이드 활성함수를 가지는 전방향 다층 신경회로망에 대하여 주어진 문제에 맞는 구조를 결정하는 알고리즘을 제안한다. 개발된 알고리즘은 구조증가 알고리즘과 연결소거 알고리즘을 이용하여, 주어진 학습 데이터에 대해 가능한 한 작은 구조를 가지며 일반화 성능이 좋은 최적에 가까운 신경회로망을 찾는다. 네 가지 함수 근사화 문제에 적용하여 알고리즘의 성능을 알아본다. 실험 결과에서, 제안한 알고리즘이 기존의 알고리즘 및 고정구조를 갖는 신경회로망과 비교하였을 때 최적 구조에 가까운 신경회로망을 구성하는 것을 확인한다.

• 전자통신동향분석
• /
• 제38권5호
• /
• pp.12-22
• /
• 2023

The development of neural networks is evolving towards the adoption of transformer structures with attention modules. Hence, active research focused on extending the concept of lightweight neural network algorithms and hardware acceleration is being conducted for the transition from conventional convolutional neural networks to transformer-based networks. We present a survey of state-of-the-art research on lightweight neural network algorithms and hardware architectures to reduce memory usage and accelerate both inference and training. To describe the corresponding trends, we review recent studies on token pruning, quantization, and architecture tuning for the vision transformer. In addition, we present a hardware architecture that incorporates lightweight algorithms into artificial intelligence processors to accelerate processing.

• 한국경영과학회지
• /
• 제27권1호
• /
• pp.33-51
• /
• 2002

A fully connected Artificial Neural Network (ANN) contains many connections. Compared to the pruned ANN with fewer connections, the fully connected ANN takes longer time to produce solutions end may not provide appropriate solutions to new unseen date. Therefore, by reducing the sloe of ANN, we can overcome the overfitting problem and increase the computing speed. In this research, we reduced the size of ANN by destroying the connections. In other words, we investigated the performance change of the reduced ANN by systematically destroying the connections. Then we found the acceptable level of connection-destruction on which the resulting ANN Performs as well as the original fully connected ANN. In the previous researches on the sloe reduction of ANN, the reduced ANN had to be retrained every time some connections were eliminated. Therefore, It tool lolly time to obtain the reduced ANN. In this research, however, we provide the acceptable level of connection-destruction according to the size of the fully connected ANN. Therefore, by applying the acceptable level of connection-destruction to the fully connected ANN without any retraining, the reduced ANN can be obtained efficiently.

• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 2003년도 ISIS 2003
• /
• pp.620-623
• /
• 2003

The TAM (Topographic Attentive Mapping) network is a biologically-motivated neural network. Fuzzy rules are acquired from the TAM network by the pruning algorithm. In this paper we formulate a new input layer using Gabor function for TAU network to realize receptive field of human visual cortex.

• 한국산업정보학회논문지
• /
• 제22권5호
• /
• pp.17-24
• /
• 2017

최근 딥러닝, 즉 거대 또는 깊은 인공신경망을 사용한 기술이 놀라운 성능을 보이고 있고, 점차로 그 네트워크의 규모가 커지고 있다. 하지만, 신경망 크기의 증가는 계산양의 증가로 이어져서 회로의 복잡성, 가격, 발열, 실시간성 제약 등의 문제를 야기한다. 또한, 신경망 연결에는 많은 중복성이 존재한다, 본 연구에서는 이 중복성을 효과적으로 제거하여 이용하여 원 신경망의 성능과 원하는 범위안의 차이를 보이면서, 네트워크 연결의 수를 줄이는 방법을 제안하고 실험하였다. 특히, 재학습에 의하여 성능을 향상시키고, 각 계층별 차이를 고려하기 위하여 계층별 오류율을 할당하여 원하는 성능을 보장할 수 있는 간단한 방법을 제안하였다. 대표적인 영상인식 신경망구조인 FCN (전연결) 구조와 CNN (컨벌루션 신경망) 구조에서 대하여 실험한 결과 약 1/10 정도의 연결만으로도 원 신경망과 유사한 성능을 보일 수 있음을 확인하였다.

• Journal of Positioning, Navigation, and Timing
• /
• 제8권4호
• /
• pp.193-200
• /
• 2019

The auto-encoder network which is a good candidate to handle the modeling of the signal strength attenuation is designed for denoising and compensating the distortion of the received data. It provides a non-linear mapping function by iteratively learning the encoder and the decoder. The encoder is the non-linear mapping function, and the decoder demands accurate data reconstruction from the representation generated by the encoder. In addition, the adaptive network width which supports the automatic generation of new hidden nodes and pruning of inconsequential nodes is also implemented in the proposed algorithm for increasing the efficiency of the algorithm. Simulation results show that the proposed method can improve the neural network training surface to achieve the highest possible accuracy of the signal modeling compared with the conventional modeling method.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제30권7_8호
• /
• pp.649-658
• /
• 2003

본 연구에서는 ART2 신경회로망의 성능을 개선하기 위한 계층적 구조를 제안하고, 구성된 클러스터에 대하여 적합도(fitness) 선택을 통한 빠르고 효과적인 패턴 분류 모델(HART2)을 제안한다. 본 논문에서 제안하는 신경회로망은 비지도 학습을 통하여 대략적으로 1차 클러스터를 형성하고, 이 각각의 1차 클러스터로 분류된 패턴에 대해 지도학습을 통한 2군 클러스터를 생성하여 패턴을 분류하는 계층적 신경회로망이다. 이 신경회로망을 이용한 패턴분류 과정은 먼저 입력패턴을 1차 클러스터와 비교하여 유사한 몇 개의 1차 클러스터를 적합도에 따라 선택한다. 이때, 입력패턴과 클러스터들간의 상대 측정 거리비에 기반한 적합도 함수를 도입하여 1차 클러스터에 연결된 클러스터들을 Pruning 함으로써 계층적인 네트워크에서의 속도 향상과 정확성을 추구하였다. 마지막으로 입력패턴과 선택된 1차 클러스터에 연결된 2차 클러스터와의 비교를 통해 최종적으로 패턴을 분류하게 된다. 본 논문의 효율성을 검증하기 위하여 22종의 한글 및 영어 글꼴에 대한 숫자 데이타를 다양한 형태로 변형시켜 확장된 테스트 패턴에 대하여 실험해 본 결과 제안된 신경회로망의 패턴 분류 능력의 우수함을 증명하였다

• 방송공학회논문지
• /
• 제25권2호
• /
• pp.200-207
• /
• 2020

CNN 기반 인공신경망은 영상 분류, 객체 인식, 화질 개선 등 다양한 분야에서 뛰어난 성능을 보이고 있다. 그러나, 많은 응용에서 딥러닝(Deep Learning) 모델의 복잡도 및 연산량이 방대해짐에 따라 IoT 기기 및 모바일 환경에 적용하기에는 제한이 따른다. 따라서 기존 딥러닝 모델의 성능을 유지하면서 모델 크기를 줄이는 인공신경망 압축 기법이 연구되고 있다. 본 논문에서는 인공신경망 압축기법을 통하여 원본 CNN 모델을 압축하고, 압축된 모델을 임베디드 시스템 환경에서 그 성능을 검증한다. 성능 검증을 위해 인공지능 지원 맞춤형 칩인 QCS605를 내장한 임베디드 보드에서 카메라로 입력한 영상에 대해서 원 CNN 모델과 압축 CNN 모델의 분류성능과 추론시간을 비교 분석한다. 본 논문에서는 이미지 분류 CNN 모델인 MobileNetV2, ResNet50 및 VGG-16에 가지치기(pruning) 및 행렬분해의 인공신경망 압축 기법을 적용하였고, 실험결과에서 압축된 모델이 원본 모델 분류 성능 대비 2% 미만의 손실에서 모델의 크기를 1.3 ~ 11.2배로 압축했을 뿐만 아니라 보드에서 추론시간과 메모리 소모량을 각각 1.2 ~ 2.1배, 1.2 ~ 3.8배 감소함을 확인했다.

• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 2003년도 ISIS 2003
• /
• pp.415-418
• /
• 2003

Fuzzy modelling has the approximation property far the given input-output relationship. Especially, Takagi-Sugeno fuzzy models are widely used because they show very good performance in the nonlinear function approximation problem. But generally there is not the systematic method incorporating the human expert's knowledge or experience in fuzzy rules and it is not easy to End the membership function of fuzzy rule to minimize the output error as well. The ANFIS (Adaptive Network-based Fuzzy Inference Systems) is one of the neural network based fuzzy modelling methods that can be used with various type of fuzzy rules. But in this model, it is the problem to End the optimum number of fuzzy rules in fuzzy model. In this paper, a new fuzzy modelling method based on the ANFIS and pruning techniques with the measure named impact factor is proposed and the performance of proposed method is evaluated with several simulation results.

• 지능정보연구
• /
• 제4권1호
• /
• pp.79-87
• /
• 1998

정확한 태풍진로 예측은 동아시아 최대의 자연재해인 태풍의 피해를 최소화하는데 필수적이다. 기상역학에 기초를 둔 수치모델과 회귀분석등의 통계적 접근법이 사용되어왔다. 본 논문에서는 비선형 신경망모델인 다층퍼셉트론을 제안한다. 즉, 태풍진로예측을 이동경로, 속도, 기압 등의 변수로 이루어진 시계열의 예측으로 본다. 1945년부터 1989년까지 한반도에 접근한 태풍 데이터를 이용하여 제안된 신경망을 학습한 후, 94, 95년도에 접근한 태풍의 진로를 예측하였다. 신경망의 예측성능은 수치모델의 성능보다 조금 우수하거나 비슷하였다. 신경망의 성능은 충분히 더 향상될 수 있는 여지가 있다. 또한, 고가의 슈퍼컴퓨터로 여러 시간 계산을 해야하는 수치모델에 비하여 PC상에서 수초만에 계산을 할 수 있는 신경망 모델은 비용 면에서도 장점이 있다.