• 한국정보처리학회논문지
• /
• 제7권2호
• /
• pp.385-391
• /
• 2000

최근, 기존의 통계적 분석방법과는 달리 시계열 데이터를 이용하여 미래의 연속적인 지배의 법칙을 예측하기 위한 신경회로망 연구가 진행되고 있다. 본 논문에서는 빠르고 정확한 기상예측을 위하여 초기 임의 설계된 신경회로망의 은닉층중과(過)설계된 은닉노드를 제거하는 Pruning 알고리즘을 제안하며, 이 제안한 알고리즘의 효율성을 증명하기 위하여 1987년부터 1996년까지의 수집된 기상 데이터 22080건을 이용하여 기상예측 실험을 실행하였다. 실험을 통하여 초기 임의 구성된 $26{\times}50{\times}1$의 신경망은 제안된 pruning 알고리즘을 통하여 $26{\times}2{\times}1$ 구조로 최적화 되었고, 최적화된 신경망($26{\times}2{\times}1$)의 경우 오차온도 ${\pm}0.5^{\circ}C$의 경우 평균 33.55%, ${\pm}1^{\circ}C$의 경우 61.57%로 임의 설계된 구조 ($26{\times}50{\times}1$)dml 29.31%, 54.47%에 비하여 우수하게 나타났고, 또한 계산 횟수에서도 임의 구성 신경망에 비하여 최고 25배이상 계산횟수를 줄일 수 있었다.

• Smart Structures and Systems
• /
• 제32권3호
• /
• pp.179-193
• /
• 2023

This study explores an alternative to the existing centralized process for data anomaly detection in modern Internet of Things (IoT)-based structural health monitoring (SHM) systems. An edge intelligence framework is proposed for the early detection and classification of various data anomalies facilitating quality enhancement of acquired data before transmitting to a central system. State-of-the-art deep neural network pruning techniques are investigated and compared aiming to significantly reduce the network size so that it can run efficiently on resource-constrained edge devices such as wireless smart sensors. Further, depthwise separable convolution (DSC) is invoked, the integration of which with advanced structural pruning methods exhibited superior compression capability. Last but not least, quantization-aware training (QAT) is adopted for faster processing and lower memory and power consumption. The proposed edge intelligence framework will eventually lead to reduced network overload and latency. This will enable intelligent self-adaptation strategies to be employed to timely deal with a faulty sensor, minimizing the wasteful use of power, memory, and other resources in wireless smart sensors, increasing efficiency, and reducing maintenance costs for modern smart SHM systems. This study presents a theoretical foundation for the proposed framework, the validation of which through actual field trials is a scope for future work.

• 한국정보통신학회논문지
• /
• 제24권1호
• /
• pp.141-144
• /
• 2020

Convolutional neural networks (CNNs) show high performance in computer vision tasks including object detection, but a lot of weight storage and computation is required. In this paper, a pruning scheme is applied to CNNs for object detection, which can remove much amount of weights with a negligible performance degradation. Contrary to the previous ones, the pruning scheme applied in this paper considers the base accelerator architecture. With the consideration, the pruned CNNs can be efficiently performed on an ASIC or FPGA accelerator. Even with the constrained pruning, the resulting CNN shows a negligible degradation of detection performance, less-than-1% point degradation of mAP on VOD0712 test set. With the proposed scheme, CNNs can be applied to objection dtection efficiently.

• 인터넷정보학회논문지
• /
• 제4권5호
• /
• pp.69-76
• /
• 2003

본 논문에서는 패턴 분류를 위한 새로운 학습 알고리즘을 소개한다. 이 알고리즘은 학습 데이터 집합에 포함된 오류 때문에 네트워크 구조가 너무 복잡하게 되는 점증적 학습 알고리즘의 문제를 해결하기 위해 고안되었다. 이 문제를 위한 접근 방법으로 미리 정의된 판단기준을 가지고 학습 과정을 중단하는 전지 방법을 사용한다. 이 과정에서 적절한 처리과정에 의해 3층 전향구조를 가지는 반복적 모델이 점증적 모델로부터 유도된다 여기서 이 네트워크 구조가 위층과 아래층 사이에 완전연결이 아니라는 점을 주목한다. 전지 방법의 효율성을 확인하기 위해 이 네트워크는 EBP로 다시 학습한다. 이 결과로부터 제안된 알고리즘이 시스템 성능과 네트워크 구조를 이루는 노드의 수 면에서 효과적임을 발견할 수 있다.

• 전자공학회논문지CI
• /
• 제46권2호
• /
• pp.65-74
• /
• 2009

신경망의 구조를 최적화하기 위해서는 노드 또는 연결을 잘라내는 가지치기 방법과 노드를 추가해 나가는 구조 증가 방법이 있다. 이 논문은 신경망의 구조 최적화를 위해 가지치기 방법을 사용하며, 최적의 노드 가지치기를 찾기 위해 유전 알고리즘을 사용한다. 기존 연구에서는 입력층과 은닉층의 노드를 따로 최적화 대상으로 삼았다 우리는 두 층의 노드를 하나의 염색체에 표현하여 동시 최적화를 꾀하였다. 자식은 부모의 가중치를 상속받는다 학습을 위해서는 기존의 오류 역전파 알고리즘을 사용한다. 실험은 UCI Machine Learning Repository에서 제공한 다양한 데이터를 사용하였다. 실험 결과 신경망 노드 가지치기 비율이 평균 $8{\sim}25%$에서 좋은 성능을 얻을 수 있었다. 또한 다른 가지치기 및 구조 증가 알고리즘과의 교차검증에 대한 t-검정 결과 그들에 비해 우수한 성능을 보였다.

• 전자공학회논문지CI
• /
• 제41권2호
• /
• pp.77-86
• /
• 2004

일반적으로 작은 구조의 신경 회로망은 좋은 일반화 성능을 나타내지만 원하는 학습 목표까지 학습하기가 어려운 경향이 있다. 반면에 큰 구조의 신경 회로망은 학습 데이터는 쉽게 배우지만 일반화 성능이 좋지 않은 경향이 있다. 따라서 좋은 일반화 성능을 얻기 위한 일반적인 방법은 학습이 되는 한도 내에서 최소 구조의 신경 회로망 즉 최적 구조 신경 회로망을 찾는 것이다. 본 논문에서는 가중치의 제곱과 뉴런 출력의 분산의 곱으로 정의되는 임팩트 팩터(ImF: Impact Factor)를 이용한 새로운 연결 소거 알고리즘을 제안한다. 그리고 함수 근사화 문제에 적용하여 제안된 방법이 효율적임을 보인다.

• 한국통신학회논문지
• /
• 제30권4B호
• /
• pp.170-177
• /
• 2005

Ad-Hoc 망에서 브로드캐스트는 중복적인 패킷 재전송에 기인한 오버헤드가 매우 큰 작업이다. 따라서 재전송으로 인한 오버헤드를 줄이기 위한 기존 연구로 암묵적 혹은 명시적으로 주변 노드 정보를 주고 받음으로써 패킷의 중복된 재전송을 최소화하고자 하는 연구가 진행되어져 왔다. 하지만 이 방법들은 주기적으로 주변 정보를 주고 받아야 하는 부가적인 오버헤드를 가진다. 따라서 본 논문에서는 현재 진행되는 브로드캐스트에 의해 획득 가능한 정보만으로 패킷의 전파 영역 (Coverage Area)을 지역적으로 추정함으로써 패킷 재전송을 줄이는 실용적인 브로드캐스트 기법을 제안한다. 제안하는 기법은 현재 전송되고 있는 브로드캐스트 패킷에서 추출할 수 있는 정보만을 사용하기 때문에, 주변 노드 정보를 알기 위해서 전송되는 주기적인 패킷 전송 오버헤드를 제거할 수 있다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제29권5호
• /
• pp.289-294
• /
• 2002

다층신경회로망 구조의 재구성은 회로망의 일반화 능력이나 효율성의 관점에서 중요한 문제로 연구되어왔다. 본 논문에서는 신경회로망에 학습된 은닉 지식들을 추출하여 조합함으로써 신경회로망의 구조를 재구성하는 새로운 방법을 제안한다. 먼저, 각 노드별로 학습된 대표적인 지역 규칙을 추출하여 각 노드의 불필요한 연결구조들을 제거한 후, 이들의 논리적인 조합을 통하여 중복 또는 상충되는 노드와 연결구조를 제거한다. 이렇게 학습된 지식을 분석하여 노드와 연결구조를 재구성한 신경회로망은 처음의 신경회로망에 비하여 월등히 감소된 구조 복잡도를 가지며 일반적으로 더 우수한 일반화 능력을 가지게 됨을 실험결과로서 제시하였다.

• 한국컴퓨터정보학회논문지
• /
• 제5권2호
• /
• pp.30-36
• /
• 2000

은닉노드는 주어진 문제에서 입력패턴(input pattern)들의 특징을 구분해주는 중요한 역할을 한다. 이 때문에 최적의 은닉노드 수로 구성된 신경망 구조가 성능에 가장 큰 영향을 주는 요인으로 중요성이 대두되고 있다. 그러나 역전파(back-propagation) 학습 알고리즘을 기반으로 하여 은닉노드 수를 결정하는데는 문제점이 있다. 은닉노드 수가 너무 적게 지정되면 주어진 입력패턴을 충분히 구분할 수 없게 되어 완전한 학습이 이루어지지 않는 반면, 너무 많이 지정하면 불필요한 연산의 실행과 기억장소의 낭비로 과적응(overfitting)이 일어나 일반성이 떨어져 인식률이 낮아지기 때문이다. 따라서 본 논문에서는 백 프로퍼게이션 알고리즘을 이용하여 학습을 수행하는 다층 신경망의 학습오차 감소와 수렴율 개선을 위하여 신경망을 구성하는 매개변수를 가지고 은닉노드의 특징 값을 구하고, 그 값은 은닉노드를 제거(pruning)하기 위한 평가치로 사용된다. 구해진 특징 값 중 최대 값과 최소 값을 갖는 노드를 감소(pruning)대상에서 제외하고 나머지 은닉노드 특징 값의 평균과 각 은닉노드의 특징 값을 비교하여 평균보다 작은 특징 값을 갖는 은닉노드를 pruning시키므로서 다층 신경망의 최적 구조를 결정하여 신경망의 학습 속도를 개선하고자 한다.

• 한국지능시스템학회논문지
• /
• 제11권9호
• /
• pp.782-787
• /
• 2001

본 논문에서는 F-투영과 기하학적인 성장 기준을 이용하여 모듈화된 웨이블렛 신경망(MWNN)의 적응구조를 설계하기 위한 성장과 소거 알고리즘을 제안한다. 기하학적인 성장 알고리즘은 지역 오차를 고려한 추정 에러 기준과 이미 존재하는 다른 웨이블렛 함수와 근사적인 직교성을 보장하도록 웨이블렛 함수를 배열할 수 있는 각도 기준으로 구성되어 있다. 이러한 기준은 망의 설계자가 설계자의 의도대로 MWNN을 구성할 수 있는 방법론을 제시한다. 제안한 성장 알고리즘은 모듈과 모듈의 크기를 성장시킨다. 또한 소거 알고리즘은 MWNN의 모듈에 사용되는 웨이블렛 신경망의 지역화 특성에 기인한 문제점을 극복하기 위해 구성된 MWNN에서 불필요한 모듈의 노드나 모듈을 제거한다. 제안한 MWNN의 적응 구조 설계 알고리즘을 1, 2차원 대상 함수에 적용하여 성능을 검증하였다.