• ETRI Journal
• /
• 제43권3호
• /
• pp.511-523
• /
• 2021

The World Health Organization provides guidelines for managing the particulate matter (PM) level because a higher PM level represents a threat to human health. To manage the PM level, a procedure for measuring the PM value is first needed. We use a PM sensor that collects the PM level by laser-based light scattering (LLS) method because it is more cost effective than a beta attenuation monitor-based sensor or tapered element oscillating microbalance-based sensor. However, an LLS-based sensor has a higher probability of malfunctioning than the higher cost sensors. In this paper, we regard the overall malfunctioning, including strange value collection or missing collection data as anomalies, and we aim to detect anomalies for the maintenance of PM measuring sensors. We propose a novel architecture for solving the above aim that we call the hypothesis pruning generative adversarial network (HP-GAN). Through comparative experiments, we achieve AUROC and AUPRC values of 0.948 and 0.967, respectively, in the detection of anomalies in LLS-based PM measuring sensors. We conclude that our HP-GAN is a cutting-edge model for anomaly detection.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제30권7_8호
• /
• pp.649-658
• /
• 2003

본 연구에서는 ART2 신경회로망의 성능을 개선하기 위한 계층적 구조를 제안하고, 구성된 클러스터에 대하여 적합도(fitness) 선택을 통한 빠르고 효과적인 패턴 분류 모델(HART2)을 제안한다. 본 논문에서 제안하는 신경회로망은 비지도 학습을 통하여 대략적으로 1차 클러스터를 형성하고, 이 각각의 1차 클러스터로 분류된 패턴에 대해 지도학습을 통한 2군 클러스터를 생성하여 패턴을 분류하는 계층적 신경회로망이다. 이 신경회로망을 이용한 패턴분류 과정은 먼저 입력패턴을 1차 클러스터와 비교하여 유사한 몇 개의 1차 클러스터를 적합도에 따라 선택한다. 이때, 입력패턴과 클러스터들간의 상대 측정 거리비에 기반한 적합도 함수를 도입하여 1차 클러스터에 연결된 클러스터들을 Pruning 함으로써 계층적인 네트워크에서의 속도 향상과 정확성을 추구하였다. 마지막으로 입력패턴과 선택된 1차 클러스터에 연결된 2차 클러스터와의 비교를 통해 최종적으로 패턴을 분류하게 된다. 본 논문의 효율성을 검증하기 위하여 22종의 한글 및 영어 글꼴에 대한 숫자 데이타를 다양한 형태로 변형시켜 확장된 테스트 패턴에 대하여 실험해 본 결과 제안된 신경회로망의 패턴 분류 능력의 우수함을 증명하였다

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제30권3_4호
• /
• pp.326-338
• /
• 2003

신경회로망 설계 및 모델선택의 목표는 최적의 구조를 가지는 일반화 성능이 우수한 네트워크를 구성하는 것이다. 하지만 학습데이타에는 노이즈(noise)가 존재하고, 그 수도 충분하지 않기 때문에 최종적으로 표현하고자 하는 진확률 분포와 학습 데이타에 의해 표현되는 경험확률분포(empirical probability density) 사이에는 차이가 발생한다. 이러한 차이 때문에 신경회로망을 학습데이타에 대하여 과다하게 적합(fitting)시키면, 학습데이타만의 확률분포를 잘 추정하도록 매개변수들이 조정되어 버리고, 진확률 분포로부터 멀어지게 된다. 이러한 현상을 과다학습이라고 하며, 과다학습된 신경회로망은 학습데이타에 대한 근사는 우수하지만, 새로운 데이타에 대한 예측은 떨어지게 된다. 또한 신경회로망의 복잡도가 증가 할수록 더 많은 매개변수들이 노이즈에 쉽게 적합되어 과다학습 현상은 더욱 심화된다. 본 논문에서는 통계적인 관점을 바탕으로 신경회로망의 일반화 성능을 향상시키는 신경회로 망의 설계 및 모델 선택의 통합적인 프로세스를 제안하고자 한다. 먼저 학습의 과정에서 적응적 정규화가 있는 자연기울기 학습을 통해 수렴속도의 향상과 동시에 과다학습을 방지하여 진확률 분포에 가까운 신경회로망을 얻는다. 이렇게 얻어진 신경회로망에 자연 프루닝(natural pruning) 방법을 적용하여 서로 다른 크기의 후보 신경회로망 모델을 얻는다. 이러한 학습과 복잡도 최적화의 통합 프로세스를 통하여 얻은 후보 모델들 중에서 최적의 모델을 베이시안 정보기준에 의해 선택함으로써 일반화 성능이 우수한 최적의 모델을 구성하는 방법을 제안한다. 또한 벤치마크 문제를 이용한 컴퓨터 시뮬레이션을 통하여, 제안하는 학습 및 모델 선택의 통합프로세스의 일반화 성능과 구조 최적화 성능의 우수성을 검증한다.

• 전자공학회논문지SC
• /
• 제39권1호
• /
• pp.16-23
• /
• 2002

본 논문에서는 F-투영법과 기하학적인 성장기준을 적용하여 모듈화된 웨이블렛 신경망의 최적구조를 설계할 수 있는 성장과 전지 알고리즘을 제안한다. 기하학적인 성장기준은 지역오차를 고려한 예측 오차기준과 기존의 웨이블렛 함수와의 준직교성을 보장하는 웨이블렛 함수를 배치하기 위한 각도기준으로 구성되어 있다. 이러한 성장기준은 모듈화된 웨이블렛 신경망을 설계자 의도에 부합하도록 구성할 수 있는 방법론을 제시한다. 제안한 성장 알고리즘은 모듈화된 웨이블렛 신경망의 모듈과 망의 크기를 증가시킨다. 또한 소거 알고리즘은 모듈화된 웨이블렛 신경망의 모듈로 사용되는 웨이블렛 신경망의 지역화 특성으로 인해 모듈의 크기가 증가하는 문제점을 극복하기 위해 불필요한 모듈의 노드를 제거한다. 제안한 모듈화된 웨이블렛 신경망의 최적구조 설계알고리즘을 1차원과 2차원의 함수 근사화 문제에 적용하여 제안한 알고리즘의 성능을 검증하였다.

• 한국정보통신학회논문지
• /
• 제22권9호
• /
• pp.1165-1171
• /
• 2018

CNN은 객체의 특징을 추출하는 과정에서 많은 계산량과 메모리를 요구하고 있다. 또한 사용자에 의해 네트워크가 고정되어 학습되기 때문에 학습 도중에 네트워크의 형태를 수정할 수 없다는 것과 컴퓨팅 자원이 부족한 모바일 디바이스에서 사용하기 어렵다는 단점이 있다. 이러한 문제점들을 해결하기 위해, 우리는 사전 학습된 가중치 파일에 가지치기 방법을 적용하여 연산량과 메모리 요구량을 줄이고자 한다. 이 방법은 3단계로 이루어져 있다. 먼저, 기존에 학습된 네트워크 파일의 모든 가중치를 각 계층 별로 불러온다. 두 번째로, 각 계층의 가중치에 절댓값을 취한 후 평균을 구한다. 평균을 임계값으로 설정한 뒤, 임계 값 이하 가중치를 제거한다. 마지막으로 가지치기 방법을 적용한 네트워크 파일을 재학습한다. 우리는 LeNet-5와 AlexNet을 대상으로 실험을 하였으며, LeNet-5에서 31x, AlexNet에서 12x의 압축률을 달성 하였다

• 한국콘텐츠학회논문지
• /
• 제7권1호
• /
• pp.58-64
• /
• 2007

패턴 인식 분야에는 지수적 탐색 공간을 가진 최적화 문제가 많이 있다. 이를 해결하기 위해 부 최적해를 구하는 순차 탐색 알고리즘이 사용되어 왔고, 이들 알고리즘은 국부 최적점에 빠지는 문제점을 안고 있다. 최근 이를 극복하기 위해 유전 알고리즘을 사용하는 사례가 많아졌다. 이 논문은 특징 선택, 분류기 앙상블 선택, 신경망 가지치기, 군집화 문제의 지수적 탐색 공간 특성을 설명하고 이를 해결하기 위한 유전 알고리즘을 살펴본다. 또한 향후 연구로서 가치가 높은 주제들에 대해 소개한다.

• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 2003년도 ISIS 2003
• /
• pp.620-623
• /
• 2003

The TAM (Topographic Attentive Mapping) network is a biologically-motivated neural network. Fuzzy rules are acquired from the TAM network by the pruning algorithm. In this paper we formulate a new input layer using Gabor function for TAU network to realize receptive field of human visual cortex.

• 한국음향학회지
• /
• 제21권6호
• /
• pp.543-551
• /
• 2002

이 논문에서는 20,000 단어급의 대어휘를 대상으로 실시간 연속음성 인식을 수행할 수 있는 탐색 방법을 제안한다. 기본적인 탐색 방법은 토큰 전파 방식의 비터비 (Viterbi) 디코딩 알고리듬을 이용한 1 패스로 구성된다. 언어 모델 네트워크를 도입하여 다양한 언어 모델들을 일관된 탐색 공간으로 구성하도록 하였으며, 프루닝(pruning) 단계에서 살아남은 토큰들로부터 동적으로 탐색 공간을 재구성하였다. 용이한 후처리를 위해 워드그래프 및 N개의 최적 문장을 출력할 수 있도록 비터비 알고리듬을 수정하였다. 이렇게 구성된 디코더는 20,000 단어급 데이터 베이스에 대해 테스트하였으며 인식률 및 RTF측면에서 평가되었다.

• 정보과학회 논문지
• /
• 제42권6호
• /
• pp.791-800
• /
• 2015

본 논문은 다중 홉 무선 네트워크 환경에서 브로드캐스트 전송 효율성 뿐 아니라 신뢰도도 우수한 기여도 기반 기회적 플러딩 기법을 제안한다. 브로드캐스트 트리를 전송 결과와 관련 없이 미리 결정하면, 무선 네트워크의 내재적 불안정성으로 지정된 릴레이 노드가 패킷을 수신하지 못할 수 있다. 본 논문에서 제안하는 기여도 기반 기회적 플러딩 기법은 릴레이 노드를 전송 결과를 기반으로 선택하는 기회적 전송의 개념을 사용하여 신뢰도를 제고하였다. 또한 전체 네트워크에 대한 단말 기여도에 따라 릴레이 우선 순위를 조정하여 불필요한 릴레이를 제거하고 전송 효율을 높였다. NS-3 시뮬레이터를 활용하여 제안 기법을 블라인드 플러딩, 그리고 도미넌트 프루닝과 비교하였다. 성능 분석 결과 제안 프로토콜은 블라인드 플러딩에 비해 릴레이 횟수에 기초한 효율 관점에서 35%, 도미넌트 프루닝에 비해 수신 노드 수에 기초한 신뢰도 관점에서 20~70% 수준의 성능 향상을 얻었다.

• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 1998년도 춘계학술대회 학술발표 논문집
• /
• pp.49-52
• /
• 1998

Neural Network has good performance in pattern classification, control and many other fields by learning ability. However, there is effective rule or systematic approach to determine optimal structure. In this paper, we propose a new method to find optimal structure of feed-forward multi-layer neural network as a kind of pruning method. That eliminating redundant elements of neural network. To find redundant elements we analysis error and weight changing with Rough Set Theory, in condition of executing back-propagation leaning algorithm.