• 한국컴퓨터정보학회논문지
• /
• 제28권7호
• /
• pp.11-18
• /
• 2023

본 논문에서는 딥러닝 시계열 예측 모형을 평가한다. 최근 연구에 따르면 이 모형은 ARIMA와 같은 기존 예측 모형보다 성능이 우수하다고 결론짓는다. 그 중 히든 레이어에 이전 정보를 저장하는 순환 신경망이 이를 위한 예측 모형 중 하나이다. 네트워크의 그래디언트 소실 문제를 해결하기 위해 LSTM은 데이터 흐름의 반대 방향으로 숨겨진 레이어가 추가되는 BI-LSTM과 함께 순환 신경망 내부의 작은 메모리로 사용된다. 본 논문은 서울의 2018년 1월 1일부터 2022년도 1월 1일까지의 NO2 자료에 대해 Informer의 성능을 LSTM, BI-LSTM, Transformer와 비교하였다. 이에 실제 값과 예측값 사이의 평균 제곱근 오차와 평균 절대 오차를 구하였다. 그 결과 Test 데이터(2021.09.01.~2022.01.01.)에 대해 Informer는 다른 방법에 비해 가장 높은 예측 정확도 (가장 낮은 예측 오차: 평균 제곱근 오차: 0.0167, 평균 절대 오차: 0.0138)를 보여 타 방법에 비해 그 우수성을 입증하였다. Informer는 당초 취지와 부합되게 다른 방법들이 갖고 있는 장기 시계열 예측에 있어서의 문제점을 개선하는 결과를 나타내고 있다.

• 대한전자공학회논문지TC
• /
• 제43권9호
• /
• pp.165-174
• /
• 2006

본 논문에서는 IEEE 802.11 기반 무선 멀티홉 망에서 TCP의 성능을 향상시키기 위하여 새로운 Contention Window(CW) 제어 알고리즘을 제안 하였다. 제안한 Contention Window(CW) 제어 알고리즘은 무선 멀티홉 망에서 빈번히 발생하는 hidden terminal 문제의 영향을 경감시킨다 무선 멀티홉 망에서 발생하는 대부분의 패킷 손실은 패킷의 충돌에 의한 것이 아니라 hidden terminal과 exposed terminal로 인하여 발생된다. 그러나 IEEE 802.11 DFC 알고리즘에서는 전송에 실패한 사용자의 CW를 지수형태로 증가시키므로 해당노드가 전송에 성공할 확률을 더욱 감소시킨다. 이는 전송에 성공한 노드가 연속해서 패킷 전송에 성공할 가능성을 높여주어 burst한 데이터 전송이 일어날 수 있다. 한편, 최대 재전송을 시도한 후에도 데이터를 보내지 못한 노드는 네트워크 계층에서의 경로 재전송을 시도하게 되는데 이로 인해 데이터 전송이 중지되고 성능감소가 일어날 수 있다. 이와 같은 문제를 해결하기 위하여 본 논문에서 제안한 기법에서는 backoff 재전송의 횟수를 증가시키고 적절한 CW의 크기를 설정하는 방안을 제안 하였다. Ns-2를 사용하여 체인 토폴로지와 격자 토폴로지에서의 시뮬레이션을 수행해 제안된 기법이 무선 멀티홉 망에서 TCP 성능을 향상시킴을 확인 하였다.

• 전자공학회논문지C
• /
• 제36C권4호
• /
• pp.87-94
• /
• 1999

본 논문은 필기체 한글인식에 적합한 모듈화된 부분연결 다층신경회로망 구조를 제안한다. 세가지 특징 벡터들에 대한 세 개의 부분연결 다층신경회로망 인식기를 구성하고 이를 통합하기 위한 또 하나의 부분연결 신경회로망을 결합시킴으로써 인식률을 높일 수 있도록 설계하였다. 각각의 부분연결 다층신경회로망은 한글의 이차원적 특징을 잘 반영할 수 있도록 입력층을 10개의 수용영역으로 분할하고 입력층과 은닉층 사이를 부분 연결하였다. 결합단계에서 새로운 부분연결 신경회로망을 도입하고, 그 입력으로 이미 학습된 세 개 인식기의 은닉층 출력을 이용하여 재학습한다. 제안된 인식기의 성능을 평가하기 위해서 전표처리에 많이 사용되는 한글 문자 18개를 선정하여 평가하였다.

• Journal of Electrical Engineering and Technology
• /
• 제11권4호
• /
• pp.993-1002
• /
• 2016

Hepatitis is a major public health problem all around the world. This paper proposes an automatic disease diagnosis system for hepatitis based on Genetic Algorithm (GA) Wavelet Kernel (WK) Extreme Learning Machines (ELM). The classifier used in this paper is single layer neural network (SLNN) and it is trained by ELM learning method. The hepatitis disease datasets are obtained from UCI machine learning database. In Wavelet Kernel Extreme Learning Machine (WK-ELM) structure, there are three adjustable parameters of wavelet kernel. These parameters and the numbers of hidden neurons play a major role in the performance of ELM. Therefore, values of these parameters and numbers of hidden neurons should be tuned carefully based on the solved problem. In this study, the optimum values of these parameters and the numbers of hidden neurons of ELM were obtained by using Genetic Algorithm (GA). The performance of proposed GA-WK-ELM method is evaluated using statical methods such as classification accuracy, sensitivity and specivity analysis and ROC curves. The results of the proposed GA-WK-ELM method are compared with the results of the previous hepatitis disease studies using same database as well as different database. When previous studies are investigated, it is clearly seen that the high classification accuracies have been obtained in case of reducing the feature vector to low dimension. However, proposed GA-WK-ELM method gives satisfactory results without reducing the feature vector. The calculated highest classification accuracy of proposed GA-WK-ELM method is found as 96.642 %.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제10권10호
• /
• pp.407-420
• /
• 2021

심층신경망은 다양한 문제를 해결하는데 널리 사용되고 있다. 하지만 은닉층이 깊은 심층신경망을 학습하는 동안 빈번히 발생하는 기울기 소실 또는 폭주 문제는 심층신경망 학습의 큰 걸림돌이 되고 있다. 본 연구에서는 기울기 소실이 발생하는 원인 중 비선형활성함수에 의해 발생할 수 있는 기울기 소실 문제를 완화하기 위해 파라메트릭 활성함수를 제안한다. 제안된 파라메트릭 활성함수는 입력 데이터의 특성에 따라 활성함수의 크기 및 위치를 변환시킬 수 있는 파라미터를 적용하여 얻을 수 있으며 역전파과정을 통해 활성함수의 미분 크기에 제한이 없는 손실함수를 최소화되도록 학습시킬 수 있다. 은닉층 수가 10개인 XOR문제와 은닉층 수가 8개인 MNIST 분류문제를 통하여 기존 비선형활성함수와 파라메트릭활성함수의 성능을 비교하였고 제안한 파라메트릭 활성함수가 기울기 소실 완화에 우월한 성능을 가짐을 확인하였다.

• 융합보안논문지
• /
• 제20권5호
• /
• pp.11-17
• /
• 2020

IoT의 핵심 요소 기술 중 하나인 Bluetooth를 전기차 무선 충전 시스템에 사용하는 경우가 늘어나면서 이에 대한 보안 문제가 큰 이슈로 부각되고 있다. 무선 통신 기술인 Bluetooth에 보안을 강화하기 위한 다양한 기술적 노력이 있어 왔지만 여전히 다양한 공격 방법이 존재한다. 본 논문은 Bluetooth 시스템을 대상으로 대표적인 2가지 공격 방법을 지능적으로 탐지하기 위해 잘 알려진 Hidden Markov Model을 이용한 지능형 Bluetooth 침입 탐지 시스템을 제안한다. 제안 방법은 탐지의 정확성 이외에 실시간 탐지가 가능하도록 Bluetooth 전송 계층 프로토코인 H4의 패킷 타입과 전송 방향을 조합하고 이들의 시간상의 전개를 특징으로 사용한다. 데이터 수집 환경을 구성하고 실험을 통해 얻은 데이터를 대상으로 개발한 시스템의 성능을 분석한다.

• 한국인터넷방송통신학회논문지
• /
• 제22권6호
• /
• pp.113-119
• /
• 2022

소프트웨어 결함 예측 작업 시 단순히 결함 유무만을 예측하는 이진 분류 모델에 비해 결함의 심각도 범주를 예측하는 다중 분류 모델은 훨씬 유용하게 사용될 수 있다. 소수의 심각도 기반 결함 예측 모델들이 제안되었지만 딥러닝 기법을 사용한 분류기는 없었다. 본 논문은 3개, 5개의 은닉층을 갖고 은닉층 노드수가 고정된 구조와 변화하는 구조의 MLP 모델들을 제작하였다. 모델 평가 실험 결과 기존 기계학습 모델들 중 가장 좋은 성능을 보인 MLPs보다 MLP 기반 딥러닝 모델들은 Accuracy와 AUC 모두 유의미하게 더 우수한 성능을 보였다. 특히 노드수 고정 구조에서는 은닉 층수 3, 배치사이즈 32, 노드수 64인 모델 구조가 가장 좋은 성능을 보였다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2001년도 하계종합학술대회 논문집(3)
• /
• pp.25-28
• /
• 2001

RBFN has some problem that because the basis function isn't orthogonal to each others the number of used basis function goes to big. In this reason, the Wavelet Neural Network which uses the orthogonal basis function in the hidden node appears. In this paper, we propose the composition method of the actual function in hidden layer with the scaling function which can represent the region by which the several wavelet can be represented. In this method, we can decrease the size of the network with the pure several wavelet function. In addition to, when we determine the parameters of the scaling function we can process rough approximation and then the network becomes more stable. The other wavelets can be determined by the global solutions which is suitable for the suggested problem using the genetic algorithm and also, we use the back-propagation algorithm in the learning of the weights. In this step, we approximate the target function with fine tuning level. The complex neural network suggested In this paper is a new structure and important simultaneously in the point of handling the determination problem in the wavelet initialization.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2017년도 춘계학술발표대회
• /
• pp.910-913
• /
• 2017

데이터의 양이 증가하면서 인공신경망을 통한 데이터 분석 기술이 주목받고 있으며, 텍스트, 그림, 동영상 등에 이르기까지 다양한 종류의 데이터를 자동으로 분석하여, 번역기, 채팅봇, 그림 캡션 자동 생성 등에 대한 연구 및 서비스 개발에 활용되고 있다. 인공신경망 기반으로 수행된 많은 연구들이 공통적으로 가진 한계가 있는데, 그것은 은닉층에 대한 해석이 어렵다는 것이다. 가령, 입력층, 은닉층, 그리고 결과층으로 이루어진 인공신경망을 임의의 데이터로 학습시키면, 입력층과 은닝층 사이에 존재하는 행렬은 해당 데이터에 존재하는 패턴 정보를 내포하게 된다. 따라서, 행렬에 존재하는 패턴 정보를 직접 분석할 수 있다면, 인공신경망 결과물에 대한 해석이 가능할 뿐만 아니라 성능을 높이기 위해 어떤 조정이 필요한지에 대한 직관도 얻을 수 있을 것이다. 하지만, 이 행렬의 실체는 숫자로 이루어진 벡터이므로 사람이 직접 해석하는 것은 불가능하며, 지금까지 수행되어온 대부분의 인공신경망 연구들은 공통적으로 이러한 한계점을 가지고 있다. 본 연구는 데이터에 존재하는 패턴을 잡아내면서도 해석이 가능한 토픽 모델과 인공신경망의 결과물을 비교함으로써, 인공신경망 은닉층 해석에 대한 실마리를 찾기 위한 연구이다. 실험을 통해 토픽과 은닉층 패턴의 유사성을 검증하고, 향후 인공신경망 연구에서 은닉층에 대한 가능성을 논한다.

• 대한전자공학회논문지TC
• /
• 제37권2호
• /
• pp.7-16
• /
• 2000

본 논문에서는 p-persistent CSMA 방식의 IEEE 802.11 MAC 계층 프로토콜을 모델링 하였다. 그리고 renewal 이론을 적용하여 수학적으로 분석한 Basic CSMA/CA 프로토콜, CTS/RTS 프로토콜 그리고 은닉 노드를 고려한 Basic CSMA/CA 등의 성능분석모델을 제안하였다. 제안한 분석 모델을 이용하여 throughput을 구한 결과, active 노드 수가 적거나 패킷의 길이가 짧을 때는 Basic CSMA/CA 프로토콜 방식이, active 노드 수가 많거나 패킷의 길이가 길 때는 CTS/RTS 프로토콜 방식이 우수하였다. 또한 active 노드 수가 적은 경우가 많은 경우 보다 은닉 노드의 영향을 적게 받았다.