• Journal of the Korea Academia-Industrial cooperation Society
• /
• v.18 no.10
• /
• pp.75-80
• /
• 2017

In this paper, we describe the effect of the regularization method and the network with identity mapping on the performance of the activation functions in deep convolutional neural networks. The activation functions act as nonlinear transformation. In early convolutional neural networks, a sigmoid function was used. To overcome the problem of the existing activation functions such as gradient vanishing, various activation functions were developed such as ReLU, Leaky ReLU, parametric ReLU, and ELU. To solve the overfitting problem, regularization methods such as dropout and batch normalization were developed on the sidelines of the activation functions. Additionally, data augmentation is usually applied to deep learning to avoid overfitting. The activation functions mentioned above have different characteristics, but the new regularization method and the network with identity mapping were validated only using ReLU. Therefore, we have experimentally shown the effect of the regularization method and the network with identity mapping on the performance of the activation functions. Through this analysis, we have presented the tendency of the performance of activation functions according to regularization and identity mapping. These results will reduce the number of training trials to find the best activation function.

• Proceedings of the Optical Society of Korea Conference
• /
• 2002.07a
• /
• pp.30-31
• /
• 2002

하나의 구동기를 작동하여 거울을 변형시킬 때, 변형된 거울면의 형태를 영향 함수(influence function)라고 정의하며, 이러한 영향 함수를 이용하여 적응 광학계의 주요한 광학 요소인 변형 거울을 효과적으로 모형화하고 설계할 수 있다. 본 논문에서는 유한요소해석을 이용하여 계산된 변형 거울의 실제 영향 함수를 가우시안 함수(Gaussian function) 형태로 단순화하고, 추가로 구동기들 사이의 영향을 고려한 커플링 계수(coupling coefficient)를 도입하여, 주어진 구동기 배열에 대한 영향 함수를 결정하였다. (중략)

• The Korean Journal of Applied Statistics
• /
• v.14 no.2
• /
• pp.357-367
• /
• 2001

Huber의 M-추정함수의 형태는 조율상수가 주어질 때 비로소 그 형태가 결정된다. 조율상수를 커널밀도함수추정량의 평활계수를 이용하여 구하여 보았고, 모의실험을 통해 기존에 상요되는 조율상수들과 그 성능을 비교하여 보았다. 그 결과 새로운 방법에 의해 구해진 조율상수가 기존의 조율상수를 사용하는 경우 보다 모의실험을 통해 얻은 추정치의 분산이 작게되는 경우가 있음을 알았다.

• Proceedings of the KIEE Conference
• /
• 2003.07d
• /
• pp.2576-2578
• /
• 2003

RBF 네트워크에서 기저함수의 위치는 네트워크의 성능에 매우 큰 영향을 미친다. 몇몇 응용들에서 교사학습을 이용한 기저함수의 위치 선정이 비교사학습에 비해 우수함을 보인다. 그러나 교사학습에 의한 네트워크는 시그모이드 네트워크와 같은 긴 학습시간을 필요로 한다. 본 논문에서는 오차함수의 gradient와 Hessian을 이용해 교사학습에서 요구하는 학습시간을 단축시키면서 기저함수의 최적위치를 추정하였다.

• The Journal of the Institute of Internet, Broadcasting and Communication
• /
• v.21 no.6
• /
• pp.117-122
• /
• 2021

Autonomous driving allows cars to drive without people and is being studied very actively thanks to the recent development of artificial intelligence technology. Among artificial intelligence technologies, deep reinforcement learning is used most effectively. Deep reinforcement learning requires us to build a neural network using an appropriate activation function. So far, many activation functions have been suggested, but different performances have been shown depending on the field of application. This paper compares and evaluates the performance of which activation function is effective when using deep reinforcement learning to learn autonomous driving on highways. To this end, the performance metrics to be used in the evaluation were defined and the values of the metrics according to each activation function were compared in graphs. As a result, when Mish was used, the reward was higher on average than other activation functions, and the difference from the activation function with the lowest reward was 9.8%.

• Proceedings of the KIEE Conference
• /
• 2003.07d
• /
• pp.2522-2524
• /
• 2003

본 논문은 다수의 가우시안(Gaussian) 함수를 가중치 함수로 이용하여 퍼지 소속 함수의 효율적인 동정기법을 제안한다. 먼저 데이터를 가장 잘 구분하는 특징 변수를 선정하고, 이에 대한 기본 소속 함수를 가우시안 함수로 설정한 후, 다수의 가우시안 함수를 곱하여 소속 함수를 동정한다. 해당 특징 변수에 대한 소속 함수의 동정 후, 다음 우선 순위의 특징 변수를 퍼지 규칙에 첨가하여 가장 높은 정확도를 획득할 때까지 반복적으로 소속 함수를 동정한다. 이러한 방법은 데이터의 분포 성향을 소속 함수에 반영시킬 수 있을 뿐만아니라, 알고리듬의 고속 연산도 가능하다. 제안한 방법의 성능을 검증하기 위해 iris 데이터에 적용하여 모의실험의 예를 보인다.

• Transactions of the Korean Society of Mechanical Engineers
• /
• v.9 no.3
• /
• pp.353-359
• /
• 1985

본 논문에서는 Wibe의 함수를 구성하는 변수를 임의로 바꾸면서 발생속도 및 지압선도의 형상, 그리고 기관운전조건 및 연소함수를 구성하는 제변수가 기관의 제성 능치에 대하여 미치는 영향을 수치실험을 통하여 조사하고, 그 상호관계를 정량적으로 밝혀 보았다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2019.11a
• /
• pp.110-113
• /
• 2019

본 논문에서는 임베디드 시스템에서의 양자화 기계학습을 수행할 경우 발생하는 양자화 오차를 효과적으로 보상하기 위한 방법론을 제안한다. 경사 도함수(Gradient)를 사용하는 기계학습이나 비선형 신호처리 알고리즘에서 양자화 오차는 경사 도함수의 조기 소산(Early Vanishing Gradient)을 야기하여 전체적인 알고리즘의 성능 하락을 가져온다. 이를 보상하기 위하여 경사 도함수의 최대 성분에 대하여 직교하는 방향의 보상 탐색 벡터를 유도하여 양자화 오차로 인한 성능 하락을 보상하도록 한다. 또한, 기존의 고정 학습률 대신, 내부 순환(Inner Loop) 없는 비선형 최적화 알고리즘에 기반한 적응형 학습률 결정 알고리즘을 제안한다. 실험결과 제안한 방식의 알고리즘을 비선형 최적화 문제에 적용할 시 양자화 오차로 인한 성능 하락을 최소화시킬 수 있음을 확인하였다.

• Proceedings of the Acoustical Society of Korea Conference
• /
• 1995.06a
• /
• pp.55-60
• /
• 1995

고차 통계 방법을 이용하여 잡음이 섞인 음성 신호에서 피치를 구하는 방법과 이를 이용하여 유성음 및 무성음 구간을 구분하는 방법을 구현하고 그 결과를 기술하였다. 고차 통계의 일종인 3차 cumulant 함수의 경우 Gaussian 또는 대칭적인 분포를 갖는 잡음 신호를 음성신호로부터 효과적으로 분리하여 제거시키는 특징을 가지고 있으며, 이러한 특징을 이용하면 잡음 환경에서 여러 가지 음성 특징 파라메터들을 보다 신뢰도 높게 추정할 수 있다. 본 논문에서는 dam성 신호의 3차 cumulant 함수의 자기상관함수로부터 음성의 피치 주기를 추정하였으며, 피치 위치에서의 normalized peak 크기에 의해 유성음과 무성음을 구분하였다. 또한 성능 비교를 위해 음성 신호 자체의 자기 상관 함수로부터 역시 피치 주기 및 유성음/무성음 구분을 수행하였다. 백색 및 유색 Gaussian 잡음 환경에서의 음성의 피치 주기 추정 실험 결과 SNR가 낮은 경우에 3차 cumulant를 이용한 방법이 2차 통계에 비해 우수한 성능을 나타내었다. 또한 동일한 잡음 환경에서의 유성음/무성음 판별 시험에서도 3차 cumulant를 이용한 방법이 기존의 2차 통계를 이용한 방법에 비해 성능이 크게 향상된 결과를 얻었다.

• The Journal of the Acoustical Society of Korea
• /
• v.17 no.3
• /
• pp.52-58
• /
• 1998

본 논문에서는 시간 지연이 없는 서브밴드 필터 구조를 사용한 능동 소음 제어 시 스템을 제안하였다. 제안된 시스템은 기준 입력 신호와 2차 경로의 전달 함수를 컨볼루션하 여 만들어지는 filtered reference 신호가 서브밴드내에서 생성될 수 있도록, 2차 소음원과 오차 센서 사이의 전기·음향학적인 경로를 나타내는 2차 전달 함수를 각 서브밴드로 재구 성함으로써, 알고리듬 구현시 계산량을 감소시킨다. 또한 2차 경로의 전달함수가 시간에 따 라 변화하는 경우에도 능동 소음 제어 시스템의 소음 제어 성능을 유지할 수 있도록, 각 밴 드마다 두 개의 적응필터를 사용한 on-line 시스템 인지 구조를 제안하여 on-line 시스템 인 지에 필요한 계산량을 감소시켰다. 본 논문에서 제시한 능동 소음 제어 시스템의 제어 성능 과 on-line 시스템 인지 성능을 모의 실험을 통하여 검증하였다.