• Proceedings of the Korea Information Processing Society Conference
• /
• 2020.05a
• /
• pp.504-507
• /
• 2020

ReLU(Rectified Linear Unit) 함수는 제안된 이후로 대부분의 깊은 인공신경망 모델들에서 표준 활성함수로써 지배적으로 사용되었다. 이후에 ReLU 를 대체하기 위해 Leaky ReLU, Swish, Mish 활성함수가 제시되었는데, 이들은 영상 분류 과업에서 기존 ReLU 함수 보다 향상된 성능을 보였다. 따라서 초해상화(Super Resolution) 과업에서도 ReLU 를 다른 활성함수들로 대체하여 성능 향상을 얻을 수 있는지 실험해볼 필요성을 느꼈다. 본 연구에서는 초해상화 과업에서 안정적인 성능을 보이는 EDSR(Enhanced Deep Super-Resolution Network) 모델의 활성함수들을 변경하면서 성능을 비교하였다. 결과적으로 EDSR 의 활성함수를 변경하면서 진행한 실험에서 해상도를 2 배로 변환하는 경우, 기존 활성함수인 ReLU 가 실험에 사용된 다른 활성함수들 보다 비슷하거나 높은 성능을 보였다. 하지만 해상도를 4 배로 변환하는 경우에서는 Leaky ReLU 와 Swish 함수가 기존 ReLU 함수대비 다소 향상된 성능을 보임을 확인하였다. 구체적으로 Leaky ReLU 를 사용했을 때 기존 ReLU 보다 영상의 품질을 정량적으로 평가할 수 있는 PSNR 과 SSIM 평가지표가 평균 0.06%, 0.05%, Swish 를 사용했을 때는 평균 0.06%, 0.03%의 성능 향상을 확인할 수 있었다. 4 배의 해상도를 높이는 초해상화의 경우, Leaky ReLU 와 Swish 가 ReLU 대비 향상된 성능을 보였기 때문에 향후 연구에서는 다른 초해상화 모델에서도 성능 향상을 위해 활성함수를 Leaky ReLU 나 Swish 로 대체하는 비교실험을 수행하는 것도 필요하다고 판단된다.

• Journal of the Korean Magnetics Society
• /
• v.26 no.3
• /
• pp.81-85
• /
• 2016

This paper introduces a performance integration method to predict variation characteristic of a performance function of electromagnetic machines or devices due to manufacturing tolerances. A normalized performance function space and a hybrid mean value technique are adapted to effectively predict mean and variance, which can identify probabilistic distribution of the performance function. To verify the effectiveness and accuracy of the proposed method, a mathematical problem and a loudspeaker model are tested, and numerical results are compared with those of existing methods such as Monte Carlo simulation and univariate dimension reduction method.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.25 no.11A
• /
• pp.1652-1660
• /
• 2000

본 논문에서는 DS/CDMA (Direct Sequence/Code Division Multipe Access) 시스템에서 임시 판정 함수로서 연판정 함수와 경판정 함수를 적용한 파이프라인화된 직렬 간섭 제어 구조(PSIC, Pipelined Successive Interference Cancellation)의 성능을 수식적으로 분석하고, 모의 실험을 통하여 검증한다. PSIC 구조는 다단 직렬 간섭 제거 구조(MSIC, Multistage Successive Interference Cancellation)가 가지는 복호지연(decoding delay)의 문제를 해결하기 위해 파이프라인 구조를 MSIC에 적용한 것이다. 제안된PSIC 구조는 하드웨어의 복잡도(hardwar complexity)를 희생하여 비트 오율(BER, Bit Error Rate)의 증가 없이 MSIC에서 발생하는 복호 지연을 줄일 수 있다. 또한 제안된 PSIC 구조에서 연판정 함수와 경판정 함수를 각 간섭 제거 단(Cancellation stage)에서의 임시 판정 함수로 사용하여 얻게 되는 PSIC 구조들의 성능을 비교한다. 분석 및 실험 결과에 의하면 제안되 PSIC 구조에서는 경판정 함수를 사용할때의 성능이 연판정 함수를 사용할때의 성능보다 우수함을 알 수 있었다.

• Journal of the Computational Structural Engineering Institute of Korea
• /
• v.14 no.2
• /
• pp.173-179
• /
• 2001

성능지수는 제어 대상이 되는 구조물의 응답과 제어기의 성능에 관한 가중함수로 구성되어 있다. 따라서 가중함수의 설계에 따라 성능지수가 변화되며 제어 효율이 달라진다. 본 논문에서는 최적 능동제어 알고리듬의 일종인 시간 영역에서의 성능지수를 고려한 LQR기법과 LQG기법 및 주파수 영역에서의 성능지수를 고려한 H₂기법에 대하여 동일한 가중함수를 적용하여 제어 성능인 제어율과 제어력을 비교하는데 목적을 두고 있다. 그러나, LQG기법은 모든 상태 변수를 알아야 하는 LQR기법의 한계를 극복할 수 있으며 LQR기법과 동일 수준의 제어율과 제어력을 보이고 있고 출력 제어라는 장점을 고려하면 현실적인 기법이라고 말할 수 있다. 마지막으로 구조물 응답과 제어기의 주파수 특성을 고려하여 주파수 필터의 가중함수를 설계하는 H₂기법을 분석하였다. H₂기법은 제어력을 저주파수 영역에 집중시킬 수 있기 때문에 구조물 응답을 효과적으로 제어할 수 있는 방법으로 분석되었다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2011.05a
• /
• pp.226-226
• /
• 2011

최적 저수지운영을 위한 운영률 도출이나 강우-유출 및 수질 모형의 매개변수 추정 문제처럼 비선형적이고 추정해야할 변수의 수가 많은 경우, 수학적으로 모형화하기에 너무 복잡해서 선형계획법, 비선형계획법, 동적계획법 등을 사용하여 최적해를 구할 수 없는 경우도 있다. 이러한 문제에 대해서는 구조적 진화를 통해 최적해를 구하는 방법들이 사용된다. 일반적으로 미지수의 개수가 많아지면 전역최적해를 찾기가 어려워진다. 전역최적해를 찾는 여러 가지 방법들이 수자원 분야에서는 강우-유출모형의 매개변수를 추정하는데 많이 사용되고 있으며, 특히 유전자 알고리즘, SCE-UA 알고리즘 등 전역최적해를 찾는 메타휴리스틱 방법이 많이 사용되고 있다. 전역최적화 방법을 개발하는 연구자들은 최적화방법의 성능을 평가하기 위해 다양한 검사함수(test function)를 만들어 성능을 평가하고 있다. 본 연구에 사용한 검사함수는 Mishra의 연구(2006a, 2006b)에서 사용한 중요하고 복잡한 검사함수이다. 유전자 알고리즘, SCE-UA 알고리즘, DDS 알고리즘을 검사함수 중 전역해를 찾기 어려운 2 차원 함수 2 가지, 다차원 함수 4 가지 함수에 적용하여 각각의 탐색 성능을 평가하였다. 2차원 함수인 Bukin 함수에 대해서는 모든 최적화 방법이 전역최적해를 찾을 수 없었지만, 유전자 알고리즘이 가장 전역최적해에 가까웠고 다음으로 DDS 알고리즘 순서였다. 지역수렴 영역이 많을 것으로 판단되는 10, 30, 50 차원 Michalewicz 함수에 대해서는 DDS 알고리즘으로 구한 최적해가 전역최적해와 매우 근접하였고 다음으로 SCE-UA 알고리즘, 유전자 알고리즘 순이었다. 지역수렴 영역이 상대적으로 다른 함수보다 넓은 10 차원 Schwefel 함수에 대해서는 DDS 알고리즘으로 구한 최적해가 전역최적해와 거의 근접하였고 유전자 알고리즘과 SCE-UA 알고리즘은 매우 큰 편차를 보였다. 40, 80 차원 Schwefel 함수에 대해서는 3 가지 알고리즘 모두 전역최적해와 편차를 보였지만 DDS 알고리즘에 의한 최적해와 다른 두 알고리즘에 의한 최적해는 1 오더(order) 정도의 차이가 났다. 지역수렴 영역이 큰 Michalewicz 함수와 Schwefel 함수에 대한 결과는 매우 흡사한 결과이다. 이상과 같은 결과로, 유전자 알고리즘은 매개변수의 수가 적을 경우 우수한 탐색성능을 가졌으며, SCE-UA 알고리즘은 Griewank, Rastrigin 함수와 같은 형태인 경우 우수한 성능을 보였다. DDS 알고리즘은 전체적으로 우수한 탐색 능력을 가진 것으로 판단된다. 그러므로 수위구간 영역별 저수지운영률 도출을 위한 적절한 최적화방법으로 DDS 알고리즘을 선정하였다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2023.05a
• /
• pp.520-520
• /
• 2023

제주도 동부 중산간 지역은 화산암으로 구성된 지하지질로 인해 지하수위의 변동폭이 크고 변동양상이 복잡하여 인공신경망(Artificial Neural Network, ANN) 모델 등을 활용한 지하수위의 예측이 어렵다. ANN에 적용되는 활성화함수에 따라 지하수의 예측성능은 달라질 수 있으므로 활성화함수의 비교분석 후 적절한 활성화함수의 사용이 반드시 필요하다. 본 연구에서는 5개 활성화함수(sigmoid, hyperbolic tangent(tanh), Rectified Linear Unit(ReLU), Leaky Rectified Linear Unit(Leaky ReLU), Exponential Linear Unit(ELU))를 제주도 동부 중산간지역에 위치한 2개 지하수 관정에 대해 비교분석하여 최적 활성화함수 도출을 목표로 한다. 또한 최적 활성화함수를 활용한 ANN의 적용성을 평가하기 위해 최근 널리 사용되고 있는 순환신경망 모델인 Long Short-Term Memory(LSTM) 모델과 비교분석 하였다. 그 결과, 2개 관정 중 지하수위 변동폭이 상대적으로 큰 관정은 ELU 함수, 상대적으로 작은 관정은 Leaky ReLU 함수가 지하수위 예측에 적절하였다. 예측성능이 가장 낮은 활성화함수는 sigmoid 함수로 나타나 첨두 및 최저 지하수위 예측 시 사용을 지양해야 할 것으로 판단된다. 도출된 최적 활성화함수를 사용한 ANN-ELU 모델 및 ANN-Leaky ReLU 모델을 LSTM 모델과 비교분석한 결과 대등한 지하수위 예측성능을 나타내었다. 이것은 feed-forward 방식인 ANN 모델을 사용하더라도 적절한 활성화함수를 사용하면 최신 순환신경망과 대등한 결과를 도출하여 활용 가능성이 충분히 있다는 것을 의미한다. 마지막으로 LSTM 모델은 가장 적절한 예측성능을 나타내어 다양한 인공지능 모델의 예측성능 비교를 위한 기준이 되는 참고모델로 활용 가능하다. 본 연구에서 제시한 방법은 지하수위 예측과 더불어 하천수위 예측 등 다양한 시계열예측 및 분석연구에 유용하게 사용될 수 있다.

• Proceedings of the Korea Society for Industrial Systems Conference
• /
• 2004.06a
• /
• pp.3-7
• /
• 2004

본 연구에서는 학습기능을 갖는 결정론적 볼츠만 머신에 비단조 뉴런을 이용하여 학습 성능을 수치 시뮬레이션을 통하여 분석한다. 먼저 네트워크의 은닉층에 비단조 및 단조뉴런을 이용한 경우에 대하여 각각 활성화 함수로 시그모이드 함수와 end-cut-off 타입의 비단조함수를 사용한 경우에 대하여 성능을 비교한다. 또한, VHDL을 이용해 설계한 DBM 네트워크에 시그모이드 함수와 end-cut-off 타입의 비단조함수를 사용한 경우에 대하여 시뮬레이션을 통해 수치 시뮬레이션과 성능이 같은지 비교하고 그 유용성을 입증한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2003.05a
• /
• pp.121-124
• /
• 2003

계산량이 매우 큰 작업의 경우는 단일 프로세서를 이용할 경우 많은 계산 시간이 소요된다 이러한 문제점을 극복하고자 저비용 고효율의 PC Clustering 기법을 사용하면 비용적인 절감의 효과를 얻을 수 있다. 본 논문은 PC Clustering을 이용한 병렬처리를 수행함으로써 시간의 단축을 도모하되 표준 MPI 함수 중 Collective Communication을 취급하는 함수들의 성능을 향상시켜 개선하고 그 성능을 측정하는데 목적이 있다. 또한 표준 MPI 함수를 사용하는 MPICH와 표준 MPI 함수 중 Collective Communication을 사용하는 함수들의 데이터를 압축하여 전송하도록 MPI를 개선하였다. 실험은 윈도우 2000을 탑재한 20개의 노드를 가지는 시스템을 이용하였다. 본 실험의 견과로써 데이터의 양과 노드 수를 증가시킬수록 압축 MPI의 성능이 표준 MPI의 성능을 능가함을 확인할 수 있었다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2000.04b
• /
• pp.475-477
• /
• 2000

본 논문에서는 적응적 성분분석 기법을 이용하여 radial basis 함수 신경망의 학습시간과 분류성능을 개선한 새로운 기법을 제안하였다. 제안된 기법에서 적응적 성분분석 기법은 radial basis 함수 신경망의 은닉층 뉴런 개수와 중심값 설정을 위해 이용하였다. 제안된 기법의 radial basis 함수 신경망을 200명의 암환자를 2부류(초기와 악성)로 분류하는 문제에 적용하여 시뮬레이션한 결고, k-평균 군집화 알고리즘을 이용한 radial basis 함수 신경망과 비교할 때 학습시간과 시험 데이터의 분류에서 더욱 우수한 성능이 있음을 확인할 수 있었다.

• The Journal of Korean Institute of Electromagnetic Engineering and Science
• /
• v.13 no.7
• /
• pp.679-686
• /
• 2002

Based on the alternating series expansion of error probability function due to phase noise in PSK systems, the performance evaluations for Tikhonov and Gaussian probability density functions were performed in this paper. The range of the signal-to-noise ratio of recovered carrier signal which provides the same dependency between the error performances by Tikhonov function and Gaussian function was analyzed via loss evaluation due to phase noise. The phase noise with 1/f$^2$ characteristic was generated based on the relationship of the phase noise spectral density and the modulation index for frequency modulation signal. Using the generated phase noise as the input signal for digital satellite communication receiver, the performance losses due to the phase noise were measured and evaluated with the analyzed performance characteristics.