• 한국컴퓨터정보학회논문지
• /
• 제11권3호
• /
• pp.107-115
• /
• 2006

본 논문에서는 캐스케이드 코릴레이션 학습 알고리즘을 위한 새로운 클래스의 활성화 함수를 소개한다. 이 함수는 코사인으로 모듈화된 가우스 함수로서 편의상 이 활성화 함수를 코스가우스(CosGauss) 함수라고 칭하기로 한다. 이 함수는 기존의 시그모이드 함수(sigmoidal function), 하이퍼볼릭탄젠트 함수(hyperbolic tangent function), 가우스 함수(gaussian function)에 비해서 등성이(ridge)를 더 많이 얻을 수 있다. 이러한 등성이들로 인하여 빠른 속도로 수렴하고 패턴인식 속도를 향상 시켜서 학습 능력을 향상시킬 수 있다. 캐스케이드 코릴레이션 네트워크에 이 활성화 함수를 사용하여 중요한 기준 문제(benchmark problem)의 하나인 이중나선 문제(two spirals problem)에 대하여 실험하여 다른 활성화 함수들과 결과 값을 비교하였다.

• 한국전자파학회논문지
• /
• 제22권10호
• /
• pp.1012-1015
• /
• 2011

눈 모형이 열린 경우 간결하고 좋은 수렴 특성을 갖는 결정-지향 자력 등화 알고리듬이 자주 사용된다. 그러나 눈 모형이 닫힌 채널에서 결정-지향 알고리듬의 수렴은 보장되지 않는다. 이러한 문제를 해결하기 위하여 무기억 비선형 함수로 hyperbolic tangent 함수를 사용하는 수정된 Bussgang 알고리듬의 적용이 Filho 등에 의하여 제안되었다. 그러나 이 알고리듬의 적용은 hyperbolic tangent 함수 그리고 이의 미분에 대한 계산 및 채널의 변화에 따른 룩업 테이블을 위한 많은 메모리를 필요로 한다. 따라서 본 논문에서는 Filho 등이 제안한 알고리듬의 계산량 또는 하드웨어 복잡도를 줄이기 위하여 결정-지향 알고리듬을 위한 개선된 기법을 제안한다. 무기억 비선형 함수를 signum 함수로 설정하고, 이의 미분인 디락 델타 함수(Dirac delta function)를 협소한 사각 펄스로 근사화하여 결정-지향 알고리듬에 적용하면 Filho가 제안한 알고리듬의 수렴 및 정상 상태 성능은 유지하면서 계산 복잡도를 크게 줄일 수 있다.

• 한국콘텐츠학회논문지
• /
• 제9권2호
• /
• pp.97-105
• /
• 2009

본 논문에서는 일반화된 캐스케이드 코릴레이션 학습 알고리즘과 일반화된 순환 캐스케이드 코릴레이션 학습 알고리즘의 결합을 통한 새로운 알고리즘을 소개한다. 이 새로운 알고리즘은 패턴분류문제(pattern classification problem)의 신속한 해결을 위하여 비순환 뉴런이 유리한지 순환 뉴런이 유리한지 또는 수직성장이 유리한지 수평성장이 유리한지 고민할 필요 없이 후보뉴런의 학습 중에 네트워크의 구성을 스스로 결정한다. 이 알고리즘의 성능평가를 위하여 학습 알고리즘에서 중요한 기준 문제(benchmark problem) 중의 하나인 콘택트렌즈 문제(Contact lens problem)와 밸런스 스케일 문제 (Balance scale problem)에 대하여 실험하였고 기존의 캐스케이드 코릴레이션 알고리즘 및 순환 캐스케이드 코릴레이션 알고리즘과 성능을 비교 하였다. 이 실험에서 활성화 함수는 일반적으로 많이 사용하는 시그모이드 함수(sigmoidal function) 와 하이퍼볼릭탄젠트 함수(hyperbolic tangent function)를 사용하였다. 이 새로운 알고리즘은 학습을 통하여 기존의 알고리즘보다 적은 수의 은닉뉴런을 생성하여 보다 빠른 학습 속도를 보여주었다.

• 재무관리연구
• /
• 제12권2호
• /
• pp.1-23
• /
• 1995

본 연구의 목적은 특정 금융기관의 주거래기업들에 대한 부실예측을 위해 주거래기업들을 잠식, 도산, 그리고 건전기업과 같이 세집단으로 구분하여 예측하고자 하며, 기업부실 예측력에 영향을 미치는 세 가지 요인으로서 표본구성, 투입 변수, 분석 기법의 관점에서 다음을 살펴보는 것이다. 첫째, 기업부실예측에서 전통적인 delta learning rule과 sigmoid함수를 사용한 역전파학습(신경망 I)과 이들의 변형형태인 normalized cumulative delta learning rule과 hyperbolic tangent함수를 사용한 역전파 학습(신경망 II)과의 예측력의 차이를 살펴보고 또한 이러한 두가지 신경망기법의 예측력을 MDA(다변량판별분석) 결과와 비교하여 신경망기법에 대한 예측력의 유용성을 살펴보고자 한다. 둘째, 세집단분류문제에서는 잠식, 도산, 건전기업의 구성비율이 위의 세가지 예측기법의 결과에 어떠한 영향을 미치는지를 살펴보고자 한다. 세째, 투입 변수선정은 기존연구 또는 이론을 바탕으로 연구자의 판단에 의해 선택하는 방법과 다수의 변수를 가지고 통계적기법에 의해 좋은 판별변수의 집합을 찾는 것이다. 본 연구에서는 이러한 방법들에 의해 선정된 투입변수들이 세가지 예측기법의 결과에 어떠한 영향을 미치는지를 살펴보고자 한다. 이러한 관점에서 본 연구의 실증분석 결과를 요약하면 다음과 같다. 1) 신경망기법이 두집단에서와 같이 세집단 분류문제에서도 MDA보다는 더 높은 예측력을 보였다. 2) 잠식과 도산기업의 수는 비슷하게 그리고 건전기업의 수는 잠식과 도산기업을 합한 수와 비슷하게 표본을 구성하는 것이 예측력을 향상하는데 도움이 된다고 할 수 있다. 3) 속성별로 고르게 투입변수로 선정한 경우가 그렇지 않은 경우보다 더 높은 예측력을 보였다. 4) 전통적인 delta learning rule과 sigmoid함수를 사용한 역전파학습 보다는 normalized cumulative delta learning rule과 hyperbolic tangent함수를 사용한 역전파 학습이 더 높은 예측력을 보였다. 이러한 현상은 두집단문제에서 보다 세집단문제에서 더 큰 차이를 나타내고 있다.

• 한국추진공학회지
• /
• 제25권6호
• /
• pp.1-11
• /
• 2021

층류화염편 라이브러리에 대한 효율적인 계산과정을 개발하기 위하여 초임계 압력조건의 기체수소/액체산소 연소기에 대해 인공신경망을 이용한 기계학습과정이 적용되었다. 학습성능과 계산효율성에 근거한 최적의 계산과정을 찾기 위하여 은닉층에 대한 ReLU와 쌍곡탄젠트 함수의 25가지 조합이 선택되었다. 정확성이 우수한 높은 학습성능을 얻는데 쌍곡탄젠트 활성화함수가 적절하였다. 인공신경망의 학습성능을 개선하기 위해서 학습데이터 변환이 제안되었다. 4개의 은닉층에 최적의 노드를 배치할 때 학습성능 및 계산비용 관점에서 모두 효율적인 것으로 나타났다. 층류화염편 라이브러리의 보간법보다 인공신경망을 사용하는 경우 전체 계산시간은 37%, 시스템 메모리는 99.98% 감소되었다.

• 터널과지하공간
• /
• 제16권5호
• /
• pp.368-376
• /
• 2006

셰일층으로 구성된 암반사면에서 층리면을 따라 대규모 평면파괴가 사면 중앙부에서 발생하였다. 현장조사시 파괴사면 주변은 지하수 누수 흔적과 점토층의 충전물이 존재하였으며, 파괴원인을 검토한 결과 층리면을 따라 형성된 점토 충전물의 낮은 전단강도와 강우시 인장균열내 형성된 수압에 의해 붕괴가 발생한 것으로 나타났다. 그리고 충전된 절리면의 전단강도 특성을 규명하기 위해서 모래, 점토의 인위적인 충전물을 이용하여 충전재 두께비에 따른 전단강도 특성을 고찰하였다.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2022년도 학술발표회
• /
• pp.43-43
• /
• 2022

유해 조류 대발생은 전국 각지의 인공호소나 하천에서 다발적으로 발생하며, 경관을 해치고 수질을 오염시키는 등 수자원에 부정적인 영향을 미친다. 본 연구에서는 인공호소에서 발생하는 유해 조류 대발생을 예측하기 위해 심층학습 기법을 이용하여 예측 모델을 개발하고자 하였다. 대상 지점은 대청호의 추동 지점으로 선정하였다. 대청호는 금강유역 중류에 위치한 댐으로, 약 150만명에 달하는 급수 인구수를 유지 중이기에 유해 남조 대발생 관리가 매우 중요한 장소이다. 학습용 데이터 구축은 대청호의 2011년 1월부터 2019년 12월까지 측정된 수질, 기상, 수문 자료를 입력 자료를 이용하였다. 수질 예측 모델의 구조는 다중 레이어 퍼셉트론(Multiple Layer Perceptron; MLP)으로, 입력과 한 개 이상의 은닉층, 그리고 출력층으로 구성된 인공신경망이다. 본 연구에서는 인공신경망의 은닉층 개수(1~3개)와 각각의 레이어에 적용되는 은닉 노드 개수(11~30개), 활성함수 5종(Linear, sigmoid, hyperbolic tangent, Rectified Linear Unit, Exponential Linear Unit)을 각각 하이퍼파라미터로 정하고, 모델의 성능을 최대로 발휘할 수 있는 조건을 찾고자 하였다. 하이퍼파라미터 최적화 도구는 Tensorflow에서 배포하는 Keras Tuner를 사용하였다. 모델은 총 3000 학습 epoch 가 진행되는 동안 최적의 가중치를 계산하도록 설계하였고, 이 결과를 매 반복마다 저장장치에 기록하였다. 모델 성능의 타당성은 예측과 실측 데이터 간의 상관관계를 R2, NSE, RMSE를 통해 산출하여 검증하였다. 모델 최적화 결과, 적합한 하이퍼파라미터는 최적화 횟수 총 300회에서 256 번째 반복 결과인 은닉층 개수 3개, 은닉 노드 수 각각 25개, 22개, 14개가 가장 적합하였고, 이에 따른 활성함수는 ELU, ReLU, Hyperbolic tangent, Linear 순서대로 사용되었다. 최적화된 하이퍼파라미터를 이용하여 모델 학습 및 검증을 수행한 결과, R2는 학습 0.68, 검증 0.61이었고 NSE는 학습 0.85, 검증 0.81, RMSE는 학습 0.82, 검증 0.92로 나타났다.

• 응용통계연구
• /
• 제15권2호
• /
• pp.323-336
• /
• 2002

최근에 1상 임상실험 에서 사용되는 continual reassessment method (CRM)에 대한 연구가 활발히 이루어지고 있다. 본 논문에서는 세 명의 환자를 하나의 환자 군으로 삼아 동일한 용량을 투여하는 수정된 CRM에 대한 연구를 실행하였다. 지금까지 CRM에 대한연구는 대부분 시뮬레이션에 의존하여 왔지만, 본 논문에서는 모든 가능한 경우를 고려하는 방법(complete enumeration)을 사용하였다. 이 새로운 방법은 시뮬레이션을 대체할 유용한 방법이라 사료된다. 이 새로운 방법을 이용하여, 용량독성곡선이 logistic함수, hyperbolic tangent 함수, power 함수일 때, 수정된 CRM에서 결정한 최대허용용량에서의 독성 확률이 목표 독성 확률로 잘 수렴함을 보였다. 하지만, 실험 전에 용량들을 적절히 선택하지 못하면, 최대허용용량에서의 독성 확률이 목표 독성 확률과 상당한 차이를 낼 수도 있음을 발견하였다.

• 전자공학회논문지CI
• /
• 제49권2호
• /
• pp.115-122
• /
• 2012

본 논문에서는 CosGauss라고 하는 코사인함수로 모듈화 된 가우시안 활성화함수가 뉴로 네트워크에서 다항식과 계단함수의 근사에 사용될 수 있음을 증명한다. CosGauss 함수는 시그모이드, 하이퍼볼릭 탄젠트, 가우시안 활성화 함수보다 더 많은 범프(bump)를 구성 할 수 있다. 이 함수를 캐스케이드 코릴레이션 뉴로 네트워크 학습에 사용하여 벤치마크 문제인 Tic-Tac-Toe 게임과 아이리스(iris) 식물 문제와 실험하고 여기에서 얻어진 결과를 다른 활성화 함수를 사용한 결과와 비교 분석한다.

• 한국농공학회논문집
• /
• 제63권1호
• /
• pp.103-116
• /
• 2021

Analysis of runoff is substantial for effective water management in the watershed. Runoff occurs by reaction of a watershed to the rainfall and has non-linearity and uncertainty due to the complex relation of weather and watershed factors. ANN (Artificial Neural Network), which learns from the data, is one of the machine learning technique known as a proper model to interpret non-linear data. The performance of ANN is affected by the ANN's structure, the number of hidden layer nodes, learning rate, and activation function. Especially, the activation function has a role to deliver the information entered and decides the way of making output. Therefore, It is important to apply appropriate activation functions according to the problem to solve. In this paper, ANN models were constructed to estimate runoff with different activation functions and each model was compared and evaluated. Sigmoid, Hyperbolic tangent, ReLU (Rectified Linear Unit), ELU (Exponential Linear Unit) functions were applied to the hidden layer, and Identity, ReLU, Softplus functions applied to the output layer. The statistical parameters including coefficient of determination, NSE (Nash and Sutcliffe Efficiency), NSEln (modified NSE), and PBIAS (Percent BIAS) were utilized to evaluate the ANN models. From the result, applications of Hyperbolic tangent function and ELU function to the hidden layer and Identity function to the output layer show competent performance rather than other functions which demonstrated the function selection in the ANN structure can affect the performance of ANN.