The Possibility of Neural Network Approach to Solve Singular Perturbed Problems

Abstract

Recentlly neural network approach for solving a singular perturbed integro-differential boundary value problem have been researched. Especially the model of the feed-forward neural network to be trained by the back propagation algorithm with various learning algorithms were theoretically substantiated, and neural network models such as deep learning, transfer learning, federated learning are very rapidly evolving. The purpose of this paper is to study the approaching method for developing a neural network model with high accuracy and speed for solving singular perturbed problem along with asymptotic methods. In this paper, we propose a method that the simulation for the difference between result value of singular perturbed problem and unperturbed problem by using neural network approach equation. Also, we showed the efficiency of the neural network approach. As a result, the contribution of this paper is to show the possibility of simple neural network approach for singular perturbed problem solution efficiently.

최근 특이성 교란 미적분 경계값 문제를 해결하기 위해 신경회로망 접근이 연구되고 있다. 특히 다양한 학습 알고리즘을 가진 백프로파게이션 알고리즘에 의해 훈련하는 피드-포워드 신경회로망의 이론적 모델이 제시되고 있으며, 딥러닝, 전이학습, 연합학습 등의 신경회로망 모델이 매우 빠르게 개발되고 있다. 본 논문의 목적은 특이성 교란 문제를 점근법적 방법과 함께 해결하기 위해 고도의 정확성과 속도를 가진 신경회로망 접근법에 관해 연구하는 것이다. 이를 위해 본 논문에서는 특이성 교란문제의 결과치와 교란되지 않은 문제의 결과치의 차이에 대해 신경회로망 접근 식을 사용하여 시뮬레이션 하였고 신경회로망 접근식의 효율성도 제시하였다. 결론적으로 특이성 교란 문제를 수식이 아닌 단순한 신경회로망 접근으로 효율적으로 해결할 수 있음을 제시한 것이 본 논문의 주요 기여사항이다.

I. Introduction

인공지능(AI) 기술은 컴퓨터 분야에서 매우 복잡한 실용적 문제를 단기간에 해결하려는데 이용되는 최신 기술이다. 인공지능 기술의 적용을 위해 시스템의 공정 속도를 크게 높이고 생산 비용을 절감할 수 있는 다양한 과학 및 연구 방법이 개발되고 있다. 신경회로망은 인공지능 분야에서 많이 사용되는 기술 중 하나이며, 신경회로망의 작용시스템은 다양한 기술적 프로세스의 기능성을 연구하는데 있어서 가장 정확한 결과를 산출한다.

특히, 인공지능은 물리학과 같은 복잡한 문제를 해결하려는 데 많이 활용된다. 물리적 과정에서, 실제 요소들 중 크게 영향을 미치지 않는 요소를 고려하여 물리적 과정을 모델링할 때, 특이성 교란 문제(singular perturbation problem)는 중요한 수학적 연구가 된다[1]. 교란 문제는 해결 가능하지 않은 문제를 해결 가능한 문제로부터 교란으로 취급하여 해결하는 것이다. 특히 특이성 교란 문제는 해결 가능한 문제와 해결 가능하지 않은 문제의 해결책에 있어 규칙적 교란 문제(regular perturbation problem) 와 질 적인 차이가 있다. 즉 교란되지 않은(unperturbed) 문제와는 질 적으로 차이가 있는 교란된(perturbed) 문제로, 한계(limit)가 단수(singular)인 매개변수를 특징으로 하는 문제의 연구를 다룬다[2].

특이성 교란 미적분 방정식(intergo-differential)은 더 높은 상위 함수(higher derivatives), 해법 및 조건이 작은 매개변수(small parameter)에 의존하는 것이 특징이다. 그러한 방정식의 경계값(boundary value) 문제에서는 경계층의 특정 영역에서 해법의 급격한 변화가 관찰된다. 경계층의 효과적인 점근법적(asymptotic) 함수 방법은 특이성 교란 경계값 문제가 고려되는 전체 영역에 걸쳐 균등한 근사 해법의 구축을 실현한다. 특히 특이성 교란미적분 경계값(boundary value) 문제의 해법은 점근법방법의 원리에 따라 다음과 같은 중요한 개념에 대해 연구한다. 즉, 작은 변수에 대한 의존성, 점근법적 수렴 현상, 초기 점프(initial jump) 현상, 적분 용어의 영향, 균일성, 전체 세그먼트, 그리고 점근법의 고유성[3] 등이다.

특이성 교란 문제의 실제적인 의미는 예를 들어, 액체나 얇은 판의 열 분포에서 점도의 영향을 연구하는 것과 같은 원리로, 기계학 등 분야의 여러 문제들에서 정확한 해결책보다 근사적인 해결책이 더 가치가 있다는 것을 의미하려는데 있다. 이는 인공지능의 기본 속성과도 일치하는 부분이다.

이러한 이유로, 본 연구의 목적은 이러한 복잡한 문제에 대한 근사적 해결책의 정확성을 높이기 위해 점근법적 방법과 함께 신경회로망 기법을 사용하고자 한다. 신경회로망은 시간이 많이 소요되고 그에 상응하는 추가 조건이 필요한 복잡한 문제에, 전통적인 방법보다 훨씬 효율적인 해결책과 결과를 보여준다. 신경회로망 방법의 장점은 네트워크 구조를 모델링할 수 있는 가능성과 다양한 알고리즘을 최적으로 선택할 수 있다는데 있다. 복잡한 술어 논리의 병렬 실행 수단으로서 신경회로망은 어떤 수학적 계산법도 적용할 수 없는 복잡한 동적 제어 시스템에서 효율적인 예측, 최적화, 의사결정 등의 문제를 실현할 수 있다[4].

따라서 본 연구의 목적은 특이성 교란 미적분 경계값 문제(singular perturbed integro-differential boundary value)를 해결하기 위한 신경회로망 접근법을 연구하고자 한다.

본 논문의 구성은 다음과 같다. 특이성 교란 미적분 경계값 문제와 해결책의 주요 특성 및 점근법에 의한 연구 결과를 II장에서 제시하며, III장에서는 특이성 교란 문제를 해결하기 위한 적용가능성의 관점에서 신경회로망의 방법론을 제안하고자 한다. 특이성 교란 미적분 경계값 문제를 해결하기 위한 신경회로망 방법의 연구 결과의 분석과 시뮬레이션은 IV장에서 제시하며, 마지막으로 V장에서는 결론을 맺고자 한다.

II. Related Work

신경회로망을 사용하는 것은 실제로는 인간의 지능을 보완하기 위한 것으로, 일반적인 전통적 계산방법과는 다른 장점을 갖는다. 즉, 일반적인 전통적 계산방법은 시간과 노력이 많이 들기 때문에 신경회로망보다는 효과적이지 않다. 신경회로망의 성과는 신경회로망의 구조뿐 아니라 이를 모델링하기 위한 효과적인 수학적 방법에 의한 이론 개발과 다양한 알고리즘의 최적인 선택과도 연관되어있다[5]. 이러한 특성을 바탕으로 정확한 결과와 정확한 의사결정이 필요한 매우 복잡한 동적 시스템에서는 전통적 방법 외에 신경회로망의 기술을 적용할 필요가 있다. 신경회로망은 복잡한 술어 논리를 병렬적으로 실행하는 기술로 정보 보호와 예측, 최적화 문제, 보안 및 통제에서의 의사 결정 등의 문제를 구현할 수 있는 장점이 있다.

확장 모델은 프로세스의 가장 중요한 측면을 반영할 수 있으며, 프로세스에 필요한 정보를 추출할 수 있는 기회를 제공한다. 확장 모델에서는 작은 매개변수와 함께 추가 항이 나타나는데, 이를 교란(perturbation)이라고 한다. 교란 문제는 규칙적 교란(regular perturbation) 문제와 특이성 교란(singular perturbation) 문제로 나뉘는데, 차이점은 규칙적 교란은 교란되지 않은(unperturbed) 문제의 해결책에 약간의 변화를 가져오고, 특이성 교란은 해결책에 중대한 변화를 일으킨다는 점이다. 이러한 교란의 주요 목적은 작은 매개변수가 0이 되는 경향이 있을 때 단순화된 모델과 확장된 모델의 해결책의 차이가 0이 되는지를 결정하는 것이다 [6].

규칙적 교란 ε = 0문제는 인 교란되지 않은 문제와 질적으로 동일한 0이 아닌 아주 작은 ε을 가진 교란된 문제를 말하는 반면, 특이성 교란은 매개변수 ε에 의존하는점근법적(asymptotic), 규준에서 벗어난(divergent), 해결책의 확장적(expansion)인 새로운 현상을 허용하여 가장 관심을 끄는 중요한 문제로 다루어지고 있다[3].

또한 기계학, 물리학, 그리고 컴퓨터 기술 방법의 개발에서도 작은 매개변수 방법이 적용되어 왔다. 그러나 천체역학, 수역학, 기체역학, 탄성 이론, 진동과 파동 이론, 응용 수학 들은 정확한 해답을 허용하지 않는 특징들을 가지고 있기 때문에, 문제의 해결책을 위해 근사치 방법을 사용하여 얻은 근사치를 사용하기도 하였다[7].

이와 같이 초기 조건과 경계 조건이 있는 선형 및 비선형 미분방정식과 미적분 방정식의 특이성 교란 문제는 수많은 논문에서 연구되어 왔으며, 다양한 점근법적방법이개발되어 왔다[8-10]. 여기서, 입력의 크기에 따라 함수가 증가하는 비율을 점근법적 증가율이라 하고 그 표기법을점근법적 표기법이라고 한다. 빅오, 빅오메가 등이 점근법적 표기법의 예이다. 점근법적 방법에서는 입력 값이 작은 것보다는 입력 값이 커질 때 복잡성이 증가하는 문제가 발생하므로, 점근법적 표기법에서는 중요하지 않은 항들은 일반적으로 제거하여 계산한다.

III. Proposed Method

1. Mathematical Model Description

경계 조건이 있는 도함수(derivatives)에서 작은 매개변수를 갖는 미적분 방정식은 특이성 교란 문제에서 중요한 문제 유형이다.

1.1 Problem Statement

특이성 교란 미적분 경계값 문제를 3차 선형 미적분 방정식으로 생각해 보자.

\(\begin{aligned} L_{e} y & \equiv \epsilon^{2} y^{\prime \prime \prime}+\epsilon A(t) y^{\prime \prime}+B(t) y^{\prime}+C(t) y=\\ &=F(t)+\int^{1} \sum^{1}\left[K_{j}(t, x) y^{\{j\}}(x, \epsilon)\right] d x \end{aligned}\)       (1)

\(y(t, \epsilon): y(0, \epsilon)=\alpha, y^{\prime}(0, \epsilon)=\beta, y(1, \epsilon)=\gamma\)       (2)

여기서 \(\varepsilon>0\)은 작은 매개변수이고, \(y(t, \epsilon)\)를 나타내는 α, β, γ는 경계(boundary)를 나타내는 이미 알려진 상수이다. 다음 조건들이 참이라고 가정하자.

a. A(t), B(t), C(t), F(t)함수는 0≤ t≤ 1의 조건을 가지고 k_j(t,x),j=0,1 조건의 K함수는 도메인 D ≡ 0 ≤ t ≤ 1,0 ≤ x ≤ 1에서 무한 미분가능하다고 가정한다.

b. μ_i함수는 t=1, 2인, 0이 아닌 근의 방정식(root of equation)으로 식(4)의 조건을 만족한다.

\(\mu^{2}+A(t) \mu+B(t)=0\)       (3)

\(\mu_{i}(t) \leq-\delta \equiv \text { cont }<0, i=1,2,0 \leq t \leq 1\)       (4)

c. 충분히 작은 ε에 대해 매개변수 λ = 1은 커널의 고유값(eigen value)은 아니다.

\(J(t, p, \epsilon)=\frac{1}{\epsilon^{2}} \int_{0}^{1}\left[K_{0}(t, x) K(x, p, \epsilon)+K_{1}(t, x) K^{\prime}(x, p, \epsilon)\right] d x\)       (5)

1.2 Fundamental Solution System

이 문제의 해결책에 대한 점근법적 수렴(asymptotic convergence)에 관한 해법 프로세스를 설명하면 다음과 같다.

먼저 식(1)과 동차방정식(6)을 생각해 보자.

\(L_{\epsilon} y \equiv \epsilon^{2} y^{\prime \prime \prime}+\epsilon A(t) y^{\prime \prime}+B(t) y^{\prime}+C(t) y=0\)       (6)

식(6)과 관련된 지수방정식은 다음 식(7)과 같이 정의된다.

\(\varepsilon^{2} \lambda^{3}+\varepsilon A(t) \lambda^{2}+B(t) \lambda+C(t)=0\)       (7)

ε값을 식(7)의 양변에 곱하고, μ = ελ로 치환하면 다음식(8)을 얻을 수 있다.

\(\mu^{3}+A(t) \mu^{2}+B(t) \mu+\varepsilon C(t)=0\)       (8)

식(8)에 근의 방정식(9)를 대입하면 식(10)을 얻을 수 있다,

\(\mu(t, \varepsilon)=\mu(t)+\varepsilon \mu_{1}(t)+\ldots .,\)       (9)

\(\begin{aligned} &\left(\mu(t)+\varepsilon \mu_{1}(t)+\ldots\right)^{3}+A(t)\left(\mu(t)+\varepsilon \mu_{1}(t)+\ldots\right)^{2} \\ &+B(t)\left(\mu(t)+\varepsilon \mu_{1}(t)+\ldots\right)+\varepsilon C(t)=0 \end{aligned}\)       (10)

ε의 0번째 차수(degree)와 관련된 계수로부터 식(3)을 얻을 수 있다. μ₁(t), μ₂(t)에 의해 근의 방정식을 정의할 수 있고, 이런 근이 조건 b를 만족하게 됨을 알 수 있다. 따라서 동차방정식(6)의 해를 위한 기본시스템으로 다음식(11)을 얻을 수 있다.

\(\begin{aligned} &y_{i}(t, \varepsilon)=e^{\frac{1}{\epsilon} \int_{0}^{1} \mu_{i}(t, x) d x}\left(y_{i 0}(t)+\varepsilon y_{i 0}(t)+\ldots\right), \\ &y_{3}(t, \varepsilon)=y_{30}(t)+\varepsilon y_{30}(t)+\ldots, \quad i=1,2 \end{aligned}\)       (11)

이 식(11)을 식(6)에 대입하고 ε의 0번째 차수와 관련된 계수를 사용하면,\(y_{i 0}(t), y_{30}(t), i=1,2\)계수에 대해 다음 식(12)와 식(13)과 같은 문제를 만나게 된다.

\(\begin{aligned} &\left(2 \mu^{2}(t)+A(t) \mu_{i}(t)\right) y^{\prime}{ }_{i 0}(t)+\left(3 \mu_{i}(t) \mu_{i}^{\prime}(t)+\right. \\ &\left.A(t) \mu_{i}^{\prime}(t)+C(t)\right) y_{i 0}(t)=0, y_{i 0}(0)=1, i=1,2 \end{aligned}\)       (12)

\(B(t) y_{30}^{\prime}(t)+C(t) y_{30}(t)=0, y_{i 0}(0)=1\)       (13)

슈레징거(Schlesinger), 버크호프(Birkhoff), 노아일론 (Noailon)[10,11]의 이론에 의한 조건 c에 따라 다음 식 (14)의 점근법적 표기는 동차방정식(6)의 해에 대한 기본시스템이 된다. 즉, 다음과 같은 한계 전이(limit transitions)를 확립할 수 있다.

\(\begin{aligned} &y_{i}^{(j)}(t, \varepsilon)=\frac{1}{\epsilon^{j}} e^{\frac{1}{\epsilon} \int_{0}^{1} \mu_{i}(t, x) d x}\left(\mu_{i}^{j}(t)+y_{i 0}(t)+O(\epsilon)\right), \\ &y_{i}^{(j)}(t, \varepsilon)=y_{30}(t)+O(\epsilon), i=1,2, j=\overline{0,2} \end{aligned}\)       (14)

여기서 \(\mu_{i}(t), i=1,2\)는 근의 방정식(3)이며, \(y_{i 0}(t), i=1,2,3\)계수는 각각 식(12)와 식(13) 문제의 해(solution)이다. 즉, y(t,ε)는 문제를 정의하는 앞의 식 (1)과 식(2)의 해가 되는 것과 같은 의미이다.

방정식의 적분 용어의 영향 아래에서, 원래의 적분 문제해결은 적분 용어의 초기 점프(initial jump)라고 불리는 추가 용어와 함께 수정된 퇴행성(degenerative) 미적분방정식의 해로 수렴된다. 따라서 퇴행성 문제의 경계 조건에서는 해의 초기 점프라고 하는 추가 용어가 나타난다. 위의 식(14)는 경계층 함수를 사용하여 문제 해의 동차 (homogeneous) 점근법상 근사치인 식(1)과 식(2)를 어느 정도의 정확도로 구성한다. 점근법의 나머지 기간이나 정확한 해(exact solution)와 근사치 해(approximate solution)의 차이를 추정하게 되면, 근사치의 정확도를 결정할 수 있다.

2. Neural Network Approach

2.1 Theoretical Basis

특이성 교란 문제와 신경회로망의 비교를 위한 모델 구조는 다음 Fig. 1과 같이 설명할 수 있다. 특이성 교란 문제를 해결하기 위해 수학적 모델을 적용하면 먼저 모델을 확립한 후 계산을 하는 반면, 신경회로망은 은닉층 프로세스의 매개변수를 셋팅 함으로서 과정을 수행한다. 이것이 수학적 모델과 신경회로망 모델과의 근본적 차이점이다.

Fig. 1. Singular perturbed problem and neural network

신경회로망은 분산 병렬 프로세서로, 정보 처리의 기본유닛(unit)으로 구성되어 있으며 실험적 지식을 축적하고 추가 처리를 위해 신경회로망이 동작한다. 학습 과정에서 보면, 외부 환경에서 신경회로망으로 들어가는 정보는 특정 알고리즘에 의해 처리된다. 신경회로망의 조정은 지식을 축적하기 위해 적용된 시냅스의 가중치를 변화시킴으로써 수행된다. 신경회로망 모델의 주요 요소는 시냅스와 활성화 함수이다. 가장 일반적인 활성화 함수는 빠르게 증가하면서도 미분 가능한 S자형 함수이며, 최근 딥러닝 등에서는 ReLU가 사용되기도 한다. 그러나 모델정의를 위해본 논문에서는 S자 모양의 활성화 함수를 사용한다.

신경회로망 아키텍처는 사용되는 학습 알고리즘과 연관되어 있다. 세 가지 기본적인 신경회로망 아키텍처가 있는데, 단층 및 다층 피드-포워드 네트워크, 리커런트 아키텍처 등이다. 은닉층의 존재는 추가적인 시냅스 연결로 인한 뉴런의 상호작용 수준을 증가시키는 역할을 한다. 각 특정계층의 모든 노드가 인접 계층의 모든 노드에 연결될 때 완전히 연결된 신경회로망이 확보된다[4].

다중 계층 피드-포워드 네트워크에서 오류 교정에 기초한 오류 역전파 학습 알고리즘이 사용된다. 전방향과 역방향을 갖는 피드-포워드 네트워크 구조에서는 역방향시 출력은 목표 응답에서 감산되는 특성을 이용하여 결과로서 오류 신호가 형성된다. 이 신호는 시냅스 연결의 역방향으로 네트워크를 통해 전파된다. 오류 신호는 신경회로망의 매개변수들을 조정하는 데 사용된다.

신경회로망의 최적화는 오류 함수의 값이 최소인 매개변수를 찾기 위해 설계된다. 오류 함수를 최소화하는 한 가지 방법은 라벤베르그-마쿼르트 (Levenberg-Marquardt) 알고리즘이다[13].

신경회로망 모델을 이용한 문제해결의 주요 절차를 제시하면 다음 Fig. 2와 같다. 즉, 입력데이터, 아키텍처(네트워크), 문제호환성을 위한 구성, 최적화를 위한 초기 매개변수 설정, 학습알고리즘 개발, 인증방법 개발 등이 필요하다.

Fig. 2. Neural network structure

2.2 Proposed Neural Network Approach

이번 절에서는 특이성 교란 문제를 해결하기 위한 신경회로망 접근 방법을 적용하는 과정의 체계를 구성하여 제안고자 한다.

본 연구에서는 규칙적 교란 미분방정식과 특이성 교란 미분방정식의 해를 위한 신경회로망 점근법적 개발에 관한 과학적 연구[14-17]에 기초하여, 미분방정식과 미적분방정식의 초기 및 경계조건을 가진 특이성 교란 문제를 해결하기 위한 신경회로망 모델링의 일반적 구조를 다음 Fig. 3과 같이 제안한다. 즉 신경회로망 접근방법에서 특이성 교란 문제 해결을 위해서는 먼저, 원래의 초기 문제를 정의하고, 분석적 해결책을 표현하며 문제를 분산 형태로 전환한다. 또한 시험함수의 표현과 시험적 해결책 형태의 결정, 오류함수를 최소화하기 위한 정의 등을 통해 기울기 하강을 계산한다.

Fig. 3. Proposed neural network approach for singularity perturbed problem

이를 위해 신경회로망 점근법적 방법을 이용하기 위해 앞서 문제를 정의하는 식(1)과 식(2)를 다음 식(16)과 같은 유형으로 변환한다.

여기서 코치 함수(cauchy function)\(K(t, p, \epsilon), 0 \leq p \leq t \leq 1\)를 정의하면 다음 식(15)와 같다[18,19].

\(\begin{aligned} &L_{\varepsilon} K(t, p, \varepsilon)=0, \\ &K(p, p, \varepsilon)=0, K^{\prime}(p, p, \varepsilon)=0, K^{\prime \prime}(p, p, \varepsilon)=1 \end{aligned}\)       (15)

\(\min _{p} \sum_{t_{i} \in[0,1]} F\left(t_{i}\right)+\int_{0}^{1} \sum_{j=0}^{1}\left[K_{j}\left(t_{i}, x\right) y_{T}^{(j)}(x, p, \varepsilon)\right] d x\)       (16)

여기서, \(y_{T}(t, p, \varepsilon)\)는 신경회로망의 가중치와 바이어스와 관련된 입력값 t와 조정 가능한 매개변수 p를 갖는 식 (1)에 대한 피드-포워드 신경회로망의 시험적 해결책이다.

경계 조건을 만족하는 시험 함수(trial function)의 구성은 다음 식(17)의 두 용어의 합으로부터 선택된다.

\(y_{T}(t, p, \varepsilon)=D(t, \varepsilon)+G(t, N(t, p, \varepsilon))\)       (17)

여기서 D(t, ε)는 경계 조건에 만족하나 조정 가능한 매개변수가 없고, 매개변수 N(t, p, ε)는 매개변수 p와 입력 벡터 t를 가진 피드-포워드 신경회로망의 출력값을 의미한다. G(t, N(t, p, ε))는 경계 조건에 기여하지 않지만 오류를 최소화하도록 매개변수가 조정되는 신경회로망 모델의 출력값이다. 따라서 t∈[0,1]인 식(2) 경계 조건에 의해 N(t, p, ε)은 하나의 출력을 갖는 피드-포워드 신경회로망이라 하면, 본 논문에서 해결하려는 특이성 교란 문제에 대한 시험적 해결책을 얻을 수 있다. 즉, 신경회로망을 활용하면 일반적 수학식보다 편리하면서 효율적으로 문제를 정의할 수 있다는 점이 가장 큰 장점이다.

신경회로망에서 모델은 주어진 매개변수로 학습 방법에 의해 시작되며 해결하려는 문제의 세그먼트에서 매개변수를 변경하도록 학습된다.

따라서 문제를 최적화하기 위해서는 경계조건인 식(1) 과식(2)의 오류함수를 공식화할 필요가 있다. 오류함수는 다음 식(18)과 같이 쓸 수 있다.

\(E(p)=\sum_{t_{i} \in[0,1]}\left(L_{T}\left(t_{i}, \varepsilon\right)-R_{T}\left(t_{i}, \varepsilon\right)\right)^{2}\)       (18)

여기서 다음 식(19) 정의를 활용한다.

\(\begin{aligned} L_{T}\left(t_{i}, \varepsilon\right) &=\varepsilon^{2} y^{\prime \prime \prime}{ }_{T}\left(t_{i}, \varepsilon\right)+\varepsilon A\left(t_{i}\right) y_{T}^{\prime \prime}\left(t_{i}, \varepsilon\right)+\\ &+B\left(t_{i}\right) y_{T}^{\prime}\left(t_{i}, \varepsilon\right)\left(t_{i}, \varepsilon\right)+C\left(t_{i}\right) y_{T}\left(t_{i}, \varepsilon\right), \\ R_{T}\left(t_{i}, \varepsilon\right) &=F\left(t_{i}\right)+\sum_{j=0}^{1} K_{j}\left(t_{i}, \varepsilon\right) y_{T}^{(j)}\left(t_{i}, \varepsilon\right) \end{aligned}\)       (19)

오류 계산은 출력뿐만 아니라 그것의 입력에 관한 네트워크 출력 함수(derivative)도 포함한다. 따라서 매개변수 p에 대한 오류 기울기 하강(gradient descent)을 계산하기 위해서는 시험적 해의 모든 도함수들(derivatives)을 구할 필요가 있다[20].

IV. Analysis

신경회로망 방법의 적용에서 특이성 교란 문제는 최적화 문제로 축소될 수 있다. 오차를 최소화하는 신경회로망의 학습 방법에 의한 최적화 문제의 해(solution)는 최대속도와 계산의 병행성으로 보장된다. 사전에 알려진 해와 학습의 정확도를 비교하여 해의 오류를 줄이고 학습의 정확도를 높인다. 신경회로망은 방정식, 경계 조건, 경계 교란(boundary perturbation)동요 및 계산 오류의 계수 설정의 부정확성과 관련하여 고려하면 상당히 안정적이다.

신경회로망 방법과 수학적 모델을 이용하여 위에서 정의한 이론적 기초를 바탕으로, 특이성 교란 문제의 해를 제시하기 위하여 최적의 신경회로망 점근법을 찾는 데 중요한 요소들을 정의할 수 있다. 중요한 요소들은 Fig. 4와 같은 3층의 피드-포워드 아키텍처, 은닉층에서 동작하는 뉴런의 수와 층수, 단일 출력층 설정, 그리고 활성화 함수이며, 이들을 잘 정의하면 기존 수학식에 의한 방법보다 편리하며 효율적으로 문제를 정의할 수 있음을 나타내고 있다.

Fig. 4. Proposed neural network approach for singular perturbed problem

본 논문에서는 특이성 교란 문제 해결을 위해 기존의 수학식에 의한 해법보다는 신경회로망적 접근방법을 통해 Fig.4 와 같이 단순한 구조를 사용하면 수학식을 사용하는 것보다 단순하게 문제를 해결할 수 있음을 도표로 나타낸 것이다.

식(1)에 경계조건인 식(2)의 y(t,ε)을 사용하고 다음의 계수, 식(20)을 대입하면 식(21)의 동차 방정식을 얻을 수 있다.

\(\begin{aligned} &A(t)=3, B(t)=2, C(t)=0, F(t)=1 \\ &K_{0}(t, x)=0, K_{1}(t, x)=1 \end{aligned}\)       (20)

\(\epsilon^{2} y^{\prime \prime \prime}(t, \epsilon)+3 \epsilon y^{\prime \prime}(t, \epsilon)+2 y^{\prime}(t, \epsilon)=1+\int_{0}^{1} y^{\prime}(x, \epsilon) d x\)       (21)

동차 방정식(21)의 기본 해(solution) 시스템은 다음의 형태로 구성되어있다고 가정하자

\(y_{1}(t, \epsilon)=e^{\frac{t}{\epsilon}}, y_{2}(t, \epsilon)=e^{\frac{2 t}{\epsilon}}, y_{3}(t, \epsilon)=1\)        (22)

식(22)를 특이성 교란 문제 식(21) 에 직접 적용하여 계산하면 식(23) 해를 얻을 수 있다.

\(y(t, \epsilon)=\frac{2 e^{\frac{t}{\epsilon}}-e^{\frac{2 t}{\epsilon}}-1}{2 e^{\frac{1}{\epsilon}}-e^{\frac{2}{\epsilon}}-1}+t\)       (23)

Table 1은 특이성 교란 문제에서 가장 중요한 매개변수 ε = 10^-1 보다 차수가 클 때 결과 값이 다르게 나타나며, ε = 10^-3, ε = 10^-5보다 차수가 작을때 더 정확히 교란되지 않은(unperturbed) 문제의 해에 수렴하는 것을 알 수 있다. 첫 번째 컬럼은 0~1 사이의 t 값을 나타내며, 두 번째 컬럼은 교란되지 않은 문제의 해로써 \(\bar{y}(t)=t+1\)을 나타내며 3, 4, 5 컬럼은 ε = 10^-1, ε = 10^-3, ε = 10^-5각각에 대한 특이성 교란 문제식 (23)의 해를 보여주고 있다. 그러므로 작은 매개변수 이 0 에 가까울수록 특이성 교란 문제의 해에 수렴한다는 것을 알 수 있다.

특이성 교란 문제의 점근법적 해법과 신경회로망 접근 방법과의 효율성을 정량적으로 비교하는 것은 본 논문의 영역을 벗어나는 것이며, 여기서는 특이성 교란 문제를 신경회로망을 이용하여 해결할 수 있다는 시사점을 제공한다는 점에서 의의가 있다고 하겠다.

Table 1. Comparative Results of the influence of a small parameter ε

Ⅴ. Conclusions

본 논문에서는 특이성 교란 미적분 경계값 문제를 해결하기 위한 신경회로망적 접근방법의 일반적인 체계를 정의하였다. 특이성을 갖는 난해한 문제의 해결책을 제시하기 위한, 최적의 신경회로망을 구성하는데 필요한 요소들을 정의하였다.

기본 해(solution) 시스템, 코치 함수 및 특이성 교란된 동차(homogeneous) 미분 방정식의 경계 함수(boundary function)에 대한 점근법적 표현식을 얻었다. 해의 존재와 고유성, 해와 도함수(derivatives)의 비점근법적인 예측치 도출, 그리고 특이성 교란 문제와 교란되지 않은 문제 (unperturbed problem)의 해의 결과치 차이에 대한 시뮬레이션도 제시하였다.

특이성 교란 문제를 해결할 때 얻은 모든 과학적 결과는 이론적, 실제적 의미를 가지며 물리, 역학 및 기타 과학 분야의 특정 문제에 대한 정성적 연구나 실제적 해결책에 적용할 수 있다. 본 연구의 기여사항은 향후 이러한 분야에 응용 가능하도록 하는데 신경회로망적 구조가 유용함을 증명하는 기본연구라는 점이다.

향후 물리적 프로세스의 수학적 모델의 정확성과 최적 화성을 높이기 위해 훈련 알고리즘의 성능을 비교함으로써 고려중인 신경회로망 모델에 실제 적용하는 연구를 수행할 것이며, 또한 작은 매개변수가 0이 되는 경향이 있기 때문에 주어진 불분명한 문제의 점근법적 확장에 대한 연구를 계속 진행하고자 한다.