• 제목/요약/키워드: Vanishing

검색결과 376건 처리시간 0.026초

딥러닝 기반의 Semantic Segmentation을 위한 Residual U-Net에 관한 연구 (A Study on Residual U-Net for Semantic Segmentation based on Deep Learning)

  • 신석용;이상훈;한현호
    • 디지털융복합연구
    • /
    • 제19권6호
    • /
    • pp.251-258
    • /
    • 2021
  • 본 논문에서는 U-Net 기반의 semantic segmentation 방법에서 정확도를 향상시키기 위해 residual learning을 활용한 인코더-디코더 구조의 모델을 제안하였다. U-Net은 딥러닝 기반의 semantic segmentation 방법이며 자율주행 자동차, 의료 영상 분석과 같은 응용 분야에서 주로 사용된다. 기존 U-Net은 인코더의 얕은 구조로 인해 특징 압축 과정에서 손실이 발생한다. 특징 손실은 객체의 클래스 분류에 필요한 context 정보 부족을 초래하고 segmentation 정확도를 감소시키는 문제가 있다. 이를 개선하기 위해 제안하는 방법은 기존 U-Net에 특징 손실과 기울기 소실 문제를 방지하는데 효과적인 residual learning을 활용한 인코더를 통해 context 정보를 효율적으로 추출하였다. 또한, 인코더에서 down-sampling 연산을 줄여 특징맵에 포함된 공간 정보의 손실을 개선하였다. 제안하는 방법은 Cityscapes 데이터셋 실험에서 기존 U-Net 방법에 비해 segmentation 결과가 약 12% 향상되었다.

Causal temporal convolutional neural network를 이용한 변동성 지수 예측 (Forecasting volatility index by temporal convolutional neural network)

  • 신지원;신동완
    • 응용통계연구
    • /
    • 제36권2호
    • /
    • pp.129-139
    • /
    • 2023
  • 변동성의 예측은 자산의 리스크에 대비하는 데에 중요한 역할을 하기때문에 필수적이다. 인공지능을 통하여 이러한 복잡한 특성을 지닌 변동성 예측을 시도하였는데 기존 시계열 예측에 적합하다 알려진 LSTM (1997)과 GRU (2014)은 기울기 소실로 인한 문제, 방대한 연산량의 문제, 그로 인한 메모리양의 문제 등이 존재하였다. 변동성 데이터는 비정상성(non-stationarity)과 정상성(stationarity)을 모두 가지고 있는 특성이 있으며, 자산 가격 하방 쇼크에 더 큰 폭으로 상승하는 비대칭성과 상당한 장기 기억성, 시장에 큰 사건이 발생할 때 기존의 값들에 비해 이상치라 할 수 있을 정도의 예측할 수 없는 큰 값이 발생하는 특성들이 존재한다. 이렇게 여러 가지 복잡한 특성들은 하나의 모형으로 구조화되기 어려워서 전통적인 방식의 모형으로는 변동성에 대한 예측력을 높이기 어려운 면이 있다. 이러한 문제를 해결하기 위해 1D CNN의 발전된 형태인 causal TCN (causal temporal convolutional network) 모형을 변동성 예측에 적용하고, 예측력을 최대화 할 수 있는 TCN 구조를 설계하고자 하였다. S&P 500, DJIA, Nasdaq 지수에 해당하는 변동성 지수 VIX, VXD, and VXN, 에 대하여 예측력 비교를 하였으며, TCN 모형이 RNN 계열의 모형보다도 전반적으로 예측력이 높음을 확인하였다.

Fast Spectral Inversion of the Strong Absorption Lines in the Solar Chromosphere Based on a Deep Learning Model

  • Lee, Kyoung-Sun;Chae, Jongchul;Park, Eunsu;Moon, Yong-Jae;Kwak, Hannah;Cho, Kyuhyun
    • 천문학회보
    • /
    • 제46권2호
    • /
    • pp.46.3-47
    • /
    • 2021
  • Recently a multilayer spectral inversion (MLSI) model has been proposed to infer the physical parameters of plasmas in the solar chromosphere. The inversion solves a three-layer radiative transfer model using the strong absorption line profiles, H alpha and Ca II 8542 Å, taken by the Fast Imaging Solar Spectrograph (FISS). The model successfully provides the physical plasma parameters, such as source functions, Doppler velocities, and Doppler widths in the layers of the photosphere to the chromosphere. However, it is quite expensive to apply the MLSI to a huge number of line profiles. For example, the calculating time is an hour to several hours depending on the size of the scan raster. We apply deep neural network (DNN) to the inversion code to reduce the cost of calculating the physical parameters. We train the models using pairs of absorption line profiles from FISS and their 13 physical parameters (source functions, Doppler velocities, Doppler widths in the chromosphere, and the pre-determined parameters for the photosphere) calculated from the spectral inversion code for 49 scan rasters (~2,000,000 dataset) including quiet and active regions. We use fully connected dense layers for training the model. In addition, we utilize a skip connection to avoid a problem of vanishing gradients. We evaluate the model by comparing the pairs of absorption line profiles and their inverted physical parameters from other quiet and active regions. Our result shows that the deep learning model successfully reproduces physical parameter maps of a scan raster observation per second within 15% of mean absolute percentage error and the mean squared error of 0.3 to 0.003 depending on the parameters. Taking this advantage of high performance of the deep learning model, we plan to provide the physical parameter maps from the FISS observations to understand the chromospheric plasma conditions in various solar features.

  • PDF

Application of Informer for time-series NO2 prediction

  • Hye Yeon Sin;Minchul Kang;Joonsung Kang
    • 한국컴퓨터정보학회논문지
    • /
    • 제28권7호
    • /
    • pp.11-18
    • /
    • 2023
  • 본 논문에서는 딥러닝 시계열 예측 모형을 평가한다. 최근 연구에 따르면 이 모형은 ARIMA와 같은 기존 예측 모형보다 성능이 우수하다고 결론짓는다. 그 중 히든 레이어에 이전 정보를 저장하는 순환 신경망이 이를 위한 예측 모형 중 하나이다. 네트워크의 그래디언트 소실 문제를 해결하기 위해 LSTM은 데이터 흐름의 반대 방향으로 숨겨진 레이어가 추가되는 BI-LSTM과 함께 순환 신경망 내부의 작은 메모리로 사용된다. 본 논문은 서울의 2018년 1월 1일부터 2022년도 1월 1일까지의 NO2 자료에 대해 Informer의 성능을 LSTM, BI-LSTM, Transformer와 비교하였다. 이에 실제 값과 예측값 사이의 평균 제곱근 오차와 평균 절대 오차를 구하였다. 그 결과 Test 데이터(2021.09.01.~2022.01.01.)에 대해 Informer는 다른 방법에 비해 가장 높은 예측 정확도 (가장 낮은 예측 오차: 평균 제곱근 오차: 0.0167, 평균 절대 오차: 0.0138)를 보여 타 방법에 비해 그 우수성을 입증하였다. Informer는 당초 취지와 부합되게 다른 방법들이 갖고 있는 장기 시계열 예측에 있어서의 문제점을 개선하는 결과를 나타내고 있다.

LOW REGULARITY SOLUTIONS TO HIGHER-ORDER HARTREE-FOCK EQUATIONS WITH UNIFORM BOUNDS

  • Changhun Yang
    • 충청수학회지
    • /
    • 제37권1호
    • /
    • pp.27-40
    • /
    • 2024
  • In this paper, we consider the higher-order HartreeFock equations. The higher-order linear Schrödinger equation was introduced in [5] as the formal finite Taylor expansion of the pseudorelativistic linear Schrödinger equation. In [13], the authors established global-in-time Strichartz estimates for the linear higher-order equations which hold uniformly in the speed of light c ≥ 1 and as their applications they proved the convergence of higher-order Hartree-Fock equations to the corresponding pseudo-relativistic equation on arbitrary time interval as c goes to infinity when the Taylor expansion order is odd. To achieve this, they not only showed the existence of solutions in L2 space but also proved that the solutions stay bounded uniformly in c. We address the remaining question on the convergence of higherorder Hartree-Fock equations when the Taylor expansion order is even. The distinguished feature from the odd case is that the group velocity of phase function would be vanishing when the size of frequency is comparable to c. Owing to this property, the kinetic energy of solutions is not coercive and only weaker Strichartz estimates compared to the odd case were obtained in [13]. Thus, we only manage to establish the existence of local solutions in Hs space for s > $\frac{1}{3}$ on a finite time interval [-T, T], however, the time interval does not depend on c and the solutions are bounded uniformly in c. In addition, we provide the convergence result of higher-order Hartree-Fock equations to the pseudo-relativistic equation with the same convergence rate as the odd case, which holds on [-T, T].

시계열 자료의 예측을 위한 자료 기반 신경망 모델에 관한 연구: 한강대교 수위예측 적용 (A Study on the Data Driven Neural Network Model for the Prediction of Time Series Data: Application of Water Surface Elevation Forecasting in Hangang River Bridge)

  • 유형주;이승오;최서혜;박문형
    • 한국방재안전학회논문집
    • /
    • 제12권2호
    • /
    • pp.73-82
    • /
    • 2019
  • 최근 이상기후로 인한 집중호우에 따른 하천변 사회기반시설의 침수피해가 증가하고 있으며, 침수 가능성 여부에 대한 신속한 예 경보가 필요한 실정이다. 일반적인 홍수 예 경보는 하천수위를 이용하고 있으며, 수치모형을 이용하여 하천수위를 예측하는 연구가 대부분이었다. 그러나 수치모형을 이용한 하천수위 예측은 결과가 정확한 반면 수치모의 시간이 오래 소요된다는 한계점이 있어 최근에는 인공신경망 등을 적용한 자료기반의 수위예측 모형이 많이 이용되고 있다. 하지만 기존의 인공신경망을 활용한 수위예측 연구는 시간적 매개변수를 고려하지 못하였다는 한계점이 존재한다. 본 연구에서는 시간적 매개변수(Time delay= 2시간)를 고려한 NARX 신경망 모형을 사용하여 한강대교의 수위를 예측하였다. 또한 NARX 모형의 적합성을 판단하기 위하여 인공신경망(ANN) 모형과, 순환신경망(RNN)모형의 결과와 비교하였다. 2009년에서 2018년까지 10년간의 수문자료를 이용하여 70%를 학습시키고 검정과 평가에 15%를 사용하여 2018년의 한강대교 3시간 후 수위를 예측한 결과 평균제곱근오차(RMSE)의 경우 ANN, RNN, NARX model이 각각 0.20 m, 0.11 m, 0.09 m, 평균절대오차(MAE)의 경우, 각각 0.12 m, 0.06 m, 0.05 m, 첨두수위 오차(Peak Error)는 각각 1.56 m, 0.55 m, 0.10 m로 나타났다. 연구 대상지역에 대한 시간적 매개변수를 고려한 예측 결과의 오차분석을 통하여 NARX 신경망 모형을 사용하는 것이 수위예측 모형 구축이 가장 적합한 것으로 나타났다. 이는 NARX 신경망 모형이 과거의 입력자료를 고려함으로써 시계열 자료의 변동 추세도 학습 할 수 있으며, 또한 모형 내 활성함수를 쌍곡선탄젠트(Hyperbolic tangent) 및 Rectified Linear Unit(ReLU) 함수를 사용하여 고수위 예측 시에도 정확한 예측 값을 도출할 수 있기 때문이다. 그러나 NARX 신경망 모형은 시퀀스 길이가 길어짐에 따라 기울기 소실문제(Vanishing gradient)가 발생하는 한계점이 있어 향후에는 이를 보완한 LSTM(Long Short Term Model)모형을 이용하여 수위예측의 정확도를 검토하고자 한다.

현대조경설계의 하이브리드적 경향 (A Hybrid Tendency of Contemporary Landscape Design)

  • 장일영;김진선
    • 한국조경학회지
    • /
    • 제34권2호
    • /
    • pp.80-98
    • /
    • 2006
  • This study originated from following questions. What can we understand the conception of deconstruction, which has been the core idea of new discourses developed in various ways since modernism? How can this question be interpreted in landscape design? What is the conceptional frame of integration the prominent hybrid post-genre movements and phenomena? The frame can be epitomized with the deconstruction phenomenon. 'Deconstruction' is the core conception appeared in late or post-modern ages in the embodiment of modernity and can be viewed as an integrating or a hybrid phenomenon between areas or genres in formative arts. Therefore, the author regards the hybrid movements widely witnessed in the post contemporary formative arts as one of the most important indicators of de-constructive signs. It is safe to say that the phenomenon of this integration or hybridism, of course, does not threaten the identity of landscape design but serves as an opportunity to extend the areas of landscape design. One of the consequences of this integration or hybridism is the voluntary participation of users who have been alienated in the production of the meanings of design works and hybrid landscape design with the hybridization of genres that is characterized with transformation in forms. This view is based on the distinction between hybridization of interactions between the designer (the subject) and the user (the object), and hybridization of synesthesia. Generally speaking, this is an act of destroying boundaries of the daily life and arts. At the same time, it corresponds to vanishing of modern aesthetics and emerging of post-contemporary aesthetics which is a new aesthetic category like sublimeness. This types of landscape design tries to restore humans' sensibility and perceptions restrained by rationality and recognition in previous approach and to express non-materialistic characteristics with precaution against excessive materialism in the modern era. In light of these backgrounds, the study aims to suggest the hybrid concept and to explorer a new landscape design approach with this concept, in order to change the design structure from 'completed' or 'closed' toward 'opened' and to understand the characteristics of interactions between users and designs. This new approach is expected to create an open-space integrating complexity and dynamics of users. At the same time, it emphasizes senses of user' body with synesthesia and non-determination. The focus is placed on user participation and sublimity rather than on aesthetic beauty, which kind of experience is called simulacre. By attaching importance to user participation, the work got free from the material characteristics, and acceptance from the old practice of simple perception and contemplation. The boundaries between the subject and object and the beautiful and ordinary, from the perspective of this approach, are vanished. Now everything ordinary can become an artistic work. Western dichotomy and discrimination is not effective any more. And there is 'de-construction' where there is perfect equality between ordinary daily life and beautiful arts. Thus today's landscape design pays attention to the user and uses newly perceived sensitivity by pursing obscure and unfamiliar things rather than aesthetic beauty. Space is accordingly defined to take place accidentally as happening and event, not as volume of shape. It's the true way to express spatiality of landscape design. That's an attempt to reject conventional concepts about forms and space, which served as the basis for landscape design, and to search for new things.

불완전한 궤적을 고려한 강건한 특징점 추적 알고리즘 (A Robust Algorithm for Tracking Feature Points with Incomplete Trajectories)

  • 정종면;문영식
    • 대한전자공학회논문지SP
    • /
    • 제37권6호
    • /
    • pp.25-37
    • /
    • 2000
  • 특징점의 궤적은 인접한 프레임에 존재하는 특정점 사이의 대응관계로 정의할 수 있다. 실제 영상열에서 존재할 수 있는 잘못된 특징점(false positive, false negative)들은 특징점의 대응관계를 결정할 때 많은 문제를 야기하기 때문에 특징점의 대응관계를 찾는 문제는 어려운 문제로 알려져 있다. 본 논문에서는 새로운 궤적의 나타남, 사라짐 등 불완전한 궤적을 갖는 특징점들을 고려하는 특징점 추적기법을 제안한다. 정합 척도로서 가중치가 부여된 유클리디언 거리를 사용하고 특징점의 운동특성을 잘 반영할 수 있도록 그 가중치를 자동으로 조정한다. 대응점 탐색과정에서 치명적인 영향을 줄 수 있는 애매한 특징점이 존재하는 경우를 고려하여 인접한 프레임 사이의 정합점 결정을 그래프에 의한 최적 대응점 탐색문제로 해결한다. 제안하는 대응점 탐색 알고리즘은 실제 영상열에서 나타날 수 있는 잘못된 특징점들이 대응관계를 결정할 때 주는 영향을 최소화하기 위하여 국부 최적(local optimal)을 찾게되며, 인접한 두 프레임에 m, n개의 특징점이 주어졌을 경우, 최선의 경우 O(mn), 최악의 경우 O($m^2n$)의 계산량을 필요로 한다. 제안하는 알고리즘은 정합과정에서 잘못된 특징점을 고려하고, 특징점의 운동특성을 잘 반영함으로써 대량의 특징점을 추적하는데도 충분히 적용할 수 있음을 실험을 통해 확인하였다.

  • PDF

정규화 및 항등사상이 활성함수 성능에 미치는 영향 (The Effect of regularization and identity mapping on the performance of activation functions)

  • 류서현;윤재복
    • 한국산학기술학회논문지
    • /
    • 제18권10호
    • /
    • pp.75-80
    • /
    • 2017
  • 본 논문에서는 딥러닝에서 활용되는 정규화(regularization) 및 항등사상(identity mapping)이 활성함수(activation function) 성능에 미치는 영향에 대해 설명한다. 딥러닝에서 활성함수는 비선형 변환을 위해 사용된다. 초기에는 sigmoid 함수가 사용되었으며, 기울기가 사라지는 기존의 활성함수의 문제점을 극복하기 위해 ReLU(Rectified Linear Unit), LReLU(Leaky ReLU), PReLU(Parametric ReLU), ELU(Exponetial Linear Unit)이 개발되었다. 활성함수와의 연구와는 별도로 과적합(Overfitting)문제를 해결하기 위해, Dropout, 배치 정규화(Batch normalization) 등의 정규화 방법들이 개발되었다. 추가적으로 과적합을 피하기 위해, 일반적으로 기계학습 분야에서 사용되는 data augmentation 기법이 활용된다. 딥러닝 구조의 측면에서는 기존에 단순히 컨볼루션(Convolution) 층을 쌓아올리는 구조에서 항등사상을 추가하여 순방향, 역방향의 신호흐름을 개선한 residual network가 개발되었다. 위에서 언급된 활성함수들은 각기 서로 다른 특성을 가지고 있으나, 새로운 정규화 및 딥러닝 구조 연구에서는 가장 많이 사용되는 ReLU에 대해서만 검증되었다. 따라서 본 논문에서는 정규화 및 항등사상에 따른 활성함수의 성능에 대해 실험적으로 분석하였다. 분석을 통해, 정규화 및 항등사상 유무에 따른 활성함수 성능의 경향을 제시하였으며, 이는 활성함수 선택을 위한 교차검증 횟수를 줄일 수 있을 것이다.

일산화탄소중독견(一酸化炭素中毒犬) 체내(體內)에서의 일산화탄소처리능(一酸化炭素處理能)에 관(關)하여 (Disposal of CO in CO-Poisoning Dogs)

  • 여웅연;강반
    • The Korean Journal of Physiology
    • /
    • 제2권2호
    • /
    • pp.93-99
    • /
    • 1968
  • The Present study attempted to analyze the fate of CO diffused into the circulating blood through the alveoli. Dogs were induced to CO poisoning by rebreathing CO gas mixture contained in Krog's spirometer, by closed circuit method, for 60 minutes. The spirometer was filled initially with 282 ml of CO and 20 liters of air and oxygen, so the composition of gases were arranged as 1.4% in CO and 50% in $O_2$ at the begining of the rebreathing. Oxygen was added corresponding to the utilization of $O_2$ by the animal in proceeding of the experiment. At 60th minutes of CO rebreathing, the concentration of CO in arterial blood and in mixed venous blood were analysed and compared with each other after the CO contents were corrected with the hematocrit measured in the arterial and mixed venous blood. The distribution of CO gas to other tissues was estimated by the analysis of CO diffused into the cystic bile and into the peritoneal gas pocket which was formed by injection of 300 ml air into the peritoneal cavity prior to the CO gas rebreathing. The blood volume was measured by dilution method using $^{51}Chromium$ tagged red cells. CO amount vanished in the animal body was calculated by subtraction of total CO content in blood stream and the CO remained in closed circuit breathing system from the CO amount given to the breathing system at the begining of the experiment. Results obtained are summarized as follows: 1. The content of CO corrected by the hematocrit value was slightly less in mixed venous blood than in arterial blood. The amount of CO diffused into the cystic bile and into the peritoneal cavity was averaged to 0.1% and 0.4% of the CO amount in 100 ml of blood, respectively. 2. For 60 minutes of CO rebreathing, CO-hemoglobin saturation reached about 77% at the 60th minutes, CO amount vanished in the experimental animal averaged 36.1 ml/dog/hr., or 21% of the total CO volume in the blood stream. The average vanishing rate of CO during 60 minutes of CO rebreathing per kg of body weight was 2.71 ml/hr. Production of CO measured in ten dogs under hypoxic condition averaged 0.023 ml/kg/hr. The major part of the CO vanished in the dogs seemed to be oxidized to $CO_2$ by various tissues of the animal. The conclusion might be delivered as such oxidation of CO to $CO_2$ by animal tissues can play a role in part of the process of recovery and protection of animal from CO-poisoning.

  • PDF