• Title/Summary/Keyword: 활성화모델

Search Result 1,491, Processing Time 0.031 seconds

A study on activation functions of Artificial Neural Network model suitable for prediction of the groundwater level in the mid-mountainous area of eastern Jeju island (제주도 동부 중산간지역 지하수위 예측에 적합한 인공신경망 모델의 활성화함수 연구)

  • Mun-Ju Shin;Jeong-Hun Kim;Su-Yeon Kang;Jeong-Han Lee;Kyung Goo Kang
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2023.05a
    • /
    • pp.520-520
    • /
    • 2023
  • 제주도 동부 중산간 지역은 화산암으로 구성된 지하지질로 인해 지하수위의 변동폭이 크고 변동양상이 복잡하여 인공신경망(Artificial Neural Network, ANN) 모델 등을 활용한 지하수위의 예측이 어렵다. ANN에 적용되는 활성화함수에 따라 지하수의 예측성능은 달라질 수 있으므로 활성화함수의 비교분석 후 적절한 활성화함수의 사용이 반드시 필요하다. 본 연구에서는 5개 활성화함수(sigmoid, hyperbolic tangent(tanh), Rectified Linear Unit(ReLU), Leaky Rectified Linear Unit(Leaky ReLU), Exponential Linear Unit(ELU))를 제주도 동부 중산간지역에 위치한 2개 지하수 관정에 대해 비교분석하여 최적 활성화함수 도출을 목표로 한다. 또한 최적 활성화함수를 활용한 ANN의 적용성을 평가하기 위해 최근 널리 사용되고 있는 순환신경망 모델인 Long Short-Term Memory(LSTM) 모델과 비교분석 하였다. 그 결과, 2개 관정 중 지하수위 변동폭이 상대적으로 큰 관정은 ELU 함수, 상대적으로 작은 관정은 Leaky ReLU 함수가 지하수위 예측에 적절하였다. 예측성능이 가장 낮은 활성화함수는 sigmoid 함수로 나타나 첨두 및 최저 지하수위 예측 시 사용을 지양해야 할 것으로 판단된다. 도출된 최적 활성화함수를 사용한 ANN-ELU 모델 및 ANN-Leaky ReLU 모델을 LSTM 모델과 비교분석한 결과 대등한 지하수위 예측성능을 나타내었다. 이것은 feed-forward 방식인 ANN 모델을 사용하더라도 적절한 활성화함수를 사용하면 최신 순환신경망과 대등한 결과를 도출하여 활용 가능성이 충분히 있다는 것을 의미한다. 마지막으로 LSTM 모델은 가장 적절한 예측성능을 나타내어 다양한 인공지능 모델의 예측성능 비교를 위한 기준이 되는 참고모델로 활용 가능하다. 본 연구에서 제시한 방법은 지하수위 예측과 더불어 하천수위 예측 등 다양한 시계열예측 및 분석연구에 유용하게 사용될 수 있다.

  • PDF

Challenges in Science, Mathematics, and Information Convergence Education (과학, 수학, 정보 융합 교육 활성화를 위한 해결 과제)

  • Kim, Seong-Won;Lee, Youngjun
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2020.07a
    • /
    • pp.231-233
    • /
    • 2020
  • 본 연구에서는 과학·수학·정보 융합 교육 활성화를 위하여 한국의 융합 교육 연구를 분석하였다. 이를 통하여 한국의 융합 교육이 겪는 문제점을 도출하였으며, 과학·수학·정보 융합 교육을 활성화하기 위한 해결 과제를 도출하였다. 연구 결과, 과학·수학·정보 융합 교육의 활성화를 위해서는 과학·수학·정보 융합 교육 모형 개발과 역량 기반 교육 모델, 교수-학습 및 평가 모델 개발이 필요하다는 것을 확인할 수 있었다. 연구 결과를 활용하여 후속 연구에서는 과학·수학·정보 융합 교육을 활성화하기 위한 교육 모델 개발을 진행하여야 한다.

  • PDF

A Study on Augmentation Method for Improving the Performance of the Knowledge Graph Based Attention Network Model (추천 분야에서의 지식 그래프 기반 어텐션 네트워크 모델 성능 향상 기법 연구)

  • Kim, Gyoung-Tae;Min, ChanWook;Kim, JinWoo;Ahn, JinHyun;Jun, Hee-Gook;Im, Dong-Hyuk
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2022.11a
    • /
    • pp.603-605
    • /
    • 2022
  • 추천시스템은 개개인의 성향에 따른 맞춤화 추천이 가능하기 때문에 음악, 영상, 뉴스 등 많은 분야에서 관심을 받고 있다. 일반적인 추천시스템 모델은 블랙박스 모델이기 때문에 추천 결과에 따른 원인 도출을 할 수 없다. 하지만 XAI 의 모델은 이러한 블랙박스 모델의 단점을 해결하고자 제안되었다. 그 중 KGAT 는 Attention Score 를 기반으로 추천 결과에 따른 원인을 알 수 있다. 이와 같은 AI, XAI 등의 딥 러닝 모델에서 각각의 활성화 함수는 상황에 따라 상이한 성능을 나타낸다. 이러한 이유로 인해 데이터에 맞는 활성화 함수를 적용해보는 다양한 시도가 필요하다. 따라서 본 논문은 XAI 추천시스템 모델인 KGAT 의 성능 개선을 위해 여러 활성화 함수를 적용해보고, 실험을 통해 수정한 모델의 성능이 개선됨을 보인다.

Masking Exponential-Based Neural Network via Approximated Activation Function (활성화 함수 근사를 통한 지수함수 기반 신경망 마스킹 기법)

  • Joonsup Kim;GyuSang Kim;Dongjun Park;Sujin Park;HeeSeok Kim;Seokhie Hong
    • Journal of the Korea Institute of Information Security & Cryptology
    • /
    • v.33 no.5
    • /
    • pp.761-773
    • /
    • 2023
  • This paper proposes a method to increase the power-analysis resistance of the neural network model's feedforward process by replacing the exponential-based activation function, used in the deep-learning field, with an approximated function especially at the multi-layer perceptron model. Due to its nature, the feedforward process of neural networks calculates secret weight and bias, which already trained, so it has risk of exposure of internal information by side-channel attacks. However, various functions are used as the activation function in neural network, so it's difficult to apply conventional side-channel countermeasure techniques, such as masking, to activation function(especially, to exponential-based activation functions). Therefore, this paper shows that even if an exponential-based activation function is replaced with approximated function of simple form, there is no fatal performance degradation of the model, and than suggests a power-analysis resistant feedforward neural network with exponential-based activation function, by masking approximated function and whole network.

Comparative analysis of activation functions of artificial neural network for prediction of optimal groundwater level in the middle mountainous area of Pyoseon watershed in Jeju Island (제주도 표선유역 중산간지역의 최적 지하수위 예측을 위한 인공신경망의 활성화함수 비교분석)

  • Shin, Mun-Ju;Kim, Jin-Woo;Moon, Duk-Chul;Lee, Jeong-Han;Kang, Kyung Goo
    • Journal of Korea Water Resources Association
    • /
    • v.54 no.spc1
    • /
    • pp.1143-1154
    • /
    • 2021
  • The selection of activation function has a great influence on the groundwater level prediction performance of artificial neural network (ANN) model. In this study, five activation functions were applied to ANN model for two groundwater level observation wells in the middle mountainous area of the Pyoseon watershed in Jeju Island. The results of the prediction of the groundwater level were compared and analyzed, and the optimal activation function was derived. In addition, the results of LSTM model, which is a widely used recurrent neural network model, were compared and analyzed with the results of the ANN models with each activation function. As a result, ELU and Leaky ReLU functions were derived as the optimal activation functions for the prediction of the groundwater level for observation well with relatively large fluctuations in groundwater level and for observation well with relatively small fluctuations, respectively. On the other hand, sigmoid function had the lowest predictive performance among the five activation functions for training period, and produced inappropriate results in peak and lowest groundwater level prediction. The ANN-ELU and ANN-Leaky ReLU models showed groundwater level prediction performance comparable to that of the LSTM model, and thus had sufficient potential for application. The methods and results of this study can be usefully used in other studies.

Evaluation and Promotion Policy for Promising Business Models Based on TV White Space (TV 유휴 대역을 활용한 유망 비즈니스 모델의 평가 및 활성화 정책 연구)

  • Kim, Tae-Han;Song, Hee-Seok
    • The Journal of Korean Institute of Electromagnetic Engineering and Science
    • /
    • v.23 no.8
    • /
    • pp.909-922
    • /
    • 2012
  • To fully utilize scarce spectrum resource, it's necessary to develop and evaluate promising business models prior to making technology R&D plan and industrial promotion policy. The purpose of this paper is to design potential business models, evaluate the propriety of commercializing the models, and discuss promotion policies after exploring promising sectors consuming spectrum resources. The research is based on TV white space, which is vacant TV channels in region or time domain and considered as core spectrum resource along with digital terrestrial television switchover. As the result, four kinds of business models were derived, including broadcasting and telecommunication types. Each model was discussed from four standpoints: customer value proposition, profit formula, key resources, and key processes, and the propriety for commercialization was evaluated by three dimensions: technological evaluations, business-oriented evaluations, and user-oriented evaluations. The promotion policies of government and market participants for the activation of TV White space-based business models were discussed as well.

The thread scheduling method based on the priority of threads on the multithread models (다중 스레드 모델에서 스레드 우선 순위에 따른 스레드 스케쥴링 기법)

  • 이정호;고훈준;양창모;유원희
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.10c
    • /
    • pp.659-661
    • /
    • 2000
  • 폰 노이만 모델의 지역성과 데이터플로우 모델의 병렬성을 결합하여 등장한 모델이 다중 스레드 모델이다. 다중스레드 모델의 목적은 통신시간과 계산 시간을 겹침으로써 프로세서의 활용도를 높이고자 하는 것이다. 기존의 대부분의 다중 스레드 모델의 스레드 스케쥴링 기법은 FIFO 혹은 FILO 방식을 사용하고 있다. 본 논문에서는 프로세서의 활용도를 높이고 프로세서의 휴지 시간을 줄이기 위해서 원격 함수 호출 혹은 원격 메모리 참조 기능의 스레드(이후로는 원격 스레드라 부름)와 계산 기능의 스레드가 동시에 활성화되었을 때 원격 스레드들을 먼저 수행하는 것이 프로세서의 지연 시간을 줄이고 병렬성을 높이는 데 효과적임을 제안한다. 이것을 구현하기 위해서 프레임 내부의 지속 벡터(CV)를 CCV(call continuation vector)와 LCV(local continuation vector) 둘로 구분하였다. 스레드가 활성화될 때 CCV에는 원격 스레드들을, LCV에는 계산 스레드들을 저장한 후, CCV에 저장된 스레드들을 먼저 수행하고 LCV를 나중에 수행한다.

  • PDF

Concept Design to support Authentication and Privacy of Micropayment Model for Traditional Market Activation (전통시장 활성화를 위한 소액 결제 모델의 인증 및 프라이버시 지원하기 위한 개념 설계)

  • Cha, Byung-Rae;Park, Bong-Goo;Kim, Dae-Gue
    • Journal of Advanced Navigation Technology
    • /
    • v.16 no.4
    • /
    • pp.665-672
    • /
    • 2012
  • In this paper, we find out about the effort and status of GwangJu metropolitan city to reinvigorate traditional market. And we propose the micro payment model based on Android NFC and tokenization technique to support the small trader's micro payment in aspect of information technology more than the physical infrastructure and environmental improvement projects to reinvigorate the traditional market. The micropayment model supports facilities of payment using smart phone based on NFC, and the encryption and tokenization support the indirection authentication and privacy of users.

Combining Deep Learning Models for Crisis-Related Tweet Classification (재난관련 트윗 분류를 위한 딥 러닝 결합 모델)

  • Choi, Won-Gyu;Lee, Kyung-Soon
    • Annual Conference on Human and Language Technology
    • /
    • 2018.10a
    • /
    • pp.649-651
    • /
    • 2018
  • 본 논문에서는 CNN에서 클래스 활성화 맵과 원샷 러닝을 결합하여 트위터 분류를 위한 딥 러닝 모델을 제안한다. 클래스 활성화 맵은 트윗 분류에 대한 분류 주제와 연관된 핵심 어휘를 추출하고 강조 표시하도록 사용되었다. 특히 작은 학습 데이터 셋을 사용하여 다중 클래스 분류의 성능을 향상시키기 위해 원샷 러닝 방법을 적용한다. 제안하는 방법을 검증하기위해 TREC 2018 태스크의 사건 스트림(TREC-IS) 학습데이터를 사용하여 비교실험을 했다. 실험 결과에서 CNN 기본 모델의 정확도는 58.1%이고 제안 방법의 정확도는 69.6%로 성능이 향상됨을 보였다.

  • PDF

Node Activation Technique for Finite Element Model : Ⅰ. Theory (유한요소 모델의 절점 활성화 기법 : Ⅰ. 이론)

  • Jo, Jin Yeon;Kim, Do Nyeon;Kim, Seung Jo
    • Journal of the Korean Society for Aeronautical & Space Sciences
    • /
    • v.31 no.4
    • /
    • pp.26-34
    • /
    • 2003
  • In this paper, a novel technique is proposed to arbitrarily activate the nodal points in finite element model through the meshless approximation methods such as MLS(moving least squares method), and theoretical investigations are carried out including the consistency and boundeness of numerical solution to prove the validity of the proposed method. By using the proposed node activation technique, one can activate and handle only the concerned nodes as unknown variables among the large number of nodal points in the finite element model. Therefore, the proposed technique has a great potential in design and reanalysis procedure.