• Title/Summary/Keyword: 순환 신경망

Search Result 314, Processing Time 0.025 seconds

A Cell-wise Approximation of Activation Function for Efficient Privacy-preserving Recurrent Neural Network (효율적인 프라이버시 보존형 순환신경망을 위한 활성화함수의 cell-wise 근사)

  • Youyeon Joo;Kevin Nam;Seungjin Ha;Yunheung Paek
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2024.05a
    • /
    • pp.408-411
    • /
    • 2024
  • 원격 환경에서의 안전한 데이터 처리를 위한 기술 중 동형암호는 암호화된 데이터 간의 연산을 통한 프라이버시 보존형 연산이 가능하여 최근 딥러닝 연산을 동형암호로 수행하고자 하는 연구가 활발히 진행되고 있다. 그러나 동형암호는 신경망에 존재하는 비산술 활성화함수를 직접적으로 연산할 수 없어 다항함수로 대체하여 연산해야만 하는데, 이로 인해 모델의 정확도가 하락하거나 과도한 연산 부하가 발생하는 등의 비효율성 문제가 발생한다. 본 연구에서는 모델 내의 활성화함수를 서로 다르게 근사하는 접근을 순환신경망(Recurrent Neural Network, RNN)에 적용하여 효율적인 동형암호 연산을 수행하는 방법을 제안하고자 한다.

Utterance Intention Analysis Using CNN-LSTM Neural Network (CNN-LSTM 신경망을 이용한 발화 분석 모델)

  • Kim, Min-Kyoung;Kim, Harksoo
    • Annual Conference on Human and Language Technology
    • /
    • 2017.10a
    • /
    • pp.122-124
    • /
    • 2017
  • 대화시스템이 적절한 응답을 제시해 주기 위해서는 사용자의 의도를 분석하는 것은 중요한 일이다. 사용자의 의도는 도메인에 독립적인 화행과 도메인에 종속적인 서술자의 쌍으로 나타낼 수 있다. 사용자 의도를 정확하게 분석하기 위해서는 화행과 서술자를 동시에 분석하고 대화의 문맥을 고려해야 한다. 본 논문에서 제안하는 모델은 합성곱 신경망에서 공유 계층을 이용하여 화행과 서술자간 상호작용이 반영된 발화 임베딩 모델을 학습한다. 그리고 순환 신경망을 통해 대화의 문맥을 반영하여 발화를 분석한다. 실험 결과 제안 모델이 이전 모델들 보다 높은 성능 (F1-measure로 화행에 대해 0.973, 서술자 0.919)을 보였다.

  • PDF

Utterance Intention Analysis Using CNN-LSTM Neural Network (CNN-LSTM 신경망을 이용한 발화 분석 모델)

  • Kim, Min-Kyoung;Kim, Harksoo
    • 한국어정보학회:학술대회논문집
    • /
    • 2017.10a
    • /
    • pp.122-124
    • /
    • 2017
  • 대화시스템이 적절한 응답을 제시해 주기 위해서는 사용자의 의도를 분석하는 것은 중요한 일이다. 사용자의 의도는 도메인에 독립적인 화행과 도메인에 종속적인 서술자의 쌍으로 나타낼 수 있다. 사용자 의도를 정확하게 분석하기 위해서는 화행과 서술자를 동시에 분석하고 대화의 문맥을 고려해야 한다. 본 논문에서 제안하는 모델은 합성곱 신경망에서 공유 계층을 이용하여 화행과 서술자간 상호작용이 반영된 발화 임베딩 모델을 학습한다. 그리고 순환 신경망을 통해 대화의 문맥을 반영하여 발화를 분석한다. 실험 결과 제안 모델이 이전 모델들 보다 높은 성능 (F1-measure로 화행에 대해 0.973, 서술자 0.919)을 보였다.

  • PDF

Real-Time Lip Reading System Implementation Based on Deep Learning (딥러닝 기반의 실시간 입모양 인식 시스템 구현)

  • Cho, Dong-Hun;Kim, Won-Jun
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2020.11a
    • /
    • pp.267-269
    • /
    • 2020
  • 입모양 인식(Lip Reading) 기술은 입술 움직임을 통해 발화를 분석하는 기술이다. 본 논문에서는 일상적으로 사용하는 10개의 상용구에 대해서 발화자의 안면 움직임 분석을 통해 실시간으로 분류하는 연구를 진행하였다. 시간상의 연속된 순서를 가진 영상 데이터의 특징을 고려하여 3차원 합성곱 신경망 (Convolutional Neural Network)을 사용하여 진행하였지만, 실시간 시스템 구현을 위해 연산량 감소가 필요했다. 이를 해결하기 위해 차 영상을 이용한 2차원 합성곱 신경망과 LSTM 순환 신경망 (Long Short-Term Memory) 결합 모델을 설계하였고, 해당 모델을 이용하여 실시간 시스템 구현에 성공하였다.

  • PDF

A Study on the Prediction of Recycled Aggregate Concrete Strength Using Case-Based Reasoning and Artificial Neural Network (사례기반 추론과 인공신경망을 적용한 순환골재콘크리트 강도 추정에 관한 비교 연구)

  • Kim Dae-Won;Choi hee-Bok;Kang Kyung-In
    • Proceedings of the Korean Institute of Building Construction Conference
    • /
    • 2005.05a
    • /
    • pp.119-124
    • /
    • 2005
  • It is necessary for prediction of recycled aggregate concrete(RAC) strength at the early stage that facilitate concrete form removal and scheduling for construction. However, to predict RAC strength is difficult because of being influenced by complicated many factors. Therefore, this research suggest optimized estimation method that can reflect many factors. One way is Case-Based Reasoning(CBR) that solved new problems by adapting solutions to similar problems solved in the past, which are solved in the case library. Other way is Artificial Neural Networks(ANN) that solved new problems by training using a set of data, which is representative of problem domain. This study is to propose comparing accuracy of the estimating the compressive strength of recycled aggregate concrete using Case-Based Reasoning(CBR) and Artificial Neural Networks(ANN).

  • PDF

Home monitoring system based on sound event detection for the hard-of-hearing (청각장애인을 위한 사운드 이벤트 검출 기반 홈 모니터링 시스템)

  • Kim, Gee Yeun;Shin, Seung-Su;Kim, Hyoung-Gook
    • The Journal of the Acoustical Society of Korea
    • /
    • v.38 no.4
    • /
    • pp.427-432
    • /
    • 2019
  • In this paper, we propose a home monitoring system using sound event detection based on a bidirectional gated recurrent neural network for the hard-of-hearing. First, in the proposed system, packet loss concealment is used to recover a lost signal captured through wireless sensor networks, and reliable channels are selected using multi-channel cross correlation coefficient for effective sound event detection. The detected sound event is converted into the text and haptic signal through a harmonic/percussive sound source separation method to be provided to hearing impaired people. Experimental results show that the performance of the proposed sound event detection method is superior to the conventional methods and the sound can be expressed into detailed haptic signal using the source separation.

Development of Prediction Model for Greenhouse Control based on Machine Learning (머신러닝 기반의 온실 제어를 위한 예측모델 개발)

  • Kim, Sang Yeob;Park, Kyoung Sub;Lee, Sang Min;Heo, Byeong Mun;Ryu, Keun Ho
    • Journal of Digital Contents Society
    • /
    • v.19 no.4
    • /
    • pp.749-756
    • /
    • 2018
  • In this study, we developed a prediction model for greenhouse control using machine learning technique. The prediction model was developed using measured data (2016) on greenhouse in the Protected Horticulture Research Institute. In order to improve the predictive performance of model and to ensure the reliability of data, the dimension of the data was reduced by correlation analysis. The dataset were divided into spring, summer, autumn, and winter considering the seasonal characteristics. An artificial neural network, recurrent neural network, and multiple regression model were constructed as a machine leaning based prediction model and evaluated by comparative analysis with real dataset. As a result, ANN showed good performance in selected dataset, while MRM showed good performance in full dataset.

A study on activation functions of Artificial Neural Network model suitable for prediction of the groundwater level in the mid-mountainous area of eastern Jeju island (제주도 동부 중산간지역 지하수위 예측에 적합한 인공신경망 모델의 활성화함수 연구)

  • Mun-Ju Shin;Jeong-Hun Kim;Su-Yeon Kang;Jeong-Han Lee;Kyung Goo Kang
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2023.05a
    • /
    • pp.520-520
    • /
    • 2023
  • 제주도 동부 중산간 지역은 화산암으로 구성된 지하지질로 인해 지하수위의 변동폭이 크고 변동양상이 복잡하여 인공신경망(Artificial Neural Network, ANN) 모델 등을 활용한 지하수위의 예측이 어렵다. ANN에 적용되는 활성화함수에 따라 지하수의 예측성능은 달라질 수 있으므로 활성화함수의 비교분석 후 적절한 활성화함수의 사용이 반드시 필요하다. 본 연구에서는 5개 활성화함수(sigmoid, hyperbolic tangent(tanh), Rectified Linear Unit(ReLU), Leaky Rectified Linear Unit(Leaky ReLU), Exponential Linear Unit(ELU))를 제주도 동부 중산간지역에 위치한 2개 지하수 관정에 대해 비교분석하여 최적 활성화함수 도출을 목표로 한다. 또한 최적 활성화함수를 활용한 ANN의 적용성을 평가하기 위해 최근 널리 사용되고 있는 순환신경망 모델인 Long Short-Term Memory(LSTM) 모델과 비교분석 하였다. 그 결과, 2개 관정 중 지하수위 변동폭이 상대적으로 큰 관정은 ELU 함수, 상대적으로 작은 관정은 Leaky ReLU 함수가 지하수위 예측에 적절하였다. 예측성능이 가장 낮은 활성화함수는 sigmoid 함수로 나타나 첨두 및 최저 지하수위 예측 시 사용을 지양해야 할 것으로 판단된다. 도출된 최적 활성화함수를 사용한 ANN-ELU 모델 및 ANN-Leaky ReLU 모델을 LSTM 모델과 비교분석한 결과 대등한 지하수위 예측성능을 나타내었다. 이것은 feed-forward 방식인 ANN 모델을 사용하더라도 적절한 활성화함수를 사용하면 최신 순환신경망과 대등한 결과를 도출하여 활용 가능성이 충분히 있다는 것을 의미한다. 마지막으로 LSTM 모델은 가장 적절한 예측성능을 나타내어 다양한 인공지능 모델의 예측성능 비교를 위한 기준이 되는 참고모델로 활용 가능하다. 본 연구에서 제시한 방법은 지하수위 예측과 더불어 하천수위 예측 등 다양한 시계열예측 및 분석연구에 유용하게 사용될 수 있다.

  • PDF

Indoor Positioning System using Geomagnetic Field with Recurrent Neural Network Model (순환신경망을 이용한 자기장 기반 실내측위시스템)

  • Bae, Han Jun;Choi, Lynn;Park, Byung Joon
    • The Journal of Korean Institute of Next Generation Computing
    • /
    • v.14 no.6
    • /
    • pp.57-65
    • /
    • 2018
  • Conventional RF signal-based indoor localization techniques such as BLE or Wi-Fi based fingerprinting method show considerable localization errors even in small-scale indoor environments due to unstable received signal strength(RSS) of RF signals. Therefore, it is difficult to apply the existing RF-based fingerprinting techniques to large-scale indoor environments such as airports and department stores. In this paper, instead of RF signal we use the geomagnetic sensor signal for indoor localization, whose signal strength is more stable than RF RSS. Although similar geomagnetic field values exist in indoor space, an object movement would experience a unique sequence of the geomagnetic field signals as the movement continues. We use a deep neural network model called the recurrent neural network (RNN), which is effective in recognizing time-varying sequences of sensor data, to track the user's location and movement path. To evaluate the performance of the proposed geomagnetic field based indoor positioning system (IPS), we constructed a magnetic field map for a campus testbed of about $94m{\times}26$ dimension and trained RNN using various potential movement paths and their location data extracted from the magnetic field map. By adjusting various hyperparameters, we could achieve an average localization error of 1.20 meters in the testbed.