• 제목/요약/키워드: 순환 인공 신경망

검색결과 84건 처리시간 0.024초

단어그룹 확장 기법을 활용한 순환신경망 알고리즘 성능개선 연구 (A Study on Performance Improvement of Recurrent Neural Networks Algorithm using Word Group Expansion Technique)

  • 박대승;성열우;김정길
    • 산업융합연구
    • /
    • 제20권4호
    • /
    • pp.23-30
    • /
    • 2022
  • 최근 인공지능(AI)과 딥러닝 발전으로 대화형 인공지능 챗봇의 중요성이 부각되고 있으며 다양한 분야에서 연구가 진행되고 있다. 챗봇을 만들기 위해서 직접 개발해 사용하기도 하지만 개발의 용이성을 위해 오픈소스 플랫폼이나 상업용 플랫폼을 활용하여 개발한다. 이러한 챗봇 플랫폼은 주로 RNN (Recurrent Neural Network)과 응용 알고리즘을 사용하며, 빠른 학습속도와 모니터링 및 검증의 용이성 그리고 좋은 추론 성능의 장점을 가지고 있다. 본 논문에서는 RNN과 응용 알고리즘의 추론 성능 향상방법을 연구하였다. 제안 방법은 RNN과 응용 알고리즘 적용 시 각 문장에 대한 핵심단어의 단어그룹에 대해 확장학습을 통해 데이터에 내재된 의미를 넓히는 기법을 사용하였다. 본 연구의 결과는 순환 구조를 갖는 RNN, GRU (Gated Recurrent Unit), LSTM (Long-short Term Memory) 세 알고리즘에서 최소 0.37%에서 최대 1.25% 추론 성능향상을 달성하였다. 본 연구를 통해 얻은 연구결과는 관련 산업에서 인공지능 챗봇 도입을 가속하고 다양한 RNN 응용 알고리즘을 활용하도록 하는데 기여할 수 있다. 향후 연구에서는 다양한 활성 함수들이 인공신경망 알고리즘의 성능 향상에 미치는 영향에 관한 연구가 필요할 것이다.

순환 아키텍쳐 및 하이퍼파라미터 최적화를 이용한 데이터 기반 군사 동작 판별 알고리즘 (A Data-driven Classifier for Motion Detection of Soldiers on the Battlefield using Recurrent Architectures and Hyperparameter Optimization)

  • 김준호;채건주;박재민;박경원
    • 지능정보연구
    • /
    • 제29권1호
    • /
    • pp.107-119
    • /
    • 2023
  • 군인의 동작 및 운동 상태를 인식하는 기술은 웨어러블 테크놀로지와 인공지능의 결합으로 최근 대두되어 병력 관리의 패러다임을 바꿀 기술로 주목받고 있다. 이때 훈련 상황에서의 평가 및 솔루션 제공, 전투 상황에서의 효율적 모니터링 기능을 의도한대로 제공하기 위해서는 상태 판별의 정확도가 매우 높은 수준으로 유지되어야만 한다. 하지만 입력 데이터가 시계열 또는 시퀀스로 주어지는 경우, 기존의 피드포워드 신경망으로는 분류 성능을 극대화하는데 한계가 발생한다. 전장에서의 군사 동작 인식을 위해 다뤄지는 인간의 행동양식 데이터(3축 가속도 및 3축 각속도)는 시의존적 특성의 분석이 요구되기 때문에, 본 논문은 순환 신경망인 LSTM(Long-short Term Memory) 네트워크를 활용하여 취득 데이터의 이동 양상 및 순서 의존성을 파악하고 여덟 가지의 대표적 군사 동작(Sitting, Standing, Walking, Running, Ascending, Descending, Low Crawl, High Crawl)을 분류하는 고성능 인공지능 모델을 제안한다. 이때, 학습 조건 및 모델 변수는 그 정확도에 결정적인 영향을 끼치지만 인간의 수동적 조정이 필요해 비용 비효율적이고 최적의 값을 보장하지 못한다. 본 논문은 기계 스스로 일반화 성능이 극대화된 조건들을 취득할 수 있도록 베이지안 최적화를 활용해 하이퍼파라미터를 최적화한다. 그 결과, 최종 아키텍쳐는 학습 가능한 파라미터의 개수가 유사한 기존의 인공 신경망과 비교해서 오차율이 62.56% 감소할 수 있었으며, 최종적으로 98.39%의 정확도로 군사 동작 인식 기능을 구현할 수 있었다.

영농형 태양광 발전소에서 순환신경망 기반 발전량 예측 시스템 (Recurrent Neural Network based Prediction System of Agricultural Photovoltaic Power Generation)

  • 정설령;고진광;이성근
    • 한국전자통신학회논문지
    • /
    • 제17권5호
    • /
    • pp.825-832
    • /
    • 2022
  • 본 논문은 영농형 태양광 발전 시스템의 전력 생산량을 수집·저장하여 지능적인 예측 모델을 구현하기 위한 예측 및 진단 모델의 설계와 구현에 대해 논한다. 제안된 모델은 시계열 데이터에 특화된 순환신경망 기법인 RNN, LSTM, GRU 모델을 이용하여 태양광 발전량을 예측하고 각 모델의 하이퍼 파라미터를 다르게 주어 비교 분석하고, 성능을 평가했다. 그 결과 세 모델 모두 MSE, RMSE 지표는 0에 매우 가까우며, R2 지표는 1에 가까운 성능을 보였다. 이를 통해 제안하는 예측 모델은 태양광 발전량을 예측하기에 적합한 모델임을 알 수 있고, 이러한 예측을 이용하여 영농형 태양광 시스템에서 지능적인 운영관리 기능에 적용될 수 있음을 보였다.

인공지능 기반의 행동인식을 통한 개인 운동 트레이너 구현의 방향성 제시 (Presenting Direction for the Implementation of Personal Movement Trainer through Artificial Intelligence based Behavior Recognition)

  • 하태용;이후진
    • 한국융합학회논문지
    • /
    • 제10권6호
    • /
    • pp.235-242
    • /
    • 2019
  • 최근 딥러닝을 비롯한 인공지능 기술의 활용이 다양한 분야에서 활발해지고 있으며, 특히 딥러닝 기술 기반의 객체 인식 및 검출에 뛰어난 성능을 보이는 여러 알고리즘들이 발표되고 있다. 이에 본 논문에서는 사용자의 편의성이 효과적으로 반영된 모바일 헬스케어 애플리케이션 구현에 대한 적절한 방향성을 제시하고자 한다. 기존의 피트니스 애플리케이션들에 대한 이용 만족도 연구 및 모바일 헬스케어 애플리케이션에 대한 현황을 파악하여, 이로부터 피트니스 애플리케이션 시장에서의 생존과 우위를 확보하는 동시에, 최근 주목 받고 있는 인공지능 기술의 효과적인 적용에 의한 성능 개선을 통해 기존 이용자 유지 및 확대를 도모하고자 한다.

사례기반 추론과 인공신경망을 적용한 순환골재콘크리트 강도 추정에 관한 비교 연구 (A Study on the Prediction of Recycled Aggregate Concrete Strength Using Case-Based Reasoning and Artificial Neural Network)

  • 김대원;최희복;강경인
    • 한국건축시공학회:학술대회논문집
    • /
    • 한국건축시공학회 2005년도 춘계 학술기술논문발표대회 논문집
    • /
    • pp.119-124
    • /
    • 2005
  • It is necessary for prediction of recycled aggregate concrete(RAC) strength at the early stage that facilitate concrete form removal and scheduling for construction. However, to predict RAC strength is difficult because of being influenced by complicated many factors. Therefore, this research suggest optimized estimation method that can reflect many factors. One way is Case-Based Reasoning(CBR) that solved new problems by adapting solutions to similar problems solved in the past, which are solved in the case library. Other way is Artificial Neural Networks(ANN) that solved new problems by training using a set of data, which is representative of problem domain. This study is to propose comparing accuracy of the estimating the compressive strength of recycled aggregate concrete using Case-Based Reasoning(CBR) and Artificial Neural Networks(ANN).

  • PDF

시계열 자료의 예측을 위한 자료 기반 신경망 모델에 관한 연구: 한강대교 수위예측 적용 (A Study on the Data Driven Neural Network Model for the Prediction of Time Series Data: Application of Water Surface Elevation Forecasting in Hangang River Bridge)

  • 유형주;이승오;최서혜;박문형
    • 한국방재안전학회논문집
    • /
    • 제12권2호
    • /
    • pp.73-82
    • /
    • 2019
  • 최근 이상기후로 인한 집중호우에 따른 하천변 사회기반시설의 침수피해가 증가하고 있으며, 침수 가능성 여부에 대한 신속한 예 경보가 필요한 실정이다. 일반적인 홍수 예 경보는 하천수위를 이용하고 있으며, 수치모형을 이용하여 하천수위를 예측하는 연구가 대부분이었다. 그러나 수치모형을 이용한 하천수위 예측은 결과가 정확한 반면 수치모의 시간이 오래 소요된다는 한계점이 있어 최근에는 인공신경망 등을 적용한 자료기반의 수위예측 모형이 많이 이용되고 있다. 하지만 기존의 인공신경망을 활용한 수위예측 연구는 시간적 매개변수를 고려하지 못하였다는 한계점이 존재한다. 본 연구에서는 시간적 매개변수(Time delay= 2시간)를 고려한 NARX 신경망 모형을 사용하여 한강대교의 수위를 예측하였다. 또한 NARX 모형의 적합성을 판단하기 위하여 인공신경망(ANN) 모형과, 순환신경망(RNN)모형의 결과와 비교하였다. 2009년에서 2018년까지 10년간의 수문자료를 이용하여 70%를 학습시키고 검정과 평가에 15%를 사용하여 2018년의 한강대교 3시간 후 수위를 예측한 결과 평균제곱근오차(RMSE)의 경우 ANN, RNN, NARX model이 각각 0.20 m, 0.11 m, 0.09 m, 평균절대오차(MAE)의 경우, 각각 0.12 m, 0.06 m, 0.05 m, 첨두수위 오차(Peak Error)는 각각 1.56 m, 0.55 m, 0.10 m로 나타났다. 연구 대상지역에 대한 시간적 매개변수를 고려한 예측 결과의 오차분석을 통하여 NARX 신경망 모형을 사용하는 것이 수위예측 모형 구축이 가장 적합한 것으로 나타났다. 이는 NARX 신경망 모형이 과거의 입력자료를 고려함으로써 시계열 자료의 변동 추세도 학습 할 수 있으며, 또한 모형 내 활성함수를 쌍곡선탄젠트(Hyperbolic tangent) 및 Rectified Linear Unit(ReLU) 함수를 사용하여 고수위 예측 시에도 정확한 예측 값을 도출할 수 있기 때문이다. 그러나 NARX 신경망 모형은 시퀀스 길이가 길어짐에 따라 기울기 소실문제(Vanishing gradient)가 발생하는 한계점이 있어 향후에는 이를 보완한 LSTM(Long Short Term Model)모형을 이용하여 수위예측의 정확도를 검토하고자 한다.

디코더를 활용한 기계독해 모델의 근거 추출 방법 (Evidence Extraction Method for Machine Reading Comprehension Model using Recursive Neural Network Decoder)

  • 한규빈;장영진;김학수
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.609-614
    • /
    • 2023
  • 최근 인공지능 시스템이 발전함에 따라 사람보다 높은 성능을 보이고 있다. 또한 전문 지식에 특화된 분야(질병 진단, 법률, 교육 등)에도 적용되고 있지만 이러한 전문 지식 분야는 정확한 판단이 중요하다. 이로 인해 인공지능 모델의 결정에 대한 근거나 해석의 중요성이 대두되었다. 이를 위해 설명 가능한 인공지능 연구인 XAI가 발전하게 되었다. 이에 착안해 본 논문에서는 기계독해 프레임워크에 순환 신경망 디코더를 활용하여 정답 뿐만 아니라 예측에 대한 근거를 추출하고자 한다. 실험 결과, 모델의 예측 답변이 근거 문장 내 등장하는지에 대한 실험과 분석을 수행하였다. 이를 통해 모델이 추론 과정에서 예측 근거 문장을 기반으로 정답을 추론한다는 것을 확인할 수 있었다.

  • PDF

Deep CNN 기반의 한국어 음소 인식 모델 연구 (Korean Phoneme Recognition Model with Deep CNN)

  • 홍윤석;기경서;권가진
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2018년도 춘계학술발표대회
    • /
    • pp.398-401
    • /
    • 2018
  • 본 연구에서는 심충 합성곱 신경망(Deep CNN)과 Connectionist Temporal Classification (CTC) 알고리즘을 사용하여 강제정렬 (force-alignment)이 이루어진 코퍼스 없이도 학습이 가능한 음소 인식 모델을 제안한다. 최근 해외에서는 순환 신경망(RNN)과 CTC 알고리즘을 사용한 딥 러닝 기반의 음소 인식 모델이 활발히 연구되고 있다. 하지만 한국어 음소 인식에는 HMM-GMM 이나 인공 신경망과 HMM 을 결합한 하이브리드 시스템이 주로 사용되어 왔으며, 이 방법 은 최근의 해외 연구 사례들보다 성능 개선의 여지가 적고 전문가가 제작한 강제정렬 코퍼스 없이는 학습이 불가능하다는 단점이 있다. 또한 RNN 은 학습 데이터가 많이 필요하고 학습이 까다롭다는 단점이 있어, 코퍼스가 부족하고 기반 연구가 활발하게 이루어지지 않은 한국어의 경우 사용에 제약이 있다. 이에 본 연구에서는 강제정렬 코퍼스를 필요로 하지 않는 CTC 알고리즘을 도입함과 동시에, RNN 에 비해 더 학습 속도가 빠르고 더 적은 데이터로도 학습이 가능한 합성곱 신경망(CNN)을 사용하여 딥 러닝 모델을 구축하여 한국어 음소 인식을 수행하여 보고자 하였다. 이 모델을 통해 본 연구에서는 한국어에 존재하는 49 가지의 음소를 추출하는 세 종류의 음소 인식기를 제작하였으며, 최종적으로 선정된 음소 인식 모델의 PER(phoneme Error Rate)은 9.44 로 나타났다. 선행 연구 사례와 간접적으로 비교하였을 때, 이 결과는 제안하는 모델이 기존 연구 사례와 대등하거나 조금 더 나은 성능을 보인다고 할 수 있다.

Attention과 LIME기법을 활용한 순환신경망의 의사결정 요인 분석 (Attention/LIME method to analyze decision process of RNN)

  • 윤주성;박종철;하종수;안진현;김현철
    • 한국컴퓨터교육학회 학술대회
    • /
    • 한국컴퓨터교육학회 2017년도 하계학술대회
    • /
    • pp.253-256
    • /
    • 2017
  • 딥러닝으로 만들어진 모델의 내부는 black box와 같은 특성을 가져 동작 규칙을 알기 어렵다. 최근 기계학습의 발전으로 인공지능이 전보다 더 복잡한 문제를 해결할 수 있으나 위와 같은 이유로, 모델이 내린 판단의 근거를 알기 어렵다. 그러므로 딥러닝의 동작 규칙을 사람이 이해할 수 있는 형식으로 나타내려는 노력이 필요하다. 본 연구에서는 Attention과 LIME 기법을 활용하여 IMDB 데이터를 감성 분석한 순환신경망의 의사결정 요인을 분석하였다. 각 기법을 활용했을 때의 장단점과 실제 구현에 있어 등장하는 문제에 대해 알아보고자 한다.

  • PDF

강화학습 기반 Paging 의 이동성 예측 (Mobility Prediction for Paging with RL)

  • 천성진;김복근;추현승
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2021년도 추계학술발표대회
    • /
    • pp.633-636
    • /
    • 2021
  • 4G 에서 5G 로 기술이 발전하며 무선 통신에 필요한 자원이 급격히 증가하고 있다. 증가된 자원을 효율적으로 관리하는 것은 필수적이며 이를 위해 paging cost 감소 연구들이 진행되고 있다. 순환신경망을 응용한 paging cost 감소 연구에서는 연속 예측으로 인해 예측 정확도 감소 문제가 발생한다. 본 논문에서는 강화학습 기반 이동성 예측 기법을 제안하고 기존 순환신경망 응용 기법에서 발생하는 정확도 감소 문제를 극복한다.