• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2016년도 추계학술대회
• /
• pp.13-16
• /
• 2016

본 논문에서는 순환 신경망을 이용하여 동영상에서의 배경과 전경을 구분하는 알고리즘을 제안한다. 순환 신경망은 일련의 순차적인 입력에 대해서 내부의 루프(loop)를 통해 이전 입력에 의한 정보를 지속할 수 있도록 구성되는 신경망을 말한다. 순환 신경망의 여러 구조들 가운데, 우리는 장기적인 관계에도 반응할 수 있도록 장단기 기억 신경망(Long short-term memory networks, LSTM)을 사용했다. 그리고 동영상에서의 시간적인 연결 뿐 아니라 공간적인 연관성도 배경과 전경을 판단하는 것에 영향을 미치기 때문에, 공간적 순환 신경망을 적용하여 내부 신경망(hidden layer)들의 정보가 공간적으로 전달될 수 있도록 신경망을 구성하였다. 제안하는 알고리즘은 기본적인 배경차분 동영상에 대해 기존 알고리즘들과 비교할만한 결과를 보인다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
• /
• pp.125-130
• /
• 2019

최근 순환신경망은 여러 자연어처리 분야에서 좋은 성능을 보이고 있다. 하지만 순환신경망의 복잡한 네트워크 구조 때문에 순환신경망이 어떠한 근거로 예측 결과를 제시했는지 해석하기 어려운 문제점이 있다. 따라서, 순환신경망이 적용된 자연어처리 시스템이 도출한 결과의 타당성을 제공하고 자연어처리 시스템에 중요한 자질을 선별하기 위한 연구가 필요하다. 본 논문에서는 자연어처리 분야의 하나인 감성분석에서 순환신경망의 예측을 분석한다. 학습된 감성분석 시스템의 예측을 해석하기 위해 입력 자질에 대한 민감도 분석을 수행하고 이를 어텐션 메커니즘과 비교하고 그 결과에 대해 설명한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2016년도 추계학술발표대회
• /
• pp.617-620
• /
• 2016

본 논문에서는 이미지 캡션 생성과 모델 전이에 효과적인 심층 신경망 모델을 제시한다. 본 모델은 멀티 모달 순환 신경망 모델의 하나로서, 이미지로부터 시각 정보를 추출하는 컨볼루션 신경망 층, 각 단어를 저차원의 특징으로 변환하는 임베딩 층, 캡션 문장 구조를 학습하는 순환 신경망 층, 시각 정보와 언어 정보를 결합하는 멀티 모달 층 등 총 5 개의 계층들로 구성된다. 특히 본 모델에서는 시퀀스 패턴 학습과 모델 전이에 우수한 LSTM 유닛을 이용하여 순환 신경망 층을 구성하고, 컨볼루션 신경망 층의 출력을 임베딩 층뿐만 아니라 멀티 모달 층에도 연결함으로써, 캡션 문장 생성을 위한 매 단계마다 이미지의 시각 정보를 이용할 수 있는 연결 구조를 가진다. Flickr8k, Flickr30k, MSCOCO 등의 공개 데이터 집합들을 이용한 다양한 비교 실험을 통해, 캡션의 정확도와 모델 전이의 효과 면에서 본 논문에서 제시한 멀티 모달 순환 신경망 모델의 우수성을 입증하였다.

• 한국컴퓨터정보학회논문지
• /
• 제16권6호
• /
• pp.61-70
• /
• 2011

본 논문은 퍼지를 적용한 순환 신경망을 이용하여 잡음 제거용 필터를 구현하였다. 제안된 퍼지 순환 신경망 구조는 기본적으로 순환 신경망 구조를 이용하여 가중치 및 반복횟수가 일정한 값에 수렴하도록 하였으며, 하이브리드 퍼지 소속 함수 연산자를 적용하여 수학적인 계산량 및 복잡성를 단순화하였다. 본 논문은 제안된 퍼지 순환 신경망 구조 필터가 일반적인 순환 신경망 구조 필터보다 평균 0.38dB 정도 영상복원이 개선됨을 PSNR을 이용하여 증명하였다. 또한 결과 영상 비교에서 제안된 방법을 적용하여 얻은 영상이 기존 방법을 적용하여 얻은 영상보다 원영상과 더 유사함을 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 하계학술대회
• /
• pp.26-27
• /
• 2021

본 논문에서는 자막방송 제공을 위해 방송콘텐츠를 이해하는 방법으로 잔차 합성곱 순환신경망 기반 음향 사건 분류 기법을 제안한다. 제안된 기법은 잔차 합성곱 신경망과 순환 신경망을 연결한 구조를 갖는다. 신경망의 입력 특징으로는 멜-필터벵크 특징을 활용하고, 잔차 합성곱 신경망은 하나의 스템 블록과 5개의 잔차 합성곱 신경망으로 구성된다. 잔차 합성곱 신경망은 잔차 학습으로 구성된 합성곱 신경망과 기존의 합성곱 신경망 대비 특징맵의 표현 능력 향상을 위해 합성곱 블록 주의 모듈로 구성한다. 추출된 특징맵은 순환 신경망에 연결되고, 최종적으로 음향 사건 종류와 시간정보를 추출하는 완전연결층으로 연결되는 구조를 활용한다. 제안된 모델 훈련을 위해 라벨링되지 않는 데이터 활용이 가능한 평균 교사 모델을 기반으로 훈련하였다. 제안된 모델의 성능평가를 위해 DCASE 2020 챌린지 Task 4 데이터 셋을 활용하였으며, 성능 평가 결과 46.8%의 이벤트 단위의 F1-score를 얻을 수 있었다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2001년도 봄 학술발표논문집 Vol.28 No.1 (B)
• /
• pp.586-588
• /
• 2001

최근에는 순환 신경망의 생성모델이 비교사 학습에 관련하여 활발히 연구되고 있다. 이러한 형태의 신경망은 형태 추출이나 인식에 효과적으로 사용될 수 있는 반면 반복 loop를 사용하므로 대단히 많은 계산이 필요하다. 본 논문에서는 Oh와 Seung에 의해 제안된 상향전파(Up-propagation) network이라는 순환 신경망을 FPGA를 이용해서 구현하였다. 단층 신경망은 9개의 상층 neuron과 256개의 하층 neuron으로 구성되 있으며 4만 게이트의 FPGA 하나로 효과적으로 구현할 수 있다. pipeline된 곱셈기로 게산 속도를 향상시켰고 sigmoid 전달 함수는 유한 정밀도의 2차 다항식으로 근사될 수 있다. 구현된 하드웨어는 hand-written 숫자 영상인 USPS data를 재생하는데 사용되었으며 좋은 결과를 얻었다.

• Communications for Statistical Applications and Methods
• /
• 제5권3호
• /
• pp.599-605
• /
• 1998

본 연구에서는 단순구조 순환신경망을 이용한 신경망예측과 전통적인 시계열예측 방법을 이용하여, 순환변동이 있는 시계열자료의 단기예측 오차를 비교한다. 순환신경망모형의 입력자료를 변화시키는 개선된 학습방법을 적용하여 시계열자료를 학습하고, 신경망예측의 결과는 선형 AR(9)모형, 비선형 SETAR모형 그리고 이들의 결합모형을 이용한 예측결과와 비교한다. 실증분석에 적용된 시계열자료는 1700년부터 1987년 까지의 태양흑점 자료이며 예측에 이용된 검정자료는 1980년부터 8년 간의 자료이다.

• 한국음향학회지
• /
• 제38권4호
• /
• pp.433-441
• /
• 2019

본 논문에서는 입 주변에 방사한 초음파 신호가 반사되어 돌아올 때 발생하는 초음파 도플러 신호를 LSTM(Long Short Term Memory) 순환 신경망 (Recurrent Neural Networks, RNN)을 이용해 음성 패러미터를 추정하는 방법을 소개하고 다층 퍼셉트론 (Multi-Layer Perceptrons, MLP) 신경망을 이용한 방법과 성능 비교를 하였다. 본 논문에서는 LSTM 순환 신경망을 이용해 초음파 도플러 신호로부터 음성 신호의 푸리에 변환 계수를 추정하였다. LSTM 순환 신경망을 학습하기 위한 입력 및 기준값으로 초음파 도플러 신호와 음성 신호로부터 각각 추출된 멜 주파수 대역별 에너지 로그값과 푸리에 변환 계수가 사용되었다. 테스트 데이터를 이용한 실험을 통해 LSTM 순환 신경망과 MLP의 성능을 평가, 비교하였고 척도로는 평균 제곱근 오차(Root Mean Squared Error, RMSE)가 사용되었다.각 실험의 RMSE는 각각 0.5810, 0.7380로 나타났다. 약 0.1570 차이로 LSTM 순환 신경망을 이용한 방법의 성능 우세한 것으로 확인되었다.

• 실천공학교육논문지
• /
• 제14권3호
• /
• pp.491-498
• /
• 2022

본 논문에서는 비전공자들을 위한 교양과정으로, 기초 순환신경망 과목 커리큘럼을 설계하는데 필수적으로 요구되는 순환신경망 SW 실습 사례를 개발하였다. 개발된 SW 실습 사례는 순환신경망의 동작원리를 이해시키는 데 초점을 두고, 시각화된 전체 동작 과정을 확인할 수 있도록 스프레드시트를 사용하였다. 개발된 순환신경망 실습 사례는 지도학습 방식의 텍스트완성 훈련데이터 생성, 입력층, 은닉층, 상태층(컨텍스트 노드) 그리고 출력층을 차례대로 구현하고, 텍스트 데이터에 대해 순환신경망의 성능을 테스트하는 것으로 구성되었다. 본 논문에서 개발한 순환신경망 실습사례는 다양한 문자 수를 갖는 단어를 자동 완성한다. 제안한 순환신경망 실습사례를 활용하여, 한글 또는 영어 단어를 구성하는 최대 문자 수를 다양하게 확장하여 자동 완성하는 인공지능 SW 실습 사례를 만들 수 있다. 따라서, 본 순환신경망 기초 실습 사례의 활용도가 높다고 할 수 있다.

• 응용통계연구
• /
• 제37권2호
• /
• pp.139-155
• /
• 2024

본 연구는 좌측 해마 경화를 보인 내측두엽 뇌전증(left mTLE, mesial temporal lobe epilepsy with left hippocampal sclerosis) 환자군과 우측 해마 경화를 보인 내측두엽 뇌전증(right mTLE, mesial temporal lobe epilepsy with right hippocampal sclerosis) 환자군 그리고 건강한 대조군(healthy controls; HC)으로부터 측정한 뇌자도(magnetoencephalography; MEG) 데이터로 각 그룹을 분류하는 다중 분류 작업에 다양한 인공신경망을 적용하고 그 결과를 비교해 보고자 하였다. 합성곱 신경망, 순환 신경망 그리고 그래프 신경망으로 모델링한 결과, k-fold 정확도 평균은 합성곱 신경망 기반 모델, 그래프 신경망 기반 모델, 순환 신경망 기반 모델 순으로 우수하였다. 또한, 수행 시간은 순환 신경망 기반 모델, 그래프 신경망 기반 모델, 합성곱 신경망 기반 모델 순으로 우수하였다. 정확도 성능과 시간 면에서 모두 좋은 수치를 보이며, 네트워크 데이터의 확장성이 뛰어난 그래프 신경망이 앞으로 뇌 연구에 활용되기 적합한 모델임을 강조하고자 한다.