• 문화기술의 융합
• /
• 제9권1호
• /
• pp.649-654
• /
• 2023

본 논문은 그래프 합성곱 신경망을 이용한 신경망 구조 탐색 모델 설계를 제안한다. 딥 러닝은 블랙박스로 학습이 진행되는 특성으로 인해 설계한 모델이 최적화된 성능을 가지는 구조인지 검증하지 못하는 문제점이 존재한다. 신경망 구조 탐색 모델은 모델을 생성하는 순환 신경망과 생성된 네트워크인 합성곱 신경망으로 구성되어있다. 통상의 신경망 구조 탐색 모델은 순환신경망 계열을 사용하지만 우리는 본 논문에서 순환신경망 대신 그래프 합성곱 신경망을 사용하여 합성곱 신경망 모델을 생성하는 GC-NAS를 제안한다. 제안하는 GC-NAS는 Layer Extraction Block을 이용하여 Depth를 탐색하며 Hyper Parameter Prediction Block을 이용하여 Depth 정보를 기반으로 한 spatial, temporal 정보(hyper parameter)를 병렬적으로 탐색합니다. 따라서 Depth 정보를 반영하기 때문에 탐색 영역이 더 넓으며 Depth 정보와 병렬적 탐색을 진행함으로 모델의 탐색 영역의 목적성이 분명하기 때문에 GC-NAS대비 이론적 구조에 있어서 우위에 있다고 판단된다. GC-NAS는 그래프 합성곱 신경망 블록 및 그래프 생성 알고리즘을 통하여 기존 신경망 구조 탐색 모델에서 순환 신경망이 가지는 고차원 시간 축의 문제와 공간적 탐색의 범위 문제를 해결할 것으로 기대한다. 또한 우리는 본 논문이 제안하는 GC-NAS를 통하여 신경망 구조 탐색에 그래프 합성곱 신경망을 적용하는 연구가 활발히 이루어질 수 있는 계기가 될 수 있기를 기대한다.

• 제어로봇시스템학회논문지
• /
• 제1권1호
• /
• pp.33-37
• /
• 1995

순환 신경회로망의 응용에서 종종 대두되는 국지극소점을 확인하고 제거하는 효과적인 방법을 제안한다. 신경망의 학습과정에서 밝혀지는 국지극소점에 대하여 부상관성을 부과하여 에너지표면을 재조정함으로서 원하는 상태에서 회로망이 안정에 도달하게 한다. 이때 의사상태(spurious states)는 안정조건을 적용함으로서 확인되는데 이과정은 특별히 설계된 병렬회로에 의하여 효율적으로 처리된다. 이와같은 부학습(unlearning)의 결과로서 순환신경망의 저장용량과 수렴성능의 개선을 이룰수 있다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제6권4호
• /
• pp.203-210
• /
• 2017

본 논문에서는 이미지 캡션 생성과 모델 전이에 효과적인 심층 신경망 모델을 제시한다. 본 모델은 멀티 모달 순환 신경망 모델의 하나로서, 이미지로부터 시각 정보를 추출하는 컨볼루션 신경망 층, 각 단어를 저차원의 특징으로 변환하는 임베딩 층, 캡션 문장 구조를 학습하는 순환 신경망 층, 시각 정보와 언어 정보를 결합하는 멀티 모달 층 등 총 5 개의 계층들로 구성된다. 특히 본 모델에서는 시퀀스 패턴 학습과 모델 전이에 우수한 LSTM 유닛을 이용하여 순환 신경망 층을 구성하며, 캡션 문장 생성을 위한 매 순환 단계마다 이미지의 시각 정보를 이용할 수 있도록 컨볼루션 신경망 층의 출력을 순환 신경망 층의 초기 상태뿐만 아니라 멀티 모달 층의 입력에도 연결하는 구조를 가진다. Flickr8k, Flickr30k, MSCOCO 등의 공개 데이터 집합들을 이용한 다양한 비교 실험들을 통해, 캡션의 정확도와 모델 전이의 효과 면에서 본 논문에서 제시한 멀티 모달 순환 신경망 모델의 높은 성능을 확인할 수 있었다.

• 한국수자원학회논문집
• /
• 제51권12호
• /
• pp.1217-1227
• /
• 2018

본 연구에서는 순환신경망을 이용한 댐 유입량 예측모형의 적용성 검토를 목적으로 하고 있으며, 이를 위해 소양강댐 유역 및 충주댐 유역을 대상으로 그간 댐 운영을 통해 축적된 기상 및 수문 빅데이터를 활용하여 인공신경망 모형과 엘만 순환신경망 모형을 구축하였다. 모형의 학습과 예측을 위하여 유역별 유입량, 강우량, 기온, 일조시간, 풍속자료가 입력자료로 사용되었고 10일간 일별 댐유입량 자료가 모델의 출력자료로 구조화 하여 학습을 진행한 후 검증을 목적으로 2016년 7월 ~ 2018년 6월까지 2개년에 대한 댐 유입량 예측을 수행하였다. 학습된 모형의 유입량 예측 결과를 비교분석한 결과, 소양강댐 유역에서는 인공신경망 모형과 순환신경망 모형 간 예측성능은 큰 차이를 보이지 않았으며, 충주댐 유역에서는 순환신경망 모형의 예측 결과가 인공신경망 모형에 비해 비교적 우수한 성능을 보임에 따라 엘만 순환신경망을 이용하여 댐 유입량 예측모형을 구축할 경우 예측성능은 기존의 인공신경망 모형과 비슷하거나 다소 우수할 것으로 판단된다. 또한 엘만 순환신경망은 갈수기 댐 유입량 예측에 있어서 인공신경망에 비해 예측결과의 재현성이 우수한 것으로 나타났으며, 엘만 순환신경망 학습에 있어 다중 은닉층 구조가 단일 은닉층 구조보다 예측 성능 향상에 효과적인 것으로 분석되었다.

• 한국정보통신학회논문지
• /
• 제24권4호
• /
• pp.494-500
• /
• 2020

본 논문에서는 초광대역 (Ultra-wideband, UWB) 시스템에서 실내 위치 측위를 위한 새로운 거리 추정 기법을 제안한다. 제안하는 기법은 딥러닝 기법 중 하나인 순환 신경망 (RNN)을 기반으로 한다. 순환신경망은 시계열 신호를 처리하는데 유용한데 UWB 신호 역시 시계열 데이터로 볼 수 있기 때문에 순환신경망을 사용한다. 구체적으로, UWB 신호가 IEEE 802.15.4a 실내 채널모델을 통과하고 수신된 신호에서 순환신경망 회귀를 통해 송신기와 수신기 사이의 거리를 추정하도록 학습한다. 이렇게 학습된 순환신경망 모델의 성능은 새로운 수신신호를 이용하여 검증하며 기존의 임계값 기반의 거리 추정 기법과도 비교한다. 성능지표로는 제곱근 평균추정에러 (root mean square error, RMSE)를 사용한다. 컴퓨터 모의실험 결과에 따르면 제안하는 거리 추정 기법은 수신신호의 신호 대 잡음비 (signal to noise ratio, SNR) 및 송수신기 사이의 거리와 상관없이 기존 기법보다 항상 월등히 우수한 성능을 보인다.

• 한국음향학회지
• /
• 제38권3호
• /
• pp.308-313
• /
• 2019

노년기 3대 질환 중 하나인 파킨슨병은 환자의 70 % 이상이 음성 장애를 앓고 있으며 최근 음성 신호를 통한 파킨슨병의 진단 방법들이 고안되고 있다. 본 논문에서는 음성 특징을 이용한 심층 잔류 순환 신경망 기반의 파킨슨병 진단 방식을 제안한다. 제안하는 방식에서는 파킨슨병 진단을 위한 음성 특징을 선택하고 이를 심층 잔류 순환 신경망에 적용하여 파킨슨병 환자를 식별한다. 제안하는 심층 잔류 순환 신경망은 심층 순환 신경망에 잔류 학습 방식을 결합한 알고리즘으로 파킨슨병 진단에서 기존의 식별 알고리즘보다 더 높은 인식률을 보인다.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제21권8호
• /
• pp.567-571
• /
• 2015

기존의 전이 기반 한국어 의존 구문 분석 방법론들은 사용 될 자질의 설계에 많은 노력이 필요하다. 최근에 인공 신경망을 이용하여 자질 설계 단계에서의 시간과 노력을 줄이는 연구들이 많이 수행되었으나 제한된 context의 정보들만 보고 전이 과정에 필요한 decision을 내려야 하는 문제점들이 있다. 본 논문에서는 순환 신경망 모델을 이용하여 자질 설계에 필요한 노력을 줄이고 순환 구조로 먼 거리 의존관계를 고려하였다. 실험을 진행한 결과 일반적인 다층 신경망에 비해 0.51%의 성능향상을 이루었으며 UAS 90.33%의 성능을 선보인다.

• 한국컴퓨터정보학회논문지
• /
• 제1권1호
• /
• pp.129-138
• /
• 1996

산업발전과 기술의 대형화. 고도화 등으로 인하여 매년 방대한 양리 정보가 처리되고 있다 정보화를 이루기 위해서는 대부분 종이로 기록뇌어 내려오던 정보를 컴퓨터에 저장하여 적기적소에 사용할 수 있어야 한다. 문자인식을 위한 신경망의 학습에 있어서 출력 값을 재사용하는 신경망모델로는 순환신경망이 있다. 그러나 이러한 방법들의 대부분은 오프라인 필기체문자와 같은 정적인 패턴의 분류에 있어서는 효과적으로 적락되지 않는다. 이에 본 연구에서는 오프라인 필기체문자와 같은 정적인 패턴을 효과적으로 분류하기 위한 새로운 형태의 순환신경망을 제안한다. 본 논문은 Jordan과 Elman Model을 확장 결합한 새로운 J-도(Jordan-Elman) 신경망 모델을 사용하여 숫자 및 필기체 문자와 같은 정적인 패턴의 인식에서 기존의 신경망보다 성능이 향상되었음을 보여준다.

• 한국정보처리학회논문지
• /
• 제4권2호
• /
• pp.401-408
• /
• 1997

인간이 지식을 얻는 대부분의 수단은, 눈으로 사물을 보거나 귀로 소리를 들어 입력되는 패턴.영상또는 소리.을 인식하고 그것을 지식으로 축적하는 연속적인 과정이다. 그중 문자인식은 시각정보를 통하여 문제를 인식하고 나아가 의미를 이해하는 인간의 능력을 컴퓨터로 실현하려는 패턴인식의 한분야로서 신경망을 사용한 패턴인식 시스템으로 발전되고 있다. 신경망의 학습에 있어서를 출력값을 재사용하는 신경망모델로는, 순환신경망( Recurrent Neural Netwrek)이 있다. 최근 들어서 이러한 순환신경망을 오프라인 필기체 문자와 같은 정적인 패턴의 분류에 적용하려는 연구가 많이 진행되고 있다. 그러나 이러한 방법들의 대부분든 오프라인 필기체문자와 같은 정적인 패턴의 분류에 있어서는 효과적으로 적용되지 않는다. 이에 본 연구에서는 오프라인 필기체문자와 같은 정적인 패턴을 효과적으로 분르하기 위한 새로운 형태의 순환신경망을 제안한다.본논문에서는 Jordan과 Elman Model 을 확정 결합한 새로운 J-E(Jordan-Elman) 신경망 모델을 사용하여 숫자 및 필기체 문자와 같은 정적인 패턴의 인식에서 기존의 신명망보다 성능이 향상되었음을 보여 준다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2017년도 춘계학술발표대회
• /
• pp.892-895
• /
• 2017

본 논문에서는 비분할 비디오로부터 이 비디오에 담긴 사람의 행동을 효과적으로 탐지해내기 위한 심층 신경망 모델을 제안한다. 일반적으로 비디오에서 사람의 행동을 탐지해내는 작업은 크게 비디오에서 행동 탐지에 효과적인 특징들을 추출해내는 과정과 이 특징들을 토대로 비디오에 담긴 행동을 탐지해내는 과정을 포함한다. 본 논문에서는 특징 추출 과정과 행동 탐지 과정에 이용할 심층 신경망 모델을 제시한다. 특히 비디오로부터 각 행동별 시간적, 공간적 패턴을 잘 표현할 수 있는 특징들을 추출해내기 위해서는 C3D 및 I-ResNet 합성곱 신경망 모델을 이용하고, 시계열 특징 벡터들로부터 행동을 자동 판별해내기 위해서는 양방향 BI-LSTM 순환 신경망 모델을 이용한다. 대용량의 공개 벤치 마크 데이터 집합인 ActivityNet 비디오 데이터를 이용한 실험을 통해, 본 논문에서 제안하는 심층 신경망 모델의 성능과 효과를 확인할 수 있었다.