• 제목/요약/키워드: Bi-LSTM

검색결과 149건 처리시간 0.026초

언급 특질을 이용한 Bi-LSTM 기반 한국어 상호참조해결 종단간 학습 (Korean Co-reference Resolution End-to-End Learning using Bi-LSTM with Mention Features)

  • 신기연;한기종;이민호;김건태;최기선
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.247-251
    • /
    • 2018
  • 상호참조해결은 자연언어 문서 내에서 등장하는 명사구 언급(mention)과 이에 선행하는 명사구 언급을 찾아 같은 개체인지 정의하는 문제이다. 특히, 지식베이스 확장에 있어 상호참조해결은 언급 후보에 대해 선행하는 개체의 언급이 있는지 판단해 지식트리플 획득에 도움을 준다. 영어권 상호참조해결에서는 F1 score 73%를 웃도는 좋은 성능을 내고 있으나, 평균 정밀도가 80%로 지식트리플 추출에 적용하기에는 무리가 있다. 따라서 본 논문에서는 한국어 문서에 대해 영어권 상호참조해결 모델에서 사용되었던 최신 모델인 Bi-LSTM 기반의 딥 러닝 기술을 구현하고 이에 더해 언급 후보 목록을 만들어 개체명 유형과 경계를 적용하였으며 품사형태를 붙인 토큰을 사용하였다. 실험 결과, 문자 임베딩(Character Embedding) 값을 사용한 경우 CoNLL F1-Score 63.25%를 기록하였고, 85.67%의 정밀도를 보였으며, 같은 모델에 문자 임베딩을 사용하지 않은 경우 CoNLL F1-Score 67.92%와 평균 정밀도 77.71%를 보였다.

  • PDF

순환 신경망 기반 딥러닝 모델들을 활용한 실시간 스트리밍 트래픽 예측 (Real-Time Streaming Traffic Prediction Using Deep Learning Models Based on Recurrent Neural Network)

  • 김진호;안동혁
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제12권2호
    • /
    • pp.53-60
    • /
    • 2023
  • 최근 실시간 스트리밍 플랫폼을 기반으로 한 다양한 멀티미디어 컨텐츠의 수요량과 트래픽 양이 급격히 증가하고 있는 추세이다. 본 논문에서는 실시간 스트리밍 서비스의 품질을 향상시키기 위해서 실시간 스트리밍 트래픽을 예측한다. 네트워크 트래픽을 예측하기 위해 통계적 모형을 활용하였으나, 실시간 스트리밍 트래픽은 매우 동적으로 변화함에 따라 통계적 모형보다는 순환 신경망 기반 딥러닝 모델이 적합하다. 따라서, 실시간 스트리밍 트래픽을 수집, 정제 후 Vanilla RNN, LSTM, GRU, Bi-LSTM, Bi-GRU 모델을 활용하여 예측하며, 각 모델의 학습 시간, 정확도를 측정하여 비교한다.

소셜 네트워크 서비스 데이터에서 Bi-LSTM 기반 약물 부작용 게시물 탐지 모델 연구 (A Study on Bi-LSTM-Based Drug Side Effects Post Detection Model in Social Network Service Data)

  • 이충천;이승희;송미화;이수현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 춘계학술발표대회
    • /
    • pp.397-400
    • /
    • 2022
  • 본 연구에서는 소셜 네트워크 서비스(Social Network Service, SNS) 데이터로부터 약물 부작용 게시글을 추출하기 위한 순환 신경망(Recurrent Neural Network, RNN) 기반 분류 모델을 제안한다. 먼저, 처방 빈도가 높으며 게시글을 많이 확보할 수 있는 케토프로펜 약물에 대하여 국내 최대 소셜 네트워크 플랫폼인 네이버 블로그와 카페의 게시글(2005 년~2020 년)을 확보하고 최종 3,828 건을 분석하였다. 결과적으로 케토프로펜에 대한 3 종(약물, 부작용, 불용어)의 렉시콘을 정의하였으며 이를 기반으로 Bi-LSTM 분류모델 기준 87%의 정확도를 얻었다. 본 연구에서 제안하는 모델은 SNS 데이터가 약물 부작용 정보 획득을 위한 기존 (전자의무기록, 자발적 약물 부작용 보고 시스템 등) 자료원에 대한 보완적 정보원이 되며, 개발된 Bi-LSTM 분류모델을 통해 약물 부작용 게시글 추출의 편리성을 제공할 것으로 기대된다.

품사 분포와 Bidirectional LSTM CRFs를 이용한 음절 단위 형태소 분석기 (Syllable-based Korean POS Tagging using POS Distribution and Bidirectional LSTM CRFs)

  • 김혜민;윤정민;안재현;배경만;고영중
    • 한국어정보학회:학술대회논문집
    • /
    • 한국어정보학회 2016년도 제28회 한글및한국어정보처리학술대회
    • /
    • pp.3-8
    • /
    • 2016
  • 형태소 분석기는 많은 자연어 처리 영역에서 필수적인 언어 도구로 활용되기 때문에 형태소에 대한 품사를 결정하는 것은 매우 중요하다. 최근 음절 기반으로 형태소의 품사를 태깅하는 방법에 대한 연구들이 많이 진행되고 있다. 음절 단위 형태소 분석은 음절 단위로 분리된 형태소에 대해서 기계학습을 이용하여 분리된 음절 단위로 품사를 태깅하는 단계를 가진다. 본 논문에서는 기존의 CRF를 이용한 음절 단위 품사 태깅 방법을 개선하기 위해 bi-LSTM-CRFs를 이용한 방법을 제안한다. 또한, bi-LSTM-CRFs의 입력을 음절의 품사 분포 벡터를 이용해 확장함으로써 음절 단위 품사 태깅의 성능을 향상 시켰다.

  • PDF

음절 임베딩과 양방향 LSTM-CRF를 이용한 한국어 문장 자동 띄어쓰기 (Bi-LSTM-CRF and Syllable Embedding for Automatic Spacing of Korean Sentences)

  • 이현영;강승식
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.605-607
    • /
    • 2018
  • 본 논문에서는 음절 임베딩과 양방향 LSTM-CRF 모델을 이용한 한국어 문장 자동 띄어쓰기 시스템을 제안한다. 문장에 대한 자질 벡터 표현을 위해 문장을 구성하는 음절을 Unigram 및 Bigram으로 나누어 각 음절을 연속적인 벡터 공간에 표현하고, 양방향 LSTM을 이용하여 현재 자질에 양방향 자질들과 의존성을 부여한 새로운 자질 벡터를 생성한다. 이 새로운 자질 벡터는 전방향 신경망과 선형체인(Linear-Chain) CRF를 이용하여 최적의 띄어쓰기 태그 열을 예측하고, 생성된 띄어쓰기 태그를 기반으로 문장 자동 띄어쓰기를 수행하였다. 문장 13,500개와 277,718개 어절로 이루어진 학습 데이터 집합과 문장 1,500개와 31,107개 어절로 이루어진 테스트 집합의 학습 및 평가 결과는 97.337%의 음절 띄어쓰기 태그 분류 정확도를 보였다.

  • PDF

품사 분포와 Bidirectional LSTM CRFs를 이용한 음절 단위 형태소 분석기 (Syllable-based Korean POS Tagging using POS Distribution and Bidirectional LSTM CRFs)

  • 김혜민;윤정민;안재현;배경만;고영중
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2016년도 제28회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.3-8
    • /
    • 2016
  • 형태소 분석기는 많은 자연어 처리 영역에서 필수적인 언어 도구로 활용되기 때문에 형태소에 대한 품사를 결정하는 것은 매우 중요하다. 최근 음절 기반으로 형태소의 품사를 태깅하는 방법에 대한 연구들이 많이 진행되고 있다. 음절 단위 형태소 분석은 음절 단위로 분리된 형태소에 대해서 기계학습을 이용하여 분리된 음절 단위로 품사를 태깅하는 단계를 가진다. 본 논문에서는 기존의 CRF를 이용한 음절 단위 품사 태깅 방법을 개선하기 위해 bi-LSTM-CRFs를 이용한 방법을 제안한다. 또한, bi-LSTM-CRFs의 입력을 음절의 품사 분포 벡터를 이용해 확장함으로써 음절 단위 품사 태깅의 성능을 향상 시켰다.

  • PDF

텍스트 마이닝과 딥러닝 알고리즘을 이용한 가짜 뉴스 탐지 모델 개발 (Development of a Fake News Detection Model Using Text Mining and Deep Learning Algorithms)

  • 임동훈;김건우;최근호
    • 경영정보학연구
    • /
    • 제23권4호
    • /
    • pp.127-146
    • /
    • 2021
  • 가짜 뉴스는 정보화 시대라는 현대사회의 특성에 의해 진위 여부의 검증과는 상관없이 빠른 속도로 확대, 재생산되어 퍼진다. 전체 뉴스의 1%를 가짜라고 가정했을 경우 우리사회에 미치는 경제적 비용이 30조 원에 달한다고 하니 가짜 뉴스는 사회적, 경제적으로 매우 중요한 문제라고 할 수 있다. 이에 본 연구는 뉴스의 진위 여부를 신속하고 정확하게 확인하고자 자동화된 가짜 뉴스 탐지 모델을 개발하는데 목적을 두고 있다. 이를 위해 본 연구에서는 크롤링(crawling)을 통해 진위 여부가 밝혀진 뉴스 기사를 수집하였고, 워드 임베딩(Word2Vec, Fasttext)과 딥러닝 기법(LSTM, BiLSTM)을 이용하여 가짜 뉴스 예측 모델을 개발하였다. 실험 결과, Word2Vec과 BiLSTM의 조합이 가장 높은 84%의 정확도를 보였다.

Applying a Novel Neuroscience Mining (NSM) Method to fNIRS Dataset for Predicting the Business Problem Solving Creativity: Emphasis on Combining CNN, BiLSTM, and Attention Network

  • Kim, Kyu Sung;Kim, Min Gyeong;Lee, Kun Chang
    • 한국컴퓨터정보학회논문지
    • /
    • 제27권8호
    • /
    • pp.1-7
    • /
    • 2022
  • 인공지능 기술이 발달하면서 뉴로사이언스 마이닝(NSM: NeuroScience Mining)과 AI를 접목하려는 시도가 증가하고 있다. 나아가 NSM은 뉴로사이언스와 비즈니스 애널리틱스의 결합으로 인해 연구범위가 확장되고 있다. 본 연구에서는 fNIRS 실험을 통해 확보한 뉴로 데이터를 분석하여 비즈니스 문제 해결 창의성(BPSC: business problem-solving creativity)을 예측하고 이를 통해 NSM의 잠재력을 조사한다. BPSC는 비즈니스에서 차별성을 가지게 하는 중요한 요소이지만, 인지적 자원의 하나인 BPSC의 측정 및 예측에는 한계가 존재한다. 본 논문에서는 BPSC 예측 성능을 높이는 방안으로 CNN, BiLSTM 그리고 어텐션 네트워크를 결합한 새로운 NSM 기법을 제안한다. 제안된 NSM 기법을 15만 개 이상의 fNIRS 데이터를 활용하여 유효성을 입증하였다. 연구 결과, 본 논문에서 제안하는 NSM 방법이 벤치마킹한 알고리즘(CNN, BiLSTM)에 비하여 우수한 성능을 가지는 것으로 나타났다.

A Novel RGB Channel Assimilation for Hyperspectral Image Classification using 3D-Convolutional Neural Network with Bi-Long Short-Term Memory

  • M. Preethi;C. Velayutham;S. Arumugaperumal
    • International Journal of Computer Science & Network Security
    • /
    • 제23권3호
    • /
    • pp.177-186
    • /
    • 2023
  • Hyperspectral imaging technology is one of the most efficient and fast-growing technologies in recent years. Hyperspectral image (HSI) comprises contiguous spectral bands for every pixel that is used to detect the object with significant accuracy and details. HSI contains high dimensionality of spectral information which is not easy to classify every pixel. To confront the problem, we propose a novel RGB channel Assimilation for classification methods. The color features are extracted by using chromaticity computation. Additionally, this work discusses the classification of hyperspectral image based on Domain Transform Interpolated Convolution Filter (DTICF) and 3D-CNN with Bi-directional-Long Short Term Memory (Bi-LSTM). There are three steps for the proposed techniques: First, HSI data is converted to RGB images with spatial features. Before using the DTICF, the RGB images of HSI and patch of the input image from raw HSI are integrated. Afterward, the pair features of spectral and spatial are excerpted using DTICF from integrated HSI. Those obtained spatial and spectral features are finally given into the designed 3D-CNN with Bi-LSTM framework. In the second step, the excerpted color features are classified by 2D-CNN. The probabilistic classification map of 3D-CNN-Bi-LSTM, and 2D-CNN are fused. In the last step, additionally, Markov Random Field (MRF) is utilized for improving the fused probabilistic classification map efficiently. Based on the experimental results, two different hyperspectral images prove that novel RGB channel assimilation of DTICF-3D-CNN-Bi-LSTM approach is more important and provides good classification results compared to other classification approaches.

Dynamic deflection monitoring method for long-span cable-stayed bridge based on bi-directional long short-term memory neural network

  • Yi-Fan Li;Wen-Yu He;Wei-Xin Ren;Gang Liu;Hai-Peng Sun
    • Smart Structures and Systems
    • /
    • 제32권5호
    • /
    • pp.297-308
    • /
    • 2023
  • Dynamic deflection is important for evaluating the performance of a long-span cable-stayed bridge, and its continuous measurement is still cumbersome. This study proposes a dynamic deflection monitoring method for cable-stayed bridge based on Bi-directional Long Short-term Memory (BiLSTM) neural network taking advantages of the characteristics of spatial variation of cable acceleration response (CAR) and main girder deflection response (MGDR). Firstly, the relationship between the spatial and temporal variation of the CAR and the MGDR is described based on the geometric deformation of the bridge. Then a data-driven relational model based on BiLSTM neural network is established using CAR and MGDR data, and it is further used to monitor the MGDR via measuring the CAR. Finally, numerical simulations and field test are conducted to verify the proposed method. The root mean squared error (RMSE) of the numerical simulations are less than 4 while the RMSE of the field test is 1.5782, which indicate that it provides a cost-effective and convenient method for real-time deflection monitoring of cable-stayed bridges.