• 제목/요약/키워드: Hierarchical neural network

검색결과 127건 처리시간 0.031초

KI-HABS: Key Information Guided Hierarchical Abstractive Summarization

  • Zhang, Mengli;Zhou, Gang;Yu, Wanting;Liu, Wenfen
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제15권12호
    • /
    • pp.4275-4291
    • /
    • 2021
  • With the unprecedented growth of textual information on the Internet, an efficient automatic summarization system has become an urgent need. Recently, the neural network models based on the encoder-decoder with an attention mechanism have demonstrated powerful capabilities in the sentence summarization task. However, for paragraphs or longer document summarization, these models fail to mine the core information in the input text, which leads to information loss and repetitions. In this paper, we propose an abstractive document summarization method by applying guidance signals of key sentences to the encoder based on the hierarchical encoder-decoder architecture, denoted as KI-HABS. Specifically, we first train an extractor to extract key sentences in the input document by the hierarchical bidirectional GRU. Then, we encode the key sentences to the key information representation in the sentence level. Finally, we adopt key information representation guided selective encoding strategies to filter source information, which establishes a connection between the key sentences and the document. We use the CNN/Daily Mail and Gigaword datasets to evaluate our model. The experimental results demonstrate that our method generates more informative and concise summaries, achieving better performance than the competitive models.

외래잡초 분류 : 합성곱 신경망 기반 계층적 구조 (Exotic Weeds Classification : Hierarchical Approach with Convolutional Neural Network)

  • 유광현;이재원;보호앙트롱;당탄부;후이트완녁;이주환;신도성;김진영
    • 한국정보기술학회논문지
    • /
    • 제17권12호
    • /
    • pp.81-92
    • /
    • 2019
  • 잡초는 농작물에 막대한 피해를 주는 주요한 개체이다. 잡초를 효과적으로 제거하기 위해서는 정확한 분류를 하고 제초제를 사용하여야 한다. 컴퓨팅 기술의 발전으로, 영상 기반의 기계학습 방법들이 이 분야에서 연구되고 있고, 특히 합성곱 신경망 기반의 모델들이 공공데이터에서 좋은 성능을 보이고 있다. 하지만 실제 응용단계에서는 많은 파라미터 수와 연산량 때문에 GPU와 같은 좋은 하드웨어 조건에서만 잘 작동된다. 본 논문은 계층적 구조 기반의 딥러닝 모델을 제안한다. 실험 결과, 제안된 모델은 적은 파라미터 수로 21개의 외래 잡초 종을 최대 97.2612%의 정확도로 성공적으로 분류하였다. 이를 통해 적은 수의 파라미터를 사용하는 제안된 모델은 네트워크 기반의 분류 서비스에서 적용될 수 있을 것으로 기대된다.

인쇄체 한글문자 인식을 위한 계층적 신경망 (A Hierarchical Neural Network for Printed Hangul Character Recognition)

  • 조성배;김진형
    • 인지과학
    • /
    • 제2권1호
    • /
    • pp.33-50
    • /
    • 1990
  • 기존의 방법으로 해결하기 어려운 문제를 풀기 위하여 최근에는 인간늬 두뇌 구조를 모델링한 신경망이 새로운 방법으로 도입되고 있다. 본 논문에서는 여러가지 지각 심리학적 연구에 근거를 두고 신경망을 통한 인쇄체 한글인 식 시스템을 구축한 후, 몇가지 실험을 통하여 신경망 기법이 인간과 유사한 특성을 나타냄을 살펴보았다. 상용하는 990자에 대하여 실험한 결과 오인식 된 문자의 혼동패턴이 기존의 연구결과와 비슷하였으며, 학습하지 않은 문자도 어느정도 인식해 내는 일반화 능력이 있음을 볼 수 있었다. 또, 학습이 잘되지 않는 문자를 좀더 반복하여 경우 학습속도가 향상됨을 볼 수 있었다.

확률적 VQ 네트워크와 계층적 구조를 이용한 인쇄체 한자 인식 (The Recognition of Printed Chinese Characters using Probabilistic VQ Networks and hierarchical Structure)

  • 이장훈;손영우;남궁재찬
    • 한국정보처리학회논문지
    • /
    • 제4권7호
    • /
    • pp.1881-1892
    • /
    • 1997
  • 본 논문에서는 확률적 VQ 네트워크와 계층적 구조를 가지는 다단계 인식기를 이용한 인쇄체 한자 인식 방법을 제안한다. 대용량 신경망은 구현하기가 매우 어렵기 때문에 모듈화된 신경망을 이용하였으며, 이 과정에서 발생되는 문제점을 확률적 신경망 모델을 이용으로 제거하였다. 또한 엔트로피 이론을 적용하여 오인식률이 높은 혼동 문자쌍에 대하여 재분류를 수행하였다. 실험대상은 KSC5601 코드의 한자 4,888자 중, 동자이음문자를 제외한 4,619자로 하였으며, 학습 데이타와 실험 데이타에 대하여 실험결과, 각각 평균 99.33%, 92.83%의 인식률과 초당 4-5자의 인식속도를 얻음으로써 본 방법의 유효성을 보였다.

  • PDF

이족로봇용 신경망 지능 제어기 (The Intelligent Controller for Biped Robot Using Neural Network)

  • 김성주;김용택;고재양;서재용;전홍태
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2003년도 하계종합학술대회 논문집 V
    • /
    • pp.2573-2576
    • /
    • 2003
  • This paper proposes the controller for biped robot using intelligent control algorithm. The main purpose of this paper is to design the robot controller using Hierarchical Mixture of Experts(HME). The neural network direct control method will be applied to the control scheme for the biped robot and neural network will learn the dynamics of biped robot. The teaming scheme using a intelligent controller to biped robot is developed. The teaming scheme uses a HME controller combined with a inverse biped robot model. The controller provides the control signals at each control time instant. Simulation results are reported for a seven-link biped robot.

  • PDF

계층형 신경회로망을 이용한 염색체 핵형 분류 (Karyotype Classification of Chromosome Using the Hierarchical Neu)

  • 장용훈;이영진;이권순
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 1998년도 하계학술대회 논문집 B
    • /
    • pp.555-559
    • /
    • 1998
  • The human chromosome analysis is widely used to diagnose genetic disease and various congenital anomalies. Many researches on automated chromosome karyotype analysis have been carried out, some of which produced commercial systems. However, there still remains much room for improving the accuracy of chromosome classification. In this paper, We proposed an optimal pattern classifier by neural network to improve the accuracy of chromosome classification. The proposed pattern classifier was built up of two-step multi-layer neural network(TMANN). We reconstructed chromosome image to improve the chromosome classification accuracy and extracted four morphological features parameters such as centromeric index (C.I.), relative length ratio(R.L.), relative area ratio(R.A.) and chromosome length(C.L.). These Parameters employed as input in neural network by preprocessing twenty human chromosome images. The experiment results shown that the chromosome classification error was reduced much more than that of the other classification methods.

  • PDF

A Conflict Detection Method Based on Constraint Satisfaction in Collaborative Design

  • Yang, Kangkang;Wu, Shijing;Zhao, Wenqiang;Zhou, Lu
    • Journal of Computing Science and Engineering
    • /
    • 제9권2호
    • /
    • pp.98-107
    • /
    • 2015
  • Hierarchical constraints and constraint satisfaction were analyzed in order to solve the problem of conflict detection in collaborative design. The constraints were divided into two sets: one set consisted of known constraints and the other of unknown constraints. The constraints of the two sets were detected with corresponding methods. The set of the known constraints was detected using an interval propagation algorithm, a back propagation (BP) neural network was proposed to detect the set with the unknown constraints. An immune algorithm (IA) was utilized to optimize the weights and the thresholds of the BP neural network, and the steps were designed for the optimization process. The results of the simulation indicated that the BP neural network that was optimized by IA has a better performance in terms of convergent speed and global searching ability than a genetic algorithm. The constraints were described using the eXtensible Markup Language (XML) for computers to be able to automatically recognize and establish the constraint network. The implementation of the conflict detection system was designed based on constraint satisfaction. A wind planetary gear train is taken as an example of collaborative design with a conflict detection system.

계층적 모듈라 신경망을 이용한 이동로봇 지능제어기 (The Intelligent Control System for Biped Robot Using Hierarchical Mixture of Experts)

  • 최우경;하상형;김성주;김용택;전홍태
    • 한국지능시스템학회논문지
    • /
    • 제16권4호
    • /
    • pp.389-395
    • /
    • 2006
  • 본 논문에서는 지능재어기법을 이용하여 이족로봇 제어기를 설계한다. 이족로봇 제어기는 복잡성을 해결하기 위해 4개 소 그룹으로 모듈화 하고, 이 모듈들은 신경망을 이용한 계층적 모듈라 신경망 (Hierarchical Mixture of Experts; HME) 기법을 도입한다. 그리고 신경망은 직접제어기법으로 이족로봇의 역 동력학을 학습한다. HME는 나무구조의 네트워크로 입출력 집합을 학습하여 출력공간에 대한 입력공간을 재분할하는 능력을 가지고 있다. EM 알고리즘을 이용한 HME는 반복적 학습을 통하여 이족로봇의 동력학을 모델링하며 HME 의 가상오차를 생성하여 이족로봇보행시 안전한 보행을 수행할 수 있는 이족로봇의 제어기를 설계한다.

문서 분류의 개선을 위한 단어-문자 혼합 신경망 모델 (Hybrid Word-Character Neural Network Model for the Improvement of Document Classification)

  • 홍대영;심규석
    • 정보과학회 논문지
    • /
    • 제44권12호
    • /
    • pp.1290-1295
    • /
    • 2017
  • 문서의 텍스트를 바탕으로 각 문서가 속한 분류를 찾아내는 문서 분류는 자연어 처리의 기본 분야 중 하나로 주제 분류, 감정 분류 등 다양한 분야에 이용될 수 있다. 문서를 분류하기 위한 신경망 모델은 크게 단어를 기본 단위로 다루는 단어 수준 모델과 문자를 기본 단위로 다루는 문자 수준 모델로 나누어진다. 본 논문에서는 문서를 분류하는 신경망 모델의 성능을 향상시키기 위하여 문자 수준과 단어 수준의 모델을 혼합한 신경망 모델을 제안한다. 제안하는 모델은 각 단어에 대하여 문자 수준의 신경망 모델로 인코딩한 정보와 단어들의 정보를 저장하고 있는 단어 임베딩 행렬의 정보를 결합하여 각 단어에 대한 특징 벡터를 만든다. 추출된 단어들에 대한 특징 벡터를 바탕으로, 주의(attention) 메커니즘을 이용한 순환 신경망을 단어 수준과 문장 수준에 각각 적용하는 계층적 신경망 구조를 통해 문서를 분류한다. 제안한 모델에 대하여 실생활 데이터를 바탕으로 한 실험으로 효용성을 검증한다.

Deep Convolutional Neural Network(DCNN)을 이용한 계층적 농작물의 종류와 질병 분류 기법 (A Hierarchical Deep Convolutional Neural Network for Crop Species and Diseases Classification)

  • ;나형철;류관희
    • 한국멀티미디어학회논문지
    • /
    • 제25권11호
    • /
    • pp.1653-1671
    • /
    • 2022
  • Crop diseases affect crop production, more than 30 billion USD globally. We proposed a classification study of crop species and diseases using deep learning algorithms for corn, cucumber, pepper, and strawberry. Our study has three steps of species classification, disease detection, and disease classification, which is noteworthy for using captured images without additional processes. We designed deep learning approach of deep learning convolutional neural networks based on Mask R-CNN model to classify crop species. Inception and Resnet models were presented for disease detection and classification sequentially. For classification, we trained Mask R-CNN network and achieved loss value of 0.72 for crop species classification and segmentation. For disease detection, InceptionV3 and ResNet101-V2 models were trained for nodes of crop species on 1,500 images of normal and diseased labels, resulting in the accuracies of 0.984, 0.969, 0.956, and 0.962 for corn, cucumber, pepper, and strawberry by InceptionV3 model with higher accuracy and AUC. For disease classification, InceptionV3 and ResNet 101-V2 models were trained for nodes of crop species on 1,500 images of diseased label, resulting in the accuracies of 0.995 and 0.992 for corn and cucumber by ResNet101 with higher accuracy and AUC whereas 0.940 and 0.988 for pepper and strawberry by Inception.