• 제목/요약/키워드: Hierarchical Attention Networks

검색결과 17건 처리시간 0.024초

Multi-task learning with contextual hierarchical attention for Korean coreference resolution

  • Cheoneum Park
    • ETRI Journal
    • /
    • 제45권1호
    • /
    • pp.93-104
    • /
    • 2023
  • Coreference resolution is a task in discourse analysis that links several headwords used in any document object. We suggest pointer networks-based coreference resolution for Korean using multi-task learning (MTL) with an attention mechanism for a hierarchical structure. As Korean is a head-final language, the head can easily be found. Our model learns the distribution by referring to the same entity position and utilizes a pointer network to conduct coreference resolution depending on the input headword. As the input is a document, the input sequence is very long. Thus, the core idea is to learn the word- and sentence-level distributions in parallel with MTL, while using a shared representation to address the long sequence problem. The suggested technique is used to generate word representations for Korean based on contextual information using pre-trained language models for Korean. In the same experimental conditions, our model performed roughly 1.8% better on CoNLL F1 than previous research without hierarchical structure.

Phrase-Chunk Level Hierarchical Attention Networks for Arabic Sentiment Analysis

  • Abdelmawgoud M. Meabed;Sherif Mahdy Abdou;Mervat Hassan Gheith
    • International Journal of Computer Science & Network Security
    • /
    • 제23권9호
    • /
    • pp.120-128
    • /
    • 2023
  • In this work, we have presented ATSA, a hierarchical attention deep learning model for Arabic sentiment analysis. ATSA was proposed by addressing several challenges and limitations that arise when applying the classical models to perform opinion mining in Arabic. Arabic-specific challenges including the morphological complexity and language sparsity were addressed by modeling semantic composition at the Arabic morphological analysis after performing tokenization. ATSA proposed to perform phrase-chunks sentiment embedding to provide a broader set of features that cover syntactic, semantic, and sentiment information. We used phrase structure parser to generate syntactic parse trees that are used as a reference for ATSA. This allowed modeling semantic and sentiment composition following the natural order in which words and phrase-chunks are combined in a sentence. The proposed model was evaluated on three Arabic corpora that correspond to different genres (newswire, online comments, and tweets) and different writing styles (MSA and dialectal Arabic). Experiments showed that each of the proposed contributions in ATSA was able to achieve significant improvement. The combination of all contributions, which makes up for the complete ATSA model, was able to improve the classification accuracy by 3% and 2% on Tweets and Hotel reviews datasets, respectively, compared to the existing models.

On the Design of Delay based Admission Control in Hierarchical Networks

  • Shin, Seungjae;Kim, Namgi;Lee, Byoung-Dai;Choi, Yoon-Ho;Yoon, Hyunsoo
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제8권3호
    • /
    • pp.997-1010
    • /
    • 2014
  • Today, as the hierarchical cellular system is getting more attention than before, some recent studies introduce delay based admission control (AC) scheme which delays the admission to the macro-embedded small cell for a relatively short time to prevent unnecessary handover caused by the short-term visitors of the small cell area. In such delay based ACs, when we use improper delay parameter, the system frequently makes incorrect handover decisions such as where unnecessary handover is allowed due to too short delaying, or where necessary handover is denied due to too long delaying. In order to avoid these undesirable situations as much as possible, we develop a new delay parameter decision method based on probabilistic cell residence time approximations. By the extensive numerical and analytical evaluations, we determine the proper delay parameter which prevents the incorrect handover decision as much as possible. We expect our delay parameter decision method can be useful system administration tips in hierarchical cellular system where delay based AC is adopted.

펨토셀 기반 계층셀 구조 시스템 용량 및 서비스 반경 분석 (System Capacity and Coverage Analysis of Hierarchical Femtocell Networks)

  • 오남걸;김훈
    • 한국통신학회논문지
    • /
    • 제34권6A호
    • /
    • pp.476-483
    • /
    • 2009
  • 최근 들어 실내에서의 고속 무선 통신과 음영지역 해소를 위한 해결책의 하나로 옥내용 기지국인 펨토셀(femtocell)을 활용하는 계층구조 방안이 제시되고 있으며, 이동통신 표준화 단체에서 관련 이슈에 대한 표준화 작업이 활발히 진행되고 있다. 그러나 펨토셀 환경에서 발생할 수 있는 여러 가지 기술적 문제들이 존재하며 그 중 가장 중요한 문제가 간섭으로 인한 시스템의 열화이다. 따라서 전체 시스템의 안정적이고 효율적인 운용을 위해 펨토셀 환경에서의 상호 간섭과 이에 따른 시스템 성능 분석이 요구된다. 본 고에서는 펨토셀 설치 주변의 다양한 전파 환경을 고려하여 매크로셀(macrocell)이나 펨토셀간 상호 간섭에 따른 시스템 용량 및 서비스 영역을 살펴본다. 특히 펨토셀의 주 설치 지역이 되는 실내 환경에서 매크로셀과 펨토셀간의 거리, 펨토셀 내에서 사용자의 위치, 옥내 구조물의 특징 등을 반영한 의전파전파 모델을 적용하고 그에 따른 주파수 효율성과 서비스 반경 등의 시스템 성능을 분석한다.

An Architecture for Key Management in Hierarchical Mobile Ad-hoc Networks

  • Rhee, Kyung-Hyune;Park, Young-Ho;Gene Tsudik
    • Journal of Communications and Networks
    • /
    • 제6권2호
    • /
    • pp.156-162
    • /
    • 2004
  • In recent years, mobile ad-hoc networks have received a great deal of attention in both academia and industry to provide anytime-anywhere networking services. As wireless networks are rapidly deployed, the security of wireless environment will be mandatory. In this paper, we describe a group key management architecture and key agreement protocols for secure communication in mobile ad-hoc wireless networks (MANETs) overseen by unmanned aerial vehicles (UAVs). We use implicitly certified public keys method, which alleviates the certificate overhead and improves computational efficiency. The architecture uses a two-layered key management approach where the group of nodes is divided into: 1) Cell groups consisting of ground nodes and 2) control groups consisting of cell group managers. The chief benefit of this approach is that the effects of a membership change are restricted to the single cell group.

감정 딥러닝 필터를 활용한 토픽 모델링 방법론 (Topic Modeling with Deep Learning-based Sentiment Filters)

  • 최병설;김남규
    • 한국정보시스템학회지:정보시스템연구
    • /
    • 제28권4호
    • /
    • pp.271-291
    • /
    • 2019
  • Purpose The purpose of this study is to propose a methodology to derive positive keywords and negative keywords through deep learning to classify reviews into positive reviews and negative ones, and then refine the results of topic modeling using these keywords. Design/methodology/approach In this study, we extracted topic keywords by performing LDA-based topic modeling. At the same time, we performed attention-based deep learning to identify positive and negative keywords. Finally, we refined the topic keywords using these keywords as filters. Findings We collected and analyzed about 6,000 English reviews of Gyeongbokgung, a representative tourist attraction in Korea, from Tripadvisor, a representative travel site. Experimental results show that the proposed methodology properly identifies positive and negative keywords describing major topics.

Hierarchical Mobile IP에서 라우터기반 바인딩 업데이트 방법을 이용한 네트워크 이동성 지원 (Network Mobility Support Using Router-based Binding Update Scheme in Hierarchical Mobile IP)

  • 김주현;이경근
    • 한국통신학회논문지
    • /
    • 제34권7B호
    • /
    • pp.668-676
    • /
    • 2009
  • IETF(Internet Engineering Task Force)에서 IP망에서 이동성 지원을 위해 Mobile 1Pv6(M1Pv6)를 시작으로 Hierarchical MlPv6(HMIPv6) 등을 제안하였지만, 이러한 클라이언트 기반 이동성 지원 연구들은 이동성 지원 메시지 전송을 위한 무선자원 낭비와 긴 핸드오버 지연 등을 야기함으로 인해 주목을 받지 못하고 있다. 본 논문에서는 기존 클라이언트 기반 이동성 지원 기술의 문제점 해결을 위해 Router-based Binding Update(RBU) 방법을 제안한다. RBU 방법은 기존 HMIPv6에서 단말기에 추가 구현없이 Neighbor Discovery 프로토콜을 통해 라우터가 Mobility Anchor Point(MAP)에 위치등록을 한다. 이와 같은 방법을 통하여 RBU 방법은 부분적인 네트워크 기반 이동성을 지원하며 HMIPv6에 비해 핸드오버 시간을 줄일 수 있도록 설계 되었다. 제안방안의 성능검증을 위해 기존 HMlPv6와 비교 분석하였다. 그 결과 RBU 방법이 HMlPv6에 비해 매크로 도메인 핸드오버에 대해 지연시간이 최대 약 15% 줄어들며 특히 무선링크 지연이 큰 경우 좋은 성능을 보인다.

이기종망 환경에서의 지상파 UHD 방송을 위한 MMT 기반 서비스 시그널링 구조 설계 (Design of Service Signaling Structure based on MMT for Terrestrial UHD Broadcasting Systems in Heterogeneous Network)

  • 서민재;백종호
    • 한국위성정보통신학회논문지
    • /
    • 제10권2호
    • /
    • pp.54-59
    • /
    • 2015
  • UHD(Ultra High Definition) 방송은 초고선명 비디오와 다채널 오디오 재현으로 최근 관심이 높아지고 있다. 그런데 UHD 방송 서비스를 제공하기 위해서는 지상파 현재 방송 시스템으로는 대역폭, 인코딩 등 해결해야할 기술적인 어려움이 있다. 이러한 문제를 해결하기 위한 방안 중 하나로 MMT(MPEG Media Transport)가 제안되었다. MMT는 UHD와 같은 초고화질의 대용량 멀티미디어를 방송할 수 있는 표준으로, IP를 기반으로 구성되어 있기 때문에 다른 종류의 여러 망을 동시에 사용하여 전달할 수 있다는 특징이 있다. MMT를 기반으로 미디어 데이터를 계층적으로 분리하여 이기종망을 통해 전송하면 현재 방송 시스템으로도 UHD 미디어 서비스가 가능하다. 그러나 MMT를 이용하여 계층화된 UHD 미디어 데이터가 서비스되기 위해서는 이기종망을 통해 들어오는 데이터들이 시그널링을 통해 관리되어야 하고, 수신기가 계층구조에 대한 정보를 빨리 전달받을 수 있어야 빠른 화면 구성 및 제공이 가능하기 때문에 이를 위한 정보가 시그널링 내에 존재해야 한다. 따라서 본 논문에서는 현재 MMT 내에 정의되지 않은 이기종망에 대한 정보를 적절하게 제공하는 시그널링 테이블 구조 설계를 제안한다.

계층 구조 어텐션 매커니즘에 기반한 CNN-RNN을 이용한 한국어 화행 분석 시스템 (Hierarchical attention based CNN-RNN networks for The Korean Speech-Act Analysis)

  • 서민영;홍태석;김주애;고영중;서정연
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.243-246
    • /
    • 2018
  • 최근 사용자 발화를 이해하고 그에 맞는 피드백을 생성할 수 있는 대화 시스템의 중요성이 증가하고 있다. 따라서 사용자 의도를 파악하기 위한 화행 분석은 대화 시스템의 필수적인 요소이다. 최근 많이 연구되는 심층 학습 기법은 모델이 데이터로부터 자질들을 스스로 추출한다는 장점이 있다. 발화 자체의 연속성과 화자간 상호 작용을 포착하기 위하여 CNN에 RNN을 결합한 CNN-RNN을 제안한다. 본 논문에서 제안한 계층 구조 어텐션 매커니즘 기반 CNN-RNN을 효과적으로 적용한 결과 워드 임베딩을 추가한 조건에서 가장 높은 성능인 91.72% 정확도를 얻었다.

  • PDF

Stack-Attention을 이용한 흐릿한 영상 강화 기법 (Blurred Image Enhancement Techniques Using Stack-Attention)

  • 박채림;이광일;조석제
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제12권2호
    • /
    • pp.83-90
    • /
    • 2023
  • 컴퓨터 비전에서 흐릿한 영상은 영상 인식률을 저하시키는 중요한 요인이다. 이것은 주로 카메라가 불안정하게 초점을 맞추지 못하거나, 노출시간동안 장면의 물체가 빠르게 움직일 때 발생한다. 흐릿한 영상은 시각적 품질을 크게 저하시켜 가시성을 약화시키며, 이러한 현상은 디지털카메라의 기술이 지속적으로 발전하고 있음에도 불구하고 빈번하게 일어난다. 본 논문에서는 합성곱 신경망으로 설계된 심층 멀티 패치 계층 네트워크(Deep multi patch hierarchical network)를 기반으로 수정된 빌딩 모듈을 대체하여 입력 영상의 디테일을 잡고 주의 집중 기법을 도입하여 흐릿한 영상 속 물체에 대한 초점을 다방면으로 맞추어 영상을 강화한다. 이것은 서로 다른 스케일에서 각각의 가중치를 측정 및 부여하여 흐림의 변화를 차별적으로 처리하고 영상의 거친 수준에서 미세한 수준까지 순차적으로 복원하여 글로벌한 영역과 로컬 영역 모두 조정한다. 이러한 과정을 통해 저하된 화질을 복구하고 효율적인 객체 인식 및 특징을 추출하며 색 항상성을 보완하는 우수한 결과를 보여준다.