• 제목/요약/키워드: hierarchical language model

검색결과 62건 처리시간 0.019초

엘리먼트 기반 XML 문서검색의 성능에 관한 실험적 연구 (An Experimental Study on the Performance of Element-based XML Document Retrieval)

  • 윤소영;문성빈
    • 정보관리학회지
    • /
    • 제23권1호
    • /
    • pp.201-219
    • /
    • 2006
  • 이 연구에서는 가장 적합한 엘리먼트 기반 XML 문서검색 기법을 제시하기 위해 언어모델 검색 접근법으로 다이버전스 기법, 보정 기법 그리고 계층적 언어모델의 검색성능을 평가하는 실험을 수행하였다. 실험 결과, 가장 효율적인 검색 접근법으로 문서의 구조정보를 적용한 계층적 언어모델 검색을 제안하였다. 특히, 계층적 언어모델은 실제 검색에서 중요성을 가지는 검색순위 상위에서 뛰어난 성능을 보였다.

Natural-Language-Based Robot Action Control Using a Hierarchical Behavior Model

  • Ahn, Hyunsik;Ko, Hyun-Bum
    • IEIE Transactions on Smart Processing and Computing
    • /
    • 제1권3호
    • /
    • pp.192-200
    • /
    • 2012
  • In order for humans and robots to interact in daily life, robots need to understand human speech and link it to their actions. This paper proposes a hierarchical behavior model for robot action control using natural language commands. The model, which consists of episodes, primitive actions and atomic functions, uses a sentential cognitive system that includes multiple modules for perception, action, reasoning and memory. Human speech commands are translated to sentences with a natural language processor that are syntactically parsed. A semantic parsing procedure was applied to human speech by analyzing the verbs and phrases of the sentences and linking them to the cognitive information. The cognitive system performed according to the hierarchical behavior model, which consists of episodes, primitive actions and atomic functions, which are implemented in the system. In the experiments, a possible episode, "Water the pot," was tested and its feasibility was evaluated.

  • PDF

Multi-task learning with contextual hierarchical attention for Korean coreference resolution

  • Cheoneum Park
    • ETRI Journal
    • /
    • 제45권1호
    • /
    • pp.93-104
    • /
    • 2023
  • Coreference resolution is a task in discourse analysis that links several headwords used in any document object. We suggest pointer networks-based coreference resolution for Korean using multi-task learning (MTL) with an attention mechanism for a hierarchical structure. As Korean is a head-final language, the head can easily be found. Our model learns the distribution by referring to the same entity position and utilizes a pointer network to conduct coreference resolution depending on the input headword. As the input is a document, the input sequence is very long. Thus, the core idea is to learn the word- and sentence-level distributions in parallel with MTL, while using a shared representation to address the long sequence problem. The suggested technique is used to generate word representations for Korean based on contextual information using pre-trained language models for Korean. In the same experimental conditions, our model performed roughly 1.8% better on CoNLL F1 than previous research without hierarchical structure.

지화 인식을 위한 계층적 은닉 마코프 모델 (Hierarchical Hidden Markov Model for Finger Language Recognition)

  • 권재홍;김태용
    • 전자공학회논문지
    • /
    • 제52권9호
    • /
    • pp.77-85
    • /
    • 2015
  • 지화(finger language)는 수화(sign language)에 포함되며, 손의 제스쳐로 한글의 모음, 자음을 표현하는 언어 체계이다. 한글 지화는 총 31 제스쳐로 구성되어 있으며, 정확한 인식을 위해서는 하나의 제스쳐에 대해 학습 모델이 많이 필요로 하게 된다. 대량의 학습 모델이 존재할 경우, 입력 데이터는 많은 공간을 탐색하는데 시간을 소비하게 된다. 따라서 실시간 인식 시스템은 이러한 탐색 공간을 줄이는 것이 가장 중요한 문제로 인식되고 있다. 본 논문에서는 이러한 문제를 해결하기 위해 인식률 저하 없이 탐색 공간을 효율적으로 줄이는 계층적 HMM 구조를 제안하였다. 지화는 손목의 방향성에 따라 총 3개의 범주로 설정, 입력 데이터는 이 범주 안에서 모델을 검색하게 된다. 이러한 사전 분류를 진행하여 비슷한 한글 지화의 분별력을 확립하게 되며 탐색 공간 또한 효율적으로 관리되므로 실시간 인식 시스템에 적용 가능하다. 실험 결과, 제안된 방법은 일반적인 HMM 인식 방법보다 평균 3배 정도의 시간을 단축할 수 있있고, 비슷한 한글 지화 제스쳐에 대해 오인식 또한 감소하였다.

관계형 데이터 모델 기반 군사용 데이터베이스의 XML 데이터베이스로의 변환 (A Transformation Military Databases based on the Relational Data model into XML Databases)

  • 김창석;김응수
    • 안보군사학연구
    • /
    • 통권1호
    • /
    • pp.269-310
    • /
    • 2003
  • AS Extensible Markup Language(XML) is emerging as the data format of the Internet era, there are increasing needs to efficiently transform between database and XML documents. In this paper, we propose a schema transformation method from relational database to XML database. To transform the schema, we represent input schema as Entity-Relationship diagram. Entity-Relationship model translator scans the input Entity-Relationship diagram using BFS (breadth First Search) and translates the diagram into hierarchical structure model. The XML Schema generator produces XML Scema code using the transformed hierarchical structure model. The proposed method has a merit that having reusability facility of XML Schema property in comparison with existing researches.

  • PDF

손 표현 인식을 위한 계층적 손 자세 모델 (Hierarchical Hand Pose Model for Hand Expression Recognition)

  • 허경용;송복득;김지홍
    • 한국정보통신학회논문지
    • /
    • 제25권10호
    • /
    • pp.1323-1329
    • /
    • 2021
  • 손 표현 인식을 위해서는 손의 정적인 형태를 기반으로 하는 손 자세 인식과 손의 동적인 움직임을 기반으로 하는 손 동작 인식이 함께 사용된다. 이 논문에서는 손 표현 인식을 위해 손가락의 위치와 형태를 기반으로 하는 계층적 손 자세 모델을 제안한다. 손 자세 인식을 위해서는 오픈소스인 미디어파이프를 기반으로 하고, 손가락 상태를 나타내는 모델과 이를 통해 손 자세를 나타내는 모델을 계층적으로 구성하였다. 손가락 모델 역시 손가락 하나의 굽힘과 손가락 두 개의 닿음을 사용하여 계층적으로 구성하였다. 제안하는 모델은 손을 통해 정보를 전달하는 다양한 응용에 사용할 수 있으며, 수화에서의 숫자 인식에 적용하여 그 유용성을 검증하였다. 제안하는 모델은 수화 인식 이외에 컴퓨터의 사용자 인터페이스에서 다양한 응용이 가능할 것으로 기대한다.

Phrase-Chunk Level Hierarchical Attention Networks for Arabic Sentiment Analysis

  • Abdelmawgoud M. Meabed;Sherif Mahdy Abdou;Mervat Hassan Gheith
    • International Journal of Computer Science & Network Security
    • /
    • 제23권9호
    • /
    • pp.120-128
    • /
    • 2023
  • In this work, we have presented ATSA, a hierarchical attention deep learning model for Arabic sentiment analysis. ATSA was proposed by addressing several challenges and limitations that arise when applying the classical models to perform opinion mining in Arabic. Arabic-specific challenges including the morphological complexity and language sparsity were addressed by modeling semantic composition at the Arabic morphological analysis after performing tokenization. ATSA proposed to perform phrase-chunks sentiment embedding to provide a broader set of features that cover syntactic, semantic, and sentiment information. We used phrase structure parser to generate syntactic parse trees that are used as a reference for ATSA. This allowed modeling semantic and sentiment composition following the natural order in which words and phrase-chunks are combined in a sentence. The proposed model was evaluated on three Arabic corpora that correspond to different genres (newswire, online comments, and tweets) and different writing styles (MSA and dialectal Arabic). Experiments showed that each of the proposed contributions in ATSA was able to achieve significant improvement. The combination of all contributions, which makes up for the complete ATSA model, was able to improve the classification accuracy by 3% and 2% on Tweets and Hotel reviews datasets, respectively, compared to the existing models.

Automatic Categorization of Islamic Jurisprudential Legal Questions using Hierarchical Deep Learning Text Classifier

  • AlSabban, Wesam H.;Alotaibi, Saud S.;Farag, Abdullah Tarek;Rakha, Omar Essam;Al Sallab, Ahmad A.;Alotaibi, Majid
    • International Journal of Computer Science & Network Security
    • /
    • 제21권9호
    • /
    • pp.281-291
    • /
    • 2021
  • The Islamic jurisprudential legal system represents an essential component of the Islamic religion, that governs many aspects of Muslims' daily lives. This creates many questions that require interpretations by qualified specialists, or Muftis according to the main sources of legislation in Islam. The Islamic jurisprudence is usually classified into branches, according to which the questions can be categorized and classified. Such categorization has many applications in automated question-answering systems, and in manual systems in routing the questions to a specialized Mufti to answer specific topics. In this work we tackle the problem of automatic categorisation of Islamic jurisprudential legal questions using deep learning techniques. In this paper, we build a hierarchical deep learning model that first extracts the question text features at two levels: word and sentence representation, followed by a text classifier that acts upon the question representation. To evaluate our model, we build and release the largest publicly available dataset of Islamic questions and answers, along with their topics, for 52 topic categories. We evaluate different state-of-the art deep learning models, both for word and sentence embeddings, comparing recurrent and transformer-based techniques, and performing extensive ablation studies to show the effect of each model choice. Our hierarchical model is based on pre-trained models, taking advantage of the recent advancement of transfer learning techniques, focused on Arabic language.

대학생의 해외 교환학생 프로그램 참여 효과에 대한 종단 분석 (A Longitudinal Analysis on the Effect of College Students' Participation in the Overseas Exchange Program)

  • 전재은;이희영;변수용
    • 한국교육학연구
    • /
    • 제23권2호
    • /
    • pp.5-30
    • /
    • 2017
  • 본 연구에서는 해외 교환학생 프로그램에 참여한 한국 대학생들을 대상으로 참여 이전과 참여 종료 및 귀국 이후까지 3시점에 걸쳐 수집한 자료를 사용하여 외국어 능력, 문화적 능력, 개인적 발달에 대한 참여 효과를 분석하였다. 구체적으로, 위계선형모형(hierarchical linear model)을 사용하여 시간에 따른 참여 효과의 변화 유무와 예측 변수들을 살펴보았다. 무조건모형 분석 결과, 외국어 능력, 문화적 능력, 개인적 발달 모두에 대해 해외 교환학생 프로그램 참여 이전인 초기치와 변화율의 개인차 존재를 확인하였다. 조건모형 분석 결과, 초기치에 대해 외국어 능력은 부모 학력과 대학 전 해외경험, 문화적 능력은 성별과 대학 전 해외경험, 개인적 발달도 성별과 대학 전 해외경험이 유의미한 영향을 미치는 것으로 나타났다. 변화율에 대해서는 외국어 능력은 대학 전 해외경험과 파견 국가 및 지역, 문화적 능력은 참여자와 현지 학생 간 교류 정도, 개인적 발달은 대학 전 해외경험이 유의미한 영향을 미치는 것으로 나타났다. 마지막으로 이와 관련한 논의와 시사점을 제시하였다.

Automatic Linkage Model of Classification Systems Based on a Pretraining Language Model for Interconnecting Science and Technology with Job Information

  • Jeong, Hyun Ji;Jang, Gwangseon;Shin, Donggu;Kim, Tae Hyun
    • Journal of Information Science Theory and Practice
    • /
    • 제10권spc호
    • /
    • pp.39-45
    • /
    • 2022
  • For national industrial development in the Fourth Industrial Revolution, it is necessary to provide researchers with appropriate job information. This can be achieved by interconnecting the National Science and Technology Standard Classification System used for management of research activity with the Korean Employment Classification of Occupations used for job information management. In the present study, an automatic linkage model of classification systems is introduced based on a pre-trained language model for interconnecting science and technology information with job information. We propose for the first time an automatic model for linkage of classification systems. Our model effectively maps similar classes between the National Science & Technology Standard Classification System and Korean Employment Classification of Occupations. Moreover, the model increases interconnection performance by considering hierarchical features of classification systems. Experimental results show that precision and recall of the proposed model are about 0.82 and 0.84, respectively.