• 제목/요약/키워드: multi-language

검색결과 675건 처리시간 0.031초

다층 형태론과 한국어 형태소 분석 모델 (Multi-level Morphology and Morphological Analysis Model for Korean)

  • 강승식
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1994년도 제6회 한글 및 한국어정보처리 학술대회
    • /
    • pp.140-145
    • /
    • 1994
  • 형태소 분석은 단위 형태소를 분리한 후에 변형이 일어난 형태소의 원형을 복원하고, 분리된 단위 형태소들로부터 단어 형성 규칙에 맞는 연속된 형태소들을 구하는 과정이다. 이러한 일련의 분석 과정은 독립적인 특성이 강하면서 각 모듈이 서로 밀접하게 연관되어 있으므로 Two-level 모델에서는 형태론적 변형뿐만 아니라 형태소 분리 문제를 통합 규칙으로 처리하고 있다. 그러나 한국어에 Two-level 모델을 적응해 보면 형태소 분리와 형태론적 변형이 복합되어 있어서 교착어의 특성과 관계되는 단어 유형을 분석할 때 비효율적인 요소가 발견된다. 따라서 본 논문에서는 교착어인 한국어의 형태소 분석시에 발생하는 문제점들을 해결하는데 적합한 방법론으로 다층 형태론(multi-level morphology)과 다단계 모델(multi-level model)을 제안한다.

  • PDF

Challenging a Single-Factor Analysis of Case Drop in Korean

  • Chung, Eun Seon
    • 한국언어정보학회지:언어와정보
    • /
    • 제19권1호
    • /
    • pp.1-18
    • /
    • 2015
  • Korean marks case for subjects and objects, but it is well known that case-markers can be dropped in certain contexts. Kwon and Zribi-Hertz (2008) establishes the phenomenon of Korean case drop on a single factor of f(ocus)-structure visibility and claims that both subject and object case drop can fall under a single linguistic generalization of information structure. However, the supporting data is not empirically substantiated and the tenability of the f-structure analysis is still under question. In this paper, an experiment was conducted to show that the specific claims of Kwon and Zribi-Hertz's analysis that places exclusive importance on information structure cannot be adequately supported by empirical evidence. In addition, the present study examines H. Lee's (2006a, 2006c) multi-factor analysis of object case drop and investigates whether this approach can subsume both subject and object case drop under a unified analysis. The present findings indicate that the multi-factor analysis that involves the interaction of independent factors (Focus, Animacy, and Definiteness) is also compatible with subject case drop, and that judgments on case drop are not categorical but form gradient statistical preferences.

  • PDF

Dual WGAN 기반 페르소나 Multi-Turn 챗봇 (Personalized Multi-Turn Chatbot Based on Dual WGAN)

  • 오신혁;김진태;김학수;이정엄;김선아;박영민;노명호
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.49-53
    • /
    • 2019
  • 챗봇은 사람과 컴퓨터가 자연어로 대화를 주고받는 시스템을 말한다. 최근 챗봇에 대한 연구가 활발해지면서 단순히 기계적인 응답보다 사용자가 원하는 개인 특성이 반영된 챗봇에 대한 연구도 많아지고 있다. 기존 연구는 하나의 벡터를 사용하여 한 가지 형태의 페르소나 정보를 모델에 반영했다. 하지만, 페르소나는 한 가지 형태로 정의할 수 없어서 챗봇 모델에 페르소나 정보를 다양한 형태로 반영시키는 연구가 필요하다. 따라서, 본 논문은 최신 생성 기반 Multi-Turn 챗봇 시스템을 기반으로 챗봇이 다양한 형태로 페르소나를 반영하게 하는 방법을 제안한다.

  • PDF

한국어 다중추론 질의응답을 위한 Dense Retrieval 사전학습 (Pretraining Dense retrieval for Multi-hop question answering of Korean)

  • 강동찬;나승훈;김태형;최윤수;장두성
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.588-591
    • /
    • 2021
  • 다중추론 질의응답 태스크는 하나의 문서만 필요한 기존의 단일추론 질의응답(Single-hop QA)을 넘어서 복잡한 추론을 요구하는 질문에 응답하는 것이 목표이다. IRQA에서는 검색 모델의 역할이 중요한 반면, 주목받고 있는 Dense Retrieval 모델 기반의 다중추론 질의응답 검색 모델은 찾기 어렵다. 본 논문에서는 검색분야에서 좋은 성능 보이고 있는 Dense Retrieval 모델의 다중추론을 위한 사전학습 방법을 제안하고 관련 한국어 데이터 셋에서 이전 방법과의 성능을 비교 측정하여 학습 방법의 유효성을 검증하고 있다. 이를 통해 지식 베이스, 엔터티 링킹, 개체명 인식모듈을 비롯한 다른 서브모듈을 사용하지 않고도 다중추론 Dense Retrieval 모델을 학습시킬 수 있음을 보였다.

  • PDF

Paddle 기반의 중국어 Multi-domain Task-oriented 대화 시스템 (Chinese Multi-domain Task-oriented Dialogue System based on Paddle)

  • 등우진;조인휘
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 추계학술발표대회
    • /
    • pp.308-310
    • /
    • 2022
  • With the rise of the Al wave, task-oriented dialogue systems have become one of the popular research directions in academia and industry. Currently, task-oriented dialogue systems mainly adopt pipelined form, which mainly includes natural language understanding, dialogue state decision making, dialogue state tracking and natural language generation. However, pipelining is prone to error propagation, so many task-oriented dialogue systems in the market are only for single-round dialogues. Usually single- domain dialogues have relatively accurate semantic understanding, while they tend to perform poorly on multi-domain, multi-round dialogue datasets. To solve these issues, we developed a paddle-based multi-domain task-oriented Chinese dialogue system. It is based on NEZHA-base pre-training model and CrossWOZ dataset, and uses intention recognition module, dichotomous slot recognition module and NER recognition module to do DST and generate replies based on rules. Experiments show that the dialogue system not only makes good use of the context, but also effectively addresses long-term dependencies. In our approach, the DST of dialogue tracking state is improved, and our DST can identify multiple slotted key-value pairs involved in the discourse, which eliminates the need for manual tagging and thus greatly saves manpower.

Dialog-based multi-item recommendation using automatic evaluation

  • Euisok Chung;Hyun Woo Kim;Byunghyun Yoo;Ran Han;Jeongmin Yang;Hwa Jeon Song
    • ETRI Journal
    • /
    • 제46권2호
    • /
    • pp.277-289
    • /
    • 2024
  • In this paper, we describe a neural network-based application that recommends multiple items using dialog context input and simultaneously outputs a response sentence. Further, we describe a multi-item recommendation by specifying it as a set of clothing recommendations. For this, a multimodal fusion approach that can process both cloth-related text and images is required. We also examine achieving the requirements of downstream models using a pretrained language model. Moreover, we propose a gate-based multimodal fusion and multiprompt learning based on a pretrained language model. Specifically, we propose an automatic evaluation technique to solve the one-to-many mapping problem of multi-item recommendations. A fashion-domain multimodal dataset based on Koreans is constructed and tested. Various experimental environment settings are verified using an automatic evaluation method. The results show that our proposed method can be used to obtain confidence scores for multi-item recommendation results, which is different from traditional accuracy evaluation.

언어와 음악의 상관관계 고찰을 위한 연구 (A Harmony in Language and Music)

  • 이재강
    • 인문언어
    • /
    • 제2권1호
    • /
    • pp.287-301
    • /
    • 2002
  • Either in music or in language, sound plays its role by taking up the fixed multi-spaces in one's consciousness. Music space differs from auditory space whose aim Is to perceive the positions and identities of the outer things. While auditory space is based on the interests of the outer things, music space is based on the indifference. We discuss the notion of space because it is where symbols reside. Categorial perception about the phonemic restoration describes the ability of a listener how to use his own intelligence to acknowledge and fill the missing points; however, musical perception can be explained as a positive regression to avoid colloquial logic and danger of segmentation in the course of auditory experience and phonation acquisition by an infant. About the question on the difference of the listening to the language sound and other sound, auditory mechanism proceeds language sound the same as other types of sound. But there are another theories which claim that brain proceeds the farmer differently from the latter. The function of music has not been discovered as clear as that of language; music has much more meanings in comparison with language.

  • PDF

언어함수를 이용한 영문 생성기의 구현에 관한 연구 (A study on Implementation of English Sentence Generator using Lexical Functions)

  • 정희연;김희연;이웅재
    • 인터넷정보학회논문지
    • /
    • 제1권2호
    • /
    • pp.49-59
    • /
    • 2000
  • 컴퓨터의 발달과 인터넷 사용자의 증대로 자연어 처리의 연구에 관한 관심이 증대되고 있다. 그러나 대부분의 연구가 자연어 분석 및 이해에 집중되고 있어 자연어 생성에 관한 연구는 주목을 받지 못해 왔으며 자연어 생성을 자연어 분석의 역 과정으로 간단하게 생각하는 경향마저도 있다. 하지만 Web상에서의 다국어간 번역 자연어 인터페이스 자연어 검색 시스템 등 자연어처리에 관한 필요성이 증가함에 따라 자연어 생성의 필요성도 자연히 증가하고 있는 실정이며 좀 더 체계적인 자연어 생성 시스템 개발을 위해서는 자연어 생성에 관한 보다 구체적인 알고리즘에 관한 연구가 필요하다. 본 논문에서는 영문 생성에 있어서 보다 자연스러운 문장을 생성하기 위한 알고리즘을 제안하며 특히 Igor Mel'uk (Mel'uk & Zholkovsky, 1988)의 어휘 함수(LFs)를 이용한 어휘 결합을 통하여 절 길이의 설명문을 생성하는 영문 생성기의 구현에 대하여 논한다.

  • PDF

공개키 기반 구조 기반의 보안 다중 에이전트 엔진 (A Secure Multiagent Engine Based on Public Key Infrastructure)

  • 장혜진
    • 한국산학기술학회논문지
    • /
    • 제3권4호
    • /
    • pp.313-318
    • /
    • 2002
  • 전자 상거래와 같이 통신 보안이 요구되는 응용 분야에 에이전트 기술을 효과적으로 적용하려면 에이전트 기술과 보안 기술의 결합이 요구된다. 본 논문은 공개키 기반 구조 기술과 에이전트 기술을 결합하여, 기밀성(privacy), 완전성(integrity), 신원 확인(authentication), 부인 방지(non-repudiation)등의 보안 기능을 지원하는 다중 보안 에이전트 엔진 모델을 제안한다. 각 에이전트는 구조적으로 에이전트 엔진 계층과 에이전트 응용 계층으로 구성된다. 제안한 보안 에이전트 모델의 설계에는 자가 송수신 메시지, 보안 채널 그리고 에이전트 응용 계층에서의 KQML(Knowledge Query and Manipulation Language) 메시지와 에이전트 엔진 계층에서의 메시지의 구분이라는 개념들이 사용되었다. 제시된 보안 에이전트 엔진 모델이 제공하는 에이전트 언어는 기존 에이전트 언어인 KQML의 내용층 및 메시지층에 대한 아무런 수정이나 제약 조건 없이 통신 계층만을 확장하여 보안 기능을 표현하며, 에이전트간의 보안 통신은 에이전트 언어 상에서 투명하게 표현되는 보안 채널을 통해 이루어진다는 특징을 갖는다.

  • PDF

다중목표 대화형 추천시스템을 위한 사전 학습된 언어모델들에 대한 성능 평가 (Performance Evaluation of Pre-trained Language Models in Multi-Goal Conversational Recommender Systems)

  • 김태호;장형준;김상욱
    • 스마트미디어저널
    • /
    • 제12권6호
    • /
    • pp.35-40
    • /
    • 2023
  • 본 연구는 대화형 추천 시스템인 다중 목표 대화형 추천 시스템(MG-CRS)에서 사용되는 다양한 사전 학습된 언어 모델들을 고찰하고, 각 언어모델의 성능을 비교하고 분석한다. 특히, 언어 모델의 크기가 다중 목표 대화형 추천 시스템의 성능에 어떤 영향을 미치는지에 대해 살펴본다. BERT, GPT2, 그리고 BART의 세 종류의 언어모델을 대상으로 하여, 대표적인 다중 목표 대화형 추천 시스템 데이터셋인 DuRecDial 2.0에서 '타입 예측'과 '토픽 예측'의 정확도를 측정하고 비교한다. 실험 결과, 타입 예측에서는 모든 모델이 뛰어난 성능을 보였지만, 토픽예측에서는 모델 간에 혹은 사이즈에 따라 성능 차이가 관찰되었다. 이러한 결과를 바탕으로 다중 목표 대화형 추천 시스템의 성능 향상을 위한 방향을 제시한다.