• 제목/요약/키워드: Language model

검색결과 2,782건 처리시간 0.024초

INTERVAL-VALUED FUZZY REGULAR LANGUAGE

  • Ravi, K.M.;Alka, Choubey
    • Journal of applied mathematics & informatics
    • /
    • 제28권3_4호
    • /
    • pp.639-649
    • /
    • 2010
  • In this paper, a definition of interval-valued fuzzy regular language (IVFRL) is proposed and their related properties studied. A model of finite automaton (DFA and NDFA) with interval-valued fuzzy transitions is proposed. Acceptance of interval-valued fuzzy regular language by the finite automaton (DFA and NDFA) with interval-valued fuzzy transitions are examined. Moreover, a definition of finite automaton (DFA and NDFA) with interval-valued fuzzy (final) states is proposed. Acceptance of interval-valued fuzzy regular language by the finite automaton (DFA and NDFA) with interval-valued fuzzy (final) states are also discussed. It is observed that, the model finite automaton (DFA and NDFA) with interval-valued fuzzy (final) states is more suitable than the model finite automaton (DFA and NDFA) with interval-valued fuzzy transitions for recognizing the interval-valued fuzzy regular language. In the end, interval-valued fuzzy regular expressions are defined. We can use the proposed interval-valued fuzzy regular expressions in lexical analysis.

언어모델 인터뷰 영향 평가를 통한 텍스트 균형 및 사이즈간의 통계 분석 (Statistical Analysis Between Size and Balance of Text Corpus by Evaluation of the effect of Interview Sentence in Language Modeling)

  • 정의정;이영직
    • 한국음향학회:학술대회논문집
    • /
    • 한국음향학회 2002년도 하계학술발표대회 논문집 제21권 1호
    • /
    • pp.87-90
    • /
    • 2002
  • This paper analyzes statistically the relationship between size and balance of text corpus by evaluation of the effect of interview sentences in language model for Korean broadcast news transcription system. Our Korean broadcast news transcription system's ultimate purpose is to recognize not interview speech, but the anchor's and reporter's speech in broadcast news show. But the gathered text corpus for constructing language model consists of interview sentences a portion of the whole, $15\%$ approximately. The characteristic of interview sentence is different from the anchor's and the reporter's in one thing or another. Therefore it disturbs the anchor and reporter oriented language modeling. In this paper, we evaluate the effect of interview sentences in language model for Korean broadcast news transcription system and analyze statistically the relationship between size and balance of text corpus by making an experiment as the same procedure according to varying the size of corpus.

  • PDF

A multilingual grammar model of honorification: using the HPSG and MRS formalism

  • Song, Sanghoun
    • 한국언어정보학회지:언어와정보
    • /
    • 제20권1호
    • /
    • pp.25-49
    • /
    • 2016
  • Honorific forms express the speaker's social attitude to others and also indicate the social ranks and level of intimacy of the participants in the discourse. In a cross-linguistic perspective of grammar engineering, modelling honorification has been regarded as a key strategy for improving language processing applications. Using the HPSG and MRS formalism, this article provides a multilingual grammar model of honorification. The present study incorporates the honorific information into the Meaning Representation System (MRS) via Individual Constraints (ICONS), and then conducts an evaluation to see if the model contributes to semantics-based language processing.

  • PDF

프라이버시 보호를 위한 오프사이트 튜닝 기반 언어모델 미세 조정 방법론 (Privacy-Preserving Language Model Fine-Tuning Using Offsite Tuning)

  • 정진명;김남규
    • 지능정보연구
    • /
    • 제29권4호
    • /
    • pp.165-184
    • /
    • 2023
  • 최근 구글의 BERT, OpenAI의 GPT 등, 언어모델(Language Model)을 사용한 비정형 텍스트 데이터에 대한 딥러닝(Deep Learning) 분석이 다양한 응용에서 괄목할 성과를 나타내고 있다. 대부분의 언어모델은 사전학습 데이터로부터 범용적인 언어정보를 학습하고, 이후 미세 조정(Fine-Tuning) 과정을 통해 다운스트림 태스크(Downstream Task)에 맞추어 갱신되는 방식으로 사용되고 있다. 하지만 최근 이러한 언어모델을 사용하는 과정에서 프라이버시가 침해될 수 있다는 우려가 제기되고 있다. 즉 데이터 소유자가 언어모델의 미세 조정을 수행하기 위해 다량의 데이터를 모델 소유자에게 제공하는 과정에서 데이터의 프라이버시가 침해될 수 있으며, 반대로 모델 소유자가 모델 전체를 데이터 소유자에게 공개하면 모델의 구조 및 가중치가 공개되어 모델의 프라이버시가 침해될 수 있다는 것이다. 이러한 상황에서 프라이버시를 보호하며 언어모델의 미세 조정을 수행하기 위해 최근 오프사이트 튜닝(Offsite Tuning)의 개념이 제안되었으나, 해당 연구는 제안 방법론을 텍스트 분류 모델에 적용하는 구체적인 방안을 제시하지 못했다는 한계를 갖는다. 이에 본 연구에서는 한글 문서에 대한 다중 분류 미세 조정 수행 시, 모델과 데이터의 프라이버시를 보호하기 위해 분류기를 추가한 오프사이트 튜닝을 적용하는 구체적인 방법을 제시한다. 제안 방법론의 성능을 평가하기 위해 AIHub에서 제공하는 ICT, 전기, 전자, 기계, 그리고 의학 총 5개의 대분야로 구성된 약 20만건의 한글 데이터에 대해 실험을 수행한 결과, 제안하는 플러그인 모델이 제로 샷 모델 및 오프사이트 모델에 비해 분류 정확도 측면에서 우수한 성능을 나타냄을 확인하였다.

외국인 모델의 매력도와 외국어 사용의 상호작용 효과 (The Interaction Effect of Foreign Model Attractiveness and Foreign Language Usage)

  • 이지현;이동일
    • 마케팅과학연구
    • /
    • 제17권3호
    • /
    • pp.61-81
    • /
    • 2007
  • 현재 한국시장의 광고에는 외국인 모델과 외국어를 사용하는 것이 일반적이다. 그러나 그 효과에 대한 검증은 거의 이루어지지 않고 있다. 기존의 연구에 의하면 마케팅 커뮤니케이션과 소비자의 문화적 가치가 일치하게 될 때 커뮤니케이션의 효과가 높아진다고 한다. 즉, 광고에의 외국문화 사용은 기존 연구에서 주장하고 있는 바와는 반대의 현상인 것이다. 그러나 인터넷 등 글로벌 매체에 의해 글로벌 문화가 출현함에 따라 마케팅 커뮤니케이션과 소비자의 문화적 가치가 일치하는 것이 가장 바람직한 커뮤니케이션 방법이라 볼 수는 없다. 이에 본 연구는 외국인 모델을 사용하는 광고에 있어서 모델의 매력도와 외국어 사용이 소비자의 광고와 제품에 대한 태도, 구매의도 등에 어떤 영향을 미치는가를 살펴보고 효과적인 광고 커뮤니케이션에 대한 제언을 하고자 했다. 연구결과, 광고에 사용된 언어와 광고의 시각적 단서인 모델 매력도는 광고의 효과에 상호작용 효과를 나타내는 것이 밝혀졌다. 광고에 사용된 모델 매력도가 높은 경우, 제품에 대한 태도, 구매의도가 사용된 언어에 대해 유의한 차이를 보이지 않았다. 광고에 사용된 모델의 매력도가 낮은 경우에는 영어를 사용한 경우가 제품에 대한 태도, 구매의도가 높았다. 즉, 외국인 모델을 광고에 사용할 경우, 그 모델의 매력도의 높고 낮음에 따라 광고에 사용되는 언어를 선택함으로써 광고의 효과를 조절할 수 있다는 실무적 시사점을 제공한다.

  • PDF

대형 언어 모델 기반 신경망을 활용한 강구조물 부재 중량비 예측 (Predicting Steel Structure Product Weight Ratios using Large Language Model-Based Neural Networks)

  • 박종혁;유상현;한수희;김경준
    • 한국전자통신학회논문지
    • /
    • 제19권1호
    • /
    • pp.119-126
    • /
    • 2024
  • 건물 정보 모델(BIM: Building Information Model)은 관련 기업의 개별화된 프로젝트와 학습 데이터양 부족으로 인해 인공지능(AI: Artificial Intelligence) 기반 BIM 애플리케이션 개발이 쉽지 않다. 본 연구에서는 데이터가 제한적인 상황에서 BIM의 강구조물 부재 중량비를 예측하기 위해 사전 학습이 된 대형 언어 모델을 기반으로 신경망을 학습하는 방법을 제시하고 실험하였다. 제안된 모델은 대형 언어 모델을 활용하여 BIM에 내재하는 데이터 부족 문제를 극복할 수 있어 데이터의 양이 부족한 상황에서도 성공적인 학습이 가능하며 대형 언어 모델과 연계된 신경망을 활용하여 자연어와 더불어 숫자 데이터까지 처리할 수 있다. 실험 결과는 제안된 대형 언어 모델 기반 신경망이 기존 소형 언어 모델 기반보다 높은 정확도를 보였다. 이를 통해, 대형 언어 모델이 BIM에 효과적으로 적용될 수 있음이 확인되었으며, 향후 건물 사고 예방 및 건설 비용의 효율적인 관리가 기대된다.

언어-기반 제로-샷 물체 목표 탐색 이동 작업들을 위한 인공지능 기저 모델들의 활용 (Utilizing AI Foundation Models for Language-Driven Zero-Shot Object Navigation Tasks)

  • 최정현;백호준;박찬솔;김인철
    • 로봇학회논문지
    • /
    • 제19권3호
    • /
    • pp.293-310
    • /
    • 2024
  • In this paper, we propose an agent model for Language-Driven Zero-Shot Object Navigation (L-ZSON) tasks, which takes in a freeform language description of an unseen target object and navigates to find out the target object in an inexperienced environment. In general, an L-ZSON agent should able to visually ground the target object by understanding the freeform language description of it and recognizing the corresponding visual object in camera images. Moreover, the L-ZSON agent should be also able to build a rich spatial context map over the unknown environment and decide efficient exploration actions based on the map until the target object is present in the field of view. To address these challenging issues, we proposes AML (Agent Model for L-ZSON), a novel L-ZSON agent model to make effective use of AI foundation models such as Large Language Model (LLM) and Vision-Language model (VLM). In order to tackle the visual grounding issue of the target object description, our agent model employs GLEE, a VLM pretrained for locating and identifying arbitrary objects in images and videos in the open world scenario. To meet the exploration policy issue, the proposed agent model leverages the commonsense knowledge of LLM to make sequential navigational decisions. By conducting various quantitative and qualitative experiments with RoboTHOR, the 3D simulation platform and PASTURE, the L-ZSON benchmark dataset, we show the superior performance of the proposed agent model.

초거대 언어모델과 수학추론 연구 동향 (Research Trends in Large Language Models and Mathematical Reasoning)

  • 권오욱;신종훈;서영애;임수종;허정;이기영
    • 전자통신동향분석
    • /
    • 제38권6호
    • /
    • pp.1-11
    • /
    • 2023
  • Large language models seem promising for handling reasoning problems, but their underlying solving mechanisms remain unclear. Large language models will establish a new paradigm in artificial intelligence and the society as a whole. However, a major challenge of large language models is the massive resources required for training and operation. To address this issue, researchers are actively exploring compact large language models that retain the capabilities of large language models while notably reducing the model size. These research efforts are mainly focused on improving pretraining, instruction tuning, and alignment. On the other hand, chain-of-thought prompting is a technique aimed at enhancing the reasoning ability of large language models. It provides an answer through a series of intermediate reasoning steps when given a problem. By guiding the model through a multistep problem-solving process, chain-of-thought prompting may improve the model reasoning skills. Mathematical reasoning, which is a fundamental aspect of human intelligence, has played a crucial role in advancing large language models toward human-level performance. As a result, mathematical reasoning is being widely explored in the context of large language models. This type of research extends to various domains such as geometry problem solving, tabular mathematical reasoning, visual question answering, and other areas.

정보검색에서의 언어모델 적용에 관한 분석 (An Analysis of the Applications of the Language Models for Information Retrieval)

  • 김희섭;정영미
    • 한국도서관정보학회지
    • /
    • 제36권2호
    • /
    • pp.49-68
    • /
    • 2005
  • 본 연구의 목적은 정보검색 분야에서의 언어모델의 적용에 관한 연구동향을 개관하고 이 분야의 선행연구 결과들을 분석해 보는 것이다. 선행연구들은 (1)전통적인 모델 기반 정보검색과 언어모델링 정보검색의 성능 비교 실험에 초점을 두고 있는 1세대 언어모델링 정보검색(LMIR)과 (2)기본적인 언어모델링 정보검색과 확장된 언어모델링 정보검색의 성능 비교를 통해 보다 우수한 언어모델링 확장기법을 찾아내는 것에 초점을 두고 있는 2세대 LMIR로 구분하여 분석하였다. 선행연구들의 실험결과를 분석해 본 결과 첫째, 언어모델링 정보검색은 확률모델, 벡터모델 정보검색보다 그 성능이 뛰어나고 둘째 확장된 언어모델들은 기본적인 언어 모델 정보검색보다 그 성능이 우수한 것으로 나타났다.

  • PDF

자연어를 이용한 요구사항 모델의 번역 기법 (Translation Technique of Requirement Model using Natural Language)

  • 오정섭;이혜련;임강빈;최경희;정기현
    • 정보처리학회논문지D
    • /
    • 제15D권5호
    • /
    • pp.647-658
    • /
    • 2008
  • 자연어로 작성된 고객의 요구사항은 개발과정에서 모델링 언어로 재작성 된다. 그러나 개발에 참여하는 다양한 계층의 사람들은 모델링 언어로 작성된 요구사항을 이해하지 못하는 경우가 많이 발생한다. 본 논문에서는 REED(REquirement EDitor)로 작성된 요구사항 모델을 자연어로 번역하여 개발에 참여하는 모든 계층의 사람들이 요구사항 모델을 이해할 수 있도록 도와주는 방안을 제시한다. 제시한 방법은 3단계로 구성되어 있다. 1단계 IORT(Input-Output Relation Tree) 생성, 2단계 RTT(Requirement Translation Tree) 생성, 3단계 자연어로 번역의 단계를 거친다.