• Title/Summary/Keyword: Language model

Search Result 2,782, Processing Time 0.023 seconds

상태를 갖는 명령형 함수언어의 설계 (A design of the imperative functional language with state)

  • 주형석
    • 한국컴퓨터산업학회논문지
    • /
    • 제2권10호
    • /
    • pp.1261-1268
    • /
    • 2001
  • 함수언어는 여러 가지 유용한 특징에도 불구하고 상태를 나타내기 위한 효율적인 방법을 제공하지 못하고있다. 함수언어의 표현력을 높이기 위해서는 함수언어의 의미를 위배함이 없이 상태를 명시적으로 나타내기 위한 방법이 요구된다. 이 연구에서는 순수 함수언어의 성질을 위배함이 없이 상태를 표현하기 위한 명령형 함수언어 $\lambda$st-계산을 설계하였고 제안된 명령형 함수언어를 감축하기 위한 알고리즘을 구성하였다. $\lambda$-계산에 명시적인 상태 구성자를 확장한 $\lambda$st-계산 모델은 상태의 합성 개념을 도입하고 감축규칙을 간략화 함으로써 구문구조의 표현력을 향상시켰다.

  • PDF

객체지향 시공간 데이터베이스 시스템의 객체기반 설계 및 질의어 (Object-Based Modeling and Language for an Object-Oriented Spatiao-Temporal Database System)

  • 김양희
    • 컴퓨터교육학회논문지
    • /
    • 제10권2호
    • /
    • pp.101-113
    • /
    • 2007
  • 본 논문에서는 객체지향 시공간 데이터베이스 시스템의 데이터 모델링과 질의어를 객체지향 기법을 사용하여 소개한다. 시공간 객체와 시공간 연산자를 다루기 위해 다음과 같은 두 단계 객체지향 데이터 모델을 제안 한다: 시공간 객체 모델과 시공간 내부 기술 모델 또한 객체지향 시공간 질의어인 STOQL을 제안한다. STOQL은 공간 객체의 다양한 출력과 시공간 및 비 공간 객체의 검색을 수행할 수 있는 통합 기능을 제공해준다.

  • PDF

한국어 방송 뉴스 인식 시스템을 위한 OOV update module (Korean broadcast news transcription system with out-of-vocabulary(OOV) update module)

  • 정의정;윤승
    • 한국음향학회:학술대회논문집
    • /
    • 한국음향학회 2002년도 하계학술발표대회 논문집 제21권 1호
    • /
    • pp.33-36
    • /
    • 2002
  • We implemented a robust Korean broadcast news transcription system for out-of-vocabulary (OOV), tested its performance. The occurrence of OOV words in the input speech is inevitable in large vocabulary continuous speech recognition (LVCSR). The known vocabulary will never be complete due to the existence of for instance neologisms, proper names, and compounds in some languages. The fixed vocabulary and language model of LVCSR system directly face with these OOV words. Therefore our Broadcast news recognition system has an offline OOV update module of language model and vocabulary to solve OOV problem and selects morpheme-based recognition unit (so called, pseudo-morpheme) for OOV robustness.

  • PDF

다중로봇을 휘한 관리제어 시스템의 설계 (A design of supervisory control system for a multi-robot system)

  • 서일홍;여희주;김재현;류종석;오상록
    • 대한전기학회논문지
    • /
    • 제45권1호
    • /
    • pp.100-112
    • /
    • 1996
  • This paper presents a design experience of a control language for coordination of a multi-robot system. To effectively program job commands, a Petrinet-type Graphical Robot Language(PGRL) is proposed, where some functions, such as concurrency and synchronization, for coordination among tasks can be easily programmed.In our system, the proposed task commands of PGRL are implemented by employing formal model languages, which are composed of three modules, sensory, data handling, and action module. It is expected that by using our proposed PGRL and formal languages, one can easily describe a job or task, and hence can effectively operate a complex real-time and concurrent system. The control system is being implemented by using VME-based 32-bit microprocessor boards for supervisory, each module controller(arm, hand, leg, sensor data processing module) and a real time multi-tasking operating system(VxWorks). (author). 17 refs., 16 figs., 2 tabs.

  • PDF

번역: 대응과 평가 (Translation:Mapping and Evaluation)

  • 장석진
    • 한국언어정보학회지:언어와정보
    • /
    • 제2권1호
    • /
    • pp.1-41
    • /
    • 1998
  • Evaluation of multilingual translation fundamentally involves measurement of meaning equivalences between the formally mapped discourses/texts of SL(source language) and TL(target language) both represented by a metalanguage called IL(interlingua). Unlike a usaal uni-directional MT(machine translation) model(e.g.:SL $\rightarrow$ analysis $\rightarrow$ transfer $\rightarrow$ generation $\rightarrow$ TL), a bi-directional(by 'negotiation') model(i.e.: SL $\rightarrow$ IL/S $\leftrightarrow$ IL $\leftrightarrow$ IL/T \leftarrow TL) is proposed here for the purpose of evaluating multilingual, not merely bilingual, translation. The IL, as conceived of in this study, is an English-based predicate logic represented in the framework of MRS(minimal recursion semantics), an MT-oriented off-shoot of HPSG(Head-driven Phrase Structure Grammar). In addition, a list of semantic and pragmatic checkpoints are set up, some being optional depending on the kind and use of the translation, so sa to have the evaluation of translation fine-grained by computing matching or mismatching of such checkpoints.

  • PDF

Large Pre-trained Language Model의 P-tuning을 이용한 질의 정규화 (Query Normalization Using P-tuning of Large Pre-trained Language Model)

  • 서수빈;인수교;박진성;남경민;김현욱;문기윤;황원요;김경덕;강인호
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.396-401
    • /
    • 2021
  • 초거대 언어모델를 활용한 퓨샷(few shot) 학습법은 여러 자연어 처리 문제에서 좋은 성능을 보였다. 하지만 데이터를 활용한 추가 학습으로 문제를 추론하는 것이 아니라, 이산적인 공간에서 퓨샷 구성을 통해 문제를 정의하는 방식은 성능 향상에 한계가 존재한다. 이를 해결하기 위해 초거대 언어모델의 모수 전체가 아닌 일부를 추가 학습하거나 다른 신경망을 덧붙여 연속적인 공간에서 추론하는 P-tuning과 같은 데이터 기반 추가 학습 방법들이 등장하였다. 본 논문에서는 문맥에 따른 질의 정규화 문제를 대화형 음성 검색 서비스에 맞게 직접 정의하였고, 초거대 언어모델을 P-tuning으로 추가 학습한 경우 퓨샷 학습법 대비 정확도가 상승함을 보였다.

  • PDF

대규모 언어 모델 기반 한국어 휴지 예측 연구 (A Study on Korean Pause Prediction based Large Language Model)

  • 나정호;이정;나승훈;정정범;최맹식;이충희
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.14-18
    • /
    • 2023
  • 본 연구는 한국어 음성-텍스트 데이터에서 보편적으로 나타난 휴지의 실현 양상을 분석하고, 이를 토대로 데이터셋을 선별해 보편적이고 규격화된 한국어 휴지 예측을 위한 모델을 제안하였다. 이를 위해 전문적인 발성 훈련을 받은 성우 등의 발화가 녹음된 음성-텍스트 데이터셋을 수집하고 MFA와 같은 음소 정렬기를 사용해 휴지를 라벨링하는 등의 전처리를 하고, 다양한 화자의 발화에서 공통적으로 나타난 휴지를 선별해 학습데이터셋을 구축하였다. 구축된 데이터셋을 바탕으로 LLM 중 하나인 KULLM 모델을 미세 조정하고 제안한 모델의 휴지 예측 성능을 평가하였다.

  • PDF

Zero-shot 기반 다중 문서 그라운딩된 대화 시스템 (Zero-shot Dialogue System Grounded in Multiple Documents)

  • 박준범;홍범석;최원석;한영섭;전병기;나승훈
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.399-403
    • /
    • 2023
  • 본 논문에서는 다중 문서 기반의 대화 시스템을 통한 효율적인 정보 검색과 응답 생성에 중점을 둡니다. 대규모 데이터 집합에서 정확한 문서를 선택하는 데 필요한 검색의 중요성을 강조하며, 현재 검색 방법의 한계와 문제점을 지적합니다. 또한 더 자연스러운 답변을 생성하기 위해 대규모 언어 모델을 사용하게 되면서 fine-tuning 시에 발생하는 제약과 낭비를 모델의 제로샷 생성 능력을 활용하여 개선하려는 방안을 제안하며, 모델의 크기와 자원의 효율성에 대한 고려사항을 논의합니다. 우리의 접근 방식은 대규모 언어 모델을 프롬프트와 함께 다중 문서로 학습 없이 정보를 검색하고 응답을 생성하는 방향으로 접근하여 대화 시스템의 효율성과 유용성을 향상시킬 수 있음을 제시합니다.

  • PDF

피드백 기법을 이용한 LLama2 모델 기반의 Zero-Shot 문서 그라운딩된 대화 시스템 성능 개선 (LLaMA2 Models with Feedback for Improving Document-Grounded Dialogue System)

  • 정민교;홍범석;최원석;한영섭;전병기;나승훈
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.275-280
    • /
    • 2023
  • 문서 그라운딩된 대화 시스템의 응답 성능 개선을 위한 방법론을 제안한다. 사전 학습된 거대 언어 모델 LLM(Large Language Model)인 Llama2 모델에 Zero-Shot In-Context learning을 적용하여 대화 마지막 유저 질문에 대한 응답을 생성하는 태스크를 수행하였다. 본 연구에서 제안한 응답 생성은 검색된 top-1 문서와 대화 기록을 참조해 초기 응답을 생성하고, 생성된 초기 응답을 기반으로 검색된 문서를 대상으로 재순위화를 수행한다. 이 후, 특정 순위의 상위 문서들을 이용해 최종 응답을 생성하는 과정으로 이루어진다. 검색된 상위 문서를 이용하는 응답 생성 방식을 Baseline으로 하여 본 연구에서 제안한 방식과 비교하였다. 그 결과, 본 연구에서 제안한 방식이 검색된 결과에 기반한 실험에서 Baseline 보다 F1, Bleu, Rouge, Meteor Score가 향상한 것을 확인 하였다.

  • PDF

Generative AI as a Virtual Conversation Partner in Language Learning

  • Ji-Young Seo;Seon-Ah, Kim
    • International Journal of Advanced Culture Technology
    • /
    • 제12권2호
    • /
    • pp.7-15
    • /
    • 2024
  • Despite a recent surge in multifaceted research on AI-integrated language learning, empirical studies in this area remain limited. This study adopts a Human-Generative AI parallel processing model to examine students' perceptions, asking 182 college students to independently construct knowledge and then compare their efforts with the results generated through in-classroom conversations with ChatGPT 3.5. In questionnaire responses, most students indicated that they found these activities useful and expressed a keen interest in learning various ways to utilize generative AI for language learning with instructor guidance. The findings confirm that ChatGPT's potential as a virtual conversation partner. Identifying specific reasons for the perceived usefulness of conversation activities and drawbacks of ChatGPT, this study emphasizes the importance of teachers staying informed about both the latest advances in technology and their limitations. We recommend that teachers endeavor to creatively design various classroom activities using AI technology.