• The Journal of Korea Institute of Information, Electronics, and Communication Technology
• /
• v.17 no.4
• /
• pp.275-287
• /
• 2024

Research on the integration of Knowledge Graphs (KGs) and Language Models (LMs) has been consistently explored over the years. However, studies focusing on the automatic generation of text using the structured knowledge from KGs have not been as widely developed. In this study, we propose a methodology for automatically generating specific domain-related research items (Related Work) at a level comparable to existing papers. This methodology involves: 1) selecting optimal prompts, 2) extracting triples through a four-step refinement process, 3) constructing a knowledge graph, and 4) automatically generating related research. The proposed approach utilizes GPT-4, one of the large language models (LLMs), and is desigend to automatically generate related research by applying the four-step refinement process. The model demonstrated performance metrics of 17.3, 14.1, and 4.2 in Triple extraction across #Supp, #Cont, and Fluency, respectively. According to the GPT-4 automatic evaluation criteria, the model's performamce improved from 88.5 points vefore refinement to 96.5 points agter refinement out of 100, indicating a significant capability to automatically generate related research at a level similar to that of existing papers.

• Journal of Computing Science and Engineering
• /
• v.5 no.1
• /
• pp.85-110
• /
• 2011

Achieving situation awareness is especially challenging for real-time data stream applications because they i) operate on continuous unbounded streams of data, and ii) have inherent realtime requirements. In this paper we showed how formal data stream modeling and analysis can be used to better understand stream behavior, evaluate query costs, and improve application performance. We used MEDAL, a formal specification language based on Petri nets, to model the data stream queries and the quality-of-service management mechanisms of RT-STREAM, a prototype system for data stream management. MEDAL's ability to combine query logic and data admission control in one model allows us to design a single comprehensive model of the system. This model can be used to perform a large set of analyses to help improve the application's performance and quality of service.

• English Language & Literature Teaching
• /
• v.12 no.1
• /
• pp.221-238
• /
• 2006

This study investigates the reliability of plagiarism measurement in the ESL essay writing context. The current study aims to address the answers to the following research questions: 1) How does plagiarism measurement affect test reliability in a psychometric view? and 2) how do raters conceive the plagiarism in their analytic scoring? This study uses the mixed-methodology that crosses quantitative-qualitative techniques. Thirty eight international students took an ESL placement writing test offered by the University of Illinois. Two native expert raters rated students' essays in terms of 5 analytic features (organization, content, language use, source use, plagiarism) and made a holistic score using a scoring benchmark. For research question 1, the current study, using G-theory and Multi-facet Rasch model, found that plagiarism measurement threatened test reliability. For research question 2, two native raters and one non-native rater in their email correspondences responded that plagiarism was not a valid analytic area to be measured in a large-scale writing test. They viewed the plagiarism as a difficult measurement are. In conclusion, this study proposes that a systematic training program for avoiding plagiarism should be given to students. In addition, this study suggested that plagiarism is measured reliably in the small-scale classroom test.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.237-240
• /
• 2020

사전학습 언어모델은 다양한 자연어처리 작업에서 높은 성능을 보였다. 하지만, 사전학습 언어모델은 문장 내 문맥 정보만을 학습하기 때문에 단어간 의미관계 정보를 추론하는데는 한계가 있다. 최근에는, 사전학습 언어모델이 어느수준으로 단어간 의미관계를 이해하고 있는지 다양한 Probing Test를 진행하고 있다. 이러한 Test는 언어모델의 강점과 약점을 분석하는데 효율적이며, 한층 더 인간의 언어를 정확하게 이해하기 위한 모델을 구축하는데 새로운 방향을 제시한다. 본 논문에서는 대표적인 사전 학습기반 언어모델인 BERT(Bidirectional Encoder Representations from Transformers)의 단어간 의미관계 이해도를 평가하는 3가지 작업을 진행한다. 첫 번째로 단어 간의 상위어, 하위어 관계를 나타내는 IsA 관계를 분석한다. 두번째는 '자동차'와 '변속'과 같은 관계를 나타내는 PartOf 관계를 분석한다. 마지막으로 '새'와 '날개'와 같은 관계를 나타내는 HasA 관계를 분석한다. 결과적으로, BERT_base 모델에 대해서는 추론 결과 대부분에서 낮은 성능을 보이지만, BERT_large 모델에서는 BERT_base보다 높은 성능을 보였다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.203-208
• /
• 2023

본 논문에서는 대규모 언어 모델의 인컨텍스트 러닝과 프롬프팅을 활용하여 수치 추론 태스크 데이터셋을 효과적으로 증강시킬 수 있는 방법론을 제안한다. 또한 모델로 하여금 수치 추론 데이터의 이해를 도울 수 있는 전처리와 요구사항을 만족하지 못하는 결과물을 필터링 하는 검증 단계를 추가하여 생성되는 데이터의 퀄리티를 보장하고자 하였다. 이렇게 얻어진 증강 절차를 거쳐 증강을 진행한 뒤 추론용 모델 학습을 통해 다른 증강 방법론보다 우리의 방법론으로 증강된 데이터셋으로 학습된 모델이 더 높은 성능을 낼 수 있음을 보였다. 실험 결과 우리의 증강 데이터로 학습된 모델은 원본 데이터로 학습된 모델보다 모든 지표에서 2%p 이상의 성능 향상을 보였으며 다양한 케이스를 통해 우리의 모델이 수치 추론 학습 데이터의 다양성을 크게 향상시킬 수 있음을 확인하였다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.664-671
• /
• 2023

최근 다양한 거대 언어모델(Large Language Model)들이 개발되면서 프롬프트 엔지니어링의 대한 다양한 연구가 진행되고 있다. 본 논문에서는 퓨삿 학습 환경에서 개체명 인식의 성능을 높이기 위해서 제안된 템플릿이 필요 없는 프롬프트 튜닝(Template-free Prompt Tuning) 방법을 이용하고, 이 방법에서 사용된 라벨 단어 집합 생성 방법에 Maximal Marginal Relevance 알고리즘을 적용하여 해당 개체명에 대해 보다 다양하고 구체적인 라벨 단어 집합을 생성하도록 개선하였다. 실험 결과, 'LOC' 타입을 제외한 나머지 개체명 타입에서 'PER' 타입은 0.60%p, 'ORG' 타입은 4.98%p, 'MISC' 타입은 1.38%p 성능이 향상되었고, 전체 개체명 인식 성능은 1.26%p 향상되었다. 이를 통해 본 논문에서 제안한 라벨 단어 집합 생성 기법이 개체명 인식 성능 향상에 도움이 됨을 보였다.

• Annual Conference on Human and Language Technology
• /
• 2024.10a
• /
• pp.389-394
• /
• 2024

거대 언어 모델이 최신 정보와 외부 지식을 활용한 질의응답을 수행하는 데 본질적인 한계가 존재한다는 문제를 완화하기 위해, 검색 증강 생성(Retrieval-Augmented Generation, RAG) 기술에 대한 연구가 활발히 진행되고 있다. 기존 연구에서는 모델이 외부 지식을 효과적으로 활용할 수 있도록 하기 위해 1) 외부 지식에서 중요한 정보가 있을 가능성이 높은 특정 부분만 제공하거나, 2) 정보를 요약하여 재구성하는 등의 방법이 사용되었다. 그러나 이러한 접근법들은 정보의 축약 과정에서 중요한 내용이 손실될 가능성이 남아 있다. 이러한 문제를 완화하기 위해 본 연구에서는 원본 외부 지식의 손실 없이 거대 언어 모델의 질의응답 성능을 향상시키기 위한 "엔티티 기반 정보 밀도 향상 기법(entity-based information densification technique)"을 제안한다. 이는 외부 지식에서 엔티티가 중요한 정보를 포함할 가능성이 높다는 가설에 기반하여, 주어진 질의와 지식 텍스트로부터 엔티티와 그들 간의 관계 구조를 모델이 더 잘 이해하고 추론할 수 있도록 하는 것이다. 이를 위해, 질의와 컨텍스트로부터 적절한 엔티티 및 관계의 집합을 추출하고, 이를 바탕으로 컨텍스트 내의 중요한 엔티티를 명시적으로 강조함으로써, 모델이 중요한 정보를 최대한 소실하지 않도록 유도한다. 추가로, 제안한 방법론의 타당성과 중요성을 증명하기 위해 다양한 실험 및 분석을 수행한다.

• Annual Conference on Human and Language Technology
• /
• 2024.10a
• /
• pp.3-7
• /
• 2024

대규모 언어 모델은 방대한 데이터를 학습하여 다양한 자연어 처리 작업에서 뛰어난 성능을 보인다. 그러나 모델은 잘못된 정보나 시대에 뒤떨어진 지식, 편향된 데이터를 학습하게 되어 출력물에 오류를 포함할 수 있으며, 이는 모델의 신뢰성과 정확성에 부정적인 영향을 미칠 수 있다. 이를 해결하기 위해 모델의 지식을 수정하거나 새로운 지식을 주입하는 방법에 대한 연구가 필요성이 증대되었다. 본 연구에서는 모델을 처음부터 재학습하지 않고도 잘못된 지식을 효과적으로 제거하고 새로운 지식을 통합할 수 있는 새로운 지식 편집 방법을 제안한다. 제안된 방법은 지식 편집의 최적화 기반 접근 방법에서 기존의 잘못된 지식을 경사 상승 기법을 활용하여 제거하고, 동시에 새로운 지식을 주입하는 방식으로, 기존 지식과 새로운 지식 간의 충돌을 최소화하고 모델의 일관성을 유지하도록 설계되었다. 우리는 대규모 언어 모델을 사용하여 실험을 수행하였고, 다양한 기존 지식 편집 방법들과 비교하여 우리의 접근법이 지식을 더욱 확실하게 수정하며 일관적인 모델 응답 결과를 생성함을 확인하였다.

• Annual Conference on Human and Language Technology
• /
• 2024.10a
• /
• pp.623-628
• /
• 2024

본 논문은 표 데이터를 효율적으로 처리하기 위한 주제-설명 구조 기반 표 요약 (Theme-Explanation Structure-based Table Summarization; Tabular-TX) 파이프라인을 제안한다. Tabular-TX는 표 데이터를 하이라이트 된 셀을 중심으로 전처리한 후, 부사구 형태의 주제 부분(Theme Part)과 서술절 형태의 설명 부분(Explanation Part)이 이어지는 구조로 요약 문장을 생성하는 방식이다. 이 과정에서 표의 구조적 특성과 비교 가능성을 고려하여 맞춤형 분석을 수행한다. 또한, In-Context Learning을 사용하여 미세 조정 없이도 LLM의 분석 능력을 최적화하며, 표 데이터의 구조적 복잡성을 효과적으로 처리한다. 제안하는 Tabular-TX를 적용해 표 기반 요약을 생성한 결과, 데이터셋 크기의 제한에도 불구하고 기존의 미세 조정 기반 방법에 비해 우수한 성능을 나타냈다. 실험 결과, Tabular-TX는 복잡한 표 데이터를 보다 효과적으로 처리할 수 있음을 확인했으며, 특히 자원이 제한된 환경에서 표 기반 질의응답과 요약 작업을 위해 사용할 수 있는 새로운 대안임을 입증하였다.

• ETRI Journal
• /
• v.36 no.3
• /
• pp.429-438
• /
• 2014

Semantic role labeling (SRL) is a task in natural-language processing with the aim of detecting predicates in the text, choosing their correct senses, identifying their associated arguments, and predicting the semantic roles of the arguments. Developing a high-performance SRL system for a domain requires manually annotated training data of large size in the same domain. However, such SRL training data of sufficient size is available only for a few domains. Constructing SRL training data for a new domain is very expensive. Therefore, domain adaptation in SRL can be regarded as an important problem. In this paper, we show that domain adaptation for SRL systems can achieve state-of-the-art performance when based on structural learning and exploiting a prior model approach. We provide experimental results with three different target domains showing that our method is effective even if training data of small size is available for the target domains. According to experimentations, our proposed method outperforms those of other research works by about 2% to 5% in F-score.