• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.301-305
• /
• 2023

최근 등장한 Large Language Models (LLM)은 자연어 처리 분야에서 눈에 띄는 성과를 보여주었지만, 주로 영어 중심의 연구로 진행되어 그 한계를 가지고 있다. 본 연구는 사전 학습된 LLM의 언어별 지식 전이 가능성을 한국어를 중심으로 탐구하였다. 이를 위해 한국어와 영어로 구성된 코드 스위칭 코퍼스를 구축하였으며, 기본 모델인 LLAMA-2와 코드 스위칭 코퍼스를 추가 학습한 모델 간의 성능 비교를 수행하였다. 결과적으로, 제안하는 방법론으로 학습한 모델은 두 언어 간의 희미론적 정보가 효과적으로 전이됐으며, 두 언어 간의 지식 정보 연계가 가능했다. 이 연구는 다양한 언어와 문화를 반영하는 다국어 LLM 연구와, 소수 언어를 포함한 AI 기술의 확산 및 민주화에 기여할 수 있을 것으로 기대된다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.19-24
• /
• 2023

자연어 처리 분야에서 데이터의 중요성이 더욱 강조되고 있으며, 특히 리소스가 부족한 도메인에서 데이터 부족 문제를 극복하는 방법으로 데이터 증강이 큰 주목을 받고 있다. 이 연구는 대규모 언어 모델(Large Language Model, LLM)을 활용한 키워드 기반 데이터 증강 방법을 제안하고자 한다. 구체적으로 한국어에 특화된 LLM을 활용하여 주어진 키워드를 기반으로 특정 주제에 관한 대화 내용을 생성하고, 이를 통해 대화 주제를 분류하는 분류 모델의 성능 향상을 입증했다. 이 연구 결과는 LLM을 활용한 데이터 증강의 유의미성을 입증하며, 리소스가 부족한 상황에서도 이를 활용할 수 있는 방법을 제시한다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.690-693
• /
• 2023

언어 모델의 파라미터 수의 지속적인 증가로 100B 단위의 거대 언어모델 LLM(Large Language Model)을 구성 할 정도로 언어 모델의 크기는 증가 해 왔다. 이런 모델의 크기와 함께 성장한 다양한 Task의 작업 성능의 향상과 함께, 발전에는 환각(Hallucination) 및 윤리적 문제도 함께 떠오르고 있다. 이러한 문제 중 특히 환각 문제는 모델이 존재하지도 않는 정보를 실제 정보마냥 생성한다. 이러한 잘못된 정보 생성은 훌륭한 성능의 LLM에 신뢰성 문제를 야기한다. 환각 문제는 정보 검색을 통하여 입력 혹은 내부 표상을 증강하면 증상이 완화 되고 추가적으로 성능이 향상된다. 본 논문에서는 한국어 질의 응답에서 검색 증강을 통하여 모델의 개선점을 확인한다.

• Asian-Australasian Journal of Animal Sciences
• /
• 제28권8호
• /
• pp.1155-1162
• /
• 2015

This study aimed to evaluate the nutrient digestibility of growing rabbits fed diets with different levels of either Leucaena leucocephala (LLM) or Moringa oleifera (MOLM) leaf meals and also to compare total collection and $TiO_2$ marker methods for estimating digestibility. A total of 30 California growing rabbits ($1.81{\pm}0.19kg$ live weight on average) were randomly distributed into five experimental groups of six rabbits each and were housed in individual cages. The groups were control, 30% LLM, 40% LLM, 30% MOLM, and 40% MOLM. All groups received pelleted diets for two weeks; diets also contained 4 g/kg titanium dioxide as dietary marker. Daily feed intake was recorded during the whole experimental period and total feces were collected daily and weighed individually during four days. The results showed that there were no difference (p>0.05) in feed, dry matter (DM), organic matter (OM), crude protein (CP), digestible energy, and crude fiber (CF) intake between the control group and the other experimental groups. The apparent digestibility values of DM, OM, CP, CF, acid detergent fiber, and gross energy were the highest for control group (p = 0.001), meanwhile MOLM diets had generally higher nutrient digestibility coefficients than LLM diets. Increasing the inclusion level of leaf meal in the diet from 30% to 40% improved the digestibility of CF from 45.02% to 51.69% for LLM and from 48.11% to 55.89% for MOLM. Similar results for apparent nutrient digestibility coefficients were obtained when either total collection or indigestible marker method was used. In conclusion, the digestibility of MOLM containing diets were better than LLM diets, furthermore $TiO_2$ as an external marker could be used as a simple, practical and reliable method to estimate nutrients digestibility in rabbit diets.

• Asian Pacific Journal of Cancer Prevention
• /
• 제15권14호
• /
• pp.5883-5888
• /
• 2014

Background: Breast cancer is the most common cancers in female populations. The exact cause is not known, but is most likely to be a combination of genetic and environmental factors. Log-logistic model (LLM) is applied as a statistical method for predicting survival and it influencing factors. In recent decades, artificial neural network (ANN) models have been increasingly applied to predict survival data. The present research was conducted to compare log-logistic regression and artificial neural network models in prediction of breast cancer (BC) survival. Materials and Methods: A historical cohort study was established with 104 patients suffering from BC from 1997 to 2005. To compare the ANN and LLM in our setting, we used the estimated areas under the receiver-operating characteristic (ROC) curve (AUC) and integrated AUC (iAUC). The data were analyzed using R statistical software. Results: The AUC for the first, second and third years after diagnosis are 0.918, 0.780 and 0.800 in ANN, and 0.834, 0.733 and 0.616 in LLM, respectively. The mean AUC for ANN was statistically higher than that of the LLM (0.845 vs. 0.744). Hence, this study showed a significant difference between the performance in terms of prediction by ANN and LLM. Conclusions: This study demonstrated that the ability of prediction with ANN was higher than with the LLM model. Thus, the use of ANN method for prediction of survival in field of breast cancer is suggested.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2023년도 제68차 하계학술대회논문집 31권2호
• /
• pp.541-544
• /
• 2023

LLM(Largescale Language Model)의 성능 향상을 위한 비용 효율적인 방법으로 ChatGPT, GPT-4와 같은 초거대 모델의 output에 대해 SLM(Small Language Model)을 finetune하는 방법이 주목받고 있다. 그러나, 이러한 접근법은 주로 범용적인 지시사항 모델을 위한 학습 방법으로 사용되며, 제한된 특정 도메인에서는 추가적인 성능 개선의 여지가 있다. 본 연구는 특정 도메인(Writing Assistant)에서의 성능 향상을 위한 새로운 방법인 Self-Guided Approach를 제안한다. Self-Guided Approach는 (1) LLM을 활용해 시드 데이터에 대해 도메인 특화된 metric(유용성, 관련성, 정확성, 세부사항의 수준별) 점수를 매기고, (2) 점수가 매겨진 데이터와 점수가 매겨지지 않은 데이터를 모두 활용하여 supervised 방식으로 SLM을 미세 조정한다. Vicuna에서 제안된 평가 방법인, GPT-4를 활용한 자동평가 프레임워크를 사용하여 Self-Guided Approach로 학습된 SLM의 성능을 평가하였다. 평가 결과 Self-Guided Approach가 Self-instruct, alpaca와 같이, 생성된 instruction 데이터에 튜닝하는 기존의 훈련 방법에 비해 성능이 향상됨을 확인했다. 다양한 스케일의 한국어 오픈 소스 LLM(Polyglot1.3B, PolyGlot3.8B, PolyGlot5.8B)에 대해서 Self-Guided Approach를 활용한 성능 개선을 확인했다. 평가는 GPT-4를 활용한 자동 평가를 진행했으며, Korean Novel Generation 도메인의 경우, 테스트 셋에서 4.547점에서 6.286점의 성능 향상이 발생했으며, Korean scenario Genration 도메인의 경우, 테스트 셋에서 4.038점에서 5.795 점의 성능 향상이 발생했으며, 다른 유사 도메인들에서도 비슷한 점수 향상을 확인했다. Self-Guided Approach의 활용을 통해 특정 도메인(Writing Assistant)에서의 SLM의 성능 개선 가능성을 확인했으며 이는 LLM에 비용부담을 크게 줄이면서도 제한된 도메인에서 성능을 유지하며, LLM을 활용한 응용 서비스에 있어 실질적인 도움을 제공할 수 있을 것으로 기대된다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.683-689
• /
• 2023

자연어 처리 분야는 최근에 큰 발전을 보였으며, 특히 초대규모 언어 모델의 등장은 이 분야에 큰 영향을 미쳤다. GPT와 같은 모델은 다양한 NLP 작업에서 높은 성능을 보이고 있으며, 특히 챗봇 분야에서 중요하게 다루어지고 있다. 하지만, 이러한 모델에도 여러 한계와 문제점이 있으며, 그 중 하나는 모델이 기대하지 않은 결과를 생성하는 것이다. 이를 해결하기 위한 다양한 방법 중, Retrieval-Augmented Generation(RAG) 방법이 주목받았다. 이 논문에서는 지식베이스와의 통합을 통한 도메인 특화형 질의응답 시스템의 효율성 개선 방안과 벡터 데이터 베이스의 수정을 통한 챗봇 답변 수정 및 업데이트 방안을 제안한다. 본 논문의 주요 기여는 다음과 같다: 1) QA Pair Passage RAG을 활용한 새로운 RAG 시스템 제안 및 성능 향상 분석 2) 기존의 LLM 및 RAG 시스템의 성능 측정 및 한계점 제시 3) RDBMS 기반의 벡터 검색 및 업데이트를 활용한 챗봇 제어 방법론 제안

• Asian-Australasian Journal of Animal Sciences
• /
• 제20권12호
• /
• pp.1849-1857
• /
• 2007

The experiment was carried out using fistulated multiparous Holstein Friesian crossbred (75% Holstein Friesian and 25% Red Sindhi) dairy cows in their dry period fed on untreated rice straw to evaluate the nutritive value of local protein feed resources using the in sacco method and in vitro pepsin-pancreatin digestion. Experimental feeds were cottonseed meal (CSM); soybean meal (SBM); dried brewery's grains (DBG); palm kernel meal (PSM); cassava hay (CH); leucaena leaf meal (LLM). Each feedstuff was weighed into duplicate nylon bags and incubated in each of the two rumen fistulated cows for 0, 2, 4, 8, 16, 24, and 48 h. Rumen feed residues from bags of 16 h incubation were used for estimation of lower gut digestibility by the technique of in vitro pepsin-pancreatin digestion. Ruminal ammonia-nitrogen ($NH_3-N$) concentrations did not differ between treatments or time with a mean of 5.5 mg%. Effective degradability of DM of CSM, SBM, DBG, PSM, CH and LLM were 41.9, 56.1, 30.8, 47.0, 41.1 and 47.5%, respectively. Effective degradabilities of the CP in feedstuffs were 49.6, 59.2, 40.9, 33.5, 47.3 and 65.0% for the respective feedstuffs. The CP in vitro pepsin-pancreatin digestibility as ranked from the highest to the lowest were SBM, CSM, LLM, CH, DBG, PSM, respectively. The intestinal and total tract digestion of feedstuffs in the current study were relatively lower than that obtained from previous literature. The results of this study indicate that SBM and LLM were highly degradable in the rumen, while CH, CSM and DBG were less degradable and, hence resulted in higher rumen undegradable protein. Soybean meal and LLM could be used to improve rumen ecology whilst CH, CSM and DBG could be used as rumen by-pass protein for ruminant feeding in the tropics.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.448-453
• /
• 2023

대규모 언어 모델 (Large Language Model, LLM)을 인간의 선호도 관점에서 평가하는 것은 기존의 벤치마크 평가와는 다른 도전적인 과제이다. 이를 위해, 기존 연구들은 강력한 LLM을 평가자로 사용하여 접근하였지만, 높은 비용 문제가 부각되었다. 또한, 평가자로서 LLM이 사용하는 주관적인 점수 기준은 모호하여 평가 결과의 신뢰성을 저해하며, 단일 모델에 의한 평가 결과는 편향될 가능성이 있다. 본 논문에서는 엄격한 기준을 활용하여 편향되지 않은 평가를 수행할 수 있는 평가 프레임워크 및 평가자 모델 'FubaoLM'을 제안한다. 우리의 평가 프레임워크는 심층적인 평가 기준을 통해 다수의 강력한 한국어 LLM을 활용하여 연쇄적 사고(Chain-of-Thought) 기반 평가를 수행한다. 이러한 평가 결과를 다수결로 통합하여 편향되지 않은 평가 결과를 도출하며, 지시 조정 (instruction tuning)을 통해 FubaoLM은 다수의 LLM으로 부터 평가 지식을 증류받는다. 더 나아가 본 논문에서는 전문가 기반 평가 데이터셋을 구축하여 FubaoLM 효과성을 입증한다. 우리의 실험에서 앙상블된 FubaoLM은 GPT-3.5 대비 16% 에서 23% 향상된 절대 평가 성능을 가지며, 이항 평가에서 인간과 유사한 선호도 평가 결과를 도출한다. 이를 통해 FubaoLM은 비교적 적은 비용으로도 높은 신뢰성을 유지하며, 편향되지 않은 평가를 수행할 수 있음을 보인다.

• International journal of advanced smart convergence
• /
• 제12권3호
• /
• pp.51-60
• /
• 2023

This study focuses on the design of a GPT-based system for relatively rapid technology credit assessment of SMEs. This system addresses the limitations of traditional time-consuming evaluation methods and proposes a GPT-based model to comprehensively evaluate the technological capabilities of SMEs. This model fine-tunes the GPT model to perform fast technical credit assessment on SME-specific text data. Also, It presents a system that automates technical credit evaluation of SMEs using GPT and LLM-based chatbot technology. This system relatively shortens the time required for technology credit evaluation of small and medium-sized enterprises compared to existing methods. This model quickly assesses the reliability of the technology in terms of usability of the base model.