• 제목/요약/키워드: GPT2

검색결과 760건 처리시간 0.028초

자연어 처리 모델을 활용한 블록 코드 생성 및 추천 모델 개발 (Development of Block-based Code Generation and Recommendation Model Using Natural Language Processing Model)

  • 전인성;송기상
    • 정보교육학회논문지
    • /
    • 제26권3호
    • /
    • pp.197-207
    • /
    • 2022
  • 본 논문에서는 코딩 학습 중 학습자의 인지 부하 감소를 목적으로 자연어 처리 모델을 이용하여 전이학습 및 미세조정을 통해 블록 프로그래밍 환경에서 이미 이루어진 학습자의 블록을 학습하여 학습자에게 다음 단계에서 선택 가능한 블록을 생성하고 추천해 주는 머신러닝 기반 블록 코드 생성 및 추천 모델을 개발하였다. 모델 개발을 위해 훈련용 데이터셋은 블록 프로그래밍 언어인 '엔트리' 사이트의 인기 프로젝트 50개의 블록 코드를 전처리하여 제작하였으며, 훈련 데이터셋과 검증 데이터셋 및 테스트 데이터셋으로 나누어 LSTM, Seq2Seq, GPT-2 모델을 기반으로 블록 코드를 생성하는 모델을 개발하였다. 개발된 모델의 성능 평가 결과, GPT-2가 LSTM과 Seq2Seq 모델보다 문장의 유사도를 측정하는 BLEU와 ROUGE 지표에서 더 높은 성능을 보였다. GPT-2 모델을 통해 실제 생성된 데이터를 확인한 결과 블록의 개수가 1개 또는 17개인 경우를 제외하면 BLEU와 ROUGE 점수에서 비교적 유사한 성능을 내는 것을 알 수 있었다.

이미지 객체 및 메타정보 기반 GPT 활용 SNS 문장 작성 보조 시스템 (GPT-enabled SNS Sentence writing support system Based on Image Object and Meta Information)

  • 이동희;문미경;최봉준
    • 융합신호처리학회논문지
    • /
    • 제24권3호
    • /
    • pp.160-165
    • /
    • 2023
  • 본 연구에서는 SNS와 같이 이미지와 함께 글을 작성하는 활동을 보조하기 위해 YOLO와 GPT를 활용한 SNS 문장 작성 보조 시스템을 제안한다. YOLO 모델을 활용하여 글 작성 시 삽입되는 이미지에서 객체를 추출하고 메타정보인 GPS 정보, 생성 시간 정보도 추출하여 함께 GPT의 프롬프트 값으로 사용한다. YOLO 모델을 사용하기 위해 양식 이미지 데이터로 학습하여 사용했으며 해당 모델의 mAP score는 평균 약 0.25이다. GPT는 '맛집 리뷰' 주제의 1,000개의 블로그 텍스트 데이터를 학습하였으며, 본 연구에서 학습된 모델을 사용하여 이미지에서 추출한 2가지 타입의 키워드로 문장을 생성하였다. 생성된 문장의 실용성을 평가하기 위해 설문을 진행하였으며 설문 결과의 명확한 분석을 위해 폐쇄형 설문을 진행하였다. 삽입한 이미지와 키워드 문장을 제공하여 질문에 대해 3가지 평가 항목을 두어 진행하였다. 설문 결과 이미지의 핵심 키워드 경우 유의미한 문장을 생성한다는 결과를 얻을 수 있었다. 본 연구를 통해서 이미지 기반 문장 생성 시 이미지 키워드와 GPT 학습 내용과의 관계에 따라 결과물의 정확성이 달라진다는 결과를 얻을 수 있었다.

준 지도 학습과 커리큘럼 학습을 이용한 유사 기사 추천 모델 (Semi-supervised GPT2 for News Article Recommendation with Curriculum Learning)

  • 서재형;오동석;어수경;박성진;임희석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.495-500
    • /
    • 2020
  • 뉴스 기사는 반드시 객관적이고 넓은 시각으로 정보를 전달하지 않는다. 따라서 뉴스 기사를 기존의 추천 시스템과 같이 개인의 관심사나 사적 정보를 바탕으로 선별적으로 추천하는 것은 바람직하지 않다. 본 논문에서는 최대한 객관적으로 다양한 시각에서 비슷한 사건과 인물에 대해서 판단할 수 있도록 유사도 기반의 기사 추천 모델을 제시한다. 길이가 긴 문서 사이의 유사도를 측정하기 위해 GPT2 [1]언어 모델을 활용했다. 이 과정에서 단방향 디코더 모델인 GPT2 [1]의 단점을 추가 학습으로 개선했으며, 저장 공간의 효율과 핵심 문단 추출을 위해 BM25 [2]함수를 사용했다. 그리고 준 지도 학습 [3]을 통해 유사도 레이블링이 되어있지 않은 최신 뉴스 기사에 대해서도 자가 학습을 진행했으며, 이와 함께 길이가 긴 문단에 대해서도 효과적으로 학습할 수 있도록 문장 길이를 기준으로 3개의 단계로 나누어진 커리큘럼 학습 [4]방식을 적용했다.

  • PDF

대맥근(大麥根)의 생장(生長)과 Transaminase의 활성(活性)에 미치는 몇 가지 질소화합물(窒素化合物)의 영향(影響) (Effects of Various Nitrogen Compounds for the Growth of Barley Roots and Transaminase Activity)

  • 김광식
    • 한국토양비료학회지
    • /
    • 제3권1호
    • /
    • pp.43-48
    • /
    • 1970
  • 질소급원(窒素給源)을 달리 한 수경액(水耕液)에 대맥(大麥)을 재배(栽培)하여 근부생장(根部生長)과 근부(根部)의 GOT GPT의 활성(活性)을 측정(測定)하여 근부(根部)의 생장(生長)과 Transaminase의 활성(活性)과의 관계(關係)를 구명(究明)코저 실험(實驗)하였든바 얻어진 결과(結果)를 요약(要約)하면 다음과 같다. 1. $NO_3-N$를 공급(供給)한 대맥근(大麥根)의 생장(生長)은 $NH_4-N$를 공급(供給)한 것에 비(比)하여 생장(生長)이 양호(良好)하다. 2. $NH_4-N$를 공급(供給)한 대맥근(大麥根)은 $NO_3-N$를 공급(供給)한 근(根)에 비(比)하여 생장(生長)이 불량(不良)할 뿐만 아니라 억제적(抑制的)인 경향(傾向)이 있다. 3. $NH_4-N$를 공급(供給)하여 생장(生長)이 불량(不良)한 것은 GOT GPT 활성도(活性度)가 비교적(比較的) 높고, $NO_3-N$를 공급(供給)한 근(根)의 활성(活性)은 그것에 비(比)하여 높지 않다. 4. 수도근(水稻根)의 생장(生長)을 비교적(比較的) 억제(抑制)한다는 Amino산(酸)을 공급(供給)하여 생장(生長)이 양호(良好)한 대맥근(大麥根)은 GOT GPT 활성(活性)이 약(弱)하고, 생장(生長)이 불량(不良)한 것을 활성도(活性度)가 높다. 5. 대맥근부(大麥根部)의 세포(細胞) 각분획(各分劃)에 있어서 GOT GPT 활성도(活性度)는 대부분(大部分) Supernatant fraction(Microsomal fraction)에서 강(强)하며 Mitocondrial fraction은 극(極)히 미약(微弱)하다.

  • PDF

A BERGPT-chatbot for mitigating negative emotions

  • Song, Yun-Gyeong;Jung, Kyung-Min;Lee, Hyun
    • 한국컴퓨터정보학회논문지
    • /
    • 제26권12호
    • /
    • pp.53-59
    • /
    • 2021
  • 본 연구에서는 '레플리카'와 같은 텍스트 입력 기반의 부정적 감정 완화가 가능한 국내 인공지능 챗봇인 BERGPT-chatbot을 제안하고자 한다. BERGPT-chatbot은 KR-BERT와 KoGPT2-chatbot을 파이프라인으로 만들어 감정 완화 챗봇을 모델링하였다. KR-BERT를 통해 정제되지 않은 일상 데이터셋에 감정을 부여하고, 추가 데이터셋을 KoGPT2-chatbot을 통해 학습하는 방식이다. BERGPT-chatbot의 개발 배경은 다음과 같다. 현재 전 세계적으로 우울증 환자가 증가하고 있으며, 이는 COVID-19로 인해 장기적 실내 생활이나 대인 관계 제한으로 더욱 심각한 문제로 대두되었다. 그로 인해 부정적 감정 완화나 정신 건강 케어에 목적을 둔 국외의 인공지능 챗봇이 팬데믹 사태로 사용량이 증가하였다. 국내에서도 국외의 챗봇과 비슷한 심리 진단 챗봇이 서비스 되고 있으나, 국내의 챗봇은 텍스트 입력 기반 답변이 아닌 버튼형 답변 중심으로 국외 챗봇과 비교하였을 때 심리 진단 수준에 그쳐 아쉬운 실정이다. 따라서, BERGPT-chatbot을 통해 감정 완화에 도움을 주는 챗봇을 제안하였으며, BERGPT-chatbot과 KoGPT2-chatbot을 언어 모델의 내부 평가 지표인 '퍼플렉서티'를 통해 비교 분석하여 BERGPT-chatbot의 우수함을 보여주고자 한다.

의학 교육에서 인공지능의 응용: 임상의학 교육을 위한 ChatGPT의 활용을 중심으로 (Application of artificial intelligence in medical education: focus on the application of ChatGPT for clinical medical education)

  • 홍현미;강영준;김영전;김봄솔
    • Journal of Medicine and Life Science
    • /
    • 제20권2호
    • /
    • pp.53-59
    • /
    • 2023
  • This study explores the potential use of artificial intelligence (AI)-based services, specifically ChatGPT-3.5, in medical education. The application of this technology is acknowledged as a valuable tool for simulating authentic clinical scenarios and enhancing learners' diagnostic and communication skills. To construct a case, students received ChatGPT training using a clinical ethics casebook titled "Clinical Ethics Cases and Commentaries for Medical Students and Physicians." Subsequently, a role-play script was generated based on this training. The initial draft of the script was reviewed by two medical professors and was further optimized using ChatGPT-3.5. Consequently, a comprehensive role-play script, accurately reflecting real-world clinical situations, was successfully developed. This study demonstrates the potential for effectively integrating AI technology into medical education and provides a solution to overcome limitations in developing role-play scripts within conventional educational settings. However, the study acknowledges that AI cannot always generate flawless role-play scripts and recognizes the necessity of addressing these limitations and ethical concerns. The research explores both the potential and limitations of employing AI in the early stages of medical education, suggesting that future studies should focus on overcoming these limitations while further investigating the potential applications of AI in this field.

식행동과 건강생활습관이 혈압, $\gamma$-GPT, 혈당 및 HDL-Cholesterol에 미치는 영향-전주지역 40세 이상 성인을 대상으로- (The Effects of Eating Habits and Health-related Lifestyle on Blood Pressure, $\gamma$-GPT, Blood Glucose and HDL-Cholesterol in the Cheon-Ju Area)

  • 김인숙;서은숙
    • 대한지역사회영양학회지
    • /
    • 제3권4호
    • /
    • pp.574-582
    • /
    • 1998
  • This study was carried out to discover the effects of eating habits and health-related life style on blood pressure, $\gamma$-Glutamic acid Peptide Transferase($\gamma$-GPT), blood glucose and High Density Lipoprotein-Cholesterol(HDL-C). 185 subjects(85 male, 100 female) were selected, who were living in the Cheonju area aged 40#s to 60#s. The mean systollic blood pressure(SBP), diastollic blood pressure (DBP), $\gamma$-GPT, fasting blood sugar(FBS) and HDL-C for all the subjects were 118mmHg, 77mmHg, 281U/l, 90mg/dl and 45mg/dl, respectively. The SBP and DBP for subuects over 60 years old were 126mmHg and 81mmHg and were significantly higher than subjects in their 40#s and 50#s(p<0.001, p<0.005). The HDL-C of the group that rarely ate breakfast was 57mg/dl and that was significantly higher than the 44mg/dl scored by those who ate breakfast everyday(p<0.05). The SBP for subjects having a snack 2-3 times/week was 125mmHg and that was significantly higher than the 114mmHg of those having a snack everyday(p<0.05). The $\gamma$-GPT for subjects consuming alcohol everyday was 44IU/L and that was significantly higher than 18IU/I of the non-drinking group(p<0.001). The $\gamma$-GPT of light smokers was 53IU/I and that was significantly higher than the 22IU/I for non-smoking participants(p<0.001). The DBP, SBP, $\gamma$-GPT, FBS and HDL-C related to exercise not significantly different. The SBP(p<0.001) and DBP(p-0.01) between age group was positively correlated. The $\gamma$-GPT between drinking frequency(p<0.001), drinking quantity(p<0.05), and smoking(p<0.05) was also positively correlated. The FBS between exercises had a negative correlation(p<0.05), and the HDL-C between breakfast had a negative correlation(p<0.05). These results indicate that decreasing drinking and smoking, when combined with appropriate exercise, will decrease the $\gamma$-GPT and fasting blood sugar level, and help preventing adult diseases.

  • PDF

Haematological Parameters Induced by Benzo(a)pyrene Exposure as a Toxicity Biomarker in the Fanned Red Sea Bream, Pagrus major

  • Choy, Eun-Jung;Jo, Qtae;Kang, Chang-Keun
    • 한국양식학회지
    • /
    • 제18권3호
    • /
    • pp.196-199
    • /
    • 2005
  • Farmed red sea breams, Pagrus major, were fed for 60 days with pellets containing different concentrations of benzo(a)pyrene (0, 0.2, 2, 20 mg/kg) to generate a biomarker of the chemical toxicity in the fish. The fish exposed to the chemical concentrations did not show any significant difference in the weight gain, conditioning, factor, and hepatosomatic index. However, some haematological parameters, such as glucose, calcium, magnesium, GOT (glutamic oxalate transaminase), and GPT (glutamic pyruvate transaminase) were influenced by the chemical exposure. Of them, two enzymes, GOT and GPT, increased significantly 60 days after the exposure in a way of concentration dependence (P<0.05). In the study of ecotoxicological biomarker, sensitivity to adverse environments is one of the key available factors. The fish changes in GOT and GPT were an earlier and reliable sign of the fish response against the chemical exposure, rendering the two enzymatic factors as a useful biomarker at least to benzo(a)pyrene exposure in the farming waters.

Is ChatGPT an Ally or an Enemy? Its Impact on Society Based on a Systematic Literature Review

  • Juliana Basulo-Ribeiro;Leonor Teixeira
    • Journal of Information Science Theory and Practice
    • /
    • 제12권2호
    • /
    • pp.79-95
    • /
    • 2024
  • The new AI based conversational chatbot, ChatGPT, launched in November 2022, is causing a stir. There are many opinions about this being a 'threat or a promise,' and thus it is important to understand what has been said about this tool and, based on the growing literature that has emerged on the subject, demystify its effective impact on society. To analyse this impact, a systematic literature review with the support of the preferred reporting items for systematic reviews and meta-analysis protocol was used. The data, scientific documents, were collected using the main scientific databases - SCOPUS and Web of Science - and the results were presented based on a bibliometric and thematic exploration of content. The main findings indicate that people are increasingly using this chatbot in more diverse areas. Therefore, this study contributes at the practical level, aiming to enlighten people in general - both in professional and personal life - about this tool and its impacts. Also, it contributes at the theoretical level, which involves expanding understanding and elucidation of the impacts of ChatGPT in different areas of study.

A Self-Guided Approach을 활용한 한국어 텍스트 생성 쓰기 보조 기법의 향상 방법 (A Self-Guided Approach to Enhance Korean Text Generation in Writing Assistants)

  • 장동현;김진수;이민호
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2023년도 제68차 하계학술대회논문집 31권2호
    • /
    • pp.541-544
    • /
    • 2023
  • LLM(Largescale Language Model)의 성능 향상을 위한 비용 효율적인 방법으로 ChatGPT, GPT-4와 같은 초거대 모델의 output에 대해 SLM(Small Language Model)을 finetune하는 방법이 주목받고 있다. 그러나, 이러한 접근법은 주로 범용적인 지시사항 모델을 위한 학습 방법으로 사용되며, 제한된 특정 도메인에서는 추가적인 성능 개선의 여지가 있다. 본 연구는 특정 도메인(Writing Assistant)에서의 성능 향상을 위한 새로운 방법인 Self-Guided Approach를 제안한다. Self-Guided Approach는 (1) LLM을 활용해 시드 데이터에 대해 도메인 특화된 metric(유용성, 관련성, 정확성, 세부사항의 수준별) 점수를 매기고, (2) 점수가 매겨진 데이터와 점수가 매겨지지 않은 데이터를 모두 활용하여 supervised 방식으로 SLM을 미세 조정한다. Vicuna에서 제안된 평가 방법인, GPT-4를 활용한 자동평가 프레임워크를 사용하여 Self-Guided Approach로 학습된 SLM의 성능을 평가하였다. 평가 결과 Self-Guided Approach가 Self-instruct, alpaca와 같이, 생성된 instruction 데이터에 튜닝하는 기존의 훈련 방법에 비해 성능이 향상됨을 확인했다. 다양한 스케일의 한국어 오픈 소스 LLM(Polyglot1.3B, PolyGlot3.8B, PolyGlot5.8B)에 대해서 Self-Guided Approach를 활용한 성능 개선을 확인했다. 평가는 GPT-4를 활용한 자동 평가를 진행했으며, Korean Novel Generation 도메인의 경우, 테스트 셋에서 4.547점에서 6.286점의 성능 향상이 발생했으며, Korean scenario Genration 도메인의 경우, 테스트 셋에서 4.038점에서 5.795 점의 성능 향상이 발생했으며, 다른 유사 도메인들에서도 비슷한 점수 향상을 확인했다. Self-Guided Approach의 활용을 통해 특정 도메인(Writing Assistant)에서의 SLM의 성능 개선 가능성을 확인했으며 이는 LLM에 비용부담을 크게 줄이면서도 제한된 도메인에서 성능을 유지하며, LLM을 활용한 응용 서비스에 있어 실질적인 도움을 제공할 수 있을 것으로 기대된다.

  • PDF