• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.228-233
• /
• 2023

인간의 수동 평가 시 시간과 비용의 소모, 주석자 간의 의견 불일치, 평가 결과의 품질 등 불가피한 한계가 발생한다. 본 논문에서는 맥락을 고려하고 긴 문장 입출력이 가능한 ChatGPT를 활용한 한국어 요약문 평가가 인간 평가를 대체하거나 보조하는 것이 가능한가에 대해 살펴보았다. 이를 위해 ChatGPT가 생성한 요약문에 정량적 평가와 정성적 평가를 진행하였으며 정량적 지표로 BERTScore, 정성적 지표로는 일관성, 관련성, 문법성, 유창성을 사용하였다. 평가 결과 ChatGPT4의 경우 인간 수동 평가를 보조할 수 있는 가능성이 있음을 확인하였다. ChatGPT가 영어 기반으로 학습된 모델임을 고려하여 오류 발견 성능을 검증하고자 한국어 오류 요약문으로 추가 평가를 진행하였다. 그 결과 ChatGPT3.5와 ChatGPT4의 오류 요약 평가 성능은 불안정하여 인간을 보조하기에는 아직 어려움이 있음을 확인하였다.

• 디지털산업정보학회논문지
• /
• 제19권4호
• /
• pp.87-96
• /
• 2023

ChatGPT, a leader in generative AI, can use natural expressions like humans based on large-scale language models (LLM). The ability to grasp the context of the language and provide more specific answers by algorithms is excellent. It also has high-quality conversation capabilities that have significantly developed from past Chatbot services to the level of human conversation. In addition, it is expected to change the operation method of the tourism industry and improve the service by utilizing ChatGPT, a generative AI in the tourism sector. This study was conducted to explore ChatGPT trends and paradigms in tourism. The results of the study are as follows. First, keywords such as tourism, utilization, creation, technology, service, travel, holding, education, development, news, digital, future, and chatbot were widespread. Second, unlike other keywords, service, education, and Mokpo City data confirmed the results of a high degree of centrality. Third, due to CONCOR analysis, eight keyword clusters highly relevant to ChatGPT in the tourism sector emerged.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2023년도 제68차 하계학술대회논문집 31권2호
• /
• pp.491-492
• /
• 2023

본 논문에서는 일상생활의 편의성을 높이기 위한 새로운 AI 애플리케이션 'Chat Chef'를 제안 한다. 이 앱은 사용자의 냉장고 속 재료 정보를 바탕으로 ChatGPT를 이용하여 요리 레시피를 추천하는 기능을 제공한다. 사용자는 앱을 통해 냉장고 내의 재료들을 사진으로 촬영하면, 이미지 인식을 위해 YOLOv7를 이용하여 감자, 당근, 양파 등과 같은 식료품들을 약 3,000장의 이미지 데이터를 학습하여 인식하며, 바코드를 인식하여 제품들 목록을 데이터베이스에 저장한다. 제안한 'Chat Chef' 앱은 재료 목록과 ChatGPT API를 이용하여 사용자에게 개인화된 레시피를 제공하며, 요리 과정에 대한 정보를 제공한다. 이와 같이 ChatGPT와 같은 AI 기술을 활용하여 실생활에 적용할 수 있는 활용 방안을 제시한다.

• 디지털정책학회지
• /
• 제2권4호
• /
• pp.1-10
• /
• 2023

본 연구는 경찰교통에서의 효과적 ChatGPT 활용 방안 도출을 위한 사전 연구로서 운전면허 학과시험과 도로교통사고감정사 시험에 대한 ChatGPT의 응답을 분석하였다. ChatGPT가 뛰어난 성능과 접근성으로 여러 분야에서 기대를 받고 있으나 경찰 교통법규와 같이 고도의 정확성이 요구되는 분야에서는 사전에 그 성능과 한계를 탐색할 필요가 있다. 이에 본 연구에서는 운전면허 학과시험 문제은행과 도로교통사고감정사 1차 시험을 대상으로 파이썬 코드로 OpenAI API를 이용해 30회의 반복 실험으로 ChatGPT의 응답을 수집하고 응답 결과를 바탕으로 시험별·연도별·내용 영역별 정답률, 일관성 능력을 분석하였다. 분석 결과 첫째, 운전면허 학과시험 및 도로교통사고감정사 1차 시험의 평균 정답률은 각 44.60%, 35.45%로 합격기준보다 낮았다. 연도별로는 2022년 이후 정답률이 평균 정답률을 하회했다. 둘째, 영역별 정답률은 29.69%~56.80%로 나타나 큰 편차를 보였다. 셋째, 정답을 맞힌 경우 95% 이상 일관되게 같은 응답을 출력하였다. ChatGPT의 효과적 활용을 위해서는 사용자의 전문 지식, 평가 데이터 및 방법 마련, 양질의 교통법규 말뭉치 설계와 주기적 학습이 필요하다고 판단된다.

• 인터넷정보학회논문지
• /
• 제25권1호
• /
• pp.79-90
• /
• 2024

본 연구는 대표적인 생성형 AI 기술인 ChatGPT의 이용자 신뢰를 중심으로 이용실태와 지속사용의도에 영향을 미치는 요인, 그리고 신뢰의 영향력이 목적에 따라 달라지는지를 탐색적으로 살펴보았다. 이를 위해 ChatGPT를 많이 이용하는 20대와 30대를 대상으로 설문조사를 실시하였으며 통계 패키지 프로그램인 IBM SPSS 27과 SmartPLS 4.0을 적용하여 분석을 수행하였다. Bhattacherjee의 기대충족모델(ECM)을 기반으로 구조방정식 모델을 구축하고, 경로분석과 다중그룹분석(MGA)를 실시하여 가설을 검증하였다. 본 연구의 결과는, 첫째, ChatGPT 이용자들은 일상적인 도구로 사용하기보다 특정 목적이나 필요에 따라 사용하고 있으며, 대부분의 사용자가 ChatGPT의 환각효과(Hallucination)에 대해 인지하고 있으나 이는 사용을 저해하는 요인은 아니었다. 둘째, 가설검정 결과 독립변수인기대충족, 인지된 유용성, 사용자 만족 요인 모두가 종속변수인 지속이용의도에 긍정적 영향을 미치고 있음을 확인하였다. 셋째, 이용자가 ChatGPT를 이용하는 목적에 따라 신뢰의 영향력이 달라짐이 확인되었다. 이용자가 정보 검색 목적으로 ChatGPT를 활용하는 경우에는 신뢰가 사용자 만족에 영향을 미친 반면, 창작 목적으로 사용하는 경우 영향을 미치지 않는 것으로 나타났다. 본 연구의 결과가 향후 사회와 기업에 있어 생성형 AI의 도입 과정에서 신뢰성의 문제를 해결하고 성공적인 도입을 위한 정책 수립 및 개선방안 도출을 위해 활용될 수 있기를 기대한다.

• 치위생과학회지
• /
• 제24권1호
• /
• pp.62-70
• /
• 2024

Background: This study aimed to evaluate ChatGPT's performance accuracy in responding to questions from the national dental hygienist examination. Moreover, through an analysis of ChatGPT's incorrect responses, this research intended to pinpoint the predominant types of errors. Methods: To evaluate ChatGPT-3.5's performance according to the type of national examination questions, the researchers classified 200 questions of the 49th National Dental Hygienist Examination into recall, interpretation, and solving type questions. The researchers strategically modified the questions to counteract potential misunderstandings from implied meanings or technical terminology in Korea. To assess ChatGPT-3.5's problem-solving capabilities in applying previously acquired knowledge, the questions were first converted to subjective type. If ChatGPT-3.5 generated an incorrect response, an original multiple-choice framework was provided again. Two hundred questions were input into ChatGPT-3.5 and the generated responses were analyzed. After using ChatGPT, the accuracy of each response was evaluated by researchers according to the types of questions, and the types of incorrect responses were categorized (logical, information, and statistical errors). Finally, hallucination was evaluated when ChatGPT provided misleading information by answering something that was not true as if it were true. Results: ChatGPT's responses to the national examination were 45.5% accurate. Accuracy by question type was 60.3% for recall and 13.0% for problem-solving type questions. The accuracy rate for the subjective solving questions was 13.0%, while the accuracy for the objective questions increased to 43.5%. The most common types of incorrect responses were logical errors 65.1% of all. Of the total 102 incorrectly answered questions, 100 were categorized as hallucinations. Conclusion: ChatGPT-3.5 was found to be limited in its ability to provide evidence-based correct responses to the Korean national dental hygiene examination. Therefore, dental hygienists in the education or clinical fields should be careful to use artificial intelligence-generated materials with a critical view.

• 한국의류학회지
• /
• 제47권6호
• /
• pp.1038-1056
• /
• 2023

This study investigates the effects of ChatGPT's quality characteristics (service and information) on purchase intention and word of mouth intention. We distributed questionnaires among domestic men and women aged in their 20s and 30s who had experience of using ChatGPT. A total of 222 responses were subjected to frequency analysis, factor analysis, correlation analysis, and multiple linear regression analysis using the IBM SPSS statistical program version 26. The major findings were as follows: (1) The factors of service quality were categorized as Tangibility, Reliability, Empathy, and Assurance, while the factors of information quality were categorized as Recency, Accuracy, and Usefulness. (2) Among the service quality factors of ChatGPT, two factors (Reliability and Empathy) significantly impacted purchase intention, and three factors (Tangibility, Reliability, and Empathy) significantly affected word of mouth intention. (3) Among ChatGPT's information quality factors, two factors (Usefulness and Recency) had a significant effect on purchase intention, and two factors (Usefulness and Accuracy) exerted a significant influence on word of mouth intention. (4) Purchase intention had a significant effect on word of mouth intention.

• 문화기술의 융합
• /
• 제10권2호
• /
• pp.565-574
• /
• 2024

챗GPT는 우리 사회의 모든 분야에 커다란 반향을 일으키고 있으며, 이는 교육 분야에서도 마찬가지이다. 하지만 학교 현장에서의 챗GPT에 관한 학계 및 사회적 논의는 주로 표절과 같은 부정행위에 초점이 맞춰져있으며, 학생들의 인공지능 기술 활용으로 인한 긍정적인 효과에 대해서는 상대적으로 연구가 부족한 실정이다. 그와 더불어, 코로나 시대의 교육 위기 속에서 학업열의를 증진시키는 연구의 필요성이 제기되고 있다. 이러한 문제인식에 따라 우리는 학생들의 챗GPT 리터러시 수준에 따라 학업열의가 어떻게 나타나는지에 대해 알아보고, 그 과정에서 학생들의 학업 자신감 및 지각된 학업역량이 매개효과를 나타내는지를 확인했다. 이를 위해 406명의 대학생을 대상으로 수집한 데이터를 SPSS로 분석했다. 그 결과, 챗GPT 리터러시는 학업열의에 긍정적인 영향을 미치는 것이 확인되었으며, 학업자신감은 챗GPT 리터러시와 학업열의 사이를 매개했다. 또한 학업자신감과 지각된 학업역량은 이중으로 매개되었을 때 유의한 결과를 도출했다. 이러한 결과를 바탕으로 우리는 챗GPT 리터러시와 학업열의 사이의 이론적 매커니즘을 명확히 규명할 수 있다는 이론적 함의를 논하였다. 또한 이와 관련하여 챗GPT 리터러시 교육의 중요성에 관한 실용적 함의에 대해도 기술하였다.

• 디지털산업정보학회논문지
• /
• 제19권2호
• /
• pp.135-145
• /
• 2023

ChatGPT is an artificial intelligence-based conversation agent developed by OpenAI using natural language processing technology. In this study, an empirical study was conducted on incumbent teachers on the intention to use the newly emerged Chat GPT. First, we studied how accuracy, entertainment, system accessibility, perceived usefulness, and perceived ease of use affect ChatGPT's acceptance intention. In addition, we analyzed whether perceived usefulness and perceived ease of use differ in the intention to accept depending on the digital technology of teachers. As a result of the study, the suitability of the structural equation model was generally good. Accuracy and entertainment were found to have a significant effect on perceived usefulness, and system accessibility was found to have a significant effect on perceived ease of use. In the analysis of teachers' digital technology control effects, it was found that perceived usefulness and perceived ease of use had a control effect between acceptance intentions. It was found that the group with high digital skills of teachers was strongly intended to accept the service regardless of perceived usefulness and ease of use. In the group with low digital skills of teachers, it is thought that ChatGPT's service shows the acceptance intention only when the perceived usefulness and ease of use are high. Therefore, in the group with low digital technology, it is necessary to seek teaching activities such as the development of instructional models using ChatGPT.

• 한국IT서비스학회지
• /
• 제22권6호
• /
• pp.17-35
• /
• 2023

This study investigated how helpful the use of generative AI such as ChatGPT is in conducting engaged learning at each university. In this study, based on the experiences of users using generative AI technology, we analyzed the relationship between usability and ease in consideration of the characteristics of learners, and examined whether there is an intention to continue using generative AI technology in the future. In this study, in order to verify the factors affecting the intention to use ChatGPT technology in order to solve the problems given in the participating classes, we examined previous papers based on the Technology Acceptance Model (TAM) and the Information System Success Model (IS), extracted the factors affecting the intention of ChatGPT technology, and presented the research model and hypothesis. Empirical research on the continuous use of generative AI in participatory learning using ChatGPT was conducted to determine whether it is suitable for long-term and continuous use in the educational environment, and whether it is sustainable by examining the intention of learners to continue using it. First, user satisfaction was positively related to the intention to continue using generative AI technology. Second, if the user experience has a great influence on the intention to continue using ChatGPT technology, and users gain experiences such as usefulness, interest, and effective response in the process of using the technology, the evaluation of the technology is positively formed and the intention to continue using it is high. Third, the ease of use of the technology also showed that it was intended to be used continuously when an environment was provided in which users could easily and conveniently utilize generative AI technology.