• Proceedings of the Korean Society of Computer Information Conference
• /
• 2023.07a
• /
• pp.363-364
• /
• 2023

현재 많은 사람이 GPT를 통해 다양한 활동 및 연구를 진행하고 있다. 사람들은 GPT를 통해 문장생성 시 문장에 대한 정확도를 중요하게 생각한다. 하지만 용도에 따라 GPT를 통해 생성하는 문장의 문체와 같은 표현방식이 다르다. 그래서 생성된 문장이 유의미한 문장이라는 것에 판단이 매우 주관적이기 때문에 수치적 평가가 어렵다. 본 논문에서는 자연어처리 모델이 생성한 문장의 유의미함을 판단하기 위해 각 모델을 학습하는 데이터 용량과 반복 학습의 횟수에 따른 결과물을 비교하였다. 본 연구에서는 Fine-Tuning을 통해 총 4개의 GPT 모델을 구축하였다. 각 모델로 생성 문장을 BLEU 평가지표를 통해 평가한 결과 본 연구에 BLEU 모델은 부적합하다는 결과를 도출하였다. 이를 해결하기 위해 본 연구에서는 생성된 모델을 평가하고자 설문지를 만들어 평가를 진행하였다. 그 결과 사람에게 긍정적인 평가를 받는 결과를 얻을 수 있었다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2009.01a
• /
• pp.401-406
• /
• 2009

이 논문에서는 저장소에 독립적인 SPARQL-to-SQL변환 시스템 모델의 비용 평가를 수행한다. 시맨틱 웹이 발전하면서 이를 기술하기 위한 다양한 웹 온톨로지 언어들이 제안되었고 이를 저장 및 검색하기 위한 관계형 데이터베이스 기반의 저장소와 SPARQL과 같은 질의 언어가 개발되었다. SPARQL의 활용도가 높아짐에 따라 관계형 데이터베이스에 저장된 웹 온톨로지 데이터를 질의하기 위해서는 SPARQL을 SQL로 변환하기 위한 알고리즘이 필요하다. 그러나 기존에 제안된 변환 알고리즘들은 몇 가지 해결해야 할 문제점을 가지고 있는데 그 중 변환 알고리즘이 저장소에 종속적이라는 문제점 때문에 변환 알고리즘의 활용도가 떨어진다. 이를 해결하기 위하여 기존 논문에서는 저장소에 독립적으로 변환 알고리즘을 활용할 수 있는 시스템 모델을 제안하였으며 프로토타입을 구현하여 제안 모델을 통한 질의 결과의 정확성을 측정하였다. 또한, 저장소의 종속적인 모델과 독립적인 모델간의 정성적 평가를 통하여 저장소에 독립적인 모델이 여러 측면에서 활용도가 높다는 것을 평가하였다. 그러나 기존 논문에서는 제안한 시스템 모델에 대한 명확한 정량적 평가가 이루어지지 않았다. 따라서 이 논문에서는 비용 평가 모델을 정의하여 제안한 시스템 모델의 효율성을 정량적으로 평가한다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.162-167
• /
• 2023

본 논문은 거대언어모델에 대한 한국어 상식추론 기반의 새로운 평가 방식을 제안한다. 제안하는 평가 방식은 한국어의 일반 상식을 기초로 삼으며, 이는 거대언어모델이 주어진 정보를 얼마나 잘 이해하고, 그에 부합하는 결과물을 생성할 수 있는지를 판단하기 위함이다. 기존의 한국어 상식추론 능력 평가로 사용하던 Korean-CommonGEN에서 언어 모델은 이미 높은 수준의 성능을 보이며, GPT-3와 같은 거대언어모델은 사람의 상한선을 넘어선 성능을 기록한다. 따라서, 기존의 평가 방식으로는 거대언어모델의 발전된 상식추론 능력을 정교하게 평가하기 어렵다. 더 나아가, 상식 추론 능력을 평가하는 과정에서 사회적 편견이나 환각 현상을 충분히 고려하지 못하고 있다. 본 연구의 평가 방법은 거대언어모델이 야기하는 문제점을 반영하여, 다가오는 거대언어모델 시대에 한국어 자연어 처리 연구가 지속적으로 발전할 수 있도록 하는 상식추론 벤치마크 구성 방식을 새롭게 제시한다.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.526-530
• /
• 2022

자동 쓰기 평가 연구는 쓰기 답안지를 채점하는데 드는 시간과 비용을 절감할 수 있어, 교육 분야에서 큰 관심을 가지고 있다. 본 연구의 목적은 쓰기 답안지의 문서 구조를 효과적으로 학습하여 평가하고, 문장단위의 피드백을 제공하는데 있다. 그 방법으로는 문장 레벨에서 한국어 Sentence-BERT 모델을 활용하여 각 문장을 임베딩하고, LSTM 어텐션 모델을 활용하여 문서 레벨에서 임베딩 문장을 모델링한다. '한국어 쓰기 텍스트-점수 구간 데이터'를 활용하여 해당 모델의 성능 평가를 진행하였으며, 다양한 KoBERT 기반 모델과 비교 평가를 통해 제안하는 모델의 방법론이 효과적임을 입증하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2004.05a
• /
• pp.447-450
• /
• 2004

B2C 전자상거래 분야의 대표격인 인터넷쇼핑몰은 유통산업의 구조에 큰 영향을 미침에 따라 쇼핑몰의 성공적 구축 및 운영이 주된 이슈로 떠오르고 있다. 본 연구에서는 최근 웹사이트 평가모델로 주목 받고 있는 3C-D-T 모델을 기반으로 보완하여 국내 인터넷쇼핑몰 웹사이트 평가에 보다 최적화된 평가모형을 제시하였다. 평가모형의 보완은 주로 평가영역 부분에서 이루어졌는데, 인터넷 쇼핑몰 웹사이트에서 비교적 비중이 적은 Community 영역의 평가점수가 전체 웹사이트 평가에 주는 영향을 최소화 시키는 의미가 있었다. 그리하여 3C-D-T 모델의 평가영역의 Commerce 항목과 Community 항목을 통합하여 새로이 Com&Com 항목을 구성했고, 그것으로 보다 최적화 된 인터넷쇼핑몰 웹사이트 평가모형을 구축할 수 있었다. 그리고 이 새로운 평가모델로 국내 메이저 종합쇼핑몰 웹사이트들을 분석, 비교평가 하였다.

• Journal of Korea Technology Innovation Society
• /
• v.3 no.1
• /
• pp.55-67
• /
• 2000

본 고는 국내에 적용할 수 있는 기술등급평가모델을 제시하고 이에 입각하여 이루어진 실제의 평가결과를 제시하였다 이 평가는 중소기업청에 의해 전국규모로 1998년과 1999년 두해에 이루어졌다. 등급평가는 기술의 권리적 측면 환경적측면 등 세가지항목으로 구성된 평점모델을 제시하였다. 이평가결과는 변별력이 약해 평가요소와 실제 경쟁력간의 인과관계등에 대한 보다 집중적인 연구가 필요함을 보여준다.

• Journal of Information Technology and Architecture
• /
• v.10 no.2
• /
• pp.169-180
• /
• 2013

The effectiveness of joint operations depends on Jointness based on interoperable elements of participating forces. Many specialists have actively done research studies on interoperability measurement models with the goal of straightforward way of measuring and then have improved the interoperability of elements based on DOTMLPF-p (Doctrine, Organization, Training, Materiel, Leadership & Education, Personnel, Facilities, Policy) in the forces. After the survey of 16 interoperability measurement models, we have concluded that most of them applied only a small portion of DOTMLPF-p elements explicitly or all portions of DOTMLPF-p elements implicitly. In this study, we propose a conceptual interoperability measurement model for applying all DOTMLPF-p elements explicitly. And it can evaluate not only the level of interoperability among forces but also level of jointness for joint operations.

• Proceedings of the Korean Society for Noise and Vibration Engineering Conference
• /
• 2001.05a
• /
• pp.565-570
• /
• 2001

대상 기계구조물의 유한요소 모델로부터 구한 해석결과가 실험결과와 오차를 나타낼 때, 이러한 오차를 줄일 수 있도록 유한요소 모델의 변경이 요구된다. 유한요소 모델개선은 이러한 역문제(Inverse Problem)를 다루는 체계적인 접근법이다. 일반적으로 유한요소 모델에서 변경할 수 있는 매개변수의 개수는 실험결과의 개수보다 많으므로 실험결과와 일치되는 개선된 유한요소 모델은 무한하다고 할 수 있다. 그러나, 개선된 유한요소 모델이 물리적 타당성을 갖도록 매개변수의 변경량에 제한을 주면 일반적으로 초기 유한요소 모델에 비해 실험결과와의 오차가 개선된 근사해만 존재하게 된다. 따라서, 모델개선 과정을 통해 구한 개선된 모델은 오차의 평가기준 또는 목적함수에 따라 정해진 다양한 근사해 중 하나이다. 기존의 모델개선 방법에서는 단 하나의 오차 평가기준 또는 목적함수를 사용하고 이를 최소화 하는 모델을 구한다. 개선된 모델을 구하기 이전에는 사용된 평가기준이 타당한지 검토할 수 없으므로 대부분의 경우, 시행착오법으로 목적함수를 설정하게 된다. 본 논문에서는 다목적 최적화 기법을 이용한 오차 평가기준을 소개하고 이를 하드디스크커버 유한요소 모델개선에 응용한다.

• Proceedings of the Korea Inteligent Information System Society Conference
• /
• 2005.11a
• /
• pp.437-441
• /
• 2005

수많은 정보시스템들이 기업 및 조직에 도입되고 있다. 이러한 정보시스템들의 도입 효과 분석에는 많은 어려움이 따르는데, 특히 기존의 시스템을 e-business화 하는 e-transformation화 되고 있는 진행중인 시스템에 대한 평가는 난해면이 많다. 이에 본 논문에서는 이러한 경우의 정보시스템 효과평가를 위한 모델 수립을 위한 탐색적 연구 결과를 소개하고자 한다. 본 논문에서는 기존문헌 고찰을 통해 정보시스템 성과평가를 위한 모델과 방법론의 한계 및 이슈를 도출하고, 이를 극복하기 위해 EEM(E-transformation Evaluation Model) 모델과 방법론 구축의 필요성을 도출한다. EEM모델에서는 정보시스템도입의 현재 효과평가뿐만 아니라 현재에는 IT 효과가 일어나지 않지만 향후 정보시스템을 통한 IT효과측정이 가능하므로 측정대상에 따라 다각적인 적용이 가능하여 기업의 정책수립에 큰 도움이 되리라 사료된다.

• Proceedings of the Korean Operations and Management Science Society Conference
• /
• 2005.05a
• /
• pp.489-496
• /
• 2005

최근 새로운 정보기술의 패러다임으로 이슈가 되고 있는 유비쿼터스 컴퓨팅이 기술은 행정, 경제, 의료, 교육, 문화 등 사회 곳곳에 적용될 것으로 예상되고 있으며, 그에 따라 비즈니스 모델에 대한 중요성도 증대되고 있다. 그러나 기초 기술, 표준화, 보안 등에 관련된 연구가 중심을 이루고 있을 뿐, 비즈니스 모델과 관련된 연구는 미흡한 실정이다 본 연구에서는 유비쿼터스 컴퓨팅 환경에서 등장하는 다양한 비즈니스 모델에 대해 사업화 이전 단계에서 보다 효과적으로 사업화 가능성을 평가함으로써 사업자가 유망한 비즈니스 모델의 도출이 가능하도록 하는 평가체계를 제시한다.