• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.228-233
• /
• 2023

인간의 수동 평가 시 시간과 비용의 소모, 주석자 간의 의견 불일치, 평가 결과의 품질 등 불가피한 한계가 발생한다. 본 논문에서는 맥락을 고려하고 긴 문장 입출력이 가능한 ChatGPT를 활용한 한국어 요약문 평가가 인간 평가를 대체하거나 보조하는 것이 가능한가에 대해 살펴보았다. 이를 위해 ChatGPT가 생성한 요약문에 정량적 평가와 정성적 평가를 진행하였으며 정량적 지표로 BERTScore, 정성적 지표로는 일관성, 관련성, 문법성, 유창성을 사용하였다. 평가 결과 ChatGPT4의 경우 인간 수동 평가를 보조할 수 있는 가능성이 있음을 확인하였다. ChatGPT가 영어 기반으로 학습된 모델임을 고려하여 오류 발견 성능을 검증하고자 한국어 오류 요약문으로 추가 평가를 진행하였다. 그 결과 ChatGPT3.5와 ChatGPT4의 오류 요약 평가 성능은 불안정하여 인간을 보조하기에는 아직 어려움이 있음을 확인하였다.

• Journal of Korea Water Resources Association
• /
• v.51 no.11
• /
• pp.989-998
• /
• 2018

Connectivity between water source and demand node can be served as a critical system performance indicator of the degree of water distribution network (WDN)' failure severity under abnormal conditions. Graph theory-based approaches have been widely applied to quantify the connectivity due to WDN's graph-like topological feature. However, most previous studies used undirected-unweighted graph theory which is not proper to WDN. In this study, the directed-weighted graph theory was applied for WDN connectivity analyses. We also proposed novel connectivity indicators, Source-to-Node Shortest Pathway (SNSP) and SNSP-Degree (SNSP-D) which is an inverse of the SNSP value, that does not require complicate hydraulic simulation of a WDN of interest. The proposed SNSP-D index was demonstrated in total 42 networks in J City, South Korea in which Pearson Correlation Coefficient (PCC) between the proposed SNSP-D and four other system performance indicators was computed: three resilience indexes and an energy efficiency metric. It was confirmed that a system representative value of the SNSP-D has strong correlation with all resilience and energy efficiency indexes (PCC = 0.87 on average). Especially, PCC was higher than 0.93 with modified resilience index (MRI) and energy efficiency indicator. In addition, a multiple linear regression analysis was performed to identify the system hydraulic characteristic factors that affect the correlation between SNSP-D and other system performance indicators. The proposed SNSP is expected to be served as a useful surrogate measure of resilience and/or energy efficiency indexes in practice.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2021.06a
• /
• pp.163-163
• /
• 2021

하천에서의 화학사고는 자연적 및 인위적인 원인으로 인해 발생할 수 있으며, 이러한 화학사고가 발생하게 되면 수환경 변화를 야기해 생태계나 인간에게 악영향을 발생시킬 수 있어 신속한 초기대응이 필요하다. 하천으로 유입된 화학물질의 평가에 대한 연구는 활발하게 진행되고 있지만, 화학사고 초기대응을 위한 연구는 미비한 실정이다. 초기대응을 위해서는 현장에서 측정이 용이한 지표를 활용해야하며, 이 지표를 이용해 유출된 화학물질에 대한 정보를 취득 할 수 있어야 한다. 하천의 주요 지점에는 pH 및 EC 등을 실시간으로 측정하는 자동측정망을 운영하고 있는데, 이러한 측정항목들을 지표로 활용한다면 하천 화학사고 대응을 위한 중요한 기초자료로 활용될 수 있을 것이다. 또한 측정된 데이터를 머신러닝 기법을 적용한다면 화학사고 발생 시 초기대응을 위한 기초자료로 활용될 수 있을 것이다. 본 연구에서는 분석한 유해화학물질은 총 26종이며, pH 및 EC를 화학물질들의 특성을 파악하기 위한 대체지표로 선정하였다. 화학물질의 농도변화에 따른 대체지표 변화를 측정하였으며, 실험결과를 바탕으로 성질이 유사한 화학물질들을 Group별로 분류하여 데이터베이스를 구축하였다. 구축된 데이터베이스를 바탕으로 머신러닝 기법인 Decision Tree, Random Forest, Gradient Boosting, XG Boosting에 적용해 각 알고리즘에 대한 성능 평가를 진행하여 가장 우수한 성능의 머신러닝 기법을 선정한다. 본 연구 결과를 바탕으로 선정된 머신러닝 기법을 활용한다면 향수 수환경 화학사고 발생 시 유출된 유해화학물질에 대한 정보를 제공할 수 있으며 그에 따른 신속한 대응의 기초자료로 활용될 수 있을 것으로 판단된다.

• Annual Conference on Human and Language Technology
• /
• 2003.10d
• /
• pp.241-245
• /
• 2003

본 논문은 기계번역 시스템의 성능평가를 위한 '핵심어 전달율 측정' 방안에 대해서 기술한다. 기계번역 시스템의 성능평가는 두 가지 측면으로 고려될 수 있다. 첫 번째는 객관적인 평가로 IBM에서 주창한 BLEU score 측정이나 NIST의 NIST score 측정이 그 예이다. 객관적인 평가는 평가자의 주관적인 판단이나 언어적인 특성을 배제한 방법으로 프로그램을 통해 자동으로 fluency와 adequacy를 측정하여 성능을 평가한다. 다음은 주관적인 평가이다. 주관적인 평가는 평가자의 평가를 통해 번역의 품질을 평가하는 방법이다. 주관적 평가 방법의 대표적인 것으로는 NESPOLE이나 LDC가 있다. 주관적인 평가는 평가자의 정확한 판단으로 신뢰할만한 성능평가 결과를 도출하지만, 시간과 비용이 많이 들고, 재사용할 수 없다는 단점이 있다. 본 논문에서는 이러한 문제를 해결하기 위해, 번역대상 문장에서 핵심어를 추출하고, 그 핵심어가 기계번역 시스템의 수행결과에 전달된 정도를 자동으로 측정하는 새로운 평가방법인 '핵심어 전달율 측정' 방안을 제안한다. 이는 성능평가의 비용과 시간을 절약하고, 주관적 평가와 유사한 신뢰성 있는 평가결과를 얻을 수 있는 좋은 지표가 될 수 있을 것으로 기대한다.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.176-181
• /
• 2022

일반 상식 추론 능력은 가장 사람다운 능력 중 하나로써, 인공지능 모델이 쉽게 모사하기 어려운 영역이다. 딥러닝 기반의 언어 모델은 여전히 일반 상식에 기반한 추론을 필요로 하는 분야에서 부족한 성능을 보인다. 특히, 한국어에서는 일반 상식 추론과 관련한 연구가 상당히 부족한 상황이다. 이러한 문제 완화를 위해 최근 생성 기반의 일반 상식 추론을 위한 한국어 데이터셋인 Korean CommonGen [1]이 발표되었다. 그러나, 해당 데이터셋의 평가 지표는 어휘 단계의 유사성과 중첩에 의존하는 한계를 지니며, 생성한 문장이 일반 상식에 부합한 문장인지 측정하기 어렵다. 따라서 본 논문은 한국어 일반 상식 추론 및 생성 능력에 대한 평가 지표를 개선하기 위해 문장 성분의 의미역과 자모의 형태 변화를 바탕으로 생성 결과를 평가하는 SRLev, 사람의 평가 결과를 학습한 BIH, 그리고 두 평가 지표의 장점을 결합한 SRLev-BIH를 제안한다.

• Journal of the Korean Society for Library and Information Science
• /
• v.57 no.3
• /
• pp.249-277
• /
• 2023

The purpose of this study is to explore the potential contribution of citation metrics to improving the search performance of citation index databases. To this end, the study generated ten queries in the field of library and information science and conducted experiments based on the relevance assessment using 3,467 documents retrieved from the Web of Science and 60,734 documents published in 85 SSCI journals in the field of library and information science from 2000 to 2021. The experiments included re-ranking of the top 100 search results using citation metrics and search methods, query expansion experiments using vector space model retrieval systems, and the construction of a citation-based re-ranking system. The results are as follows: 1) Re-ranking using citation metrics differed from Web of Science's performance, acting as independent metrics. 2) Combining query term frequencies and citation counts positively affected performance. 3) Query expansion generally improved performance compared to the vector space model baseline. 4) User-based query expansion outperformed system-based. 5) Combining citation counts with suitability documents affected ranking within top suitability documents.

• Journal of the Korean Institute of Illuminating and Electrical Installation Engineers
• /
• v.19 no.1
• /
• pp.52-58
• /
• 2005

Among various modern control theories, PID control has been well used for several decades. PID algorithms need some tuning methods which are used for selecting PID parameters. But in some cases various kinds of performance indices are used instead of well-known tuning rules, and so variable type of performance index must be tested so that controllers, output characteristics and disturbance rejection property meet some specifications. In this paper, linear conbinational type of performance index using error signal, time, control input and robustness is used to the PID control of air conditioning system. By use of the 2 DOF PID parmeters minimizing perfromacne index controllers, output characteristics and robustness properties are analyzed. Simulations are done by use of MATLAB with Simulink.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.36 no.11C
• /
• pp.655-661
• /
• 2011

The transmission issues for the scalable video coding extension of H.264/AVC (H.264 SVC) video has been widely studied. In this paper, we propose an objective video-quality assessment metric based on no-reference for H.264 SVC using scalability information. The proposed metric estimate the perceptual video-quality reflecting error conditions with the consideration of the motion vectors, error propagation patterns with the hierarchical prediction structure, quantization parameters, and number of frame which damaged by packet loss. The proposed metric reflects the human perceptual quality of video and we evaluate the performance of proposed metric by using correlation relationship between differential mean opinion score (DMOS) as a subjective quality and proposed one.

• Journal of the Earthquake Engineering Society of Korea
• /
• v.4 no.4
• /
• pp.105-110
• /
• 2000

중약진 지역으로 분류되고 있는 대만에서 1999년에 발생된 예상치 못한 막대한 경제적 피해와 사상자를 기록하였다. 대만과 마찬가가지로 중약진지역으로 분류되는 우리나라에서도 지진발생시 많은 문제발생이 예상됨에 따라 기존건물의 내진성능평가의 필요성의 인식하게 되었다. 본 연구에서는 미국과 일본에서 이미 적용되고 있는 기존 건축물의 내진성능 평가 기법을 분석하고 이를 3층 규모의 모멘트 골조 건물에 적용하여 평가해 보았다. 평가는 일본건축방재협회에는 철근콘크리트 구조물의 내진성능평가 규준을 적용하였다.

• Proceedings of the KAIS Fall Conference
• /
• 2009.12a
• /
• pp.538-541
• /
• 2009

소형엔진의 성능을 결정하는 흡기시스템 중 흡기포트는 매우 중요한 설계인자이다. 본 연구는 흡기포트에 대한 성능실험 및 CFD(Computaional Fluid Dynamics) 해석을 통하여 흡기 성능을 파악하고, 이러한 일련의 실험과정을 학습하여 제품의 성능 평가 절차를 정립하고 성능을 개선하는데 그 목적이 있다. 흡기 성능평가를 위해 리그를 구성하여 실험과 해석을 진행하였으며 이를 통하여 공기유량계수 값을 획득하였다. 공기유량계수 값은 밸브 리프트 변화에 따른 표준 밸브리프트로 환산한 값을 사용하였다. 실험적 연구를 통하여 기존 소형엔진 흡기 포트의 평가에 대한 기준을 제시하였고, 이는 소형엔진 흡기포트 설계 후 성능 평가를 위한 중요한 지표로 사용될 수 있을 것으로 판단된다.