• 대학교육
• /
• s.76
• /
• pp.83-89
• /
• 1995

교수종합평가는 교육.연구.봉사 영역 모두를 대상으로 해야 한다. 어느 한 영역의 평가결과가 우수하면, 다른 영역의 결과는 그렇지 못할 수도 있다. 모든 영역에서 평가결과가 우수한 경우는 드물다. 그리고 교수종합평가의 평가영역 및 평가요소별 가중치는 개인의 가치에 따라 차이가 있을 수 있다. 교수의 종합평가나 중점평가에 적용될 가중치는 특정 개인의 주장만을 반영하기보다 많은 사람이 합의한 결정에 근거하여 설정되어야 한다. 여기에서는 보다 많은 대학과 다양한 학문계열의 교수들을 표집하여 객관적인 입장에서 평가영역 및 평가항목의 가중치를 규명하였다. 그 결과로 도출된 가중치는 대학교수들의 평가에 적용되어 평가결과의 타당성을 제고할 수 있을 것이다.

• Journal of Korea Technology Innovation Society
• /
• v.18 no.4
• /
• pp.539-560
• /
• 2015

Korea has enacted the Performance Evaluation law on the R&D Programs since 2006. This study categorizes program size, program history, sustainability, self-evaluation result as antecedents, and analyze the relationship between the antecedents and Meta-evaluation result, the change rate of appropriations. The result shows that program size, program history, self-evaluation result have significant effect to the Meta-evaluation result. And Meta-evaluation result has significant effect to the change rate of appropriations. This study has implication that the performance evaluation system shows significant effect to the appropriations.

• 한국정책학회보
• /
• v.21 no.2
• /
• pp.91-122
• /
• 2012

국가 재정사업을 평가하는 재정사업 자율평가제도는 2005년에 도입되어 2010년까지 두 번의 평가주기가 완료되었다. 본 연구는 이러한 시점에서 2차 평가주기(2008년~2010년) 동안 평가된 재정사업을 대상으로 평가결과에 영향을 미치는 요인들을 검토하였다. 본 연구는 1차 평가주기(2005년~2007년)의 평가결과를 분석한 기존 연구의 확장연구로서, 이전 연구결과를 재확인하고 일반화 가능성을 보다 제고할 수 있을 뿐만 아니라 이전 연구결과와의 비교를 통해서 평가제도의 변화가 평가결과의 변화를 가져왔는지를 검토할 수 있다는 점에서 의의가 있다. 또한 2차 평가주기가 완료된 시점에서, 향후 제도 개선을 위한 정책적 시사점을 줄 수 있다는 점에서 의의가 있다. 본 연구의 주요 분석결과 및 정책적 함의는 다음과 같다. 첫째, 1차 평가주기에 비해서 2차 평가주기의 평가결과가 향상되었다는 점에서 사업의 성과향상 또는 제도에 대한 실무자들의 이해가 보다 증진된 것으로 해석할 수 있다. 둘째, 성과계획항목이 평가결과에 지나치게 강한 영향력을 준다는 측면에서, 이에 대한 제도적 보완이 요구된다. 성과지표의 설정 및 목표치의 결정은 집행 이전에 적절히 이루어져야 할 부문이기에 이를 계획수립 시 사전적으로 지도할 필요가 있다. 셋째, 집행항목과 성과항목 간 부(-)의 관계를 가지므로 이에 대한 적절한 제도적 보완이 필요하다. 넷째, 제도의 타당성을 저해할 수 있는 비평가요인이 총점에 영향을 미치고 있다는 점을 감안할 때, 이에 대한 제도적 보완이 필요하다.

• Journal of Korea Technology Innovation Society
• /
• v.20 no.2
• /
• pp.271-291
• /
• 2017

This study measures and compares the performance of research and development (R&D) programs in government-funded research institutes (GRIs) in terms of qualitative and quantitative approaches to find out strategic insights for improving performance evaluation policy. In particular, we adopt the evaluation results from the real data of K institute in 2015 for a qualitative evaluation and the results of data envelopment analysis (DEA) for a quantitative evaluation. Comparative analysis of the R&D performance of 14 programs finds that the difference between the evaluation results of qualitative and quantitative approaches is significant. From this finding, we suggest several strategic directions to complement two approaches each other.

• Journal of the Korean Society of Clothing and Textiles
• /
• v.27 no.12
• /
• pp.1405-1411
• /
• 2003

본 연구의 목적은 기계에 의한 객관적 오염제거 평가와 육안에 의한 주관적 오염제거 평가를 비교하기 위한 것이다. 본 연구를 위해 백색의 순면직물과 65%/35% 폴리에스테르/면직물 시료에 9가지의 오염을 각각 처리한 오염포를 제작한 후, 세탁 실험을 하였다. 주관적 오염제거의 평가는 오염시키지 않은 포를 기준시료로 하여 오염포와 같은 조건으로 세탁한 후, 오염제거도를 AATCC Gray Scale for Staining으로 평가하였다. 세탁 후 오염제거도를 객관적으로 평가하기 위해서 각 시료의 K/S values, CIELAB, CMC, ASTM E313 Whiteness Index(WI), ASTM E313 Yellowness Index, and CIE tristimulus values를 구하였고. 세탁에 의한 control 시료의 반사율 변화에 대한 오염포의 반사율 변화를 비교한 오염제거율(PSR)을 구하였다 육안에 의한 주관적 평가 결과와 기계에 의한 객관적 평가의 결과와의 관계를 파악하고자 상관분석을 실시하였다. 본 연구 결과, 주관적 평가와 객관적 평가사이에 유의적인 상관관계가 확인되었으며, 주관적 평가 결과 중 WI가 주관적 평가 결과와 가장 상관관계가 높았으며, PSR과 주관적 평가 결과와의 상관이 상대적으로 가장 낮은 것으로 나타났다. 따라서 백색포의 오염 판정이 필요한 산업체에서 현재 많이 사용하고있는 PSR보다는 WI나 다른 색차를 이용하여 객관적 오염 평가를 하는 것이 주관적인 오염평가 결과에 더 근접할 수 있음을 알 수 있었다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.448-453
• /
• 2023

대규모 언어 모델 (Large Language Model, LLM)을 인간의 선호도 관점에서 평가하는 것은 기존의 벤치마크 평가와는 다른 도전적인 과제이다. 이를 위해, 기존 연구들은 강력한 LLM을 평가자로 사용하여 접근하였지만, 높은 비용 문제가 부각되었다. 또한, 평가자로서 LLM이 사용하는 주관적인 점수 기준은 모호하여 평가 결과의 신뢰성을 저해하며, 단일 모델에 의한 평가 결과는 편향될 가능성이 있다. 본 논문에서는 엄격한 기준을 활용하여 편향되지 않은 평가를 수행할 수 있는 평가 프레임워크 및 평가자 모델 'FubaoLM'을 제안한다. 우리의 평가 프레임워크는 심층적인 평가 기준을 통해 다수의 강력한 한국어 LLM을 활용하여 연쇄적 사고(Chain-of-Thought) 기반 평가를 수행한다. 이러한 평가 결과를 다수결로 통합하여 편향되지 않은 평가 결과를 도출하며, 지시 조정 (instruction tuning)을 통해 FubaoLM은 다수의 LLM으로 부터 평가 지식을 증류받는다. 더 나아가 본 논문에서는 전문가 기반 평가 데이터셋을 구축하여 FubaoLM 효과성을 입증한다. 우리의 실험에서 앙상블된 FubaoLM은 GPT-3.5 대비 16% 에서 23% 향상된 절대 평가 성능을 가지며, 이항 평가에서 인간과 유사한 선호도 평가 결과를 도출한다. 이를 통해 FubaoLM은 비교적 적은 비용으로도 높은 신뢰성을 유지하며, 편향되지 않은 평가를 수행할 수 있음을 보인다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2023.05a
• /
• pp.204-204
• /
• 2023

2020년 상수도 통계에 따르면 전국 상수도 보급률은 약 99% 정도로 높은 수치를 기록하고 있으나 노후관으로 인한 관로파손 및 수질사고로 인해 효과적인 운영에는 많은 어려움이 존재한다. 이러한 문제를 해결하기 위해 기술진단 및 정밀안전진단 등 체계적인 유지관리 규정이 도입되었으며 적용되고 있으며, 이때 시스템의 정량적인 성능평가를 위해 간접평가와 직접평가로 구성된 점수평가법이 적용되었다. 간접평가는 지중에 매설된 관로를 대상으로 매설연도, 관경, 관로연장 등의 노후도인자를 통해 관의 노후도를 추정하고 간접평가 결과 3등급으로 판명되는 관로의 경우 객관적인 관의 상태를 평가하기 위해 시편채취 및 관로 내시진단 등의 직접평가가 수행된다. 하지만 관로의 직접평가는 간접평가결과 3등급의 모든 관로에 대해 수행하기에는 진단비용 및 시간 등 제약조건에 따라 모든 지점에 대한 직접평가 수행에는 한계가 있다. 따라서, 본 연구에서는 이러한 관로 성능평가 기법의 한계를 개선하기 위해 상수도시스템 통합평가 기술을 개발하였다. 개발한 기술은 머신러닝 기법을 적용하여 간접평가 및 직접평가 결과를 토대로 직접평가가 필요한 지점의 결과를 예측하였다. 이를 바탕으로 상수도시스템 평가성능 향상 및 보강 우선순위 선정 단계에서 의사결정권자의 판단에 도움이 될 것으로 판단된다.

• The Korean Journal of Financial Management
• /
• v.16 no.1
• /
• pp.283-309
• /
• 1999

본 연구에서는 최근에 투입과 산출관계가 복잡한 비영리기관의 운영효율성을 평가하는데 많이 적용되고 있는 DEA분식기법을 이용하여 국내일반은행의 생산성을 상대적 개념에서 측정하고, 은행감독원에 의한 경영평가와 금융감독위원회의 은행퇴출평가 결과를 비교하여 봄으로서 평가결과가 타당성이 있는지 여부를 알아보았다. 금융감독위원회의 평가는 수익성, 건전성, 유동성, 내부유보 등 비율분석에 의한 평가와 BIS비율 등을 고려하여 평가해 왔기 때문에 다산출물 대 다투입물이 상호작용하는 것을 무시하고 있다는 것으로 볼 수 있다. 그리고 은행감독원의 평가와 DEA기법에 의한 경영효율성 간에는 상당한 차이가 있는 것으로 드러났다. 본 연구 분석결과로는 1995년도 효율성 값이 하위 5개 은행은 국민은행, 충북은행, 광주은행, 경남은행, 평화은행이며, 1996년도 효율성 값이 하위 5개 은행은 광주은행, 제주은행, 동남은행, 전북은행, 국민은행, 1997년도의 효율성 값이 하위 5개 은행은 대동은행, 광주은행, 충청은행, 충북은행, 전북은행으로 분석되었다. 퇴출은행 5개중 1996년도에 동남은행, 1997년도에 대동은행, 충청은행만이 효율성 값이 하위 5위안에 포함되어 본 연구의 분석결과와 다소 상이한 결과가 분석되었다. 그리고 DEA 분석모형에 의하면 비율분석에서는 점검할 수 없는 은행의 상대적 경영효율성을 분석한 결과가 금융당국의 평가결과와 다소 일치한 점도 있으나 운영효율성 측면에서 퇴출대상은행이 효율성이 높은 은행으로 평가되어 금융감독위원회가 결정한 퇴출대상은행과 DEA 분석결과와는 상이한 결과가 도출되었다.

• Journal of Convergence for Information Technology
• /
• v.9 no.8
• /
• pp.123-133
• /
• 2019

This research empirically investigated halo effect in evaluating culture and art performance program. We diagnosed halo effect by using correlation analysis, factor analysis, and regression model on results and scores of fifteen evaluation indicators within three categories for the 107 Local Representative Performance Art Festivals in 2014 and 2015. The results indicates strong possibility of halo effect in culture and art performance evaluation. The correlation coefficients between evaluation indicators is higher than 0.5 and factor structure does not match with evaluation categories in both years. Scores in categories and standard deviations also are also significantly correlated with each other. The results implies that more sophisticated standard, diversification of evaluator, education, and meta-anlysis are need to control halo effect.

• Annual Conference of KIPS
• /
• 2018.10a
• /
• pp.599-601
• /
• 2018

국가 R&D에 대한 투자는 지속적으로 늘어나고 있고, 늘어나는 투자만큼 질 좋은 성과의 창출이 사회적으로 기대되고 있다. 이를 위해서는 우수한 연구자의 연구수행을 필요로 하며, 그 전제조건은 공정하고 객관적인 평가로부터 시작된다고 할 수 있다. 하지만 기존의 평가는 특정 평가위원에 의한 평가결과의 왜곡 가능성이 존재한다. 이를 억제하기 위해 기존에는 보편적으로 최고/최저점 제외 방식을 사용하였다. 하지만 왜곡 가능성이 그 이상 존재할 경우에는 왜곡을 막기에 부족하다. 본 연구에서는 평가위원별 평가결과 데이터를 군집화 기법을 활용하여 왜곡 가능성이 존재하는 평가위원을 분류하고, 이를 평가위원 선정 시 반영하여 왜곡 을 억제하는 방안을 모색하였다. 이러한 연구 결과를 바탕으로 평가의 공정성 및 신뢰성 향상 측면에 기여할 수 있을 것으로 기대한다.