• 대학교육
• /
• 통권76호
• /
• pp.83-89
• /
• 1995

교수종합평가는 교육.연구.봉사 영역 모두를 대상으로 해야 한다. 어느 한 영역의 평가결과가 우수하면, 다른 영역의 결과는 그렇지 못할 수도 있다. 모든 영역에서 평가결과가 우수한 경우는 드물다. 그리고 교수종합평가의 평가영역 및 평가요소별 가중치는 개인의 가치에 따라 차이가 있을 수 있다. 교수의 종합평가나 중점평가에 적용될 가중치는 특정 개인의 주장만을 반영하기보다 많은 사람이 합의한 결정에 근거하여 설정되어야 한다. 여기에서는 보다 많은 대학과 다양한 학문계열의 교수들을 표집하여 객관적인 입장에서 평가영역 및 평가항목의 가중치를 규명하였다. 그 결과로 도출된 가중치는 대학교수들의 평가에 적용되어 평가결과의 타당성을 제고할 수 있을 것이다.

• 기술혁신학회지
• /
• 제18권4호
• /
• pp.539-560
• /
• 2015

국가연구개발사업 성과평가제도는 성과와 예산의 유기적인 연계를 강화하고 있다. 본 연구는 국가연구개발사업에 관한 국회의 확정예산을 대상으로 상위평가결과에 영향을 미치는 선행요인을 예산규모, 사업수행기간, 사업의 지속성, 자체평가결과로 분류하고 이들 요인과 상위평가결과와 예산증감율의 관계를 분석하였다. 분석 결과, 예산규모, 사업수행기간, 자체평가 결과는 상위평가결과에 영향을 주는 것으로 나타났다. 또한, 자체평가결과가 예산의 증감에 영향을 주는 상위평가 결과에 가장 큰 영향을 주었다. 본 연구의 결과는 국가연구개발성과평가제도가 국가연구개발예산의 관계를 실증분석을 통해 제시했다는 측면에서 의의를 가진다.

• 한국정책학회보
• /
• 제21권2호
• /
• pp.91-122
• /
• 2012

국가 재정사업을 평가하는 재정사업 자율평가제도는 2005년에 도입되어 2010년까지 두 번의 평가주기가 완료되었다. 본 연구는 이러한 시점에서 2차 평가주기(2008년~2010년) 동안 평가된 재정사업을 대상으로 평가결과에 영향을 미치는 요인들을 검토하였다. 본 연구는 1차 평가주기(2005년~2007년)의 평가결과를 분석한 기존 연구의 확장연구로서, 이전 연구결과를 재확인하고 일반화 가능성을 보다 제고할 수 있을 뿐만 아니라 이전 연구결과와의 비교를 통해서 평가제도의 변화가 평가결과의 변화를 가져왔는지를 검토할 수 있다는 점에서 의의가 있다. 또한 2차 평가주기가 완료된 시점에서, 향후 제도 개선을 위한 정책적 시사점을 줄 수 있다는 점에서 의의가 있다. 본 연구의 주요 분석결과 및 정책적 함의는 다음과 같다. 첫째, 1차 평가주기에 비해서 2차 평가주기의 평가결과가 향상되었다는 점에서 사업의 성과향상 또는 제도에 대한 실무자들의 이해가 보다 증진된 것으로 해석할 수 있다. 둘째, 성과계획항목이 평가결과에 지나치게 강한 영향력을 준다는 측면에서, 이에 대한 제도적 보완이 요구된다. 성과지표의 설정 및 목표치의 결정은 집행 이전에 적절히 이루어져야 할 부문이기에 이를 계획수립 시 사전적으로 지도할 필요가 있다. 셋째, 집행항목과 성과항목 간 부(-)의 관계를 가지므로 이에 대한 적절한 제도적 보완이 필요하다. 넷째, 제도의 타당성을 저해할 수 있는 비평가요인이 총점에 영향을 미치고 있다는 점을 감안할 때, 이에 대한 제도적 보완이 필요하다.

• 기술혁신학회지
• /
• 제20권2호
• /
• pp.271-291
• /
• 2017

본 연구에서는 정부출연연구기관 중 하나인 K 연구원 사례를 활용하여 연구개발 프로젝트에 대한 정성평가 결과와 정량평가 결과를 비교 분석함으로써 연구개발 프로젝트 성과평가 체계 개선을 위한 시사점을 도출하였다. 비교 분석을 위해 정성평가 결과는 국가과학기술연구회 규정에 따라 진행된 실제 평가결과를, 정량평가 결과는 연구개발 프로젝트의 산출물 데이터를 기반으로 자료포락분석(data envelopment analysis) 결과를 활용하였다. 비모수 상관관계 분석(Kendall's ${\tau}$)을 비롯한 다양한 분석 결과, 정성평가와 정량평가 결과 사이에는 분명한 차이점이 있는 것으로 확인되었다. 따라서 단순 정성 또는 정량평가로 연구개발 프로젝트를 평가하기보다 정성 및 정량평가가 상호보완적으로 진행된다면, 평가 시 각 연구개발 프로젝트의 특성을 반영함과 동시에 객관성도 보다 확보할 수 있을 것으로 기대된다.

• 한국의류학회지
• /
• 제27권12호
• /
• pp.1405-1411
• /
• 2003

본 연구의 목적은 기계에 의한 객관적 오염제거 평가와 육안에 의한 주관적 오염제거 평가를 비교하기 위한 것이다. 본 연구를 위해 백색의 순면직물과 65%/35% 폴리에스테르/면직물 시료에 9가지의 오염을 각각 처리한 오염포를 제작한 후, 세탁 실험을 하였다. 주관적 오염제거의 평가는 오염시키지 않은 포를 기준시료로 하여 오염포와 같은 조건으로 세탁한 후, 오염제거도를 AATCC Gray Scale for Staining으로 평가하였다. 세탁 후 오염제거도를 객관적으로 평가하기 위해서 각 시료의 K/S values, CIELAB, CMC, ASTM E313 Whiteness Index(WI), ASTM E313 Yellowness Index, and CIE tristimulus values를 구하였고. 세탁에 의한 control 시료의 반사율 변화에 대한 오염포의 반사율 변화를 비교한 오염제거율(PSR)을 구하였다 육안에 의한 주관적 평가 결과와 기계에 의한 객관적 평가의 결과와의 관계를 파악하고자 상관분석을 실시하였다. 본 연구 결과, 주관적 평가와 객관적 평가사이에 유의적인 상관관계가 확인되었으며, 주관적 평가 결과 중 WI가 주관적 평가 결과와 가장 상관관계가 높았으며, PSR과 주관적 평가 결과와의 상관이 상대적으로 가장 낮은 것으로 나타났다. 따라서 백색포의 오염 판정이 필요한 산업체에서 현재 많이 사용하고있는 PSR보다는 WI나 다른 색차를 이용하여 객관적 오염 평가를 하는 것이 주관적인 오염평가 결과에 더 근접할 수 있음을 알 수 있었다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.448-453
• /
• 2023

대규모 언어 모델 (Large Language Model, LLM)을 인간의 선호도 관점에서 평가하는 것은 기존의 벤치마크 평가와는 다른 도전적인 과제이다. 이를 위해, 기존 연구들은 강력한 LLM을 평가자로 사용하여 접근하였지만, 높은 비용 문제가 부각되었다. 또한, 평가자로서 LLM이 사용하는 주관적인 점수 기준은 모호하여 평가 결과의 신뢰성을 저해하며, 단일 모델에 의한 평가 결과는 편향될 가능성이 있다. 본 논문에서는 엄격한 기준을 활용하여 편향되지 않은 평가를 수행할 수 있는 평가 프레임워크 및 평가자 모델 'FubaoLM'을 제안한다. 우리의 평가 프레임워크는 심층적인 평가 기준을 통해 다수의 강력한 한국어 LLM을 활용하여 연쇄적 사고(Chain-of-Thought) 기반 평가를 수행한다. 이러한 평가 결과를 다수결로 통합하여 편향되지 않은 평가 결과를 도출하며, 지시 조정 (instruction tuning)을 통해 FubaoLM은 다수의 LLM으로 부터 평가 지식을 증류받는다. 더 나아가 본 논문에서는 전문가 기반 평가 데이터셋을 구축하여 FubaoLM 효과성을 입증한다. 우리의 실험에서 앙상블된 FubaoLM은 GPT-3.5 대비 16% 에서 23% 향상된 절대 평가 성능을 가지며, 이항 평가에서 인간과 유사한 선호도 평가 결과를 도출한다. 이를 통해 FubaoLM은 비교적 적은 비용으로도 높은 신뢰성을 유지하며, 편향되지 않은 평가를 수행할 수 있음을 보인다.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2023년도 학술발표회
• /
• pp.204-204
• /
• 2023

2020년 상수도 통계에 따르면 전국 상수도 보급률은 약 99% 정도로 높은 수치를 기록하고 있으나 노후관으로 인한 관로파손 및 수질사고로 인해 효과적인 운영에는 많은 어려움이 존재한다. 이러한 문제를 해결하기 위해 기술진단 및 정밀안전진단 등 체계적인 유지관리 규정이 도입되었으며 적용되고 있으며, 이때 시스템의 정량적인 성능평가를 위해 간접평가와 직접평가로 구성된 점수평가법이 적용되었다. 간접평가는 지중에 매설된 관로를 대상으로 매설연도, 관경, 관로연장 등의 노후도인자를 통해 관의 노후도를 추정하고 간접평가 결과 3등급으로 판명되는 관로의 경우 객관적인 관의 상태를 평가하기 위해 시편채취 및 관로 내시진단 등의 직접평가가 수행된다. 하지만 관로의 직접평가는 간접평가결과 3등급의 모든 관로에 대해 수행하기에는 진단비용 및 시간 등 제약조건에 따라 모든 지점에 대한 직접평가 수행에는 한계가 있다. 따라서, 본 연구에서는 이러한 관로 성능평가 기법의 한계를 개선하기 위해 상수도시스템 통합평가 기술을 개발하였다. 개발한 기술은 머신러닝 기법을 적용하여 간접평가 및 직접평가 결과를 토대로 직접평가가 필요한 지점의 결과를 예측하였다. 이를 바탕으로 상수도시스템 평가성능 향상 및 보강 우선순위 선정 단계에서 의사결정권자의 판단에 도움이 될 것으로 판단된다.

• 재무관리연구
• /
• 제16권1호
• /
• pp.283-309
• /
• 1999

본 연구에서는 최근에 투입과 산출관계가 복잡한 비영리기관의 운영효율성을 평가하는데 많이 적용되고 있는 DEA분식기법을 이용하여 국내일반은행의 생산성을 상대적 개념에서 측정하고, 은행감독원에 의한 경영평가와 금융감독위원회의 은행퇴출평가 결과를 비교하여 봄으로서 평가결과가 타당성이 있는지 여부를 알아보았다. 금융감독위원회의 평가는 수익성, 건전성, 유동성, 내부유보 등 비율분석에 의한 평가와 BIS비율 등을 고려하여 평가해 왔기 때문에 다산출물 대 다투입물이 상호작용하는 것을 무시하고 있다는 것으로 볼 수 있다. 그리고 은행감독원의 평가와 DEA기법에 의한 경영효율성 간에는 상당한 차이가 있는 것으로 드러났다. 본 연구 분석결과로는 1995년도 효율성 값이 하위 5개 은행은 국민은행, 충북은행, 광주은행, 경남은행, 평화은행이며, 1996년도 효율성 값이 하위 5개 은행은 광주은행, 제주은행, 동남은행, 전북은행, 국민은행, 1997년도의 효율성 값이 하위 5개 은행은 대동은행, 광주은행, 충청은행, 충북은행, 전북은행으로 분석되었다. 퇴출은행 5개중 1996년도에 동남은행, 1997년도에 대동은행, 충청은행만이 효율성 값이 하위 5위안에 포함되어 본 연구의 분석결과와 다소 상이한 결과가 분석되었다. 그리고 DEA 분석모형에 의하면 비율분석에서는 점검할 수 없는 은행의 상대적 경영효율성을 분석한 결과가 금융당국의 평가결과와 다소 일치한 점도 있으나 운영효율성 측면에서 퇴출대상은행이 효율성이 높은 은행으로 평가되어 금융감독위원회가 결정한 퇴출대상은행과 DEA 분석결과와는 상이한 결과가 도출되었다.

• 융합정보논문지
• /
• 제9권8호
• /
• pp.123-133
• /
• 2019

이 연구의 목적은 문화예술행사 평가 과정에서 제기되는 평가 오류의 문제 중 하나인 후광효과를 실증적으로 분석하여 문제점을 진단하고 개선 방향을 제시하는 것이다. 이 연구는 2014년과 2015년 진행된 107개 지역대표공연예술제 평가 결과를 대상으로 3개 평가 영역, 15개 평가지표의 평가 결과에 대한 상관관계분석, 요인분석, 회귀분석을 통해 후광효과를 진단하였다. 분석 결과 평가지표 간의 상관계수의 평균은 2014년 0.676, 2015년 0.584로 나타났으며, 요인구조와 평가 영역은 일치하지 않았다. 회귀분석 결과 타 영역의 평가점수와 표준편차는 기획, 집행, 결과영역의 평가 결과에 영향을 미치는 것으로 나타났다. 이러한 평가결과의 왜곡은 평가의 신뢰성과 수용성을 낮추므로 합리적이고 객관적 평가를 위해 평가기준의 정교화, 평가지표별 평가자 다양화, 평가자 대상 사전교육, 메타평가의 실행을 통해 후광효과를 통제할 필요성을 제기한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2018년도 추계학술발표대회
• /
• pp.599-601
• /
• 2018

국가 R&D에 대한 투자는 지속적으로 늘어나고 있고, 늘어나는 투자만큼 질 좋은 성과의 창출이 사회적으로 기대되고 있다. 이를 위해서는 우수한 연구자의 연구수행을 필요로 하며, 그 전제조건은 공정하고 객관적인 평가로부터 시작된다고 할 수 있다. 하지만 기존의 평가는 특정 평가위원에 의한 평가결과의 왜곡 가능성이 존재한다. 이를 억제하기 위해 기존에는 보편적으로 최고/최저점 제외 방식을 사용하였다. 하지만 왜곡 가능성이 그 이상 존재할 경우에는 왜곡을 막기에 부족하다. 본 연구에서는 평가위원별 평가결과 데이터를 군집화 기법을 활용하여 왜곡 가능성이 존재하는 평가위원을 분류하고, 이를 평가위원 선정 시 반영하여 왜곡 을 억제하는 방안을 모색하였다. 이러한 연구 결과를 바탕으로 평가의 공정성 및 신뢰성 향상 측면에 기여할 수 있을 것으로 기대한다.