• 한국정책학회보
• /
• v.21 no.2
• /
• pp.91-122
• /
• 2012

국가 재정사업을 평가하는 재정사업 자율평가제도는 2005년에 도입되어 2010년까지 두 번의 평가주기가 완료되었다. 본 연구는 이러한 시점에서 2차 평가주기(2008년~2010년) 동안 평가된 재정사업을 대상으로 평가결과에 영향을 미치는 요인들을 검토하였다. 본 연구는 1차 평가주기(2005년~2007년)의 평가결과를 분석한 기존 연구의 확장연구로서, 이전 연구결과를 재확인하고 일반화 가능성을 보다 제고할 수 있을 뿐만 아니라 이전 연구결과와의 비교를 통해서 평가제도의 변화가 평가결과의 변화를 가져왔는지를 검토할 수 있다는 점에서 의의가 있다. 또한 2차 평가주기가 완료된 시점에서, 향후 제도 개선을 위한 정책적 시사점을 줄 수 있다는 점에서 의의가 있다. 본 연구의 주요 분석결과 및 정책적 함의는 다음과 같다. 첫째, 1차 평가주기에 비해서 2차 평가주기의 평가결과가 향상되었다는 점에서 사업의 성과향상 또는 제도에 대한 실무자들의 이해가 보다 증진된 것으로 해석할 수 있다. 둘째, 성과계획항목이 평가결과에 지나치게 강한 영향력을 준다는 측면에서, 이에 대한 제도적 보완이 요구된다. 성과지표의 설정 및 목표치의 결정은 집행 이전에 적절히 이루어져야 할 부문이기에 이를 계획수립 시 사전적으로 지도할 필요가 있다. 셋째, 집행항목과 성과항목 간 부(-)의 관계를 가지므로 이에 대한 적절한 제도적 보완이 필요하다. 넷째, 제도의 타당성을 저해할 수 있는 비평가요인이 총점에 영향을 미치고 있다는 점을 감안할 때, 이에 대한 제도적 보완이 필요하다.

• 대학교육
• /
• s.76
• /
• pp.83-89
• /
• 1995

교수종합평가는 교육.연구.봉사 영역 모두를 대상으로 해야 한다. 어느 한 영역의 평가결과가 우수하면, 다른 영역의 결과는 그렇지 못할 수도 있다. 모든 영역에서 평가결과가 우수한 경우는 드물다. 그리고 교수종합평가의 평가영역 및 평가요소별 가중치는 개인의 가치에 따라 차이가 있을 수 있다. 교수의 종합평가나 중점평가에 적용될 가중치는 특정 개인의 주장만을 반영하기보다 많은 사람이 합의한 결정에 근거하여 설정되어야 한다. 여기에서는 보다 많은 대학과 다양한 학문계열의 교수들을 표집하여 객관적인 입장에서 평가영역 및 평가항목의 가중치를 규명하였다. 그 결과로 도출된 가중치는 대학교수들의 평가에 적용되어 평가결과의 타당성을 제고할 수 있을 것이다.

• The Korean Journal of Financial Management
• /
• v.16 no.1
• /
• pp.283-309
• /
• 1999

본 연구에서는 최근에 투입과 산출관계가 복잡한 비영리기관의 운영효율성을 평가하는데 많이 적용되고 있는 DEA분식기법을 이용하여 국내일반은행의 생산성을 상대적 개념에서 측정하고, 은행감독원에 의한 경영평가와 금융감독위원회의 은행퇴출평가 결과를 비교하여 봄으로서 평가결과가 타당성이 있는지 여부를 알아보았다. 금융감독위원회의 평가는 수익성, 건전성, 유동성, 내부유보 등 비율분석에 의한 평가와 BIS비율 등을 고려하여 평가해 왔기 때문에 다산출물 대 다투입물이 상호작용하는 것을 무시하고 있다는 것으로 볼 수 있다. 그리고 은행감독원의 평가와 DEA기법에 의한 경영효율성 간에는 상당한 차이가 있는 것으로 드러났다. 본 연구 분석결과로는 1995년도 효율성 값이 하위 5개 은행은 국민은행, 충북은행, 광주은행, 경남은행, 평화은행이며, 1996년도 효율성 값이 하위 5개 은행은 광주은행, 제주은행, 동남은행, 전북은행, 국민은행, 1997년도의 효율성 값이 하위 5개 은행은 대동은행, 광주은행, 충청은행, 충북은행, 전북은행으로 분석되었다. 퇴출은행 5개중 1996년도에 동남은행, 1997년도에 대동은행, 충청은행만이 효율성 값이 하위 5위안에 포함되어 본 연구의 분석결과와 다소 상이한 결과가 분석되었다. 그리고 DEA 분석모형에 의하면 비율분석에서는 점검할 수 없는 은행의 상대적 경영효율성을 분석한 결과가 금융당국의 평가결과와 다소 일치한 점도 있으나 운영효율성 측면에서 퇴출대상은행이 효율성이 높은 은행으로 평가되어 금융감독위원회가 결정한 퇴출대상은행과 DEA 분석결과와는 상이한 결과가 도출되었다.

• Journal of Korea Technology Innovation Society
• /
• v.18 no.4
• /
• pp.539-560
• /
• 2015

Korea has enacted the Performance Evaluation law on the R&D Programs since 2006. This study categorizes program size, program history, sustainability, self-evaluation result as antecedents, and analyze the relationship between the antecedents and Meta-evaluation result, the change rate of appropriations. The result shows that program size, program history, self-evaluation result have significant effect to the Meta-evaluation result. And Meta-evaluation result has significant effect to the change rate of appropriations. This study has implication that the performance evaluation system shows significant effect to the appropriations.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2018.10a
• /
• pp.599-601
• /
• 2018

국가 R&D에 대한 투자는 지속적으로 늘어나고 있고, 늘어나는 투자만큼 질 좋은 성과의 창출이 사회적으로 기대되고 있다. 이를 위해서는 우수한 연구자의 연구수행을 필요로 하며, 그 전제조건은 공정하고 객관적인 평가로부터 시작된다고 할 수 있다. 하지만 기존의 평가는 특정 평가위원에 의한 평가결과의 왜곡 가능성이 존재한다. 이를 억제하기 위해 기존에는 보편적으로 최고/최저점 제외 방식을 사용하였다. 하지만 왜곡 가능성이 그 이상 존재할 경우에는 왜곡을 막기에 부족하다. 본 연구에서는 평가위원별 평가결과 데이터를 군집화 기법을 활용하여 왜곡 가능성이 존재하는 평가위원을 분류하고, 이를 평가위원 선정 시 반영하여 왜곡 을 억제하는 방안을 모색하였다. 이러한 연구 결과를 바탕으로 평가의 공정성 및 신뢰성 향상 측면에 기여할 수 있을 것으로 기대한다.

• Proceedings of the Safety Management and Science Conference
• /
• 2012.11a
• /
• pp.369-376
• /
• 2012

본 연구는 소방대원의 화재진압 업무를 인간공학적 평가도구(RULA, REBA)를 이용하여 분석하고 타업종(병원, 자동차업종)과의 비교를 수행하였다. 첫째, 소방대원들의 업무 중 화재진압 업무의 인간공학적 작업자세 분석 및 평가하여 극단적인 작업자세에 대해서 살펴보았다. 요구조자 1인 운반법은 RULA, REBA의 평가결과에서 모두 정밀조사가 필요하고 즉시 개선 조치가 요구되는 4단계로 평가되었다. 둘째, 화재진압 업무와 타업종과(병원, 자동차업종)의 분석 결과를 비교 분석을 실시하였다. RULA로 평가한 결과 3, 4단계가 차지하는 비율이 72%로 자동차 업종(74%)에서의 평가결과 보다 낮게 나타났지만 병원업종(37%)보다는 높게 나타났다. REBA로 평가한 결과 3, 4단계가 차지하는 비율이 36%로 병원(9%)과 자동차 업종(24%)에서의 평가결과보다 높게 평가된 것으로 나타났다.

• Proceedings of the KIEE Conference
• /
• 2005.11b
• /
• pp.43-45
• /
• 2005

우리나라 전력기술 수준의 평가는 전력기술 중장기 발전계획에 대한 기초자료로서 전력인프라의 투자, 연구개발정책의 수립, 예산배분의 기된 데이터로서 활용되고 있지만, 대부분의 기술수준 평가방법이 전문가 설문조사에 의한 정성적 평가에 그치고 있어 산업 현장의 데이터가 반영되는 데는 미흡한 점이 있었다. 된 논문에서는 이러한 단점을 보완하기 위해 전력기술전반의 수준 평가를 전력산업 각 부분의 계량지표를 관간으로 산출하는 방법에 의한 계량적인 기술평가를 시도하였다. 이 정량적 평가결과를 전문가의 정성적 평가결과 및 과학기술부 조사결과와 대비함으로써 그 차이를 논하고 향후 해석적인 기술평가를 위한 발전방향을 제시하였다.

• Journal of the Korean Society of Clothing and Textiles
• /
• v.27 no.12
• /
• pp.1405-1411
• /
• 2003

본 연구의 목적은 기계에 의한 객관적 오염제거 평가와 육안에 의한 주관적 오염제거 평가를 비교하기 위한 것이다. 본 연구를 위해 백색의 순면직물과 65%/35% 폴리에스테르/면직물 시료에 9가지의 오염을 각각 처리한 오염포를 제작한 후, 세탁 실험을 하였다. 주관적 오염제거의 평가는 오염시키지 않은 포를 기준시료로 하여 오염포와 같은 조건으로 세탁한 후, 오염제거도를 AATCC Gray Scale for Staining으로 평가하였다. 세탁 후 오염제거도를 객관적으로 평가하기 위해서 각 시료의 K/S values, CIELAB, CMC, ASTM E313 Whiteness Index(WI), ASTM E313 Yellowness Index, and CIE tristimulus values를 구하였고. 세탁에 의한 control 시료의 반사율 변화에 대한 오염포의 반사율 변화를 비교한 오염제거율(PSR)을 구하였다 육안에 의한 주관적 평가 결과와 기계에 의한 객관적 평가의 결과와의 관계를 파악하고자 상관분석을 실시하였다. 본 연구 결과, 주관적 평가와 객관적 평가사이에 유의적인 상관관계가 확인되었으며, 주관적 평가 결과 중 WI가 주관적 평가 결과와 가장 상관관계가 높았으며, PSR과 주관적 평가 결과와의 상관이 상대적으로 가장 낮은 것으로 나타났다. 따라서 백색포의 오염 판정이 필요한 산업체에서 현재 많이 사용하고있는 PSR보다는 WI나 다른 색차를 이용하여 객관적 오염 평가를 하는 것이 주관적인 오염평가 결과에 더 근접할 수 있음을 알 수 있었다.

• Proceedings of the Technology Innovation Conference
• /
• 2005.02a
• /
• pp.57-84
• /
• 2005

기관평가제도는 경영관리과정의 최종단계로 평가결과에 의한 인센티브 부여와 피드백과정을 갖는 경영관리의 중심분야 임에도 불구하고 아직까지 정부출연연구기관의 기관평가제도에 대한 유효성 평가에 대한 실증연구가 없는 실정이다. 본 연구에서의 기관평가제도의 유효성에 대한 평가는 기관평가지표가 기관성과를 평가하기에 적절하게 구성되었는지의 여부와 연구기관의 의견이 반영되었는지 여부로 검증하였다. 본 연구의 목적을 달성하기 위하여 다음과 같은 세부적인 방법론을 사용하였다. 첫째, 연구기관의 특성분석과 선행연구를 통하여 연구기관의 BSC 모형을 도출하였다. 둘째, 출연 연구기관의 특성을 고려하여 관점을 도출한 후 전문가를 통한 델파이법(Delphi Method)으로 관점을 확정하였다. 셋째, 기존 평가제도에서 평가지표의 가중치(weight)를 분석하여 관점별로 분류한 후 BSC 형태로 재조정하여 기존 평가제도의 유효성을 분석하였다. 넷째, 피평가자의 설문조사를 통하여 피평가기관의 의견이 반영된 평가지표의 유효성을 분석하였다. 기존 평가제도의 평가지표와 연구기관의 의견이 반영된 평가지표가 BSC 모형에서 적절하게 구성되었는지 분석하기 위하여 연구기관의 BSC 관점간의 가중치가 기존 평가제도와 연구기관의 의견이 반영된 평가지표에 반영되었는지 검증하였다. 연구결과 기초 ${\cdot}$ 원천 연구에 주력하는 기초기술연구회, 산업화 ${\cdot}$ 상업화 연구에 주력하는 산업기술연구회, 공공성 ${\cdot}$ 대형연구에 주력하는 공공기술연구회간에는 미션과 특성이 다르기 때문에 검증결과 관점간의 가중치가 다르게 나타났다. 따라서, 현행 기관평가제도는 연구기관의 특성과 미션을 고려한 유효한 평가제도로 볼 수 있겠다. 연구기관의 의견이 반영되었는지 여부는 기존 평가제도와 연구기관의 의견이 반영된 평가제도를 대상으로 관점간 가중치의 우선순위로 검증하였다. 연구결과 관점간 가중치의 우선순위가 동일할 경우 현행 평가제도는 연구기관의 의견이 반영되었다고 볼 수 있으나, 검증결과 관점간 가중치가 다르게 나타났다. 또한, 추가적인 분석에서 연구회별 관점의 가중치와 소속 연구기관별 관점의 가중치를 분석한 결과 일부 연구기관에서는 연구회의 가중치와달리 나타났다. 따라서, 현행 기관평가제도는 일부 연구기관의 특성이 충분히 반영되지 않아서 유효한 평가제도로 볼 수 없다고 하겠다. 본 연구의 결과에 따라 출연연구기관의 기관평가지표에 대한 각 지표별 가중치와 지표 문항 개선시 유용한 자료로 활용되리라 본다.

• 한국경영정보학회:학술대회논문집
• /
• 2007.11a
• /
• pp.597-602
• /
• 2007

본 연구는 추천시스템에서 협업필터링 알고리즘을 이용하여 특정 상품에 대한 고객의 선호도를 예측함에 있어 고객이 상품에 대해 평가한 선호도 평가치를 고객별로 표준화시켜 예측하여 기존의 예측 정확도를 향상시키는 방법에 대하여 연구하였다. 일반적으로 상품에 대한 고객의 선호도를 평가하기 위하여 절대적 기준의 수치적 척도가 제공되지만 개인에 따라서는 상품에 대한 선호 정도가 절대적 척도에 다르게 반영되어 개인별 선호도에 차이가 발생할 수 있다. 이러한 개인적 특성이 동일한 척도의 평가치로 예측되면 예측 결과의 오차를 크게 할 가능성이 있다. 또한 개인이 평가한 선호도 평가치의 편차가 협업필터링 알고리즘을 통한 선호도 예측 정확도와 밀접한 관계를 가지고 있음을 알 수 있었으며 이러한 문제를 해결하기 위하여 개별 고객이 평가한 선호도 평가치를 표준화시켜 표준화된 선호도 평가치를 이용한 선호도 예측을 실시하였다. 분석결과 표준화된 선호도 평가치를 이용한 예측 결과가 비표준화 선호도 평가치를 이용한 예측 결과보다 예측력이 우수함을 알 수 있었으며 결과에 대한 통계적 분석을 통하여 표준화된 선호도 평가치를 이용한 선호도 예측 방법과 비 표준화 선호도 평가치를 이용한 선호도 예측 방법을 혼합할 경우 선호도 예측 정확도를 더 향상시킬 수 있음을 알 수 있었다.