• The Journal of the Korea Contents Association
• /
• v.21 no.3
• /
• pp.783-795
• /
• 2021

This study aims to examine the relationship between performance evaluation systems and managerial effectiveness of responsible administrative agencies. Previous studies mainly emphasize the institutional changes of evaluation system and its impacts. This study articulate important factors in performance evaluation systems like interactive communications the credibility of performance indicators top manager's concern. A survey was conducted by 510 employees of local statistical office agencies and a structural equation modeling was used in order to test hypotheses. Results show that the credibility of performance indicators and top manager's concern about evaluation are positively related to performance results and procedural transparency and to managerial effectiveness. Interactive communication did not show statistically significant on managerial effectiveness. The empirical test results indicated that the interactive communication about the evaluation system of responsible administrative agencies should be considered.

• The Journal of the Korea Contents Association
• /
• v.21 no.3
• /
• pp.410-418
• /
• 2021

In a program that runs an engineering education certification, program outcomes refer to the knowledge, skills, and attitudes a student must have until graduation. In general, capstone design is used as a tool for evaluating program outcomes. This paper applies the intraclass correlation coefficient (ICC) to measure the raters' reliability in assessing program outcomes. Several raters evaluate program outcomes, and the result is used to obtain the raters' ICC. ICC measures the reliability of ratings or measurements for clusters - data that has been collected as groups or sorted into groups. If the ICC is close to 1, it means that the reliability among the raters is high. We evaluated the proposed method's usefulness through case analysis. As a method for assessing an evaluation tool's objectivity, multiple raters measure the same evaluation tool. As a result, we measured the ICC values for all POs, and analyzed the cause for the low measured POs. We applied this method to evaluate program outcomes of the Department of Computer Engineering in the past two years. As a result, we derived guidelines for improvement and program outcomes.

• Communications of Mathematical Education
• /
• v.15
• /
• pp.129-134
• /
• 2003

수학과의 평가는 수학의 학습 내용에 대한 학생들의 성취도를 다양한 유형의 평가기법을 이용하여 파악하고, 이를 통해 수학교육의 질을 관리하는데 그 목적이 있다. 그러나 지금까지의 대부분의 평가는 수학교육의 본질이라 할 수 있는 학습자의 수학적 사고력을 제대로 측정하지 못하고 단편적인 수학적 지식을 결과 위주로 평가하는 데 만족해 왔다. 한편으로는 지극히 교과서적이고 인위적인, 단지 문제를 위한 수학 문제는 수학 무용론을 부추기기도 하였다(박경미, 1998). 이와 같은 수학과의 위기를 탈출하기 위해서는 결과만을 고려하는 선다형의 문제가 아닌 과정을 중시하는 서술형 주관식 문제, 기능 위주의 고립된 수학적 지식을 측정한 학업성취 결과보다는 수학 학습에 대한 태도나 노력, 관심, 탐구적 활동 그리고 성향 등 정의적 영역의 평가가 절실히 요구된다. 따라서 기존의 지필 검사를 뛰어넘는 다양한 평가의 틀이 요구된다 하겠다. 이런 점에서 1999학년도부터 시행되고 있는 고등학교에서의 수행평가는 변화하는 교육기조의 교수 ${\cdot}$ 학습에 대한 적절한 평가의 한 방법이라 생각된다. 이에 본 연구는 다양한 평가의 틀 가운데 수학과 수행평가에 관한 고찰을 통해서 현장에서의 수행평가활용 방법을 찾는데 있다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.543-547
• /
• 2020

자연어 처리에서 기계번역은 가장 많이 사용되고 빠르게 발전하고 있다. 기계번역에 있어서 사람의 평가가 가장 정확하고 중요하지만 많은 시간과 비용이 발생된다. 이에 기계번역을 자동 평가하는 방법들이 많이 제안되어 사용되고 있지만, 한국어 특성을 잘 반영한 자동평가 방법은 연구되지 않고 있다. BLEU와 같은 자동평가 방법을 많이 사용하고 있지만 언어의 특성 차이로 인해 원하는 평가결과를 얻지 못하는 경우가 발생하며, 특히 특허나 논문과 같은 기술문서의 번역에서는 더 많이 발생한다. 이에 본 논문에서는 단어의 정밀도와 어순이 평가에 영향이 있는 RIBES를 가지고 특허 기계 번역에서 영어→한국어로 기계 번역된 결과물의 자동평가에 대해 사람의 평가와 유사한 결과를 얻기 위해 tokenization 과정에서 복합 형태소 분리를 통한 평가방법을 제안하고자 한다.

• Journal of Korean Society of Transportation
• /
• v.25 no.5
• /
• pp.43-55
• /
• 2007

Gyeonggi-do has conducted bus management and service evaluation of bus operating company since 2005 under the law for promoting public transportation. The evaluation results are used for improving bus service, making policy, and estimating incentives to bus companies. A lot of cost and man-month are needed to evaluate bus management and service for bus operating company, and many companies are against the evaluation. Therefore, the effect analysis on evaluation system should be followed to maintain it. This research results in the evaluation system has positive effects through quantitative and qualitative analysis. The data of bus company's operation condition in 2005 and 2006 are used for a comparative analysis. From the survey result for the company, bus drivers, and administrators, it results that positive effects are predominant. The results of this research could be used for a shield against some criticism about appropriateness of the evaluation criteria and effectiveness of the evaluation system. For improving bus service, evaluation items and criteria could be added or adjusted based on this research.

• Proceedings of the Korean Reliability Society Conference
• /
• 2001.06a
• /
• pp.245-255
• /
• 2001

원전 가동전/가동중검사 결과의 신뢰도(reliability)는 원전 배관기기의 건전성에 직결되는 것으로써 결함 발견 시 적용되는 파괴역학해석(FMA)은 비파괴검사 결과에 대한 100%의 신뢰를 전제하고 있다. 그러나 비파괴검사가 어느 정도 신뢰성을 가지고 있는지에 대한 평가가 국내에서는 거의 수행된 바가 없었다. 따라서, 본 연구에서는 원전의 비파괴검사 규제 요건의 기술적 근거를 확보하고, 원전 기기 건전성 평가 및 안전성 향상을 위한 합리적 규제지침을 수립하기 위하여 국내 원전 가동중검사(ISI)에 적용되거나 일반 산업계에 적용되고 있는 초음파탐상검사에 대하여 기량검증 Round Robin Test에 의한 통계적 신뢰도를 평가하고자 한다. 이를 위해 초음파검사 PD-RRT 결과의 통계적 신뢰도 평가 모델을 고찰하고, 결함검출성능 평가, 결함크기 측정 평가, 팀 오차 분석 등 초음파검사 PD-RRT 결과의 통계적 신뢰도를 평가하였다.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2002.11a
• /
• pp.86-90
• /
• 2002

IT분야에 대한 정부의 각종 R&D사업 수행 시 과제 선정 및 연구결과에 대한 평가의 투명성, 객관성 및 효율성을 확보하여 사업의 신뢰성을 확보하고 성과를 제고하여야 한다. 1999년 대학기초연구지원 사업에 시범적으로 적용한 전자평가시스템 개발 내용과 그 결과를 위원회 평가와 비교 분석하였다. 1999년에 처음 시도한 전자평가시스템은 과제 제안자 관점에서는 과제접수가 용이하고, 과제 공고부터 결과 정리 시 소요되는 총 소요기간 단축으로 과제 선정을 조속히 확정 가능하여 대민 서비스 제고 차원에서 유용한 평가시스템으로 판단되며, 과제 관리 차원에서도 총 평가비용의 30% 정도의 예산절감 및 10배정도 업무량의 감소 효과를 주는 것으로 분석되었다. 이와 같은 결과를 바탕으로 전자평가시스템이 적용 가능한 사업을 발굴하여 점진적으로 확대 적용하는 것이 타당하며 향후 추진 과제로 산업체가 제안하는 과제내용이 제안자 동의 없이 외부로 유출 방지 등 검토가 필요하다.

• Annual Conference on Human and Language Technology
• /
• 2003.10d
• /
• pp.241-245
• /
• 2003

본 논문은 기계번역 시스템의 성능평가를 위한 '핵심어 전달율 측정' 방안에 대해서 기술한다. 기계번역 시스템의 성능평가는 두 가지 측면으로 고려될 수 있다. 첫 번째는 객관적인 평가로 IBM에서 주창한 BLEU score 측정이나 NIST의 NIST score 측정이 그 예이다. 객관적인 평가는 평가자의 주관적인 판단이나 언어적인 특성을 배제한 방법으로 프로그램을 통해 자동으로 fluency와 adequacy를 측정하여 성능을 평가한다. 다음은 주관적인 평가이다. 주관적인 평가는 평가자의 평가를 통해 번역의 품질을 평가하는 방법이다. 주관적 평가 방법의 대표적인 것으로는 NESPOLE이나 LDC가 있다. 주관적인 평가는 평가자의 정확한 판단으로 신뢰할만한 성능평가 결과를 도출하지만, 시간과 비용이 많이 들고, 재사용할 수 없다는 단점이 있다. 본 논문에서는 이러한 문제를 해결하기 위해, 번역대상 문장에서 핵심어를 추출하고, 그 핵심어가 기계번역 시스템의 수행결과에 전달된 정도를 자동으로 측정하는 새로운 평가방법인 '핵심어 전달율 측정' 방안을 제안한다. 이는 성능평가의 비용과 시간을 절약하고, 주관적 평가와 유사한 신뢰성 있는 평가결과를 얻을 수 있는 좋은 지표가 될 수 있을 것으로 기대한다.

• Proceedings of the Korean Operations and Management Science Society Conference
• /
• 2006.11a
• /
• pp.683-692
• /
• 2006

IT투자 성과의 정량화에 대한 필요성이 높아짐에 따라 많은 학계와 연구단체에서 IT투자 성과의 화폐가치 전환 및 정량적 평가를 위한 다양한 측정방법들을 개발하여 제시하고 있으며, 이들 기법을 활용하여 IT투자 성과를 정량적으로 평가하는 기업들이 점차 늘고 있다. 그러나 이와 같은 IT투자성과의 정량적 평가 기법을 도입한 기업의 실무자들은 화폐가치로 전환되어 도출된 결과들이 가시적으로 확인될 수 있는 것이 아니기 때문에 IT가 제공하는 실 효과를 제대로 반영하여 평가되었는지에 대하여 확신하지 못하고 있다. 이에 본 연구는IT투자 성과의 정량적 평가 결과를 기존의 많은 연구를 통해 IT투자 성과의 정성적인 평가로 입증된 사용자 만족도로써 설명이 가능한지를 사례 기업의 정량적 평가결과와 사용자 만족도를 분석함으로써 상관관계를 파악하였다. 사례 연구 결과, 다음과 같은 시사점을 도출하였다. 첫째, 정보화 효과금액은 사용자 만족도와 상관관계가 있다. 둘째, 합리적인 정보화효과금액의 도출을 위해서는 조직 내에서 시스템의 효과를 정량화할 수 있는 지표 개발 및 화폐전환데이터의 관리가 중요하다. 셋째, IT ROI는 시스템간의 성과를 비교하는 것에는 부적절하며 개별시스템의 성과 및 효율성 측정 기준으로 사용한다. 넷째, 정량적 평가가 여전히 시스템의 전략적인 부분 등에 대한 평가에는 미흡하기 때문에 이를 보완하기 위한 방법으로 사용자 만족도의 사용이 가능하다.

• Proceedings of the Korea Technology Innovation Society Conference
• /
• 2017.11a
• /
• pp.689-696
• /
• 2017

4차 산업혁명의 도래와 더불어 ICT 기계, ICT 금융, ICT 의료, ICT 나노 등과 같이 기술분야별 영역의 장벽이 허물어지고, 학제간 연구(Interdisplinary Research)가 일상화됨에 따라 국가 R&D 과제도 융합기술의 형태로 진화, 발전하고 있다. 부처별 R&D 과제의 결과물에 대한 성과평가는 현 시점에서 정성 평가지표에 대한 전문가의견법 결과를 참조하고 있으며, 일부 과제에 있어서 특허의 상태적 우위도(등급화) 결과를 반영하는데 머물러 있다. 본 연구에서는 과거 3~5년전 기술가치평가가 수행된 정부 R&D 과제에 대해, 가치평가 결과를 매출발생 시점 이후의 매출액 증감분과 비교 분석하여 시사점을 얻고자 한다. 특히 ICT 분야 R&D 과제로부터 산출된 기술적 성과(특허 10건 선정)에 대해, 해당 기술을 사업화한 주체(기업)의 매출액 실적을 비교하여 상호 관련성을 파악하고, 공공 R&D 과제의 평가관리 체계에 포함할 수 있는 실질적 개선 방안을 제시한다. 본 연구에서 제안된 기술가치평가 모형 및 참조정보 활용방안은 R&D 평가년도의 성과물에 대한 경제적 가치 수준 파악을 할 수 있는 평가툴이 되는 동시에, 차년도 국가 R&D 과제에 지원한 우수 기술 보유 기관의 미래 수익성을 파악하여 과제선정의 객관성을 높일 수 있는 정보지원툴로 활용할 수 있을 것으로 기대된다.