• 한국정보통신학회:학술대회논문집
• /
• 한국해양정보통신학회 2005년도 춘계종합학술대회
• /
• pp.555-558
• /
• 2005

국제통화기금(IMF ; International monetary Fund)관리시대를 겪으면서 우리나라는 모든분야에서 실적 및 성과지상주의를 도입하여 모든 것은 효율성과 유연성 위주로 제도를 바꾸었고, 동양의 전통사상인 충효와 신의는 실적과 평가라는 목적과 수단으로 대체되었다. 본 논문에서는 국민의 정부에서 시작되어 참여정부에 이르기까지 동 시기에 우리나라에서 주로 사용해 왔던 성과지상주의와 이에 편승하여 정부가 그동안 만들어 시행해 온 각종 평가 중에서 국가연구개발 평가에 대해 집중적으로 살펴보았다. 평가시스템들이 양산된 배경에는 외국계 상공인들의 요구와 우리나라 시장 확대를 통해 이익을 극대화 하려는 외교적 압력 외에도 평가시스템을 활용함으로써 얻게되는 특정정부부처 등 평가기관들의 권력상승작용에 대한 기대감등으로 경쟁적으로 평가시스템을 도입하였고, 평가시스템에 평가위원 등으로 참여하는 각 대학의 교수 등 평가자들 또한 평가자로서의 권한을 향유하는데 따른 평가집단으로서의 역할을 하면서 냉철한 검토와 준비없이 평가가 진행되고 있다. 따라서 피평가기관이 업무추진보다 평가준비에 더욱 많은 시간을 소비한다면 국가경제에 큰부담으로 작용할 것이므로 사업에 대한 각종평가는 년2회를 넘지 않도록 평가를 제한해야 한다.

• 정보보호학회지
• /
• 제13권6호
• /
• pp.6-6
• /
• 2003

정보보호시스템 공통평가기준(정보통신부고시 제2002-40호)에 의해 정보보호시스템을 평가받기 위해 개발자는 해당평가보증등급의 보증패키지에 속하는 보증컴포넌트에서 요구하는 평가제출물을 작성하여야 한다. 공통평가기준에서는 평가제출물에 대한 작성방법을 제공하고 있지 않으므로 개발자가 평가제출물을 작성하는데 어려움이 있다. 본 고에서는 개발자가 공통평가기준에 기반한 평가제출물을 용이하게 작성할 수 있도록 적용될 수 있는 평가제출물 작성 방법론(순차방식, 병행방식)을 제시한다.

• 기술경영경제학회:학술대회논문집
• /
• 기술경영경제학회 2005년도 제26회 동계학술발표회 논문집
• /
• pp.57-84
• /
• 2005

기관평가제도는 경영관리과정의 최종단계로 평가결과에 의한 인센티브 부여와 피드백과정을 갖는 경영관리의 중심분야 임에도 불구하고 아직까지 정부출연연구기관의 기관평가제도에 대한 유효성 평가에 대한 실증연구가 없는 실정이다. 본 연구에서의 기관평가제도의 유효성에 대한 평가는 기관평가지표가 기관성과를 평가하기에 적절하게 구성되었는지의 여부와 연구기관의 의견이 반영되었는지 여부로 검증하였다. 본 연구의 목적을 달성하기 위하여 다음과 같은 세부적인 방법론을 사용하였다. 첫째, 연구기관의 특성분석과 선행연구를 통하여 연구기관의 BSC 모형을 도출하였다. 둘째, 출연 연구기관의 특성을 고려하여 관점을 도출한 후 전문가를 통한 델파이법(Delphi Method)으로 관점을 확정하였다. 셋째, 기존 평가제도에서 평가지표의 가중치(weight)를 분석하여 관점별로 분류한 후 BSC 형태로 재조정하여 기존 평가제도의 유효성을 분석하였다. 넷째, 피평가자의 설문조사를 통하여 피평가기관의 의견이 반영된 평가지표의 유효성을 분석하였다. 기존 평가제도의 평가지표와 연구기관의 의견이 반영된 평가지표가 BSC 모형에서 적절하게 구성되었는지 분석하기 위하여 연구기관의 BSC 관점간의 가중치가 기존 평가제도와 연구기관의 의견이 반영된 평가지표에 반영되었는지 검증하였다. 연구결과 기초 ${\cdot}$ 원천 연구에 주력하는 기초기술연구회, 산업화 ${\cdot}$ 상업화 연구에 주력하는 산업기술연구회, 공공성 ${\cdot}$ 대형연구에 주력하는 공공기술연구회간에는 미션과 특성이 다르기 때문에 검증결과 관점간의 가중치가 다르게 나타났다. 따라서, 현행 기관평가제도는 연구기관의 특성과 미션을 고려한 유효한 평가제도로 볼 수 있겠다. 연구기관의 의견이 반영되었는지 여부는 기존 평가제도와 연구기관의 의견이 반영된 평가제도를 대상으로 관점간 가중치의 우선순위로 검증하였다. 연구결과 관점간 가중치의 우선순위가 동일할 경우 현행 평가제도는 연구기관의 의견이 반영되었다고 볼 수 있으나, 검증결과 관점간 가중치가 다르게 나타났다. 또한, 추가적인 분석에서 연구회별 관점의 가중치와 소속 연구기관별 관점의 가중치를 분석한 결과 일부 연구기관에서는 연구회의 가중치와달리 나타났다. 따라서, 현행 기관평가제도는 일부 연구기관의 특성이 충분히 반영되지 않아서 유효한 평가제도로 볼 수 없다고 하겠다. 본 연구의 결과에 따라 출연연구기관의 기관평가지표에 대한 각 지표별 가중치와 지표 문항 개선시 유용한 자료로 활용되리라 본다.

• 한국콘텐츠학회논문지
• /
• 제18권5호
• /
• pp.115-122
• /
• 2018

본 연구의 목적은 치위생학과 팀기반 수업에서 지필시험, 팀별평가, 팀원평가, 자기평가 등 다양한 학생평가방법을 비교하는 것이다. 분석대상은 2016, 2017학년도에 '구강보건교육학 실습' 교과목을 수강한 학생들의 점수이고, 기술통계, Spearman 상관분석, 왜도와 첨도, Mann-Whitney U 검정 등의 분석방법을 사용하였다. 네 가지 학생평가방법 중 자기평가와 팀원평가만 정적인 상관관계를 보였고, 팀원평가보다 자기평가를 관대하게 하였으며, 자기평가점수가 가장 중심화되어 있었다. 자기평가 여부에 따라 동료평가 점수의 관대화와 중심화 경향을 비교한 결과, 자기평가를 실시한 그룹에서 팀원평가를 더 관대하게 했으며, 더 중심화되게 평가하는 것으로 나타났다. 본 연구는 치위생학과 팀기반 학습에서 각종 평가방법에 대해 비교하고 자기평가 여부에 따라 동료평가 결과에 차이가 있다는 것을 발견했다는 데에 의의가 있다.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2008년도 학술발표회 논문집
• /
• pp.460-464
• /
• 2008

본 연구에서는 하천환경의 현재 상태를 진단할 수 있는 하천환경평가기법을 제시하고, 수원천을 평가하였다. 이를 위해 윤세의(2007)가 제시한 도시하천평가기법의 53개 평가항목 중 설문조사의 결과를 이용하여 중요도가 높은 하천환경 관련 항목을 선별하고, 이를 하천환경평가기법의 평가항목으로 사용하였다. 평가항목은 총 27개이고, 평가결과는 총괄지수, 특성지수, 부문지수, 항목지수와 평가등급으로 나타내었다. 수원천의 조사구간은 광교저수지 하류부에서 세류대교까지 약 6.0 km이었고, 총 39개의 구간에 대하여 하천환경평가기법과 도시하천평가기법의 평가지수를 비교하였다. 하천환경평가를 적용한 결과 수원천의 총괄지수는 $2.57{\sim}3.86$으로 나타났고, 하천특성 지수는 $2.20{\sim}2.95$, 생태환경 특성지수는 $1.91{\sim}4.02$로 나타났다. 또한 두 가지 평가기법에 대한 총괄지수와 특성지수의 평균등급은 동일하게 계산되었고, 부문지수 평균등급은 수로, 하상 등의 부문에서 등급변동이 나타났지만 2개 등급 이상의 차이를 보이지 않았다. 이러한 평가결과를 통해 도시하천 평가기법으로부터 파생된 하천환경평가기법의 적용가능성은 확인하였다. 앞으로 많은 대상하천을 선정, 평가를 실시하고, 하천의 연속성과 평가인자들 간의 연계성 등을 반영하는 부분에 대한 연구가 더 필요하다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2011년도 제43차 동계학술발표논문집 19권1호
• /
• pp.203-206
• /
• 2011

공개 경쟁에 의한 제안 업체 선정과 객관적이고 공정한 제안서의 평가는 공공IT 부문에 있어서 성공적인 사업 수행을 위한 필수요소이다. '소프트웨어 기술성 평가기준 적용 가이드'에서는 소프트웨어 기술성 평가기준을 적용하는데 필요한 절차와 단계별 적용방법 및 세부내용 해설과 평가척도 예시를 제시하여 활용이 가능하도록 하였다. 그러나 기술성을 평가하기 위한 평가부문별 평가항목 및 평가기준에 대한 부분이 구체적이지 않아 경쟁력 있는 제안 업체의 기술성을 정확하고 공정하게 평가하는데 어려움이 있다. 따라서 본 연구에서는 제안 업체의 기술성을 정확하게 평가하기 위하여 평가요소 중에서 기술 평가요소에 대한 부분을 평가지표로 선정하고 통계 기법으로 평가지표를 검증하는 방법을 제시하고자 한다.

• 인지과학
• /
• 제30권4호
• /
• pp.175-197
• /
• 2019

고차적 사고를 요구하는 글쓰기는 배운 지식을 활용하고 발전시키게 한다. 학습 장면에서 글쓰기를 더 많이 활용하기 위해서는 동료평가를 도입하는 동시에 동료평가의 정확도를 높일 필요가 있다. 본 연구에서는 동료평가의 정확도를 높이는 방안으로, 평가 기준에 대해 학생들끼리 토론하게 하거나 전문가의 평가를 참고하도록 하는 두 방안을 탐색하였다. 대학생 150명을 대상으로 한 실험 결과, 동료평가 후 전문가의 평가를 참고했던 집단이 평가했던 글을 다시 평가할 때는 평가 정확도가 향상되었지만, 새로운 글을 평가할 때는 향상되지 않았다. 반면에, 동료평가 후 평가 기준에 대하여 토론을 진행했던 집단은 평가했던 글을 다시 평가할 때는 평가 정확도가 향상되지 않았지만, 새로운 글을 평가할 때는 향상됨을 발견하였다. 또한 토론 집단의 경우 평가 기준에 대한 토론에서 총 발언 수가 많아질수록 평가 정확도가 높아졌다. 이상의 결과는 평가 기준에 대한 토론에서 적극적이고 자발적인 논의가 활발할수록 이후 동료평가의 정확도가 향상됨을 시사한다.

• 한국지구과학회:학술대회논문집
• /
• 한국지구과학회 2006년도 춘계학술발표회 논문집
• /
• pp.83-88
• /
• 2006

본 연구에서는 교사 스스로 느끼는 평가에 대한 거부감을 최소화하면서 바람직한 평가 전문성 신장 방향과 방법을 제공할 수 있도록 과학교사를 대상으로 한 학생 평가 전문성 자기 진단 프로그램을 개발하였다. 이 프로그램은 자기반성적 관점에서 과학교사 스스로 자신의 학생 평가 전문성을 진단할 수 있는 도구와 이를 이용하여 얻은 진단 결과를 바탕으로 학생 평가 전문성 수준을 가늠해 볼 수 있는 학생 평가 전문성 등급 평정 척도와 학생 평가 전문성 신장을 위한 안내로 구성되어 있다. 이 프로그램을 개발하기 위해 본 연구에서는 과학교사의 학생 평가 전문성의 개념을 탐색하고, 바람직한 학생 평가 전문성 신장의 방향과 방법을 모색하였다. 또한 과학교사의 학생 평가 전문성 요소를 추출하여 범주별로 정리한 다음 학생 평가 전문성 요소별로 구체적인 수준과 상태를 제시한 과학교사의 학생 평가 전문성 기준을 마련하였다. 마련된 기준을 근거로 과학교사의 학생 평가 전문성 자기 진단 프로그램을 개발하였다. 이를 위해 문헌연구와 더불어 수차례의 과학교육전문가 검토 및 협의, 학교 현장 교사들의 검토 및 협의를 거치면서 수정${\cdot}$보완하는 과정을 거쳤다. 본 연구에서 개발한 과학교사의 학생 평가 전문성 자기 진단 프로그램에는 진단 내용에 과학교사의 평가에 관한 지식과 더불어 실무적인 능력과 실제로 행하고 있는 평가의 실천 내용이 포함될 수 있도록 노력하였다. 또한 교사 스스로 자신의 평가 전문성 수준을 가늠해 볼 수 있도록 전형적인 응답 유형과 채점 기준, 해설 및 평가 전문성 등급 평정 척도를 제시했고 진단 결과를 바탕으로 평가 전문성의 부족한 부분을 보완하고 신장시킬 수 있도록 간략한 전문성 신장을 위한 처방과 평가 지향에 따른 교사의 전형적인 유형을 제시하여 자기 진단 프로그램을 사용하는 교사가 전문성 개선 방향과 방법을 설정하는 데 도움을 주고자 했다. 본 연구는 과학교사 자신의 학생 평가 전문성에 대한 환심을 높이고, 이를 진단하고 신장시키는 데 도움을 줄 수 있을 뿐만 아니라, 과학교사의 학생 평가 전문성 신장을 위한 방안을 마련하려는 데에도 좋은 시사점을 제공할 것으로 판단된다. 이를 위해 과학교사의 학생 평가 전문성 진단 프로그램에 제시된 전문성 평정 기준을 좀 더 객관화하고 보완할 수 있도록 많은 교사들에게 이 프로그램을 사용해 보게 하고 그 결과를 분석하는 후속 연구가 필요하다. 또한, 본 연구에서는 진단 운항을 제작하는 데 있어 지구과학 내용을 소재로 사용하였으나 본 연구에 제시된 진단 문항 제작에 관한 해설을 참고하여 다른 과학교과 내용을 소재로 한 진단 문항 제작도 필요할 것으로 보인다.

• 한국전산구조공학회논문집
• /
• 제23권4호
• /
• pp.425-434
• /
• 2010

본 연구에서는 고층건물 구조시스템의 다양한 대안으로부터 이들의 성능을 합리적으로 평가하는 방안을 제안하였다. 대안평가는 업무절차에 따라 예비평가, 본평가, 실시평가로 나누어 수행된다. 대안평가를 위한 평가범주는 구조성능, 경제성, 공기의 세 가지로 구성되고, 각 평가범주는 이들을 평가하기 위한 세부 평가항목으로 구성된다. 예비평가에서는 경험지식에 의한 정성적인 평가를 수행하며, 본평가와 실시평가에서는 수치적인 결과를 바탕으로 주로 정량적인 평가를 수행한다. 평가결과의 종합화는 평가항목들간의 관계가 선형적이라는 가정하에 가중평균법을 적용하였다. 제안된 대안평가 방안은 실무예제에 대한 시뮬레이션을 통하여 그 적용성을 검토하였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2003년도 제15회 한글 및 한국어 정보처리 학술대회
• /
• pp.241-245
• /
• 2003

본 논문은 기계번역 시스템의 성능평가를 위한 '핵심어 전달율 측정' 방안에 대해서 기술한다. 기계번역 시스템의 성능평가는 두 가지 측면으로 고려될 수 있다. 첫 번째는 객관적인 평가로 IBM에서 주창한 BLEU score 측정이나 NIST의 NIST score 측정이 그 예이다. 객관적인 평가는 평가자의 주관적인 판단이나 언어적인 특성을 배제한 방법으로 프로그램을 통해 자동으로 fluency와 adequacy를 측정하여 성능을 평가한다. 다음은 주관적인 평가이다. 주관적인 평가는 평가자의 평가를 통해 번역의 품질을 평가하는 방법이다. 주관적 평가 방법의 대표적인 것으로는 NESPOLE이나 LDC가 있다. 주관적인 평가는 평가자의 정확한 판단으로 신뢰할만한 성능평가 결과를 도출하지만, 시간과 비용이 많이 들고, 재사용할 수 없다는 단점이 있다. 본 논문에서는 이러한 문제를 해결하기 위해, 번역대상 문장에서 핵심어를 추출하고, 그 핵심어가 기계번역 시스템의 수행결과에 전달된 정도를 자동으로 측정하는 새로운 평가방법인 '핵심어 전달율 측정' 방안을 제안한다. 이는 성능평가의 비용과 시간을 절약하고, 주관적 평가와 유사한 신뢰성 있는 평가결과를 얻을 수 있는 좋은 지표가 될 수 있을 것으로 기대한다.