• 한국과학교육학회지
• /
• 제34권6호
• /
• pp.593-599
• /
• 2014

이 연구에서는 서술형 문항에 대한 교사평가와 동료평가가 고등학생들의 학업성취도와 정의적 영역에 미치는 효과를 알아보고, 평가에 대한 학생들의 만족도와 신뢰도를 분석하여 시사점을 얻고자 하였다. 이를 위하여 중소도시에 있는 고등학교 2학년 2개반을 선정하여 학업성취도, 정의적 영역의 검사를 사전과 사후에 실시하였다. 서술형 문항의 평가는 10차시 수업 동안 진행되었으며, 교사평가를 실시한 반에서는 학생들이 서술형 문항을 푼 후에 교사가 이에 대한 피드백을 수업 중에 실시하였다. 동료평가를 실시한 반에서는 학생들이 서술형 문항을 푼 후에 소집단 별로 동료평가를 실시하고 피드백을 제공하도록 하였다. 연구 결과, 학업성취도 상위 집단 학생들은 상대적으로 교사평가에 긍정적인 만족도를 나타내었고, 하위 집단 학생들은 동료평가에 긍정적인 만족도를 나타내었다. 한편, 학업성취도 상위 집단 학생들은 교사평가와 학생평가에서 동일한 채점 기준을 제공하였음에도 불구하고 교사평가에 대한 신뢰도가 상대적으로 높은 반면, 하위 집단 학생들은 교사평가에 대한 신뢰도가 상대적으로 낮았다. 학업성취도가 하위인 학생들만 비교한 결과 교사평가를 실시한 학급보다 동료평가를 실시한 학급에서 성취도의 향상이 통계적으로 유의미하게 나타났다. 정의적 영역의 평가 결과에서도 하위 집단 학생들은 동료 평가가 정의적 영역에서 긍정적인 영향을 미쳤으며, 특별히 과학에 대한 인식 영역에서 변화가 통계적으로 유의미하게 나타났다.

• 한국정보기술응용학회:학술대회논문집
• /
• 한국정보기술응용학회 2002년도 추계공동학술대회 정보환경 변화에 따른 신정보기술 패러다임
• /
• pp.178-198
• /
• 2002

1980년대 초기 미 국방성에서는 소프트웨어 개발업체의 소프트웨어 개발능력에 대한 판단 착오로 금전적, 시간적, 성능상의 많은 어려움을 겪어왔다. 따라서 미 국방성은 카네기 멜론 대학의 SEI(Software Engineering Institute)를 통하여 소프트웨어 개발능력을 측정하고, 조직의 소프트웨어 프로세스 성숙수준을 결정하기 위한 CMM(Capability Maturity Model)을 개발하였다. 그러나 CMM에 기반을 둔 소프트웨어 프로세스 평가 방법은 외부 전문가를 이용하여 평가하므로, 시간과 비용이 많이 소모되는 방법이다. 따라서 많은 기업에서 이러한 평가를 수행하는데 어려움을 느끼고 있다. 특히, 중ㆍ소규모의 조직에서 사용하기에는, CMM의 평가방법은 너무 복잡하고 추상적이다. 소규모 기업의 경우에 3년여에 걸친 프로세스 향상노력으로 많은 성과가 이루어 졌음에도 불구하고 CMM의 평가방법을 이용한 결과는 1 단계 수준을 벗어나지 못하였다는 사례들이 많이 발표되고 있다. 이러한 결과들은 CMM의 평가 방법은 중소 규모 조직에는 적절치 않다는 것을 입증한다. 따라서 중소 규모 기업이나 조직의 소프트웨어 프로세스의 성숙도 평가와 개선을 위한 모델들을 개발하기 위한 노력이 전 세계적으로 광범위하게 펼쳐지고 있다. 본 연구에서는 최근의 모델인 CMMI(Capability Maturity Model Integration)의 소프트웨어 프로세스 영역 분류에 의거해서, 우리나라의 소프트웨어의 개발과 취득에 관련된 조직들이 각 프로세스 영역을 얼마나 중요하게 평가하는지, 그리고 해당 영역에서의 기준, 절차 그리고 방법을 문서화시키는 것을 얼마나 중요하게 평가하는지를 조사하였다. 한국의 소프트웨어 개발 관행은 CMM이나 ISO Is504 등에서 바람직한 것으로 제시하고 있는 국제 표준과는 많이 다르며, 나아가서는 예를 들어, 미국의 일반적인 관행과도 많이 다를 수 있다. 따라서 미국이나 유럽의 대규모 소프트웨어 조직을 위해서 개발된 CMM이나 ISO 15504 등은 우리나라의 중소 규모 소프트웨어 조직에는 특히 부적절할 수 있다 본 연구에서는 우리나라 소프트웨어 조직의 종류, 조직의 규모, 그리고 프로젝트 수행 규모에 따라서 각 소프트웨어 프로세스 영역의 중요도가 어떻게 다른지, 그리고 해당 소프트웨어 프로세스 영역의 기준, 절차 그리고 방법을 문서화시킬 필요성이 어떻게 변하는가를 조사하였다. 본 연구 결과는 우리나라의 소프트웨어 조직들이 프로세스 개선을 위해서 무엇을 정말로 필요로 하는지를 밝힘으로써, 한국 소프트웨어 산업의 현실적인 특수성을 고려한 소프트웨어 프로세스 평가와 개선 모델의 개발을 위한 기초적인 자료를 제공할 것으로 예상된다 또한, 본 연구 결과는, 우리나라 소프트웨어 조직들이 실제로 무엇을 필요로 하는지를 밝힘으로써, 우리나라의 소프트웨어 산업을 육성하기 위한 실효성 있는 정책 입안을 위한 기초 자료를 제공할 것으로 예상된다.

• 한국산업정보학회:학술대회논문집
• /
• 한국산업정보학회 2002년도 추계공동학술대회
• /
• pp.178-198
• /
• 2002

1980년대 초기 미 국방성에서는 소프트웨어 개발업체의 소프트웨어 개발능력에 대한 판단 착오로 금전적, 시간적, 성능상의 많은 어려움을 겪어왔다. 따라서 미 국방성은 카네기 멜론 대학의 SEI(Software Engineering Institute)를 통하여 소프트웨어 개발능력을 측정하고, 조직의 소프트웨어 프로세스 성숙수준을 결정하기 위한 CMM(Capability Maturity Model)을 개발하였다. 그러나 CMM에 기반을 둔 소프트웨어 프로세스 평가 방법은 외부 전문가를 이용하여 평가하므로, 시간과 비용이 많이 소모되는 방법이다. 따라서 많은 기업에서 이러한 평가를 수행하는데 어려움을 느끼고 있다. 특히, 중ㆍ소규모의 조직에서 사용하기에는, CMM의 평가방법은 너무 복잡하고 추상적이다. 소규모 기업의 경우에 3년여에 걸친 프로세스 향상노력으로 많은 성과가 이루어 졌음에도 불구하고 CMM의 평가방법을 이용한 결과는 1 단계 수준을 벗어나지 못하였다는 사례들이 많이 발표되고 있다 이러한 결과들은 CMM의 평가 방법은 중소 규모 조직에는 적절치 않다는 것을 입증한다. 따라서 중소 규모 기업이나 조직의 소프트웨어 프로세스의 성숙도 평가와 개선을 위한 모델들을 개발하기 위한 노력이 전 세계적으로 광범위하게 펼쳐지고 있다. 본 연구에서는 최근의 모델인 CMMI(Capability Maturity Model Integration)의 소프트웨어 프로세스 영역 분류에 의거해서, 우리나라의 소프트41어의 개발과 취득에 관련된 조직들이 각 프로세스 영역을 얼마나 중요하게 평가하는지, 그리고 해당 영역에서의 기준, 절차 그리고 방법을 문서화시키는 것을 얼마나 중요하게 평가하는지를 조사하였다. 한국의 소프트웨어 개발 관행은 CMM이나 ISO 15504 등에서 바람직한 것으로 제시하고 있는 국제 표준과는 많이 다르며, 나아가서는, 예를 들어, 미국의 일반적인 관행과도 많이 다를 수 있다. 따라서 미국이나 유럽의 대규모 소프트웨어 조직을 위해서 개발된 CMM이나 ISO 15504 등은 우리나라의 중소 규모 소프트웨어 조직에는 특히 부적절할 수 있다 본 연구에서는 우리나라 소프트웨어 조직의 종류, 조직의 규모, 그리고 프로젝트 수행 규모에 따라서 각 소프트웨어 프로세스 영역의 중요도가 어떻게 다른지, 그리고 해당 소프트웨어 프로세스 영역의 기준, 절차 그리고 방법을 문서화시킬 필요성이 어떻게 변하는가를 조사하였다. 본 연구 결과는 우리나라의 소프트웨어 조직들이 프로세스 개선을 위해서 무엇을 정말로 필요로 하는지를 밝힘으로써, 한국 소프트웨어 산업의 현실적인 특수성을 고려한 소프트웨어 프로세스 평가와 개선 모델의 개발을 위한 기초적인 자료를 제공할 것으로 예상된다. 또한, 본 연구 결과는, 우리나라 소프트웨어 조직들이 실제로 무엇을 필요로 하는지를 밝힘으로써, 우리나라의 소프트웨어 산업을 육성하기 위한 실효성 있는 정책 입안을 위한 기초 자료를 제공할 것으로 예상된다.

• 기록학연구
• /
• 제60호
• /
• pp.49-88
• /
• 2019

오늘날 시민사회 영역은 국가와 시장이 가진 기능을 비판하고 감시하는 기능뿐만 아니라 정부와 공공 부문을 보완해 공공 서비스의 적극적 생산자 역할까지도 수행하고 있다. 공공 기록관리 영역도 시민 참여도가 점차 확대되는 추세다. 기록관리의 핵심 영역인 평가 및 선별의 경우 그 어느 영역보다도 시민참여에 대한 논의가 본격화되고 있다. 평가의 시민참여 패러다임으로 등장한 '능동적 평가(proactive appraisal)' 개념은 우리에게 시민 스스로가 공공기록의 평가 주체이자 더 이상 평가 체제에서 소외돼서는 곤란하다는 점을 일깨우고 있다. 문제는 국내 시민력의 성장과 제도적 참여 논의가 빠르게 확산되는 것에 반해, 공공기록 영역에서 시민 참여는 좀처럼 찾아보기 힘들다는데 있다. 이 글은 국내 기록 평가 과정의 시민 부재와 기능주의에 기댄 경직성을 타개하기 위해서, 영국, 캐나다, 호주의 선진 사례 분석을 통해 공공 기록 영역에서 '시민참여 평가'를 구현하려는 제도적 기반과 실무 차원의 다양한 방법론의 적용 사례들을 살핀다. 본 논문은 오늘날 위기에 처한 국내 공공기록의 평가제도가 이러한 능동적 시민참여의 사례 적용을 통해 크게 회복될 수 있다는 점을 강조한다. 무엇보다 본 연구는 해외 선진 사례의 분석과 함께 기록관리 현장에 시민참여가 반영될 수 있는 개념적 평가 모형을 제시한다. 구체적으로는 능동적 시민참여를 반영한 '평가도큐멘테이션' 모델과 '거버넌스 기반 평가'의 모형을 제시하는데 집중하고 있다. 본 연구는 이들 시민참여형 평가 모델을 향후 국내에 안착해 '시민참여 평가'에 대한 본격적인 논의를 시급히 이끌 것을 제안한다.

• 컴퓨터교육학회논문지
• /
• 제20권6호
• /
• pp.47-59
• /
• 2017

SW교육의 목적은 컴퓨팅 사고력을 가진 창의 융합 인재양성에 있다. SW교육 내용과 방법은 다양하여 획일적인 평가로는 학생들이 배운 내용에 대한 적합한 평가가 이루어지기 어렵다. 학습 내용에 맞는 적합한 평가가 이루어지기 위해서 SW교육의 핵심적인 내용이 무엇인지 기준이 될 평가요소가 개발된다면 현장에서 SW교육 평가가 수월하게 이루어질 수 있을 것이다. 따라서 본 연구는 초 중등학교에서의 SW교육의 효과성을 측정할 수 있도록 평가요소를 개발하여, 학교 현장에서 SW교육의 평가내용 및 평가방법을 개발할 때 사용할 수 있는 체계적인 틀을 제공하는 것을 목적으로 한다. 이를 위해 문헌연구, FGI를 통한 현장적합성 검토, 전문가 협의, 델파이 조사를 진행하였다. 연구 결과 인지적 영역의 평가요소는 Computational Materials & Outputs(CMO), Computational Concepts(CC), Computational Practices(CP)의 세 영역, 17개의 키워드로, 정의적 영역의 평가요소는 가치, 태도, 컴퓨팅 사고력 효능감, 흥미의 네 영역, 13개 세부영역으로 개발되었다. 본 연구에서 개발한 SW교육 평가요소는 교육 현장에서 실행될 SW교육 내용에 맞는 평가내용을 개발하기 위한 준거틀로 사용되기를 기대한다.

• 영재교육연구
• /
• 제15권2호
• /
• pp.1-34
• /
• 2005

본 연구는 크게 두 부분으로 이루어져 있다. 연구 1에서는 창의성의 영역 특수성과 영역 보편성의 문제가 109명의 초등학교 2학년생들을 대상으로 연구되었다. 연구 1의 주목적은 첫째, 세 가지 다른 영역간의 아동들의 창의성의 상관관계를 검토하고, 둘째, 아동들의 일반적인 창의적 사고능력과 세 영역에서의 창의성의 관계를 조사하고자 하는 것이다. 연구 2에서는 연구 1에 참여하였던 학생의 일부 (71명)을 대상으로 후속연구를 실시하였다. 연구2에서는 전문가 평정에 의한 창의적 수행평가가 3년이라는 기간동안 장기적 안정성을 나타내는가의 문제와 최근 이슈로 대두되고 있는 창의성의 영역문제에 있어서의 방법론적 효과에 대하여 살펴보고자 하였다. 즉, 실제의 수행평가를 사용할 경우와 자기보고 형식을 사용할 때에 창의성의 영역 문제에 대한 결과가 다르게 나타날 수 있음을 살펴보고자 하였다. 본 연구의 결과는 아동들의 창의력이 영역 보편적이기보다는 다소 영역 특수적이라는 입장을 지지하고 있다. 본 연구에서 아동들은 세 가지 다른 영역에서 일관성 있는 창의적 능력을 보이기보다는 각 영역 간 폭 넓은 창의력의 차이를 보이므로 창의력이 상당히 영역 특수적임을 제시했다. 또한 아동들의 일반적인 창의적 사고 능력을 측정하기 위해 사용된 창의성 검사들은 세 가지 영역에서 드러난 아동들의 창의성과 매우 낮거나 무의미한 상관관계를 보였다. 이와함께 이 연구는 전문가 평정에 의한 아동의 창의적 수행평가가 적절한 신뢰도 뿐 아니라 장기적으로도 안정적이고 타당한 창의성 평가 방법일 수 있음을 시사하였으며 창의성에서의 영역문제가 어떠한 접근 방법을 취하느냐에 따라 결과가 다르게 나타날 수 있음이 제기되었고 그에 따른 논의가 전개된다.

• 과학교육연구지
• /
• 제44권1호
• /
• pp.38-49
• /
• 2020

본 연구의 목적은 고등학교 물리 I '시공간과 우주' 단원의 지필평가 문항과 교과서 목표가 인지영역과 내용영역에서 어느 정도 유사한지를 분석하기 위한 것이었다. 9개의 고등학교에서 출제한 지필고사 문제지와 평가원에서 출제한 문항 중에서 물리 I의 첫번째 단원인 '시공간과 우주'에 해당하는 문항들을 분석하였다. 문항의 분석기준으로 교육과정 성취기준에 제시된 내용영역들과 교과서에 진술된 목표들을 사용하여 살펴보기 위해 성취기준에 따라 내용영역을 11개로 분류하였고, 인지영역 수준은 지식, 이해, 적용의 틀로 각각 분류하였다. 결론적으로 학교에서 출제된 문항에서는 적용능력을 평가하는 문항의 비율이 낮았으며, 내용영역간 분포에도 불균형이 나타났다. 비율차 지수를 통한 비교에서는 교과서에 제시된 학습목표와 학교 출제 문항은 유사성이 매우 높았지만, 교과서 목표와 평가원 출제 문항을 비교하였을 때는 유사성이 낮았다. 이상을 바탕으로 평가문항의 타당성을 높이기 위한 몇 가지 제언을 하였다.

• 융합정보논문지
• /
• 제9권8호
• /
• pp.123-133
• /
• 2019

이 연구의 목적은 문화예술행사 평가 과정에서 제기되는 평가 오류의 문제 중 하나인 후광효과를 실증적으로 분석하여 문제점을 진단하고 개선 방향을 제시하는 것이다. 이 연구는 2014년과 2015년 진행된 107개 지역대표공연예술제 평가 결과를 대상으로 3개 평가 영역, 15개 평가지표의 평가 결과에 대한 상관관계분석, 요인분석, 회귀분석을 통해 후광효과를 진단하였다. 분석 결과 평가지표 간의 상관계수의 평균은 2014년 0.676, 2015년 0.584로 나타났으며, 요인구조와 평가 영역은 일치하지 않았다. 회귀분석 결과 타 영역의 평가점수와 표준편차는 기획, 집행, 결과영역의 평가 결과에 영향을 미치는 것으로 나타났다. 이러한 평가결과의 왜곡은 평가의 신뢰성과 수용성을 낮추므로 합리적이고 객관적 평가를 위해 평가기준의 정교화, 평가지표별 평가자 다양화, 평가자 대상 사전교육, 메타평가의 실행을 통해 후광효과를 통제할 필요성을 제기한다.

• 한국콘텐츠학회논문지
• /
• 제12권9호
• /
• pp.257-269
• /
• 2012

본 연구는 다양한 건강상태에 놓여 있는 노인들의 성공노화를 실현하기 위한 통합적인 건강서비스 제공의 근간이 되는 포괄적 노인평가 패키지를 개발하기 위한 목적으로 시행된 방법론적 연구이다. 노인평가도구들에 대한 임상 및 지역사회에서의 사용 실례와 관련문헌 고찰을 통해, 총 9개 평가 영역으로 나누어 관련 평가항목과 평가도구들을 1차적으로 선정하였다. 이후 관련 전문가 3인의 자문 결과와 노인 15명을 대상으로 한 예비조사 실시 결과를 토대로 포괄적 노인평가의 영역과 항목들을 수정 보완하였다. 최종적으로 기본평가, 정신기능평가, 신체기능평가, 생활습관평가, 주관적 건강수준평가, 환경평가로 이루어진 6개의 평가영역에서 각 해당 항목의 수행지침이 포함된 29개 평가항목으로 구성된 포괄적 노인평가 패키지가 구축되었다.

• 한국수학사학회지
• /
• 제21권3호
• /
• pp.157-182
• /
• 2008

TIMSS는 수학 과학 성취도 추이변화 국제비교 연구로서 가장 대규모로 여러 국가의 수학 성취도를 파악, 분석하고 있다. 본 연구는 두 가지 연구 내용을 담고 있는데, 첫째는 4주기에 걸친 TIMSS의 인지영역 평가틀의 변화를 살펴봄으로써 평가틀과 문항 개발의 시사점을 얻는 것이다. 둘째는 TIMSS 2007 인지영역 평가틀에 따라 우리나라 학생들의 수학 성취도를 6개국과 비교 분석하는 것이다. TIMSS 2003에서 우리나라는 수학 전체 성취도가 싱가포르와 유의한 차이로 2위를 차지했는데, 수학적 능력을 살펴볼 수 있는 인지영역별로는 알기가 국제 1위, 적용하기가 3위, 추론하기가 2위를 차지하였다. 이를 바탕으로 평가틀 개발 및 다른 나라의 교육 체계나 교육과정으로부터의 시사점 등에 대한 제언을 하였다.