• 과학교육연구지
• /
• 제45권3호
• /
• pp.349-363
• /
• 2021

이 연구의 목적은 학교 STEAM 교육의 실행과 교육환경 기반을 진단하고 평가할 수 있는 학교 STEAM 교육 역량 진단 도구를 개발하는 것이다. 진단 도구의 개발은 STEAM 교육의 평가 또는 성과와 관련된 문헌 조사, 연구진의 반성적 재검토, 전문가 및 현장교사의 타당도 검증 등으로 이루어졌다. 학교 STEAM 교육 역량 진단 도구는 'STEAM 교육의 실천과 지속가능성의 계획', 'STEAM 교육과정 및 교수학습 방법', 'STEAM 학습 전문성 개발', '과정 중심 평가', '고등 교육 기관, 산업 파트너, 기술 센터와 연계 구축' 등 5개 영역과 하위영역의 총 14문항으로 구성된다. 학교 STEAM 역량 진단 도구의 타당화는 전문가의 내용 타당도 검증과 예비조사(pilot study)의 학교 교사의 실제에 의한 타당도를 통해 진행하였다. 개발된 학교 STEAM 역량 진단 도구를 활용하여 초등, 중, 고등학교 267개교를 진단한 결과, 5개 영역 평균이 1.46 ~ 2.18의 수준으로 나타났다. 이 진단 도구는 학교의 STEAM 교육의 실행 및 효과를 포괄적으로 진단·평가하고, 우리나라 STEAM 교육의 실행을 진단하고 이해하는데 기초 자료로 활용될 것으로 기대한다.

• 대한감각통합치료학회지
• /
• 제18권2호
• /
• pp.29-41
• /
• 2020

목적 : 본 연구는 Behavioral Pediatric Feeding Assessment Scale(BPFAS)의 국내사용을 위하여 한국어로 번안하고 내용타당도를 검증하였다. 연구방법 : BPFAS를 연구자와 12년차 소아 작업치료사가 각각 번역하여 현재 평가도구를 가르치거나 평가도구 관련 연구 경험이 있는 작업치료학과 교수 3인을 대상으로 내용 타당도를 검증하였다. 그 후 모국어가 영어이면서 한국어를 구사하는 전문 번역인을 통해 역 번역을 실시하였고, 9개월에서 72개월 사이의 정상발달 아동을 둔 부모 5인을 대상으로 내용 이해도를 검증한 후 수정, 보완하였다. 결과 : 한글판 아동섭식행동평가의 내용 타당도 지수(CVI)는 유창성 영역에서 평균 0.9점, 의미성 영역에서 평균 0.8점, 기술성 영역에서 평균 1점으로 전체 평균은 0.8점 이상이었다. 내용 이해도 점수의 평균은 3~3.8 범위로 전체 평균 3점 이상이었다. 결론 : 한글판 아동섭식행동평가는 아동의 섭식행동, 부모의 감정 및 전략, 섭식문제에 대하여 측정할 수 있는 도구로 내용 타당도를 가진 평가도구이다. 한글판 아동섭식행동평가는 국내 임상 현장과 연구에 유용하게 사용할 수 있는 평가도구로 제안한다.

• 한국지구과학회지
• /
• 제25권7호
• /
• pp.507-518
• /
• 2004

이 연구의 목적은 중등학교에서의 실험수업을 평가하기 위한 도구를 개발하고 이를 적용하는 것이다. Dana(2001)가 개발한 상황적 실험활동도구를 수정, 보완하여 ‘실험수업의 탐구수준을 평가하기 위한 도구’를 만들었다. 타당도를 확보하기 위하여 전문가들과 여러 차례의 협의를 거쳤으며, 15명의 과학교육 전공 대학원생들에게 의뢰하여 타당도를 검증하였다. 신뢰도를 높이기 위하여 연구자와 평가자 2인이 3개의 전사된 수업을 읽고 난 후, 함께 녹화된 실험 수업을 보여 수준을 달리 하였을 때 도구의 내용을 수정하는 방법으로 신뢰도를 확보하였다. 이렇게 만들어진 평가도구를 4명의 중학교 초임과학교사의 수업에 적용하였다. 그 결과 개발된 평가도구는 중등학교의 실험수업 탐구수준을 결정하는데 좋은 도구라는 것을 확인하였다. 본 연구에 참여한 중학교 초임과학교사의 탐구수준은 확인수준과 구조화된 탐구주준인 것으로 나타났다.

• 기술혁신연구
• /
• 제31권3호
• /
• pp.171-199
• /
• 2023

본 연구는 K연구원의 상향식 R&D과제기획 차원의 신규 연구기획과제 선정평가를 위한 평가도구 개발에 목적을 두고 진행하였다. 이를 위해 CIPP모형과 연구기획평가를 위한 선정평가 및 평가지표에 관한 선행연구를 중심으로 R&D과제기획 선정평가 항목과 문항을 개발 한 후, 2회에 걸친 델파이 조사를 실시하였다. 개발된 평가도구는 13명의 전문가를 대상으로 설문조사를 실시하여 내용타당도, 합의도 및 수렴도를 검증하였다. 최종 선정된 R&D과제기획 선정평가 도구는 8개 항목에 총 21개 문항으로, 상황평가 5 문항, 투입평가 2문항, 과정평가 8문항, 산출평가 6문항으로 구성되었다. 개발된 평가 도구는 상향식 기획 과정상의 문제점을 해소하고 연구자들의 기획역량을 제고하는 데 기여할 것이다. 또한, 선정평가 시 평가에 대한 일관성과 효율성 제고에 기여할 것이다.

• 정보처리학회 논문지
• /
• 제13권5호
• /
• pp.227-235
• /
• 2024

원자력발전소에서 디지털 계측제어 시스템 비중이 높아지면서 원자력발전소에 대한 확률론적 안정성 평가 시 소프트웨어에 대한 신뢰도 평가가 중요해졌다. 원전 소프트웨어 신뢰도 추정을 위한 방법들이 몇 가지 제안 되었지만 해당 방법의 효과적 적용을 지원하는 도구 지원이 미비하였다. 본 연구에서는 소프트웨어 개발 품질 및 검증 품질과 같은 정성적 정보와 통계적 시험 결과와 같은 정량적 정보를 활용하여 원전 소프트웨어 신뢰도를 정량적으로 측정할 수 있는 자동화 도구를 설계하였고 구현하였다. 개발된 도구를 산업용 원자로 보호 시스템 사례에 적용한 결과, 개발된 도구가 원전 소프트웨어의 신뢰성 평가를 효과적으로 지원할 수 있음을 확인하였다.

• 한국과학교육학회지
• /
• 제19권4호
• /
• pp.507-515
• /
• 1999

본 연구에서는 과학 교사를 양성하는 사범대학 과학교육과 학생들의 일반화학실험 수행평가를 위한 분석적인 채점 준거를 개발하였다. 개발된 채점준거는 크게 두 가지로 나눌 수 있다. 첫 번째는 학생들이 실험을 수행하면서 나타나는 탐구 능력을 평가하기 위한 실험 보고서를 평가하는 분석적 채점 준거이다. 이 분석적 채점 준거는 일곱 가지 탐구 기능 요소로 나누어져 있으며, 한 학기용 실험 주제 9개에 대해서 모두 개발하였다. 두 번째는 학생들이 실험하는 동안에 교수와 조교가 직접적인 관찰에 의해 점검하는 형태로 평가하는 수공적 기능 채점 준거와 실험에 임하는 학생들의 태도를 평가하기 위한 분석적 채점 준거이다. 또한 학생들의 탐구 능력을 평가하는 실험 보고서에 대한 분석적 채점 준거의 기초가 되는 일곱가지 탐구 기능 요소에 대한 일반적 채점 준거도 개발하였다. 모든 채점 준거에 대한 타당도는 과학교육 전문가 6인에 의하여 검증 받았으며, 채점 준거로 실험 보고서를 평가한 결과로부터 채점자간 신뢰도를 검증하였다. 본 연구에서 개발한 평가 도구를 사용하여 얻어진 학생들의 일반화학실험 수업 성취도와 일반화학 이론 수업 성취도는 상관이 있는 것(r=.663.p<.01)으로 나타났으며. 44%($r^2$=.440)의 공통 분산 영역을 보여주었다. 따라서 본 연구에서 개발한 실험 평가 도구는 이론 수업 평가 도구에서 측정하지 못하는 다른 영역(56%)도 평가하고 있음을 알 수 있었다. 이러한 결과로부터 간접적으로나마 본 연구에서 개발한 실험 평가 도구가 전통적인 지식 이해만이 아닌, 실험을 수행하면서 나타난 탐구 기능, 수공적 기능, 실험 태도를 평가하는 도구라고 할 수 있다.

• 한국조경학회지
• /
• 제51권2호
• /
• pp.120-130
• /
• 2023

본 연구의 목적은 근린공원 서비스의 질적 수준을 평가하기 위한 공원성능평가도구(Park Performance Assessment Tool, PPAT)를 개발하는 것이다. 공원성능평가도구(PPAT) 개발 과정은 다음과 같다. 첫째, 국내·외 공원성능평가도구(PPAT) 관련 사례 분석을 통해 평가항목 풀을 구성하였다. 둘째, 전문가 자문회의 및 시범 평가를 통해 국내 공원 여건에 적합한 평가항목으로 정제하였다. 셋째, 시범 평가를 통한 공원성능평가도구(PPAT)의 신뢰도를 검증하였다. 넷째, 전문가 설문조사와 AHP 분석을 통해 평가항목별 가중치를 도출하였다. 다섯째, 공원성능평가도구(PPAT) 평가표와 평가 가이드라인을 작성하였다. 공원성능평가도구(PPAT)를 인천광역시 부평구의 22개 근린공원에 적용하여 물리적 공간 환경의 품질을 평가하였다. 평가 결과, 공원 서비스 개선이 필요한 열악한 질의 근린공원이 다수 발견되었다. 공원성능평가도구(PPAT)는 공원녹지기본계획 수립, 공원 정비사업 우선순위와 사업추진방식 선정, 우수 공원 인증 등에 활용할 수 있을 것으로 기대한다.

• 재활치료과학
• /
• 제9권1호
• /
• pp.56-68
• /
• 2020

목적 : 본 연구는 치매로 인한 이상행동으로 인하여 음식물의 섭취에 영향을 보이는 환자들을 대상으로 행동관찰에 기반하여 식이 문제를 파악할 수 있는 국외의 체계화된 평가 도구들을 소개하고, 전문가 집단에 의한 내용타당도 검증을 통하여 한국화 하는 데 있다. 연구 방법 : 폭넓은 관련 문헌 검색에 기초한 수차례의 회의를 통하여 최종으로 한국판으로 개발할 평가도구 3종(Eating Behavior Scale; EBS, Edinburgh Feeding Evaluation in Dementia Scale; EdFED, Feeding Difficulty Index; FDI)을 선택하였다. 수정된 평가 도구 3종은 연구진들에 의하여 1차 번역되었으며, 9인으로 구성된 전문가팀을 대상으로 내용타당도지수(Content Validity Index; CVI)를 검증 하였다. 결과 : EBS 내용타당도 산출 결과 6개의 질문 항목 및 1개의 응답 항목 모두에서 CVI가 0.9 이상인 것으로 나타나 항목의 수정 없이 모든 항목을 한국판 EBS에 수록하였다. EdFED 내용타당도 산출 결과 11개의 질문 항목 모두에서 CVI값 0.9 이상인 것으로 나타나 항목의 수정 없이 모든 항목을 한국판 EdFED에 수록하였다. FDI의 내용타당도 산출 결과 19개의 질문 항목 모두에서 CVI값 0.8 이상인 것으로 나타나 항목의 수정 없이 모든 항목을 한국판 FDI에 수록하였다. 결론 : 국외에서 많이 활용되고 있는 치매 환자 대상의 행동 관찰기반 식이 평가도구 인 EBS, EdFED, FDI의 한국판을 개발하였다. 관찰기반의 한국판 평가 도구를 통하여 치매 환자들의 식이 관련 문제점들을 조기에 판단하고, 적절한 중재를 제공하는 것은 환자의 영양섭취 강화와 보호자의 부담 저하 측면에서 매우 중요하게 활용될 수 있을 것이다.

• 한국산학기술학회논문지
• /
• 제12권11호
• /
• pp.4778-4787
• /
• 2011

본 연구의 목적은 서비스산업에서 서비스품질 평가에 자주 사용되었던 KS-SQI모형을 적용하여 IT아웃소싱 서비스품질 평가도구를 개발하는 것이다. 독립변수로 본원적 서비스, 예상외 서비스, 신뢰성, 친절성, 적극지원성, 접근용이성, 물리적 환경을 선정하였고, 이들이 IT아웃소싱 서비스품질 평가도구로서 적합한지를 검증하기 위해 IT아웃소싱 만족도에 영향을 주는지를 분석하고, IT아웃소싱 만족도는 재계약의도에 영향을 주는지를 조사하였다. 가설검증을 위해 LISREL을 활용하여 변수들 간의 경로분석을 실시한 결과, 본원적 서비스, 신뢰성, 친절성, 적극지원성, 접근용이성, 물리적 환경은 IT아웃소싱 만족도에 유의적인 영향을 주었고, 예상외 서비스는 유의적인 영향이 없는 것으로 나타났다. 그리고 IT아웃소싱 만족도는 재계약의도에 유의적인 영향을 주는 것으로 나타났다. 도출된 6개의 측정도구는 IT아웃소싱 서비스품질 평가도구로서 적합함이 입증되었다. 본 연구의 의의는 IT아웃소싱 서비스품질 평가에 KS-SQI모형을 적용한 측정도구를 개발함으로서 이론적인 확장을 이루었고, 실무적인 측면에서는 IT아웃소싱 제공업체와의 재계약을 위한 IT아웃소싱 서비스품질을 평가하는 도구로 활용될 수 있다.

• 산업융합연구
• /
• 제18권1호
• /
• pp.35-43
• /
• 2020

본 연구는 Upton, Scurlock-Evans 와 Upton 이 개발한 간호대학생의 근거기반실무 측정도구(S-EBPQ)를 한국어로 번안하고 신뢰도와 타당도를 검증하기 위해 수행되었다. 근거기반실무에 대한 학습 경험과 임상실습 경험이 있는 간호대학생 209명의 자료를 데이터 분석에 활용하였다. 구성타당도를 위한 탐색적 요인분석결과 기존의 도구와 동일한 4 요인, 21 문항이 확인되었다. 도구의 설명력은 67% 였고 도구 전체의 신뢰도는 .927 이였다. 한국어판 S-EBPQ는 우리나라 간호대학생의 근거기반실무 역량을 평가하는데 활용될 수 있을것이다. 또한 도구를 활용하여 우리나라 간호대학의 근거기반실무 교육 프로그램이 효과를 평가하는데 활용 될 수 있을것이며 이는 간호교육의 질 향상에 기여할 것으로 기대된다.