• 제목/요약/키워드: Evaluation framework

검색결과 1,568건 처리시간 0.027초

학생들의 시스템 사고 수준 측정을 위한 Framework와 Rubric의 개발 (Development of Framework and Rubric for Measuring Students' Level of Systems Thinking)

  • 이효녕;전재돈;이현동
    • 한국과학교육학회지
    • /
    • 제38권3호
    • /
    • pp.355-367
    • /
    • 2018
  • 이 연구의 목적은 학생들의 시스템 사고 수준을 측정하는 문항을 개발하기 위하여 첫째, 문헌 분석을 통해 시스템 사고 수준과 정의를 제시하고 둘째, 시스템 사고 정의와 수준에 근거하여 문항 개발을 위한 Framework을 개발하고 셋째, 시스템 사고 측정을 위한 열린 응답형 검사지를 채점할 수 있는 루브릭을 개발하는 것이다. 이를 위하여 문헌 분석 틀을 적용하여 국외 논문 60편에 대한 문헌 분석을 실시하였으며 분석된 내용을 근거로 시스템 사고 수준과 정의를 제시하였다. 그리고 시스템 사고 수준과 정의에 근거하여 각 수준별 핵심 아이디어와 평가 요소를 포함한 Framework을 개발하였다. 또한 순위선다형 문항 외에 열린 응답형 검사 문항의 채점을 위한 루브릭을 개발하였다. 루브릭은 Hung(2008)이 개발한 시스템 사고 측정을 위한 루브릭에 기반하여 연구팀에서 시스템 사고 수준과 정의에 적합하도록 문항과 위계를 수정하였다. 그리고 각 문항마다 1~5점 척도로 변환이 가능하도록 각 점수에 대한 정의를 제시하였다. 연구팀이 개발한 시스템 사고 수준과 정의, 문항 개발을 위한 Framework, 열린 응답형 검사지 채점을 위한 루브릭에 대하여 과학교육 전문가 7인에게 내용 타당도 검증을 의뢰하였으며 그 결과 CVI가 세 도구에서 모두 .95이상이 확인되었다. 이 연구 결과를 바탕으로 앞으로 학생들의 시스템 사고 수준을 측정할 수 있는 문항을 개발하고 개발된 문항에 대한 구인 타당도 및 준거 타당도 검증을 실시하고자 한다. 나아가 2015 개정 교육과정에서 강조하는 핵심 역량과 관련된 시스템 사고수준의 체계적인 측정을 위한 타당화 연구도 진행하고자 한다.

로직모델 기반 평가 프레임워크를 이용한 공공도서관 어린이 독서 프로그램 성과 측정 연구 (A Study on the Outcomes Measurement of a Public Library's Reading Program for Children Using the Evaluation Framework Based-on the Logic Model)

  • 한상우;박성재
    • 정보관리학회지
    • /
    • 제35권3호
    • /
    • pp.271-286
    • /
    • 2018
  • 본 연구는 공공도서관에서 운영하는 프로그램의 성과를 로직모델을 기반으로 개발된 평가 프레임워크를 적용하여 측정하고자 하였다. 성과 측정을 위해 서울 소재 한 공공도서관에서 운영하는 여러 프로그램 중 어린이 독서 프로그램을 선정하였다. 성과 측정 과정은 어린이 독서 프로그램의 계획, 진행, 평가 등의 업무과정 일체를 분석하여 로직 모델을 구현하였으며 이에 의거하여 예상되는 성과를 측정하였다. 데이터는 KOLAS를 통해 회원정보, 서지정보, 대출정보 등을 수집하였고, 프로그램 운영 현황에 대한 데이터는 프로그램 진행 후 작성된 보고서에서 추출하였다. 측정 결과 어린이 독서 프로그램에 참여한 회원들의 대출빈도가 상승하였고, 프로그램의 주제에 따라 대출 장서의 주제가 변화하는 것을 볼 수 있었다. 본 연구를 통해 독서 프로그램이 갖는 효과와 의미를 확인할 수 있었으며, 성과평가가 도서관에서 운영하는 타 프로그램 및 도서관 업무 등의 효과성을 측정하는데 유용한 도구가 될 수 있음을 보여주었다.

환경친화적 도시 조성을 위한 정책평가체계에 관한 연구 - 저부하형 도시 조성을 중심으로 - (A Study on the Policies Evaluation Framework for Environmentally Friendly City)

  • 윤소원
    • 한국환경복원기술학회지
    • /
    • 제6권4호
    • /
    • pp.8-16
    • /
    • 2003
  • In terms of climate change communities have only during the 1990s begun to recognize that all greenhouse gas(GHG) emissions are directly or indirectly generated locally, through acts of agency, production or consumption. This has provided a boost to the role of local places in the debate since GHGs can be allocated and made understood locally and hence form the basis for specific policies, programs, plans and projects. The objectives of this study are to define a framework for making Environmentally Friendly City through enhancing integrated energy-urban policies and present framework to do comprehensive evaluation on energy related policies response and also explore the interrelation between energy related activities in each sector and policy and applies to Seoul mega city in Korea. Despite the growing recognition of the seriousness of urban environmental problems and their contribution to global environmental and social concerns, most analysts continue to study cities in parts rather than as a whole; we study sectoral sub-systems such as transport, air pollution or energy. While specialization is useful for detailed thinking, we also need to see each issue in the context of how each city works environmentally, economically, socially and politically. We therefore need integrative approaches to study of cities and need to understand how they function as systems. These framework presented in this study allows an organized and systematic analysis. These research results can provide useful, credible and timely input into the urban planning process. This study will be a helpful exercise to draw some policy implications of other cities in Korea and also East Asia that are in a similar stage with the these cities and developing plans on how to address them.

온톨로지 자동추출도구의 기능적 성능 평가를 위한 평가지표의 개발 및 적용 (Measurement Criteria for Ontology Extraction Tools)

  • 박진수;조원진;노상규
    • 지능정보연구
    • /
    • 제14권4호
    • /
    • pp.69-87
    • /
    • 2008
  • 이제 인터넷은 시맨틱 웹(Semantic Web)의 형태로 진화 발전하고 있다. 그 결과 시맨틱 웹의 지식을 표현하는 백본 인 온톨로지가 매우 중요하게 인식되고 있다. 그러나 온톨로지를 구축하는 것은 많은 시간과 자원을 필요로 하는 작업이다. 이로 인해 온톨로지 추출도구(ontology extraction tool)에 대한 개발의 필요성이 지난 십여 년간 제기되어 왔으며, 온톨로지를 자동으로 추출하거나 온톨로지 구축을 돕는 도구들이 개발되었다. 그러나 여러 온톨로지 자동추출도구들 중에 구축하고자 하는 온톨로지의 사용자 요구사항에 적합한 자동추출도구를 선택하기 위해서는 이런 도구들에 대한 평가지표가 필요하다. 하지만, 현재 이런 도구들을 평가하기 위한 포괄적인 평가 프레임워크(comprehensive evaluation framework)가 존재하지 않는다. 본 연구에서는, 문헌연구를 수행하여 온톨로지 자동추출도구가 갖춰야 할 핵심 요소들을 찾고, 온톨로지 추출도구들을 평가하기 위한 일련의 평가지표들을 개발했다. 또한 본 연구에서 제안하는 평가지표에 따라 온톨로지 자동추출도구인 OntoLT, Text-To-Onto, TERMINAE, OntoBuilder를 평가해 보았다.

  • PDF

PKG-VUL: Security Vulnerability Evaluation and Patch Framework for Package-Based Systems

  • Lee, Jong-Hyouk;Sohn, Seon-Gyoung;Chang, Beom-Hwan;Chung, Tai-Myoung
    • ETRI Journal
    • /
    • 제31권5호
    • /
    • pp.554-564
    • /
    • 2009
  • In information security and network management, attacks based on vulnerabilities have grown in importance. Malicious attackers break into hosts using a variety of techniques. The most common method is to exploit known vulnerabilities. Although patches have long been available for vulnerabilities, system administrators have generally been reluctant to patch their hosts immediately because they perceive the patches to be annoying and complex. To solve these problems, we propose a security vulnerability evaluation and patch framework called PKG-VUL, which evaluates the software installed on hosts to decide whether the hosts are vulnerable and then applies patches to vulnerable hosts. All these operations are accomplished by the widely used simple network management protocol (SNMP). Therefore, system administrators can easily manage their vulnerable hosts through PKG-VUL included in the SNMP-based network management systems as a module. The evaluation results demonstrate the applicability of PKG-VUL and its performance in terms of devised criteria.

정보시스템의 사용자 만족도 평가에 관한 연구 (A Research for End-User Satisfaction Evaluation on Information Systems)

  • 박민생;신미향
    • 한국컴퓨터정보학회논문지
    • /
    • 제5권4호
    • /
    • pp.154-160
    • /
    • 2000
  • 최근 정보기술의 급격한 발달과 함께 정보시스템의 개념과 역할에도 많은 변화가 나타나고 있다. 더불어 정보시스템의 효과적인 관리와 운영을 위해서는 보다 체계적인 MIS 평가가 요청되고 있는 실정이다. 이전부터 MIS 평가에 관한 많은 연구들이 이루어져 왔으나, 관점의 다양성과 MIS의 도입성과의 포괄성으로 인해 MIS 평가를 위한 사용자 만족도가 개별 시스템에서 산출되는 결과물에 대한 평가로 국한되어왔다. 이에 본 연구에서는 기존의 MIS 평가에 관한 연구들을 기초로 변화된 MIS를 종합적으로 평가할 수 있는 개념적인 프레임워크를 제시하였다. 즉 MIS도입으로 인한 결과물에 대한 사용자 만족도 및 조직 전체의 변화에 대한 만족도 등 기존의 MIS 평가에서 제시된 다양한 관점과 평가방법을 종합하여 새로운 평가 프레임워크를 제시하였다.

  • PDF

웹 컨텐츠 및 디자인 중심의 감리모형 연구 (A Study on the Audit Framework for Web Contents and Design)

  • 김동수;백혜진;강재화;김희완
    • 한국IT서비스학회지
    • /
    • 제8권4호
    • /
    • pp.87-101
    • /
    • 2009
  • The current information system audit merely inspects a web based information system by focusing on checking items that are extracted from structured and information engineering model and object-oriented component model. As a result, the checking item of web contents and design is inadequate. This paper aims to extract audit framework in order to strengthen the audit of web contents and design during the development of the web based information system and to suggest checking items based on audit framework. For this, the web development process and web site evaluation model were studied, compared, and analyzed with the current information system development audit. From a result of the survey, it was found that the adequacy of the suggested audit framework and audit checking items is above the average value. It is believed that the suggested audit framework is helpful for the audit of web based information system.

A Comparative Analysis of Performance Assessment Tools for Establishing Evaluation Framework for Sustainable Buildings

  • Kang, Hae Jin;Rhee, Eon Ku
    • Architectural research
    • /
    • 제16권4호
    • /
    • pp.131-137
    • /
    • 2014
  • Recently, the development of sustainable building assessment tools as means to invigorate the dissemination of sustainable buildings has been actively progressed. However, many assessment tools involve various problems in terms of assessment method and system framework, which greatly impede their credibility and applicability. If these problems persist over time, the role of sustainable building assessment tools as decision making measures during the design stage will be greatly limited. The objective of the study is to suggest a systematic model for sus- tainable building assessment tools by establishing a logical system of performance assessment framework. For this purpose, the Environmen- tal Impact Assessment(EIA) framework used in selected and modified to fit the building performance assessment. The analysis of performance assessment tools for sustainable buildings was conducted using the EIA framework. Based on the results of the analysis, a framework for the performance assessment of sustainable buildings was established.

Development of a Comprehensive Usability Testing and Analysis Framework for the Physical Interface Between Product and User

  • Lee, Won-Sup;Jung, Ki-Hyo;Lee, Hyun-Ju;Song, Hwag-Yu;Oh, Jang-Keun;You, Hee-Cheon
    • 대한인간공학회지
    • /
    • 제30권2호
    • /
    • pp.331-338
    • /
    • 2011
  • Objective: The present study developed a comprehensive usability testing and analysis framework based on a physical interface model of product and user and applied the proposed framework to usability testing of canister-type vacuum cleaner. Background: The development of a user-centered product design is important to satisfy customers who want to use the product with ease of use and to keep the manufacturer competitive in the market. Method: The proposed testing and analysis framework consists of (1) characterization of physical product-user interface, (2) preparation and administration of usability testing questionnaire, and (3) analysis and interpretation of usability testing results. A usability evaluation of five vacuum cleaners was planned and administered based on the proposed framework and its analysis produced detailed and overall usability testing results for various aspects such as tasks, usability criteria, and design components. Results: The testing results were further utilized to identify usability problems and preferred design features of the vacuum cleaners. Conclusion: The proposed usability testing and analysis framework was found effective to identify preferred features and problems of a product design in a systematic, holistic manner. Application: The proposed framework can be of effective use for practitioners of product design and development to obtain comprehensive, quantitative usability testing information in a systematic manner.

엑셀 인터페이스 관점에서의 최적설계 프레임웍의 벤치마크 (Benchmarking of Design Optimization Frameworks In View of Excel Interface)

  • 염근철;이세정
    • 대한기계학회논문집A
    • /
    • 제29권3호
    • /
    • pp.403-410
    • /
    • 2005
  • This study presents the benchmark results of several design frameworks for the purpose of developing an efficient design framework in view of Excel interface. For the benchmark, three optimum design problems are chosen and solved by using the design frameworks. In order to compare the frameworks with each other, the evaluation criteria are specified and modified to fit the problems with Excel interface. Three example cases are solved and compared. The evaluation report is summarized in terms of efficiency, ease of use, internal structure, API, etc. However, the optimization result itself is not focused because the specific optimization algorithm is not our concern. Finally, some suggestions of how to develop an efficient design framework with Excel interface are presented.