• 한국전문물리치료학회지
• /
• 제19권3호
• /
• pp.91-97
• /
• 2012

The primary aim of this study was to compare responsiveness of self-report by worker and therapist-scored functional capacity instrument. Self-report and therapist-scored interval-level person measures and item difficulties were compared at admission and discharge. Therapist and worker ratings were collected on 230 clients from 27 rehabilitation sites using the newly developed Occupational Rehabilitation Data Base (ORDB) functional capacity instrument. ORDB comprises several subscales measuring relevant variables of "a return-to-work model" in work-related rehabilitation clinics. The functional capacity scale deals with 10 DOT job factors. The rating scale categories were 1-severely impaired, 2-moderately impaired, 3-mildly impaired, and 4-not impaired. Only data from clients with low back pain (n=98) with complete data (both admission and discharge scores) were used for the present study. Therapists and workers completed the functional capacity instrument at admission and discharge. Rasch analysis [1-parameter item response theory model (IRT)] was applied to calibrate item difficulty and person ability measure of therapist and workers ratings. Effect sizes for therapist and self-report ratings were slightly different, .69 and .30, respectively. Therapist and worker ratings were more consistent at discharge (r=.54) than at admission (r=.32). Workers have a tendency to be more severe in their ratings (show higher item difficulties) than therapists at admission and discharge. Therapists and workers report similar magnitudes of improvement following treatment program. These findings challenge the belief that injured workers may unreliable source for monitoring therapeutic outcomes. Self-report measures have the advantage of conserving therapist time for treatment (versus evaluation). While the therapist and self-report ratings are comparable at discharge, there is less consistency at admission. Comparable therapist-worker ratings may be achieved by controlling for rating severity using IRT methodologies.

• 한국지구과학회지
• /
• 제24권3호
• /
• pp.150-159
• /
• 2003

본 연구에서는 지구과학 지식과 창의력을 동시에 적용해야 해결할 수 있는 지구과학 창의력을 평가할 수 있는 문항의 개발 방법을 제시하고자 하였다. R&D과정을 거친 본 연구의 결과는 첫째, 조작적 정의를 통해 창의력과 과학창의력간의 인지능력 차이를 명료화하였고 둘째, 과학창의력을 구성하는 하위 요소들 중에서 문항 개발이 가능하다고 판단된 유창성, 융통성, 정교성, 독창성을 선정하여 각각에 대한 조작적 정의를 내린 후 각 요소들에 대한 평가와 채점의 준거를 제시하였다. 셋째, 평가도구의 구비 조건인 타당도, 신뢰도, 변별도, 난이도를 검증하기 위하여 3번의 현장검증을 실시하였으며, 본 연구에서 개발한 지구과학창의력 평가도구는 각 하위 요소별로 2문항씩 총 8문항으로 구성되어 있다. 넷째, 문항합치도 지수 평균은 .99, 문항 내적 합치도 지수인 Cronbach ${\alpha}$값은 .79, 각 문항별 평가자간 신뢰도는 0.78,각 하위 요소별 평가자간 신뢰도는 0.75, 변별도 지수인 점이연상관 지수는 .19, 문항 난이도 지수는 .00이었다. 이와 같이 평가도구의 구비조건들이 허용 범위 내에 있는 것으로 볼 때 본 연구에서 개발한 지구과학 창의력 평가도구는 유용한 것으로 판단할 수 있다.

• 여성건강간호학회지
• /
• 제27권2호
• /
• pp.69-74
• /
• 2021

측정도구의 구조타당도는 내용타당도 이후 가장 먼저 수행되어야 할 측정 속성이다. 이를 위해 국내 간호학에서는 주로 CFA를 사용하는데, CFA로 얻을 수 없는 정보들을 제시하는 IRT/라쉬 분석도 같이 적용해 볼 것을 추천한다. 구조타당도 이외에 내적일관성 및 교차문화타당도/측정동일성 또한 측정도구의 내적구조를 확인하기 위한 것이다. 국내 간호학 측정도구 연구에서 교차문화타당도/측정동일성에 대한 검증은 거의 찾아볼 수 없는 상황이다. 따라서 앞으로는 이에 대한 평가도 시행되기를 바란다.

• Asia pacific journal of information systems
• /
• 제30권2호
• /
• pp.439-456
• /
• 2020

In online shopping, "out-of-stock" and "sold-out" are used to indicate product unavailability, and this unavailability and its effects on consumers' behaviors have been studied with great interest for practical purposes. However, few studies have specifically discussed out-of-stock and sold-out products in the same paper. We hypothesized that consumers might cognitively interpret items marked out-of-stock and sold-out differently, and in this paper, we studied these potential differences from the perspectives of consumers' emotions, behaviors, and loyalty based on the stimulus-organism-response framework. In order to explore the differences, we used a multi-method approach that consisted of experiments, surveys, and interviews. Specifically, we built an experimental website on which the same products were categorized as either out-of-stock or sold-out, and we measured the participants' emotions, attitudes, and intentions after the experiment. After two weeks, we conducted interviews to confirm our results and to learn more about consumers' everyday behavior. In the results, males and females demonstrated differences in emotion, behaviors, and loyalty with the interaction effects of an item's being marked out-of-stock versus sold-out. We found that the consumers demonstrated different levels of loyalty based on whether the item was marked out-of-stock or sold-out. We discuss the strategic implications of our findings.

• 한국정보과학회논문지:컴퓨팅의 실제 및 레터
• /
• 제9권4호
• /
• pp.431-438
• /
• 2003

본 연구에서는 문항반응이론식 CAT 기법을 이용하여, 학습부진아를 진단하고 평가 결과를 즉시 확인할 수 있는 학습부진아 진단을 위한 웹기반 적응형 평가시스템을 구현하였다. 적응형 평가시스템은 단순히 피험자에게 검사 문항을 제시하는 것이 아니라, 각 문항의 정보를 계산하여 피험자에게 검사 문항을 제시하고 피험자의 응답을 다음 문항 추출의 입력 조건으로 처리하여 피험자 개개인에게 가장 적합한 문항을 다시 추출하여 피험자에게 제시하는 시스템이다. 이 시스템은 문항의 특성에 관련된 각종 정보들을 문항과 함께 체계적으로 저장하고 관리할 수 있는 평가시스템이다. 그리고 피험자의 반응에 따라 수준을 고려한 문항이 추출되어 피험자의 수준 및 상황에 반응하여 평가의 길이, 난이도가 조절되는 평가시스템이다.

• 한국콘텐츠학회:학술대회논문집
• /
• 한국콘텐츠학회 2009년도 춘계 종합학술대회 논문집
• /
• pp.1055-1060
• /
• 2009

본 논문에서는 인터넷을 통한 운전면허 학과시험 학습시스템을 설계한다. 문항반응이론에 의거하여 학습자 능력모수를 정확히 측정하고, 측정된 학습자의 능력에 따라 최적의 평가문제와 학습콘텐츠를 동적으로 제공함으로써, 짧은 시간에 효과적으로 합격에 도달할 수 있도록 하는 개인 맞춤형 이러닝 시스템을 제안한다. 본 학습시스템은 콘텐츠 데이터베이스에 저장된 개념 단위 오브젝트 형태의 운전면허 학과시험용 학습콘텐츠들과 문제은행 데이터베이스에 저장된 운전면허 학과시험용 평가문제들을 연계하여, 학습자의 문항반응에 따라 최적의 문항과 콘텐츠를 제공할 수 있도록 설계된다. 각 문항들은 난이도, 변별도, 추측도의 문항모수를 보유한다. 또한 사용자 프로파일 데이터베이스에는 학습자들의 상태정보, 운전면허 학과시험용 평가문제들에 대한 피험자들의 문항반응을 유지 관리하고, 피험자들의 문항반응을 기초로 학습자 능력모수를 저장한다. 이들 데이터베이스는 인터페이스 에이전트, 콘텐츠 문항선택 & 피드백 에이전트 및 오프라인 추정기로 구성된 동작구조에 의하여 온라인 혹은 오프라인 형태의 동적 맞춤형 학습방식을 제공하여 최적의 학습과정을 제공한다.

• 대한한의학회지
• /
• 제43권2호
• /
• pp.27-41
• /
• 2022

Objectives: There should be an objective analysis on the academic competency for incorporating Computer-based Test (CBT) in the education of traditional Korean medicine (TKM). However, the Item Response Theory (IRT) for analyzing latent competency has not been introduced for its difficulty in calculation, interpretation and utilization. Methods: The current study analyzed responses of 390 students of 8 years to the herbology test with 14 items by utilizing Rasch model, and the characteristics of test and items were evaluated by using characteristic curve, information curve, difficulty, academic competency, and test score. The academic competency of the students across gender and years were presented with scale characteristic curve, Kernel density map, and Wright map, and examined based on T-test and ANOVA. Results: The estimated item, test, and ability parameters based on Rasch model provided reliable information on academic competency, and organized insights on students, test and items not available with test score calculated by the summation of item scores. The test showed acceptable validity for analyzing academic competency, but some of items revealed difficulty parameters to be modified with Wright map. The gender difference was not distinctive, however the differences between test years were obvious with Kernel density map. Conclusion: The current study analyzed the responses in the herbology test for measuring academic competency in the education of TKM using Rasch model, and structured analysis for competency-based Teaching in the e-learning era was suggested. It would provide the foundation for the learning analytics essential for self-directed learning and competency adaptive learning in TKM.

• 응용통계연구
• /
• 제22권2호
• /
• pp.309-315
• /
• 2009

인터넷 쇼핑몰에서 상품에 대한 고객의 인지도는 기존 상품사용고객의 상품평과 평점에 의하여 크게 좌우될 수가 있다. 본 논문에서는 이러한 평점을 매기는 인터넷 쇼핑몰의 현황을 조사하여 문제점을 지적하고 간단한 해결책을 제시하고자 한다.

• 한국컴퓨터교육학회 학술대회
• /
• 한국컴퓨터교육학회 2018년도 동계학술대회
• /
• pp.107-110
• /
• 2018

본 연구에서는 컴퓨팅 사고력 평가도구로써 비버 챌린지 문항을 활용하기 위하여 문항반응이론을 통해 비버 챌린지 문항을 분석하고, 비버 챌린지에서 기존에 제시하는 난이도와 문항반응이론을 통한 난이도 간의 상관관계를 분석하였다. 분석 결과 비버 챌린지는 쉽고 변별력이 높은 검사로 나타났으나, 비버 챌린지에서 제시하는 난이도와 문항반응이론을 통한 난이도 간의 상관관계는 없었다. 난이도에 따라 가점과 감점이 이루어지는 비버 챌린지 채점 기준을 고려할 때 정확한 컴퓨팅 사고력 측정을 위해서는 난이도에 대한 수정 및 보완이 필요하다.

• Safety and Health at Work
• /
• 제9권2호
• /
• pp.140-143
• /
• 2018

Background: The Occupational Safety and Health Monitoring and Assessment Tool (OSH-MAT) is a practical instrument that is currently used in the German woodworking and metalworking industries to monitor safety conditions at workplaces. The 12-item scoring system has three subscales rating technical, organizational, and personnel-related conditions in a company. Each item has a rating value ranging from 1 to 9, with higher values indicating higher standard of safety conditions. Methods: The reliability of this instrument was evaluated in a cross-sectional survey among 128 companies and its validity among 30,514 companies. The inter-rater reliability of the instrument was examined independently and simultaneously by two well-trained safety engineers. Agreement between the double ratings was quantified by the intraclass correlation coefficient and absolute agreement of the rating values. The content validity of the OSH-MAT was evaluated by quantifying the association between OSH-MAT values and 5-year average injury rates by Poisson regression analysis adjusted for the size of the companies and industrial sectors. The construct validity of OSH-MAT was examined by principle component factor analysis. Results: Our analysis indicated good to very good inter-rater reliability (intraclass correlation coefficient = 0.64-0.74) of OSH-MAT values with an absolute agreement of between 72% and 81%. Factor analysis identified three component subscales that met exactly the structure theory of this instrument. The Poisson regression analysis demonstrated a statistically significant exposure-response relationship between OSH-MAT values and the 5-year average injury rates. Conclusion: These analyses indicate that OSH-MAT is a valid and reliable instrument that can be used effectively to monitor safety conditions at workplaces.