• Title/Summary/Keyword: automated computer scoring system

Search Result 9, Processing Time 0.021 seconds

Assessment as a learning tool and utilization of artificial intelligence: WA3I project case (학습 도구로서의 서술형 평가 그리고 인공지능의 활용: WA3I 프로젝트 사례)

  • 하민수;이경건;신세인 ;이준기;최성철;주재걸;김남형;이현주;이종호;이주림;조용장 ;강경필;박지선
    • School Science Journal
    • /
    • v.13 no.3
    • /
    • pp.271-282
    • /
    • 2019
  • This study developed WA3I, which is automated computer scoring system in open-ended assessment using artificial intelligent and discuss how to utilize WA3I as a learning-support tool. To do this, previous research dealing with automated computer scoring system has been reviewed and explained the development process of WA3I in Korea. We developed thirty on open-ended questions and collected the students' responses. Among the 31 questions, nineteen questions showing the high agreement between computer and human scoring were selected and scoring model was developed. In additions to selected nineteen questions, eleven questions were added as the prototype of web-based WA3I ver.1. We discuss how it can be improved in order to facilitate the effective teaching and learning. This paper is expected to give an implication to the science teachers' assessment plan and practice.

Computerized Image Analysis of Micronucleated Reticulocytes in Mouse Bone Marrow (컴퓨터 이미지 분석법을 이용한 마우스 골수세포에서 소핵의 계수)

  • 권정;홍미영;고우석;정문구;이미가엘
    • Toxicological Research
    • /
    • v.18 no.4
    • /
    • pp.369-374
    • /
    • 2002
  • The present study was performed to validate an automated image analysis system (Loats Automated Micronucleus Scoring System) for the mouse bone marrow micronucleus assay, comparing with conventional microscopic scoring. Two studies were conducted to provide slides for a comparison of micro-nucleated polychromatic erythrocytes (MNPCEs) values collected manually to those collected by the auto-mated system. Test article A was used as an example of a compound negative for the induction of micronuclei and test article B was wed as a micronucleus-inducing agent to elicit a positive response. Cyclophosphamide was included to provide an positive control in two studies. Bone marrow samples were collected 24 h after administration of test article A and B in male ICR mice. The cells were fixed with absolute methanol and stained with May-Grunwald and Giemsa. The number of MNPCEs was determined by the analysis of 1000 total PCEs per bone marrow sample. In addition to micronucleus scoring, an index of bone marrow toxicity based on PCE ratio (% of PCEs to total erythrocytes) was determined for each sample. The automated and manual scoring was similar when the MNPCEs incidence induced by each test article was less than 10. However manual scoring was able to effectively enumerate micronucleated PCEs in mouse bone marrow when MNPCEs incidence was more than 10, such as cyclophosphamide treatment. Conversely, PCE ratio was superior in computer-assisted image analysis. Taken together, it is suggested that improvement of the automated image analysis may be necessary to render the automatic scoring as sensitive as manual scoring for routine counting of micronuclei, especially because it is superior in objectivity and high throughput scoring.

A comparison of grammatical error detection techniques for an automated english scoring system

  • Lee, Songwook;Lee, Kong Joo
    • Journal of Advanced Marine Engineering and Technology
    • /
    • v.37 no.7
    • /
    • pp.760-770
    • /
    • 2013
  • Detecting grammatical errors from a text is a long-history application. In this paper, we compare the performance of two grammatical error detection techniques, which are implemented as a sub-module of an automated English scoring system. One is to use a full syntactic parser, which has not only grammatical rules but also extra-grammatical rules in order to detect syntactic errors while paring. The other one is to use a finite state machine which can identify an error covering a small range of an input. In order to compare the two approaches, grammatical errors are divided into three parts; the first one is grammatical error that can be handled by both approaches, and the second one is errors that can be handled by only a full parser, and the last one is errors that can be done only in a finite state machine. By doing this, we can figure out the strength and the weakness of each approach. The evaluation results show that a full parsing approach can detect more errors than a finite state machine can, while the accuracy of the former is lower than that of the latter. We can conclude that a full parser is suitable for detecting grammatical errors with a long distance dependency, whereas a finite state machine works well on sentences with multiple grammatical errors.

Assessment of ASPECTS from CT Scans using Deep Learning

  • Khanh, Trinh Le Ba;Baek, Byung Hyun;Kim, Seul Kee;Do, Luu-Ngoc;Yoon, Woong;Park, Ilwoo;Yang, Hyung-Jeong
    • Journal of Korea Multimedia Society
    • /
    • v.22 no.5
    • /
    • pp.573-579
    • /
    • 2019
  • Alberta Stroke Program Early Computed Tomographic Scoring (ASPECTS) is a 10-point CT-scan score designed to quantify early ischemic changes in patients with acute ischemic stroke. However, an assessment of ASPECTS remains a challenge for neuroradiologists in stroke centers. The purpose of this study is to develop an automated ASPECTS scoring system that provides decision-making support by utilizing binary classification with three-dimensional convolutional neural network to analyze CT images. The proposed method consists of three main steps: slice filtering, contrast enhancement and image classification. The experiments show that the obtained results are very promising.

Computer-Aided Design of Involute Cylindrical Gears for Power Transmission (컴퓨터를 이용한 동력전달용 인벌류우트 원통치차의 설계)

  • 정태형;김민수
    • Transactions of the Korean Society of Mechanical Engineers
    • /
    • v.14 no.3
    • /
    • pp.594-602
    • /
    • 1990
  • A computer-aided design system of involute cylindrical gears(spur and helical gears) for power transmission is developed, in which the volume of a gear unit is minimized with satisfying various design constraints. As the design constraints, bending strength and pitting resistance of AGMA 218.01, scoring of Dudley's flash temperature, contact ratio, and involute interference of pinion are considered and effective factors for strength calculation(life, reliability, hardness ratio, load distribution, velocity, etc.) are also included. This complicated nonlinear optimization problem is solved by using ALM(Augmented-Lagrange-Multiplier) method with self scaling BFGS(Broydon-Fletcher-Goldfarb-Shanno) method employed for unconstrained optimization programming. This design method can be easily applied to designing power transmission gear unit in the machines of various kinds. It is expected for the proposed method to be a contribution for an automated design of gear unit towards weight minimization, miniaturization and high strength of gear unit.

Design and Implementation of Automatic Scoring Software to improve the Efficiency of Driving License Test (운전면허시험 효율성 향상을 위한 자동채점 소프트웨어 설계 및 구현에 관한 연구)

  • Kim, Cheol Woo;Yang, Jaesoo;Na, Wonshik
    • The Journal of The Korea Institute of Intelligent Transport Systems
    • /
    • v.16 no.2
    • /
    • pp.180-189
    • /
    • 2017
  • Some people who take a driver's license test retake it again because of license cancellation, but most of them take the test for the first time to drive the car. Driving a car is directly linked to life, and the initial correct driving habits are more important than anything else. In particular, it is very important to obtain a license by evaluating the correct driving ability based on objective and fair standards when learning the first driving, because many people acquire a driving license while entering the society for the first time. In this paper, we propose the S / W design and its main functions that can emit high quality drivers through efficient, fair and accurate automated scoring. Through this, it is proposed to improve the automatic grading driver's license system, to prevent traffic accidents, and to reduce traffic accidents through proper driving.

Korean Automated Scoring System for Supply-Type Items using Semi-Supervised Learning (준지도학습 방법을 이용한 한국어 서답형 문항 자동채점 시스템)

  • Cheon, Min-Ah;Seo, Hyeong-Won;Kim, Jae-Hoon;Noh, Eun-Hee;Sung, Kyung-Hee;Lim, EunYoung
    • Annual Conference on Human and Language Technology
    • /
    • 2014.10a
    • /
    • pp.112-116
    • /
    • 2014
  • 서답형 문항은 학생들의 종합적인 사고능력을 판단하는데 매우 유용하지만 채점할 때, 시간과 비용이 매우 많이 소요되고 채점자의 공정성을 확보해야 하는 어려움이 있다. 이러한 문제를 개선하기 위해 본 논문에서는 서답형 문항에 대한 자동채점 시스템을 제안한다. 본 논문에서 제안하는 시스템은 크게 언어 처리 단계와 채점 단계로 나뉜다. 첫 번째로 언어 처리 단계에서는 형태소 분석과 같은 한국어 정보처리 시스템을 이용하여 학생들의 답안을 분석한다. 두 번째로 채점 단계를 진행하는데 이 단계는 아래와 같은 순서로 진행된다. 1) 첫 번째 단계에서 분석 결과가 완전히 일치하는 답안들을 하나의 유형으로 간주하여 각 유형에 속한 답안의 빈도수가 높은 순서대로 정렬하여 인간 채점자가 고빈도 학생 답안을 수동으로 채점한다. 2) 현재까지 채점된 결과와 모범답안을 학습말뭉치로 간주하여 자질 추출 및 자질 가중치 학습을 수행한다. 3) 2)의 학습 결과를 토대로 미채점 답안들을 군집화하여 분류한다. 4) 분류된 결과 중에서 신뢰성이 높은 채점 답안에 대해서 인간 채점자가 확인하고 학습말뭉치에 추가한다. 5) 이와 같은 방법으로 미채점 답안이 존재하지 않을 때까지 반복한다. 제안된 시스템을 평가하기 위해서 2013년 학업성취도 평가의 사회(중3) 및 국어(고2) 과목의 서답형 문항을 사용하였다. 각 과목에서 1000개의 학생 답안을 추출하여 채점시간과 정확률을 평가하였다. 채점시간을 전체적으로 약 80% 이상 줄일 수 있었고 채점 정확률은 사회 및 국어 과목에 대해 각각 98.7%와 97.2%로 나타났다. 앞으로 자동 채점 시스템의 성능을 개선하고 인간 채점자의 집중도를 높일 수 있도록 인터페이스를 개선한다면 국가수준의 대단위 평가에 충분히 활용할 수 있을 것으로 생각한다.

  • PDF

Performance Comparison of Automated Scoring System for Korean Short-Answer Questions (한국어 서답형 문항 자동채점 시스템의 성능 개선)

  • Cheon, Min-Ah;Kim, Chang-Hyun;Kim, Jae-Hoon;Noh, Eun-Hee;Sung, Kyung-Hee;Song, Mi-Young;Park, Jong-Im;Kim, Yuhyang
    • 한국어정보학회:학술대회논문집
    • /
    • 2016.10a
    • /
    • pp.181-185
    • /
    • 2016
  • 최근 교육과정에서 학생들의 능력 평가는 단순 암기보다 학생들의 종합적인 사고력을 판단할 수 있는 서답형 문항을 늘리는 방향으로 변하고 있다. 그러나 서답형 문항의 경우 채점하는 데 시간과 비용이 많이 들고, 채점자의 주관에 따라 채점 결과의 일관성과 신뢰성을 보장하기 어렵다는 문제가 있다. 이런 점을 해결하기 위해 해외의 사례를 참고하여 국내에서도 서답형 문항에 자동채점 시스템을 적용하는 연구를 진행하고 있다. 본 논문에서는 2014년도에 개발된 '한국어 문장 수준 서답형 문항 자동채점 시스템'의 성능분석을 바탕으로 언어 처리 기능과 자동채점 성능을 개선한 2015년도 자동채점 시스템을 간략하게 소개하고, 각 자동채점 시스템의 성능을 비교 분석한다. 성능 분석 대상으로는 2014년도 국가수준 학업성취도평가의 서답형 문항을 사용했다. 실험 결과, 개선한 시스템의 평균 완전 일치도와 평균 정확률이 기존의 시스템보다 각각 9.4%p, 8.9%p 증가했다. 자동채점 시스템의 목적은 가능한 채점 시간을 단축하면서 채점 기준의 일관성과 신뢰성을 확보하는 데 있으므로, 보완한 2015년 자동채점 시스템의 성능이 향상되었다고 판단할 수 있다.

  • PDF

Performance Comparison of Automated Scoring System for Korean Short-Answer Questions (한국어 서답형 문항 자동채점 시스템의 성능 개선)

  • Cheon, Min-Ah;Kim, Chang-Hyun;Kim, Jae-Hoon;Noh, Eun-Hee;Sung, Kyung-Hee;Song, Mi-Young;Park, Jong-Im;Kim, Yuhyang
    • Annual Conference on Human and Language Technology
    • /
    • 2016.10a
    • /
    • pp.181-185
    • /
    • 2016
  • 최근 교육과정에서 학생들의 능력 평가는 단순 암기보다 학생들의 종합적인 사고력을 판단할 수 있는 서답형 문항을 늘리는 방향으로 변하고 있다. 그러나 서답형 문항의 경우 채점하는 데 시간과 비용이 많이 들고, 채점자의 주관에 따라 채점 결과의 일관성과 신뢰성을 보장하기 어렵다는 문제가 있다. 이런 점을 해결하기 위해 해외의 사례를 참고하여 국내에서도 서답형 문항에 자동채점 시스템을 적용하는 연구를 진행하고 있다. 본 논문에서는 2014년도에 개발된 '한국어 문장 수준 서답형 문항 자동채점 시스템'의 성능분석을 바탕으로 언어 처리 기능과 자동채점 성능을 개선한 2015년도 자동채점 시스템을 간략하게 소개하고, 각 자동채점 시스템의 성능을 비교 분석한다. 성능 분석 대상으로는 2014년도 국가수준 학업성취도평가의 서답형 문항을 사용했다. 실험 결과, 개선한 시스템의 평균 완전 일치도와 평균 정확률이 기존의 시스템보다 각각 9.4%p, 8.9%p 증가했다. 자동채점 시스템의 목적은 가능한 채점 시간을 단축하면서 채점 기준의 일관성과 신뢰성을 확보하는 데 있으므로, 보완한 2015년 자동채점 시스템의 성능이 향상되었다고 판단할 수 있다.

  • PDF