• 제목/요약/키워드: automated computer scoring system

검색결과 9건 처리시간 0.021초

학습 도구로서의 서술형 평가 그리고 인공지능의 활용: WA3I 프로젝트 사례 (Assessment as a learning tool and utilization of artificial intelligence: WA3I project case)

  • 하민수;이경건;신세인 ;이준기;최성철;주재걸;김남형;이현주;이종호;이주림;조용장 ;강경필;박지선
    • 현장과학교육
    • /
    • 제13권3호
    • /
    • pp.271-282
    • /
    • 2019
  • 본 연구는 인공지능을 활용한 서술형 평가 문항 자동채점 프로그램 WA3I을 개발하였으며, 이 프로그램이 학습 지원 도구로서 활용되기 위한 방안에 대하여 논하였다. 먼저 컴퓨터를 활용한 서술형 평가 자동채점에 대한 기존 연구들을 정리하고, 본 연구에서 개발한 서술형 평가 자동채점 프로그램 WA3I의 개발 과정을 소개하였다. 본 연구에서는 31개의 서술형 평가 문항을 개발하고 이에 대한 학생의 응답을 수집하였으며, 이 중 컴퓨터와 전문가 채점간의 일치도가 높은 19개의 문항에 대한 자동채점 모델을 개발하였다. 이 자동채점 모델로 채점 가능한 유사 문항 11개를 더 개발하여 총 30개의 문항을 웹상에서 WA3I ver.1 으로 구현하였다. 효과적인 교수·학습을 위해 본 연구에서 개발된 서술형 자동채점 프로그램 WA3I ver.1의 개선 과제 및 추후 연구 방향에 대해 논하였다. 이러한 내용은 현장과학교사들의 평가 계획 및 실행에 영향을 줄 수 있을 것으로 기대된다.

컴퓨터 이미지 분석법을 이용한 마우스 골수세포에서 소핵의 계수 (Computerized Image Analysis of Micronucleated Reticulocytes in Mouse Bone Marrow)

  • 권정;홍미영;고우석;정문구;이미가엘
    • Toxicological Research
    • /
    • 제18권4호
    • /
    • pp.369-374
    • /
    • 2002
  • The present study was performed to validate an automated image analysis system (Loats Automated Micronucleus Scoring System) for the mouse bone marrow micronucleus assay, comparing with conventional microscopic scoring. Two studies were conducted to provide slides for a comparison of micro-nucleated polychromatic erythrocytes (MNPCEs) values collected manually to those collected by the auto-mated system. Test article A was used as an example of a compound negative for the induction of micronuclei and test article B was wed as a micronucleus-inducing agent to elicit a positive response. Cyclophosphamide was included to provide an positive control in two studies. Bone marrow samples were collected 24 h after administration of test article A and B in male ICR mice. The cells were fixed with absolute methanol and stained with May-Grunwald and Giemsa. The number of MNPCEs was determined by the analysis of 1000 total PCEs per bone marrow sample. In addition to micronucleus scoring, an index of bone marrow toxicity based on PCE ratio (% of PCEs to total erythrocytes) was determined for each sample. The automated and manual scoring was similar when the MNPCEs incidence induced by each test article was less than 10. However manual scoring was able to effectively enumerate micronucleated PCEs in mouse bone marrow when MNPCEs incidence was more than 10, such as cyclophosphamide treatment. Conversely, PCE ratio was superior in computer-assisted image analysis. Taken together, it is suggested that improvement of the automated image analysis may be necessary to render the automatic scoring as sensitive as manual scoring for routine counting of micronuclei, especially because it is superior in objectivity and high throughput scoring.

A comparison of grammatical error detection techniques for an automated english scoring system

  • Lee, Songwook;Lee, Kong Joo
    • Journal of Advanced Marine Engineering and Technology
    • /
    • 제37권7호
    • /
    • pp.760-770
    • /
    • 2013
  • Detecting grammatical errors from a text is a long-history application. In this paper, we compare the performance of two grammatical error detection techniques, which are implemented as a sub-module of an automated English scoring system. One is to use a full syntactic parser, which has not only grammatical rules but also extra-grammatical rules in order to detect syntactic errors while paring. The other one is to use a finite state machine which can identify an error covering a small range of an input. In order to compare the two approaches, grammatical errors are divided into three parts; the first one is grammatical error that can be handled by both approaches, and the second one is errors that can be handled by only a full parser, and the last one is errors that can be done only in a finite state machine. By doing this, we can figure out the strength and the weakness of each approach. The evaluation results show that a full parsing approach can detect more errors than a finite state machine can, while the accuracy of the former is lower than that of the latter. We can conclude that a full parser is suitable for detecting grammatical errors with a long distance dependency, whereas a finite state machine works well on sentences with multiple grammatical errors.

Assessment of ASPECTS from CT Scans using Deep Learning

  • Khanh, Trinh Le Ba;Baek, Byung Hyun;Kim, Seul Kee;Do, Luu-Ngoc;Yoon, Woong;Park, Ilwoo;Yang, Hyung-Jeong
    • 한국멀티미디어학회논문지
    • /
    • 제22권5호
    • /
    • pp.573-579
    • /
    • 2019
  • Alberta Stroke Program Early Computed Tomographic Scoring (ASPECTS) is a 10-point CT-scan score designed to quantify early ischemic changes in patients with acute ischemic stroke. However, an assessment of ASPECTS remains a challenge for neuroradiologists in stroke centers. The purpose of this study is to develop an automated ASPECTS scoring system that provides decision-making support by utilizing binary classification with three-dimensional convolutional neural network to analyze CT images. The proposed method consists of three main steps: slice filtering, contrast enhancement and image classification. The experiments show that the obtained results are very promising.

컴퓨터를 이용한 동력전달용 인벌류우트 원통치차의 설계 (Computer-Aided Design of Involute Cylindrical Gears for Power Transmission)

  • 정태형;김민수
    • 대한기계학회논문집
    • /
    • 제14권3호
    • /
    • pp.594-602
    • /
    • 1990
  • 본 연구에서는 동력전달용 인벌류우트 원통치차(스퍼어 및 헬리컬 기어)의 강 도 및 각종 영향인자를 충분히 고려하면서 크기를 최소로 하는 치차장치의 설계법을 개발하고, 이 설계법을 기본으로 하여 퍼스널 컴퓨터 상에서 누구나 손쉽게 설계에 이 용할 수 있는 설계 시스템을 개발하여 그 평가를 수행한다.

운전면허시험 효율성 향상을 위한 자동채점 소프트웨어 설계 및 구현에 관한 연구 (Design and Implementation of Automatic Scoring Software to improve the Efficiency of Driving License Test)

  • 김철우;양재수;나원식
    • 한국ITS학회 논문지
    • /
    • 제16권2호
    • /
    • pp.180-189
    • /
    • 2017
  • 운전면허시험을 응시하는 사람들은 면허취소 등으로 재시험을 보는 사람들도 있지만, 대부분 자동차를 운전하기 위해 최초로 운전을 배워 시험을 응시하는 사람들이 대부분이다. 자동차 운전은 생명과 직결되는 것으로 초기의 정확한 운전습관이 무엇보다 중요하다. 특히 사회에 첫 진출을 하면서 운전면허를 취득하는 사람들이 많기 때문에 처음 운전을 배울 때 객관적이고 공정한 기준에 의해 올바른 운전능력을 평가받아 면허를 취득하는 것이 매우 중요하다. 본 논문을 통해 구현하고자하는 시스템은 효율적이면서도 공정하고 정확한 자동화 채점을 통해 양질의 운전자를 배출할 수 있는 S/W 설계 및 주요 기능들에 대해 고찰, 제안하였다. 이를 통해 자동채점 운전면허 시스템 개선을 제안하여, 교통사고를 예방하고 올바른 운전을 통해 교통사고를 줄이는데 목적이 있다.

준지도학습 방법을 이용한 한국어 서답형 문항 자동채점 시스템 (Korean Automated Scoring System for Supply-Type Items using Semi-Supervised Learning)

  • 천민아;서형원;김재훈;노은희;성경희;임은영
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2014년도 제26회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.112-116
    • /
    • 2014
  • 서답형 문항은 학생들의 종합적인 사고능력을 판단하는데 매우 유용하지만 채점할 때, 시간과 비용이 매우 많이 소요되고 채점자의 공정성을 확보해야 하는 어려움이 있다. 이러한 문제를 개선하기 위해 본 논문에서는 서답형 문항에 대한 자동채점 시스템을 제안한다. 본 논문에서 제안하는 시스템은 크게 언어 처리 단계와 채점 단계로 나뉜다. 첫 번째로 언어 처리 단계에서는 형태소 분석과 같은 한국어 정보처리 시스템을 이용하여 학생들의 답안을 분석한다. 두 번째로 채점 단계를 진행하는데 이 단계는 아래와 같은 순서로 진행된다. 1) 첫 번째 단계에서 분석 결과가 완전히 일치하는 답안들을 하나의 유형으로 간주하여 각 유형에 속한 답안의 빈도수가 높은 순서대로 정렬하여 인간 채점자가 고빈도 학생 답안을 수동으로 채점한다. 2) 현재까지 채점된 결과와 모범답안을 학습말뭉치로 간주하여 자질 추출 및 자질 가중치 학습을 수행한다. 3) 2)의 학습 결과를 토대로 미채점 답안들을 군집화하여 분류한다. 4) 분류된 결과 중에서 신뢰성이 높은 채점 답안에 대해서 인간 채점자가 확인하고 학습말뭉치에 추가한다. 5) 이와 같은 방법으로 미채점 답안이 존재하지 않을 때까지 반복한다. 제안된 시스템을 평가하기 위해서 2013년 학업성취도 평가의 사회(중3) 및 국어(고2) 과목의 서답형 문항을 사용하였다. 각 과목에서 1000개의 학생 답안을 추출하여 채점시간과 정확률을 평가하였다. 채점시간을 전체적으로 약 80% 이상 줄일 수 있었고 채점 정확률은 사회 및 국어 과목에 대해 각각 98.7%와 97.2%로 나타났다. 앞으로 자동 채점 시스템의 성능을 개선하고 인간 채점자의 집중도를 높일 수 있도록 인터페이스를 개선한다면 국가수준의 대단위 평가에 충분히 활용할 수 있을 것으로 생각한다.

  • PDF

한국어 서답형 문항 자동채점 시스템의 성능 개선 (Performance Comparison of Automated Scoring System for Korean Short-Answer Questions)

  • 천민아;김창현;김재훈;노은희;성경희;송미영;박종임;김유향
    • 한국어정보학회:학술대회논문집
    • /
    • 한국어정보학회 2016년도 제28회 한글및한국어정보처리학술대회
    • /
    • pp.181-185
    • /
    • 2016
  • 최근 교육과정에서 학생들의 능력 평가는 단순 암기보다 학생들의 종합적인 사고력을 판단할 수 있는 서답형 문항을 늘리는 방향으로 변하고 있다. 그러나 서답형 문항의 경우 채점하는 데 시간과 비용이 많이 들고, 채점자의 주관에 따라 채점 결과의 일관성과 신뢰성을 보장하기 어렵다는 문제가 있다. 이런 점을 해결하기 위해 해외의 사례를 참고하여 국내에서도 서답형 문항에 자동채점 시스템을 적용하는 연구를 진행하고 있다. 본 논문에서는 2014년도에 개발된 '한국어 문장 수준 서답형 문항 자동채점 시스템'의 성능분석을 바탕으로 언어 처리 기능과 자동채점 성능을 개선한 2015년도 자동채점 시스템을 간략하게 소개하고, 각 자동채점 시스템의 성능을 비교 분석한다. 성능 분석 대상으로는 2014년도 국가수준 학업성취도평가의 서답형 문항을 사용했다. 실험 결과, 개선한 시스템의 평균 완전 일치도와 평균 정확률이 기존의 시스템보다 각각 9.4%p, 8.9%p 증가했다. 자동채점 시스템의 목적은 가능한 채점 시간을 단축하면서 채점 기준의 일관성과 신뢰성을 확보하는 데 있으므로, 보완한 2015년 자동채점 시스템의 성능이 향상되었다고 판단할 수 있다.

  • PDF

한국어 서답형 문항 자동채점 시스템의 성능 개선 (Performance Comparison of Automated Scoring System for Korean Short-Answer Questions)

  • 천민아;김창현;김재훈;노은희;성경희;송미영;박종임;김유향
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2016년도 제28회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.181-185
    • /
    • 2016
  • 최근 교육과정에서 학생들의 능력 평가는 단순 암기보다 학생들의 종합적인 사고력을 판단할 수 있는 서답형 문항을 늘리는 방향으로 변하고 있다. 그러나 서답형 문항의 경우 채점하는 데 시간과 비용이 많이 들고, 채점자의 주관에 따라 채점 결과의 일관성과 신뢰성을 보장하기 어렵다는 문제가 있다. 이런 점을 해결하기 위해 해외의 사례를 참고하여 국내에서도 서답형 문항에 자동채점 시스템을 적용하는 연구를 진행하고 있다. 본 논문에서는 2014년도에 개발된 '한국어 문장 수준 서답형 문항 자동채점 시스템'의 성능분석을 바탕으로 언어 처리 기능과 자동채점 성능을 개선한 2015년도 자동채점 시스템을 간략하게 소개하고, 각 자동채점 시스템의 성능을 비교 분석한다. 성능 분석 대상으로는 2014년도 국가수준 학업성취도평가의 서답형 문항을 사용했다. 실험 결과, 개선한 시스템의 평균 완전 일치도와 평균 정확률이 기존의 시스템보다 각각 9.4%p, 8.9%p 증가했다. 자동채점 시스템의 목적은 가능한 채점 시간을 단축하면서 채점 기준의 일관성과 신뢰성을 확보하는 데 있으므로, 보완한 2015년 자동채점 시스템의 성능이 향상되었다고 판단할 수 있다.

  • PDF