• 제목/요약/키워드: Scoring model

검색결과 271건 처리시간 0.031초

투표 기반 서술형 주관식 답안 자동 채점 모델의 설계 및 구현 (Design and Implementation of an Automatic Scoring Model Using a Voting Method for Descriptive Answers)

  • 허정만;박소영
    • 한국컴퓨터정보학회논문지
    • /
    • 제18권8호
    • /
    • pp.17-25
    • /
    • 2013
  • 본 논문에서는 투표기법을 이용하여 서술형 주관식 문제에 대한 학습자 답안을 자동으로 채점하는 모델을 제안한다. 제안하는 방법은 모델 구축 비용을 줄이기 위해서, 문제 유형별로 세분화하여 서술형 주관식 답안 자동 채점 모델을 따로 구축하지 않는다. 제안하는 방법은 서술형 주관식 답안 자동 채점에 유용한 자질을 추출하기 위해서, 모범 답안과 학습자 답안을 비교한 결과를 바탕으로 다양한 자질을 추출한다. 제안하는 방법은 답안 채점 결과의 신뢰성을 높이기 위해서, 각 학습자 답안을 여러 기계학습 기반 분류기를 이용하여 채점하고, 각 채점 결과를 투표하여 만장일치로 선택한 채점 결과를 최종 채점 결과로 결정한다. 실험결과 기계학습 기반 분류기 C4.5만 사용한 채점 결과는 정확률이 83.00%인데 반해, 기계학습 기반 분류기 C4.5, ME, SVM에서 만장일치로 선택한 채점 결과는 정확률이 90.57%까지 개선되었다.

합성곱 신경망 기반 채점 모델 설계 및 적용을 통한 운동학 그래프 답안 자동 채점 (The Automated Scoring of Kinematics Graph Answers through the Design and Application of a Convolutional Neural Network-Based Scoring Model)

  • 한재상;김현주
    • 한국과학교육학회지
    • /
    • 제43권3호
    • /
    • pp.237-251
    • /
    • 2023
  • 본 연구는 합성곱 신경망을 활용한 자동 채점 모델을 설계하고 학생의 운동학 그래프 답안에 적용함으로써, 과학 그래프 답안에 대한 자동 채점의 가능성을 탐색하였다. 연구자가 작성한 2,200개의 답안을 2,000개의 훈련 데이터와 200개의 검증 데이터로 데이터셋을 구성하고, 202개의 학생 답안을 100개의 훈련 데이터와 102개의 시험 데이터로 데이터셋을 구성하여 연구를 진행하였다. 먼저, 자동 채점모델을 설계하고 성능을 검증하는 과정에서는 연구자가 작성한 답안 데이터셋을 활용하여 그래프 이미지 분류에 최적화되도록 자동 채점모델을 완성하였다. 다음으로 자동 채점 모델에 훈련 데이터셋을 여러 유형으로 학습시키면서 학생의 시험 데이터셋에 대한 채점을 수행하여 훈련 데이터의 양이 많고 다양할수록 자동 채점 모델의 성능이 향상된다는 것을 확인하였고, 최종적으로 인간 채점과의 일치율은 97.06%, 카파 계수는 0.957, 가중 카파 계수는 0.968을 얻었다. 한편, 훈련 데이터로 학습되지 않은 유형의 답안의 경우 인간 채점자들 간에는 채점이 거의 일치하였으나, 자동 채점 모델은 일치하지 않게 채점하는 것을 확인하였다.

Research on the E-Commerce Credit Scoring Model Using the Gaussian Density Function

  • Xiao, Qiang;He, Rui-chun;Zhang, Wei
    • Journal of Information Processing Systems
    • /
    • 제11권2호
    • /
    • pp.173-183
    • /
    • 2015
  • At present, it is simple to the electronic commerce credit scoring model, as a brush credit phenomenon in E-commerce has emerged. This phenomenon affects the judgment of consumers and hinders the rapid development of E-commerce. In this paper, that E-commerce credit evaluation model that uses a Gaussian density function is put forward by density test and the analysis for the anomalies of E-commerce credit rating, it can be fond out the abnormal point in credit scoring, these points were calculated by nonlinear credit scoring algorithm, thus it can effectively improve the current E-commerce credit score, and enhance the accuracy of E-commerce credit score.

외국환 거래의 자금세탁 혐의도 점수모형 개발에 관한 연구 (Scoring models to detect foreign exchange money laundering)

  • 홍성익;문태희;손소영
    • 산업공학
    • /
    • 제18권3호
    • /
    • pp.268-276
    • /
    • 2005
  • In recent years, the money Laundering crimes are increasing by means of foreign exchange transactions. Our study proposes four scoring models to provide early warning of the laundering in foreign exchange transactions for both inward and outward remittances: logistic regression model, decision tree, neural network, and ensemble model which combines the three models. In terms of accuracy of test data, decision tree model is selected for the inward remittance and an ensemble model for the outward remittance. From our study results, the accumulated number of transaction turns out to be the most important predictor variable. The proposed scoring models deal with the transaction level and is expected to help the bank teller to detect the laundering related transactions in the early stage.

Development of Scoring Model on Customer Attrition Probability by Using Data Mining Techniques

  • Han, Sang-Tae;Lee, Seong-Keon;Kang, Hyun-Cheol;Ryu, Dong-Kyun
    • Communications for Statistical Applications and Methods
    • /
    • 제9권1호
    • /
    • pp.271-280
    • /
    • 2002
  • Recently, many companies have applied data mining techniques to promote competitive power in the field of their business market. In this study, we address how data mining, that is a technique to enable to discover knowledge from a deluge of data, Is used in an executed project in order to support decision making of an enterprise. Also, we develope scoring model on customer attrition probability for automobile-insurance company using data mining techniques. The development of scoring model in domestic insurance is given as an example concretely.

데이터 마이닝에서의 폴리클라스 (Polyclass in Data Mining)

  • 구자용;박헌진;최대우
    • 응용통계연구
    • /
    • 제13권2호
    • /
    • pp.489-503
    • /
    • 2000
  • 다양한 형태의 데이터로부터 의사 결정에 유용한 정보 및 지식을 발견하려는 일련의 데이터분석 및 모형 선정과정을 데이터 마이닝(Data Mining)이라고 할 수 있다. 데이터 마이닝의 적용 예로는 신규고객에 대한 신용평가, 고객이탈방지 등과 같은 분야에서 발생하는 스코링 문제를 들 수 있는데 신용평가에서는 신용이 나쁠 가능성을 스코어로 나타내고 스코어가 높은 고객을 대상으로 특별관리를 할 수 있을 것이며 고객이탈방지에서는 이탈가능성을 스코어로 나타내고 스코어가 높은 고객을 대상으로 이탈 방지 캠페인을 벌일 수 있을 것이다. 본 논문에서는 스코링 문제를 사후확률에 대한 모형화 문제로 파악하였다. 폴리클라스를 스코링 문제에 적용하는 방법을 소개한 후 이를 독일 신용 데이터, 국내 모 PC통신회사 데이터 및 국내 모 이동통신 데이터에 적용하였다. 스코링의 성능은 이득률을 이용하여 평가하고자 하는데 나무 모형에 비하여 폴리클라스 방법이 우수함을 확인하였다.

  • PDF

Development of a Risk Scoring Model to Predict Unexpected Conversion to Thoracotomy during Video-Assisted Thoracoscopic Surgery for Lung Cancer

  • Ga Young Yoo;Seung Keun Yoon;Mi Hyoung Moon;Seok Whan Moon;Wonjung Hwang;Kyung Soo Kim
    • Journal of Chest Surgery
    • /
    • 제57권3호
    • /
    • pp.302-311
    • /
    • 2024
  • Background: Unexpected conversion to thoracotomy during planned video-assisted thoracoscopic surgery (VATS) can lead to poor outcomes and comparatively high morbidity. This study was conducted to assess preoperative risk factors associated with unexpected thoracotomy conversion and to develop a risk scoring model for preoperative use, aimed at identifying patients with an elevated risk of conversion. Methods: A retrospective analysis was conducted of 1,506 patients who underwent surgical resection for non-small cell lung cancer. To evaluate the risk factors, univariate analysis and logistic regression were performed. A risk scoring model was established to predict unexpected thoracotomy conversion during VATS of the lung, based on preoperative factors. To validate the model, an additional cohort of 878 patients was analyzed. Results: Among the potentially significant clinical variables, male sex, previous ipsilateral lung surgery, preoperative detection of calcified lymph nodes, and clinical T stage were identified as independent risk factors for unplanned conversion to thoracotomy. A 6-point risk scoring model was developed to predict conversion based on the assessed risk, with patients categorized into 4 groups. The results indicated an area under the receiver operating characteristic curve of 0.747, with a sensitivity of 80.5%, specificity of 56.4%, positive predictive value of 1.8%, and negative predictive value of 91.0%. When applied to the validation cohort, the model exhibited good predictive accuracy. Conclusion: We successfully developed and validated a risk scoring model for preoperative use that can predict the likelihood of unplanned conversion to thoracotomy during VATS of the lung.

DEA와 AHP기법을 이용한 농촌건강장수마을사업 평가모형 개발 (Development of a Scoring Model for Evaluating the Rural Healthy and Longevity Village Project using DEA and AHP)

  • 서교;한이철;이지민;이정재
    • 농촌계획
    • /
    • 제12권4호
    • /
    • pp.1-11
    • /
    • 2006
  • Recently many administrative institutes try to improve the viability of rural villages. For increasing the viability, not only infrastructures but internal vitality is necessary in rural villages. Nonetheless, most of governmental projects have been focused on infrastructures. For this reason, RDA(Rural Development Administration) designed and performed the RHL(Rural Healthy and Longevity village) project. This RHL project is not easy to evaluate the outcome because it consists of very intangible project items. In this paper, we developed a scoring model to evaluate the result of the RHL project. The scoring model based on DEA(Data Envelopment Analysis) was suggested to evaluate the quantity of personal activities in each village. Personal activities are classified into five categories: regional life, social life, productive life, outdoor life and indoor life. Evaluating indices of each category are developed and weighting values are evaluated by AHP(Analytic Hierarchy Process). The developed model was applied to Kumsan village and examined its applicability.

A Novel Molecular Grading Model: Combination of Ki67 and VEGF in Predicting Tumor Recurrence and Progression in Non-invasive Urothelial Bladder Cancer

  • Chen, Jun-Xing;Deng, Nan;Chen, Xu;Chen, Ling-Wu;Qiu, Shao-Peng;Li, Xiao-Fei;Li, Jia-Ping
    • Asian Pacific Journal of Cancer Prevention
    • /
    • 제13권5호
    • /
    • pp.2229-2234
    • /
    • 2012
  • Purpose: To assess efficacy of Ki67 combined with VEGF as a molecular grading model to predict outcomes with non-muscle invasive bladder cancer (NMIBC). Materials: 72 NMIBC patients who underwent transurethral resection (TUR) followed by routine intravesical instillations were retrospectively analyzed in this study. Univariate and multivariate analyses were performed to confirm the prognostic values of the Ki67 labeling index (LI) and VEGF scoring for tumor recurrence and progression. Results: The novel molecular grading model for NMIBC contained three molecular grades including mG1 (Ki67 $LI{\leq}25%$, VEGF $scoring{\leq}8$), mG2 (Ki67 LI>25%, VEGF $scoring{\leq}8$; or Ki67 $LI{\leq}25%$, VEGF scoring > 8), and mG3 (Ki67 LI > 25%, VEGF scoring > 8), which can indicate favorable, intermediate and poor prognosis, respectively. Conclusions: The described novel molecular grading model utilizing Ki67 LI and VEGF scoring is helpful to effectively and accurately predict outcomes and optimize personal therapy.

랜덤 포레스트 알고리즘을 활용한 수학 서술형 자동 채점 (Automatic scoring of mathematics descriptive assessment using random forest algorithm)

  • 최인용;김화경;정인우;송민호
    • 한국수학교육학회지시리즈A:수학교육
    • /
    • 제63권2호
    • /
    • pp.165-186
    • /
    • 2024
  • 학교 현장과 대규모 평가에서 서술형 문항 도입을 지원하기 위한 방안 중 하나로 인공지능 기반의 자동 채점 기술이 주목받고 있음에도 불구하고, 수학 교과에서는 타 교과에 비해 이에 대한 기초 연구가 부족한 상황이다. 이에 본 연구는 중학교 1학년 수학 서술형 문항 두 개를 대상으로 랜덤 포레스트 알고리즘을 활용하여 자동 채점 모델을 개발하고 그 성능을 평가하였다. 연구 결과, 두 문항에 대한 최종 모델의 평가요소별 정확도는 각각 0.95-1.00, 0.73-0.89의 범위로 나타났으며, 이는 타 교과에 비해 상대적으로 높은 수준이다. 데이터의 양을 고려한 평가 범주 설정의 중요성을 확인하였으며, 수학 교육전문가에 의한 텍스트 전처리와 데이터 특성에 맞는 벡터화 방법의 선택이 모델의 성능 및 해석 가능성을 향상시키는 데 기여하였다. 또한, 현실적 한계로 인해 균형적인 데이터 수집이 어려운 상황에서 오버샘플링이 성능을 보완하는 유용한 방법임을 확인하였다. 교육적 활용도를 높이기 위해, 랜덤 포레스트 기반 모델에서 도출된 특성 중요도를 활용하여 피드백과 같이 교수-학습에 유용한 정보를 생성하는 추가 연구가 필요하다. 본 연구는 수학 서술형 자동 채점에 관한 기초 연구로서 의미가 있으며, 인공지능 전문가와 수학교육 전문가 간의 긴밀한 협력을 통해 다양한 후속 연구가 진행될 필요가 있다.