• 한국컴퓨터정보학회논문지
• /
• 제18권1호
• /
• pp.177-183
• /
• 2013

본 논문에서는 데이터 마이닝에서 분류 작업을 실시할 때 그 분류정확도을 측정하기 위해 Cohen의 kappa 계수와 weighted kappa 계수를 제안하였다. kappa 계수는 우연에 의해 생기는 분류를 보정하여 분류정확도을 측정하며 명목척도와 순서척도의 데이터에 대해 사용된다. 특히 순서척도의 데이터에서는 오분류의 크기를 가중치에 의해 정량화하여 분류정확도을 측정하는 weighted kappa 계수가 더 유용하게 사용된다. weighted kappa 계수 계산을 위해서는 2가지 가중치(일차형 가중치, 이차형 가중치)를 사용하였다.. 또한 실제 데이터인 지방간 데이터에 대해 kappa 계수와 weighted kappa 계수를 계산하여 비교하였다.

• 응용통계연구
• /
• 제20권1호
• /
• pp.117-132
• /
• 2007

두 평정자가 있는 이차원 분류표에서 우연에 의한 합치 비율을 보정한 Cohen의 합치도($\kappa$)는 문제점이 있는 측도로 알려져 있다. $\kappa$는 평정자의 분류 비율(주변확률)에 매우 민감하고, 합치도로서의 조건도 만족하지 못한다. 그러나 $\kappa$를 비롯한 기존 합치도들은 주변확률이 0.5에 가까울 때 안정되며 비슷한 값을 갖는다. 본 연구에서는 이차원 분류표의 불균형적 주변분포를 보정함으로써 $\kappa$의 역설을 해결하는 새로운 합치도 H를 제안한다. 또한 예제를 통해 기존의 합치도들과 제안된 합치도를 비교한다.

• Journal of the Korean Data and Information Science Society
• /
• 제23권1호
• /
• pp.25-37
• /
• 2012

두 평정자간 평가의 일치정도를 나타내는 합치도로 Cohen (1960)의 ${\pi}$, Scott (1955)의 H, 박미희와 박용규 (2007)의 등 많은 통계량이 제안되어왔다. 모의실험을 통하여 균형적 주변분포에서의 명목형과 순서형 합치도, 두 가지 역설이 발생하는 불균형 주변분포에서의 명목형 합치도들의 편의, 표준오차, 평균오차제곱 분산, 변이계수를 비교한 결과, 모든 경우에서 AC1과 H의 표준오차와 변이계수가 가장 작게 나타났다.

• 응용통계연구
• /
• 제31권3호
• /
• pp.417-426
• /
• 2018

최근 동물실험의 대체방법 중 하나로 쥐의 줄기세포 유래 배상체를 이용하여 독성을 시험하는 방법이 개발되었다. 이는 동물에 직접 약물을 주입하는 것이 아닌 배상체 세포에 약물을 투입하여 세포의 변화에 따른 측정값들을 얻는 방법이다. 본 연구에서는 다범주 세포독성 자료를 이용해 통계적 기법인 판별분석(discriminant analysis)과 머신러닝 기법인 서포트 벡터 머신(support vector machine), 인공신경망(artificial neural network), k-인접이웃분류(k-nearest neighbor)의 성능을 비교하였다. 알고리즘의 성능은 분류 정확도(accuracy)와 가중카파계수(weighted Cohen's kappa coefficient)로 비교하였다.

• 기본간호학회지
• /
• 제5권2호
• /
• pp.269-279
• /
• 1998

In nursing research that the data is collected through clinical observation, analysis of clinical recording or coding of interpersonal interaction in clinical areas, testing and reporting interrater reliability is very important to assure reliable results. Procedures for interrater reliability in these studies should follow two steps. The first step is to determine unitizing reliability, which is defined as consistency in the identification of same data elements in the record by two or more raters reviewing the same record. Unitizing reliability have been rarely reported in previous studies. Unitizing reliability should be tested before progressing to the next step as precondition. Next step is to determine interpretive reliability. Cohen's kappa is a preferable method of calculating the extent of agreement between observer or judges because it provides beyond-chance agreement. Despite its usefulness, kappa can sometimes present paradoxical conclusions and can be difficult to interpret. These difficulties result from the feature of kappa which is affected in complex ways by the presence of bias between observers and by true prevalence of certain categories. Therefore, percentage agreement should be reported with kappa for adequate interpretation of kappa. The presence of bias should be assessed using the bias index and the effect of prevalence should be assessed using the prevalence index. Researchers have been reported only global reliability reflecting the extent to which coders can consistently use the whole coding system across all categories. Category-by-category reliability also need to be reported to inform the possibility that some categories are harder to use than others.

• 대한치과보철학회지
• /
• 제54권4호
• /
• pp.364-369
• /
• 2016

목적: 총의치를 사용하고 있는 무치악 환자에서 의치 사용에 대한 환자의 평가와 술자간의 평가를 비교하고자 하였다. 대상 및 방법: 의치를 사용한지 최소 1년 이상 경과된 총의치 장착자 중 43명의 환자가 정기검진에 응하였다. 환자에 관한 여러 정보를 얻기 위해 다양한 문헌에서 얻은 자료를 토대로 설문지를 개발하고 술자의 객관적인 평가간 일치도를 분석하였다. 술자의 평가 사항으로는 유지, 안정, 교합과 같은 기능적 항목과 의치의 상태를 포함한다. Friedman test와 Cohen's Kappa값을 이용하여 통계학적인 분석을 시행하였다. 결과: 의치 장착자의 평가와 술자의 평가 간에는 약하거나 약간의 차이가 있다. 상악 의치보다는 하악의치에서 차이가 더 크게 나타났으며 심미와 저작은 중등도의 차이가 있었다. 결론: 의치에 대한 환자의 주관적, 술자의 객관적인 평가는 일치하지 않으나 큰 차이를 보이지 않는다.

• 대한원격탐사학회지
• /
• 제35권6_1호
• /
• pp.999-1009
• /
• 2019

북극항로의 개척 가능성과 정확한 기후 예측 모델의 필요성에 의해 북극해 고해상도 해빙 지도의 중요성이 증가하고 있다. 그러나 기존의 북극 해빙 지도는 제작에 사용된 위성 영상 취득 센서의 특성에 따른 데이터의 취득과 공간해상도 등에서 그 활용도가 제한된다. 본 연구에서는 Sentinel-1 A/B SAR 위성자료로부터 고해상도 해빙 지도를 생성하기 위한 딥러닝 기반의 해빙 분류 알고리즘을 연구하였다. 북극해 Ice Chart를 기반으로 전문가 판독에 의해 Open Water, First Year Ice, Multi Year Ice의 세 클래스로 구성된 훈련자료를 구축하였으며, Convolutional Neural Network 기반의 두 가지 딥러닝 모델(Simple CNN, Resnet50)과 입사각 및 thermal noise가 보정된 HV 밴드를 포함하는 다섯 가지 입력 밴드 조합을 이용하여 총 10가지 케이스의 해빙 분류를 실시하였다. 이 케이스들에 대하여 Ground Truth Point를 사용하여 정확도를 비교하고, 가장 높은 정확도가 나온 케이스에 대해 confusion matrix 및 Cohen의 kappa 분석을 실시하였다. 또한 전통적으로 분류를 위해 많이 활용되어 온 Maximum Likelihood Classifier 기법을 이용한 분류결과에 대해서도 같은 비교를 하였다. 그 결과 Convolution 층 2개, Max Pooling 층 2개를 가진 구조의 Convolutional Neural Network에 [HV, 입사각] 밴드를 넣은 딥러닝 알고리즘의 분류 결과가 96.66%의 가장 높은 분류 정확도를 보였으며, Cohen의 kappa 계수는 0.9499로 나타나 딥러닝에 의한 해빙 분류는 비교적 높은 분류 결과를 보였다. 또한 모든 딥러닝 케이스는 Maximum Likelihood Classifier 기법에 비해 높은 분류 정확도를 보였다.

• 대한치과의사협회지
• /
• 제58권3호
• /
• pp.140-151
• /
• 2020

Purpose: To evaluate reliability of Q-ray view (Aiobio Inc,. Seoul, Korea) for assessing retention status of pit and fissure sealants. Methods: Pit and fissure sealants of 58 permanent molars from 15 third-grade students were examined. Posterior teeth with ≥1 pit and fissure sealants applied to the occlusal surface for >6 months were examined. The teeth were examined using traditional visual-tactile assessments and combined Q-ray view. Pit and fissure sealants were evaluated by assessing marginal plaque, marginal discoloration, marginal integrity, retention, and presence of caries. Fleiss kappa and Cohen's kappa values were calculated to compare inter- and intrarater agreements between visual-tactile and combined Q-ray view assessments. Results: Regarding interrater agreement in visual-tactile assessments, K values of Cohen's kappa for marginal plaque, marginal discoloration, and presence of caries were 0.22-0.57, 0.36-0.57, and 0.43-0.61, respectively, and agreements ranged from slight to moderate. When combined with Q-ray view, the values were 0.81-0.89, 0.69-0.88, and 0.80-0.90, respectively, and agreements ranged from substantial to nearly perfect level, indicating statistical significance. Marginal plaque (0.81-0.83), marginal discoloration (0.57-0.89), and presence of caries (0.69-0.91) showed higher agreements in combined Q-ray view than in visual-tactile assessments, and kappa values of marginal plaques were significantly higher in combined Q-ray view than in visual-tactile assessments. Conclusion: Evaluating retention status of pit and fissure sealants using Q-ray view showed higher reliability than using visual/tactile assessments for marginal plaque, marginal discoloration, and presence of caries. Therefore, Q-ray view may be used to assess the retention status of pit and fissure sealants.

• 대한기계학회논문집B
• /
• 제41권2호
• /
• pp.125-133
• /
• 2017

본 연구에서는 환자의 손가락 경직을 모사하는 손가락 시뮬레이터를 통해 손가락 경직도 검진에서의 검진자간 신뢰도에 대해 연구하였다. 시뮬레이터를 제어하기 위해 경직에서 나타나는 토크를 간단하게 모델링 하고 손가락 경직 환자로부터 간단한 측정 모듈을 이용해 각각의 Modified Ashworth Scale(MAS) 등급에 맞는 파라미터를 얻어냈다. 또한 중수지 관절에 모터가 위치한 손가락 형태의 로봇을 설계하여 경직 토크 모델을 따르는 시뮬레이터를 개발하였다. 이 시뮬레이터를 통해 일곱 명의 재활의학과 전문의들의 검진 결과를 평가해본 결과 중수지 관절에서 0.619, 근위지간 관절에서 0.514의 Cohen's Kappa 값을 보였다. 검진자간의 Fleiss' Kappa 값은 중수지 관절에서 0.513, 근위지간 관절에서 0.486으로 나타났다. 또한 검진자들은 각각의 주관적인 MAS 검진 기준을 가진다는 것을 확인하였다. 결과적으로 같은 환자에 대한 MAS 검진 신뢰도가 높지 않기 때문에 개발된 로봇 시뮬레이터는 검진자의 신뢰도를 높일 수 있는 교육용 도구로서 활용 가능함을 확인하였다.

• 한국학교ㆍ지역보건교육학회지
• /
• 제15권2호
• /
• pp.91-101
• /
• 2014

Objectives: This study aimed to identify agreement between smartphone addiction (SA) and perceived SA among adolescents. Methods: This survey was done with 394 subjects conveniently sampled from elementary school (ES), middle school (MS), academic (AHS) and vocational (VHS) high school. The data were collected from June 20 to July 20, 2013 with self-administered questionnaire and analyzed by descriptive statistics, chi-square test and Cohen's kappa (${\kappa}$). Results: High risk of SA showed 2.8% in total, 1.0% in ES, 2.1% in MS, 4.1% in AHS, and 4.0% in VHS, which was statistically different by type of school (p<0.001). Perceived SA showed 22.6% in total, 9.0% in ES, 21.9% in MS, 33.7% in AHS, and 26.0% in VHS, which was statistically different by type of school (p=0.003). The agreement between SA and perceived SA was 82.0% (${\kappa}$=0.54) in total, 91.8% (${\kappa}$=0.53) in ES, 75.0% (${\kappa}$=0.33) in MS, 77.5% (${\kappa}$=0.53) in AHS, and 84.8% (${\kappa}$=0.65) in VHS. Conclusion: The agreement between SA and perceived SA showed moderate in general, but fair in MS. It is suggested to develop step-by-step activities to reduce the gap between SA and perceived SA among adolescen, in particular, middle school students.