• Title/Summary/Keyword: F1 스코어

Search Result 21, Processing Time 0.029 seconds

Asymptotic Relative Efficiency for New Score Functions in Rank Regression Models (순위회귀모형의 새로운 스코어 함수의 효율성 연구)

  • 최영훈
    • The Korean Journal of Applied Statistics
    • /
    • v.17 no.2
    • /
    • pp.269-280
    • /
    • 2004
  • We explore the selection of r and s that provides improvement over the Wilcoxon scores under the asymmetric distributions we encounter in practice. We select 0 〈 r 〈 1, s 〉 1 for right-skewed distribution and r 〉 1,0 〈 s 〈 1 for left-skewed distributions from the perspective plots. We also study the association between the desirable r and s and the test statistic for skewness.

Clustering-Based Recommendation Using Users' Preference (사용자 선호도를 사용한 군집 기반 추천 시스템)

  • Kim, Younghyun;Shin, Won-Yong
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.21 no.2
    • /
    • pp.277-284
    • /
    • 2017
  • In a flood of information, most users will want to get a proper recommendation. If a recommender system fails to give appropriate contents, then quality of experience (QoE) will be drastically decreased. In this paper, we propose a recommender system based on the intra-cluster users' item preference for improving recommendation accuracy indices such as precision, recall, and F1 score. To this end, first, users are divided into several clusters based on the actual rating data and Pearson correlation coefficient (PCC). Afterwards, we give each item an advantage/disadvantage according to the preference tendency by users within the same cluster. Specifically, an item will be received an advantage/disadvantage when the item which has been averagely rated by other users within the same cluster is above/below a predefined threshold. The proposed algorithm shows a statistically significant performance improvement over the item-based collaborative filtering algorithm with no clustering in terms of recommendation accuracy indices such as precision, recall, and F1 score.

The Performance Improvement of U-Net Model for Landcover Semantic Segmentation through Data Augmentation (데이터 확장을 통한 토지피복분류 U-Net 모델의 성능 개선)

  • Baek, Won-Kyung;Lee, Moung-Jin;Jung, Hyung-Sup
    • Korean Journal of Remote Sensing
    • /
    • v.38 no.6_2
    • /
    • pp.1663-1676
    • /
    • 2022
  • Recently, a number of deep-learning based land cover segmentation studies have been introduced. Some studies denoted that the performance of land cover segmentation deteriorated due to insufficient training data. In this study, we verified the improvement of land cover segmentation performance through data augmentation. U-Net was implemented for the segmentation model. And 2020 satellite-derived landcover dataset was utilized for the study data. The pixel accuracies were 0.905 and 0.923 for U-Net trained by original and augmented data respectively. And the mean F1 scores of those models were 0.720 and 0.775 respectively, indicating the better performance of data augmentation. In addition, F1 scores for building, road, paddy field, upland field, forest, and unclassified area class were 0.770, 0.568, 0.433, 0.455, 0.964, and 0.830 for the U-Net trained by original data. It is verified that data augmentation is effective in that the F1 scores of every class were improved to 0.838, 0.660, 0.791, 0.530, 0.969, and 0.860 respectively. Although, we applied data augmentation without considering class balances, we find that data augmentation can mitigate biased segmentation performance caused by data imbalance problems from the comparisons between the performances of two models. It is expected that this study would help to prove the importance and effectiveness of data augmentation in various image processing fields.

Arrhythmia Classification using Hybrid Combination Model of CNN-LSTM (합성곱-장단기 기억 신경망의 하이브리드 결합 모델을 이용한 부정맥 분류)

  • Cho, Ik-Sung;Kwon, Hyeog-Soong
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.26 no.1
    • /
    • pp.76-84
    • /
    • 2022
  • Arrhythmia is a condition in which the heart beats abnormally or irregularly, early detection is very important because it can cause dangerous situations such as fainting or sudden cardiac death. However, performance degradation occurs due to personalized differences in ECG signals. In this paper, we propose arrhythmia classification using hybrid combination model of CNN-LSTM. For this purpose, the R wave is detected from noise removed signal and a single bit segment was extracted. It consisted of eight convolutional layers to extract the features of the arrhythmia in detail, used them as the input of the LSTM. The weights were learned through deep learning and the model was evaluated by the verification data. The performance was compared in terms of the accuracy, precision, recall, F1 score through MIT-BIH arrhythmia database. The achieved scores indicate 92.3%, 90.98%, 92.20%, 90.72% in terms of the accuracy, precision, recall, F1 score, respectively.

KorQuAD 2.0: Korean QA Dataset for Web Document Machine Comprehension (KorQuAD 2.0: 웹문서 기계독해를 위한 한국어 질의응답 데이터셋)

  • Kim, Youngmin;Lim, Seungyoung;Lee, Hyunjeong;Park, Soyoon;Kim, Myungji
    • Annual Conference on Human and Language Technology
    • /
    • 2019.10a
    • /
    • pp.97-102
    • /
    • 2019
  • KorQuAD 2.0은 총 100,000+ 쌍으로 구성된 한국어 질의응답 데이터셋이다. 기존 질의응답 표준 데이터인 KorQuAD 1.0과의 차이점은 크게 세가지가 있는데 첫 번째는 주어지는 지문이 한두 문단이 아닌 위키백과 한 페이지 전체라는 점이다. 두 번째로 지문에 표와 리스트도 포함되어 있기 때문에 HTML tag로 구조화된 문서에 대한 이해가 필요하다. 마지막으로 답변이 단어 혹은 구의 단위뿐 아니라 문단, 표, 리스트 전체를 포괄하는 긴 영역이 될 수 있다. Baseline 모델로 구글이 오픈소스로 공개한 BERT Multilingual을 활용하여 실험한 결과 F1 스코어 46.0%의 성능을 확인하였다. 이는 사람의 F1 점수 85.7%에 비해 매우 낮은 점수로, 본 데이터가 도전적인 과제임을 알 수 있다. 본 데이터의 공개를 통해 평문에 국한되어 있던 질의응답의 대상을 다양한 길이와 형식을 가진 real world task로 확장하고자 한다.

  • PDF

Performance Comparison of Machine Learning Models to Detect Screen Use and Devices (스크린 사용 여부 및 사용 디바이스 감지를 위한 머신러닝 모델 성능 비교)

  • Hwang, Sangwon;Kim, Dongwoo;Lee, Juhwan;Kang, Seungwoo
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.24 no.5
    • /
    • pp.584-590
    • /
    • 2020
  • Long-term use of digital screens in daily life can lead to computer vision syndrome including symptoms such as eye strain, dry eyes, and headaches. To prevent computer vision syndrome, it is important to limit screen usage time and take frequent breaks. There are a variety of applications that can help users know the screen usage time. However, these apps are limited because users see various screens such as desktops, laptops, and tablets as well as smartphone screens. In this paper, we propose and evaluate machine learning-based models that detect the screen device in use using color, IMU and lidar sensor data. Our evaluation shows that neural network-based models show relatively high F1 scores compared to traditional machine learning models. Among neural network-based models, the MLP and CNN-based models have higher scores than the LSTM-based model. The RF model shows the best result among the traditional machine learning models, followed by the SVM model.

Credit Card Fraud Detection based on Boosting Algorithm (부스팅 알고리즘 기반 신용 카드 이상 거래 탐지)

  • Lee Harang;Kim Shin;Yoon Kyoungro
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2023.05a
    • /
    • pp.621-623
    • /
    • 2023
  • 전자금융거래 시장이 활발해지며 이에 따라 신용 카드 이상 거래가 증가하고 있다. 따라서 많은 금융 기관은 신용 카드 이상 거래 탐지 시스템을 사용하여 신용 카드 이상 거래를 탐지하고 개인 피해를 줄이는 등 소비자를 보호하기 위해 큰 노력을 하고 있으며, 이에 따라 높은 정확도로 신용 카드 이상 거래를 탐지할 수 있는 실시간 자동화 시스템에 대한 개발이 요구되었다. 이에 본 논문에서는 머신러닝 기법 중 부스팅 알고리즘을 사용하여 더욱 정확한 신용 카드 이상 거래 탐지 시스템을 제안하고자 한다. XGBoost, LightGBM, CatBoost 부스팅 알고리즘을 사용하여 보다 정확한 신용 카드 이상 거래 탐지 시스템을 개발하였으며, 실험 결과 평균적으로 정밀도 99.95%, 재현율 99.99%, F1-스코어 99.97%를 취득하여 높은 신용 카드 이상 거래 탐지 성능을 보여주는 것을 확인하였다.

Verification of educational goal of reading area in Korean SAT through natural language processing techniques (대학수학능력시험 독서 영역의 교육 목표를 위한 자연어처리 기법을 통한 검증)

  • Lee, Soomin;Kim, Gyeongmin;Lim, Heuiseok
    • Journal of the Korea Convergence Society
    • /
    • v.13 no.1
    • /
    • pp.81-88
    • /
    • 2022
  • The major educational goal of reading part, which occupies important portion in Korean language in Korean SAT, is to evaluated whether a given text can be fully understood. Therefore given questions in the exam must be able to solely solvable by given text. In this paper we developed a datatset based on Korean SAT's reading part in order to evaluate whether a deep learning language model can classify if the given question is true or false, which is a binary classification task in NLP. In result, by applying language model solely according to the passages in the dataset, we were able to acquire better performance than 59.2% in F1 score for human performance in most of language models, that KoELECTRA scored 62.49% in our experiment. Also we proved that structural limit of language models can be eased by adjusting data preprocess.

Fashion Search Service Using Transfer Learning (전이 학습을 이용한 패션 스타일 검색 서비스)

  • Lee, Byeong-Jun;Sim, Ju-Yong;Lee, Jun-Yeong;Lee, Songwook
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2022.11a
    • /
    • pp.432-434
    • /
    • 2022
  • 우리는 전이 학습을 이용하여 원하는 특정 패션 스타일 분류기를 학습하였다. 패션 스타일 검색 결과물을 온라인 쇼핑몰과 연결하는 웹 서비스를 사용자에게 제공한다. 패션 스타일 분류기는 구글에서 이미지 검색을 통해 수집된 데이터를 이용하여 ResNet34[1]에 전이 학습하였다. 학습된 분류 모델을 이용하여 사용자 이미지로부터 패션 스타일을 17가지 클래스로 분류하였고 F1 스코어는 평균 65.5%를 얻었다. 패션 스타일 분류 결과를 네이버 쇼핑몰과 연결하여 사용자가 원하는 패션 상품을 구매할 수 있는 서비스를 제공한다.

Zero Pronoun Resolution for Korean-English Spoken Language MT (한국어-영어 대화체 번역시스템을 위한 영형 대명사 해소)

  • Park, Arum;Ji, Eun-Byul;Hong, Munpyo
    • Annual Conference on Human and Language Technology
    • /
    • 2011.10a
    • /
    • pp.98-101
    • /
    • 2011
  • 이 논문은 한-영 대화체 번역 시스템에서 영형 대명사 해소를 위한 새로운 방법론을 제시하였다. 영형 대명사는 문맥, 상황, 세상 지식으로부터 추론될 수 있는 문장에서 생략된 요소이다. 이 논문은 특히 주어-대명사 생략 현상에 대해 다루고 있는데, 그 이유는 드라마 대본이나 인스턴트 메신저 채팅과 같은 한국어 대화체에서는 매우 일반적인 현상이기 때문이다. 이 논문에서 우리는 많은 양의 지식을 요구하지 않는 간단한 방법론을 제시하였다. 평가결과 우리의 방법은 0.79의 F-measure 스코어를 달성하였고, 전체번역률의 측면에서는 약 4.1% 정도의 향상효과가 있었다.

  • PDF