• 제목/요약/키워드: Precision-recall

검색결과 703건 처리시간 0.033초

기계학습 기반 경쟁자 자동추출 방법 (Competitor Extraction based on Machine Learning Methods)

  • 이충희;김현진;류법모;김현기;서영훈
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2012년도 제24회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.107-112
    • /
    • 2012
  • 본 논문은 일반 텍스트에 나타나는 경쟁 관계에 있는 고유명사들을 경쟁자로 자동 추출하는 방법에 대한 것으로, 규칙 기반 방법과 기계 학습 기반 방법을 모두 제안하고 비교하였다. 제안한 시스템은 뉴스 기사를 대상으로 하였고, 문장에 경쟁관계를 나타내는 명확한 정보가 있는 경우에만 추출하는 것을 목표로 하였다. 규칙기반 경쟁어 추출 시스템은 2개의 고유명사가 경쟁관계임을 나타내는 단서단어에 기반해서 경쟁어를 추출하는 시스템이며, 경쟁표현 단서단어는 620개가 수집되어 사용됐다. 기계학습 기반 경쟁어 추출시스템은 경쟁어 추출을 경쟁어 후보에 대한 경쟁여부의 바이너리 분류 문제로 접근하였다. 분류 알고리즘은 Support Vector Machines을 사용하였고, 경쟁어 주변 문맥 정보를 대표할 수 있는 언어 독립적 5개 자질에 기반해서 모델을 학습하였다. 성능평가를 위해서 이슈화되고 있는 핫키워드 54개에 대해서 623개의 경쟁어를 뉴스 기사로부터 수집해서 평가셋을 구축하였다. 비교 평가를 위해서 기준시스템으로 연관어에 기반해서 경쟁어를 추출하는 시스템을 구현하였고, Recall/Precision/F1 성능으로 0.119/0.214/0.153을 얻었다. 제안 시스템의 실험 결과로 규칙기반 시스템은 0.793/0.207/0.328 성능을 보였고, 기계 학습기반 시스템은 0.578/0.730/0.645 성능을 보였다. Recall 성능은 규칙기반 시스템이 0.793으로 가장 좋았고, 기준시스템에 비해서 67.4%의 성능 향상이 있었다. Precision과 F1 성능은 기계학습기반 시스템이 0.730과 0.645로 가장 좋았고, 기준시스템에 비해서 각각 61.6%, 49.2%의 성능향상이 있었다. 기준시스템에 비해서 제안한 시스템이 Recall, Precision, F1 성능이 모두 대폭적으로 향상되었으므로 제안한 방법이 효과적임을 알 수 있다.

  • PDF

태그 질의 확장 기능에 기반한 비디오 검색 시스템의 효율성에 대한 실험적 연구 (An Experimental Study Investigating the Retrieval Effectiveness of a Video Retrieval System Using Tag Query Expansion)

  • 김현희
    • 한국문헌정보학회지
    • /
    • 제44권4호
    • /
    • pp.75-94
    • /
    • 2010
  • 본 연구는 폭소노미가 비디오 자료를 색인하고 브라우징 하는데 얼마나 유용한지 살펴본 후, 동등어, 동의어 및 관련어를 활용한 질의 확장을 통해서 수행되는 폭소노미 태그 통제가 비디오 검색에 얼마나 효율적인지 조사해 보았다. 이를 위해서, 태그들을 태그 간의 동등 및 연관 관계에 기초하여 클러스터링하고 이러한 정보를 질의 확장에 적용시킨 실험 시스템을 설계, 구현하고 이러한 제안된 시스템이 정보검색 과정에서 폭소노미의 효율성을 얼마나 개선시킬 수 있는지에 대해서 실험을 통해서 확인해 보았다. 실험 결과, 질의 확장을 통해서 태그 통제를 한 제안된 시스템은 태그 통제를 전혀 하지 않은 시스템과 비교하여, 재현율은 증가하였으나 정확률은 전혀 차이가 없는 것으로 나타났다. 본 연구 결과는 폭소노미를 디지털 비디오 도서관의 소셜 메타데이터로 적용하기 위한 하나의 방안이 될 것으로 생각된다.

사용자 선호도를 사용한 군집 기반 추천 시스템 (Clustering-Based Recommendation Using Users' Preference)

  • 김영현;신원용
    • 한국정보통신학회논문지
    • /
    • 제21권2호
    • /
    • pp.277-284
    • /
    • 2017
  • 사용자가 좋아할만한 콘텐츠를 정확하게 추천하는 것은 추천 시스템에서 매우 중요한 요소 중 하나이다. 원치 않는 콘텐츠를 추천하거나, 원하는 것을 추천하지 않는 것은 사용자 만족도 측면에서 안 좋은 영향을 끼친다. 본 연구에서는 콘텐츠의 정확한 추천을 위해 사용자 군집 기반 추천 시스템을 제안한다. 제안하는 알고리즘에서 사용자들의 실제 선호도 점수와 피어슨 상관 계수를 기반으로 사용자들을 여러 군집으로 나눈다. 이 후, 특정 사용자에게 어떤 콘텐츠의 추천 여부 결정은, 같은 군집 내에 있는 다른 사용자들의 해당 콘텐츠의 실제 선호도 점수를 근거로 정한다. 제안하는 알고리즘은 군집화를 사용하지 않는 아이템 기반 협력 필터링 알고리즘보다 정밀도, 재현율, F1 스코어와 같은 추천 정확도에 있어서 의미 있는 성능 향상을 보인다.

메타데이타와 텍스트 정보의 통합검색 모델 (A Hybrid Information Retrieval Model Using Metadata and Text)

  • 유정목;맹성현;김성수;이만호
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제34권3호
    • /
    • pp.232-243
    • /
    • 2007
  • 메타데이타를 위한 검색모델은 질의에 사용자의 정보요구를 정확하게 반영하기 때문에 정확율(precision)은 높지만 질의 조건에 만족하지 않는 정보를 배제하므로 재현율(recall)은 낮다. 반면 전문(full-text) 텍스트 검색 모델은 사용자 질의에 대하여 모든 문서를 검색대상으로 하므로 정확율은 낮고 재현율은 높다. 메타데이타 검색모델의 높은 정확율은 사용자가 메타데이타의 구조적 특성에 맞게 질의를 구성할 경우 가능하지만 일반적으로 사용자가 메타데이타의 구조 정보를 반영한 사용자 질의를 구성할 수 있다고 기대하기는 어렵다. 또한 메타데이타에 포함된 정보의 양은 전문 텍스트가 가진 정보의 양보다 적기 때문에 텍스트를 검색한 결과보다 재현율이 떨어진다. 본 논문에서는 이러한 특성을 반영하여 메타데이타 검색 시, 사용자의 다양한 질의를 메타데이타의 특성에 맞게 재구성하고 메타데이타뿐 아니라 텍스트에 대해서도 검색을 수행하여 두 모델의 장점을 함께 고려한 통합 검색 모델을 제안한다.

다중 압력분포 기반의 착석 자세 분류를 위한 CNN 모델 구현 (Implementation of CNN Model for Classification of Sitting Posture Based on Multiple Pressure Distribution)

  • 서지윤;노윤홍;정도운
    • 융합신호처리학회논문지
    • /
    • 제21권2호
    • /
    • pp.73-78
    • /
    • 2020
  • 근골격 질환은 착석 자세로 업무 및 학업을 장시간 진행하거나 잘못된 자세 습관으로 발생하는 경우가 많다. 일상생활에서 근골격 질환을 예방하기 위해서는 실시간 착석자세 모니터링을 통해 잘못된 자세를 바른 자세로 유도하는 것이 가장 중요하다. 본 논문에서는 의자에 밀착된 착석 정보를 무 구속적으로 검출하기 위하여 다채널 압력센서 기반의 자세 측정 시스템과 사용자의 착석 자세 분류를 위한 CNN 모델을 제안한다. 제안된 CNN 모델은 착석 자세 정보를 기반으로 압력분포에 따른 사용자의 5가지 자세 분석이 가능하다. 필드테스트를 통한 자세 분류 신경망의 성능평가를 위하여 10명의 피실험자를 대상으로 분류결과에 대한 정확도, 재현율, 정밀도 및 조화 평균을 확인하였다. 실험 결과, 99.84%의 accuracy, 99.6%의 recall, 99.6%의 precision, 99.6%의 F1을 확인하였다.

합성곱-장단기 기억 신경망의 하이브리드 결합 모델을 이용한 부정맥 분류 (Arrhythmia Classification using Hybrid Combination Model of CNN-LSTM)

  • 조익성;권혁숭
    • 한국정보통신학회논문지
    • /
    • 제26권1호
    • /
    • pp.76-84
    • /
    • 2022
  • 부정맥은 심장 박동이 비정상 혹은 불규칙하게 뛰고 있는 상태를 말하며, 실신이나 심장돌연사 등과 같은 위험한 상황을 유발할 수 있기 때문에 이의 조기 검출은 매우 중요하다. 하지만 심전도 신호의 개인차로 인해 분류 시 성능하락이 나타날 수밖에 없다. 본 연구에서는 CNN-LSTM 하이브리드 결합 모델을 이용한 부정맥 분류 방법을 제안한다. 이를 위해 먼저 잡음을 제거한 ECG 신호에서 R파를 검출하고 단일 비트 세그먼트를 추출하였다. 이후 부정맥 신호의 특징을 세밀하게 추출하도록 8개의 합성곱 계층으로 구성하고 이를 LSTM의 입력으로 사용한 후 가중치를 학습시키고 검증 데이터로 모델을 평가한 후 정상 및 부정맥 분류의 변화를 확인하였다. 제안한 방법의 타당성 검증을 위해 MIT-BIH 부정맥 데이터베이스를 사용하여 정확도(accuracy), 정밀도(precision), 재현율(recall), F1 스코어가 사용되었다. 성능평가 결과, 정확도, 정밀도, 재현율, F1 스코어는 각각 92.3%, 90.98%, 92.20%, 90.72%의 우수한 분류율을 나타내었다.

Analyzing the correlation of Spam Recall and Thesaurus

  • Kang, Sin-Jae;Kim, Jong-Wan
    • 한국정보기술응용학회:학술대회논문집
    • /
    • 한국정보기술응용학회 2005년도 6th 2005 International Conference on Computers, Communications and System
    • /
    • pp.21-25
    • /
    • 2005
  • In this paper, we constructed a two-phase spam-mail filtering system based on the lexical and conceptual information. There are two kinds of information that can distinguish the spam mail from the legitimate mail. The definite information is the mail sender's information, URL, a certain spam list, and the less definite information is the word list and concept codes extracted from the mail body. We first classified the spam mail by using the definite information, and then used the less definite information. We used the lexical information and concept codes contained in the email body for SVM learning in the $2^{nd}$ phase. According to our results the spam precision was increased if more lexical information was used as features, and the spam recall was increased when the concept codes were included in features as well.

  • PDF

온라인 열람목록의 주제탐색 강화를 위한 실험적 연구 (An experiment to enhance subject access in korean online public access catalog)

  • 장혜란;홍지윤
    • 한국도서관정보학회지
    • /
    • 제25권
    • /
    • pp.83-107
    • /
    • 1996
  • The purpose of this study is to experiment online public access catalog enhancements to improve its subject access capability. Three catalog databases, enhanced with title keywords, controlled vocabulary, and content words with controlled vocabulary respectively, were implemented. 18 searchers performed 2 subject searshes against 3 different catalog databases. And the transaction logs are analyzed. The results of the study can be summarized as follows : Controlled vocabulary catalog database achieved 41.8% recall ratio in average ; the addition of table of contents words to the controlled vocabulary is an effective technique with increasing recall ration upto 55% without decreasing precision ; and the database enhanced with title keywords shows 31.7% recall ratio in average. Of the three kinds of catalog databases, only the catalog with contents words produced 2 unique relevant documents. The results indicate that both user training and system development is required to have better search performance in online public access catalog.

  • PDF

구문분석과 기계학습 기반 하이브리드 텍스트 논조 자동분석 (Hybrid Approach to Sentiment Analysis based on Syntactic Analysis and Machine Learning)

  • 홍문표;신미영;박신혜;이형민
    • 한국언어정보학회지:언어와정보
    • /
    • 제14권2호
    • /
    • pp.159-181
    • /
    • 2010
  • This paper presents a hybrid approach to the sentiment analysis of online texts. The sentiment of a text refers to the feelings that the author of a text has towards a certain topic. Many existing approaches employ either a pattern-based approach or a machine learning based approach. The former shows relatively high precision in classifying the sentiments, but suffers from the data sparseness problem, i.e. the lack of patterns. The latter approach shows relatively lower precision, but 100% recall. The approach presented in the current work adopts the merits of both approaches. It combines the pattern-based approach with the machine learning based approach, so that the relatively high precision and high recall can be maintained. Our experiment shows that the hybrid approach improves the F-measure score for more than 50% in comparison with the pattern-based approach and for around 1% comparing with the machine learning based approach. The numerical improvement from the machine learning based approach might not seem to be quite encouraging, but the fact that in the current approach not only the sentiment or the polarity information of sentences but also the additional information such as target of sentiments can be classified makes the current approach promising.

  • PDF

Research on Chinese Microblog Sentiment Classification Based on TextCNN-BiLSTM Model

  • Haiqin Tang;Ruirui Zhang
    • Journal of Information Processing Systems
    • /
    • 제19권6호
    • /
    • pp.842-857
    • /
    • 2023
  • Currently, most sentiment classification models on microblogging platforms analyze sentence parts of speech and emoticons without comprehending users' emotional inclinations and grasping moral nuances. This study proposes a hybrid sentiment analysis model. Given the distinct nature of microblog comments, the model employs a combined stop-word list and word2vec for word vectorization. To mitigate local information loss, the TextCNN model, devoid of pooling layers, is employed for local feature extraction, while BiLSTM is utilized for contextual feature extraction in deep learning. Subsequently, microblog comment sentiments are categorized using a classification layer. Given the binary classification task at the output layer and the numerous hidden layers within BiLSTM, the Tanh activation function is adopted in this model. Experimental findings demonstrate that the enhanced TextCNN-BiLSTM model attains a precision of 94.75%. This represents a 1.21%, 1.25%, and 1.25% enhancement in precision, recall, and F1 values, respectively, in comparison to the individual deep learning models TextCNN. Furthermore, it outperforms BiLSTM by 0.78%, 0.9%, and 0.9% in precision, recall, and F1 values.