• 제목/요약/키워드: 순위학습기법

검색결과 50건 처리시간 0.03초

Paragraph Re-Ranking and Paragraph Selection Method for Multi-Paragraph Machine Reading Comprehension (다중 지문 기계독해를 위한 단락 재순위화 및 세부 단락 선별 기법)

  • Cho, Sanghyun;Kim, Minho;Kwon, Hyuk-Chul
    • Annual Conference on Human and Language Technology
    • /
    • 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.184-187
    • /
    • 2020
  • 다중 지문 기계독해는 질문과 여러 개의 지문을 입력받고 입력된 지문들에서 추출된 정답 중에 하나의 정답을 출력하는 문제이다. 다중 지문 기계독해에서는 정답이 있을 단락을 선택하는 순위화 방법에 따라서 성능이 크게 달라질 수 있다. 본 논문에서는 단락 안에 정답이 있을 확률을 예측하는 단락 재순위화 모델과 선택된 단락에서 서술형 정답을 위한 세부적인 정답의 경계를 예측하는 세부 단락 선별 기법을 제안한다. 단락 순위화 모델 학습의 경우 모델 학습을 위해 각 단락의 출력에 softmax와 cross-entroy를 이용한 손실 값과 sigmoid와 평균 제곱 오차의 손실 값을 함께 학습하고 키워드 매칭을 함께 적용했을 때 KorQuAD 2.0의 개발셋에서 상위 1개 단락, 3개 단락, 5개 단락에서 각각 82.3%, 94.5%, 97.0%의 재현율을 보였다. 세부 단락 선별 모델의 경우 입력된 두 단락을 비교하는 duoBERT를 이용했을 때 KorQuAD 2.0의 개발셋에서 F1 83.0%의 성능을 보였다.

  • PDF

Personalized Search Service in Semantic Web (시멘틱 환경에서의 개인화 검색)

  • Kim Je-Min;Park Young-Tack
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 한국정보과학회 2005년도 가을 학술발표논문집 Vol.32 No.2 (2)
    • /
    • pp.649-651
    • /
    • 2005
  • 웹에 분산된 모든 웹 페이지는 구조가 서로 다르다. 시멘틱 웹 환경은 이형적인 구조를 갖는 웹 페이지들의 메타데이터를 바탕으로 시멘틱 검색이 가능하다. 그러나 일반적으로 사용자의 요구에 따른 시멘틱 검색은 상황에 따라 엄청난 수의 검색 결과를 내놓는다. 따라서 검색 결과에 대해 각 사용자에 맞는 검색 결과 순위를 적용할 필요가 있다. Culture Finder는 시멘틱 웹 검색 에이전트들이 개인화된 문화 정보를 검색할 수 있도록 도움을 준다. Culture Finder는 웹에 존재하는 각 웹 페이지에 대한 메타 데이터를 작성하고, 시멘틱 검색을 이행하며, 사용자 프로파일을 기반으로 삼아 검색 결과일 대한 순위 점수를 계산한다. Culture Finder에는 개인화된 시멘틱 검색을 효율적으로 실행하기 위해 중요한 5가지 기법이 적용되었다. 사용자의 검색 행위로부터 사용자 프로파일을 생성하기위한 기계 학습기법, 시멘틱 웹 검색 에이전트를 위한 효율적인 시맨틱 검색 기법, 사용자 질의의 효과일인 파악을 위한 질의 분석 기법, 각 사용자에게 적합한 검색 결과를 제공하기 위한 순위 적용 기술, 메타데이터를 생성화기 위한 상위 온톤로지 표현 기법. 본 논문에서는 Culture Finder의 구조를 통해서 시멘틱 개인화 검색에 적용되는 여러 가지 방법을 제안한다.

  • PDF

Horse race rank prediction using learning-to-rank approaches (Learning-to-rank 기법을 활용한 서울 경마경기 순위 예측)

  • Junhyoung Chung;Donguk Shin;Seyong Hwang;Gunwoong Park
    • The Korean Journal of Applied Statistics
    • /
    • 제37권2호
    • /
    • pp.239-253
    • /
    • 2024
  • This research applies both point-wise and pair-wise learning strategies within the learning-to-rank (LTR) framework to predict horse race rankings in Seoul. Specifically, for point-wise learning, we employ a linear model and random forest. In contrast, for pair-wise learning, we utilize tools such as RankNet, and LambdaMART (XGBoost Ranker, LightGBM Ranker, and CatBoost Ranker). Furthermore, to enhance predictions, race records are standardized based on race distance, and we integrate various datasets, including race information, jockey information, horse training records, and trainer information. Our results empirically demonstrate that pair-wise learning approaches that can reflect the order information between items generally outperform point-wise learning approaches. Notably, CatBoost Ranker is the top performer. Through Shapley value analysis, we identified that the important variables for CatBoost Ranker include the performance of a horse, its previous race records, the count of its starting trainings, the total number of starting trainings, and the instances of disease diagnoses for the horse.

An Experimental Study on Feature Ranking Schemes for Text Classification (텍스트 분류를 위한 자질 순위화 기법에 관한 연구)

  • Pan Jun Kim
    • Journal of the Korean Society for information Management
    • /
    • 제40권1호
    • /
    • pp.1-21
    • /
    • 2023
  • This study specifically reviewed the performance of the ranking schemes as an efficient feature selection method for text classification. Until now, feature ranking schemes are mostly based on document frequency, and relatively few cases have used the term frequency. Therefore, the performance of single ranking metrics using term frequency and document frequency individually was examined as a feature selection method for text classification, and then the performance of combination ranking schemes using both was reviewed. Specifically, a classification experiment was conducted in an environment using two data sets (Reuters-21578, 20NG) and five classifiers (SVM, NB, ROC, TRA, RNN), and to secure the reliability of the results, 5-Fold cross-validation and t-test were applied. As a result, as a single ranking scheme, the document frequency-based single ranking metric (chi) showed good performance overall. In addition, it was found that there was no significant difference between the highest-performance single ranking and the combination ranking schemes. Therefore, in an environment where sufficient learning documents can be secured in text classification, it is more efficient to use a single ranking metric (chi) based on document frequency as a feature selection method.

'Hot Search Keyword' Rank-Change Prediction (인기 검색어의 순위 변화 예측)

  • Kim, Dohyeong;Kang, Byeong Ho;Lee, Sungyoung
    • Journal of KIISE
    • /
    • 제44권8호
    • /
    • pp.782-790
    • /
    • 2017
  • The service, 'Hot Search Keywords', provides a list of the most hot search terms of different web services such as Naver or Daum. The service, bases the changes in rank of a specific search keyword on changes in its users' interest. This paper introduces a temporal modelling framework for predicting the rank change of hot search keywords using past rank data and machine learning. Past rank data shows that more than 70% of hot search keywords tend to disappear and reappear later. The authors processed missing rank value, using deletion, dummy variables, mean substitution, and expectation maximization. It is however crucial to calculate the optimal window size of the past rank data. We proposed an optimal window size selection approach based on the minimum amount of time a topic within the same or a differing context disappeared. The experiments were conducted with four different machine-learning techniques using the Naver, Daum, and Nate 'Hot Search Keywords' datasets, which were collected for 2 years.

Integrating Multiple Classifiers in a GA-based Inductive Learning Environment (유전 알고리즘 기반 귀납적 학습 환경에서 분류기의 통합)

  • Kim, Yeong-Joon
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • 제10권3호
    • /
    • pp.614-621
    • /
    • 2006
  • We have implemented a multiclassifier learning approach in a GA-based inductive learning environment that learns classification rules that are similar to rules used in PROSPECTOR. In the multiclassifier learning approach, a classification system is constructed with several classifiers that are obtained by running a GA-based learning system several times to improve the overall performance of a classification system. To implement the multiclassifier learning approach, we need a decision-making scheme that can draw a decision using multiple classifiers. In this paper, we introduce two decision-making schemes: one is based on combining posterior odds given by classifiers to each class and the other one is a voting scheme based on ranking assigned to each class by classifiers. We also present empirical results that evaluate the effect of the multiclassifier learning approach on the GA-based inductive teaming environment.

A New Similarity Measure for Improving Ranking in QA Systems (질의응답시스템 응답순위 개선을 위한 새로운 유사도 계산방법)

  • Kim Myung-Gwan;Park Young-Tack
    • Journal of KIISE:Computing Practices and Letters
    • /
    • 제10권6호
    • /
    • pp.529-536
    • /
    • 2004
  • The main idea of this paper is to combine position information in sentence and query type classification to make the documents ranking to query more accessible. First, the use of conceptual graphs for the representation of document contents In information retrieval is discussed. The method is based on well-known strategies of text comparison, such as Dice Coefficient, with position-based weighted term. Second, we introduce a method for learning query type classification that improves the ability to retrieve answers to questions from Question Answering system. Proposed methods employ naive bayes classification in machine learning fields. And, we used a collection of approximately 30,000 question-answer pairs for training, obtained from Frequently Asked Question(FAQ) files on various subjects. The evaluation on a set of queries from international TREC-9 question answering track shows that the method with machine learning outperforms the underline other systems in TREC-9 (0.29 for mean reciprocal rank and 55.1% for precision).

Efficient Migration Approach of Mobile Agent using learning state information (상태 정보 학습을 이용한 효율적인 이동 에이전트 이주기법)

  • Choi Shinil;Eum Young-Hyun;Kook oun-Gyou;Jung Kye-Dong;Choi Young-Keun
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 한국정보과학회 2005년도 한국컴퓨터종합학술대회 논문집 Vol.32 No.1 (A)
    • /
    • pp.25-27
    • /
    • 2005
  • 네트워크 환경의 발전으로 분산 처리의 필요성이 증가하였고 그에 따라 네트워크 관리, 이동 컴퓨팅 및 정보 수집 등 다양한 분야에서 이동 에이전트의 연구가 활발히 진행되고 있다. 에이전트의 이주에 있어 노드들의 동적인 상태는 이주기법의 성능에 영향을 미친다. 본 논문에서는 노드들의 동적인 상태를 고려한 에이전트의 이주기법을 제안한다. 에이전트의 이주 기법은 바이노미얼 트리 위상을 기반으로 하며, 노드들의 컴퓨팅 능력에 따라 우선순위를 부여하고 우선순위가 높은 노드들부터 바이노미얼 트리 위상의 루트 레벨로부터 하위 레벨로 배치하고 에이전트를 이주시킴으로 효율적이고 안정적인 에이전트의 이주를 하도록 한다.

  • PDF

The Problem of the e-value of InterPro to find additional domains in Domain Combination (InterPro의 e-value 조정을 통한 신규 도메인 발견 접근 방식의 문제점)

  • Hur, Hee-Young;Han, Dong-Soo
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 한국정보과학회 2006년도 가을 학술발표논문집 Vol.33 No.2 (A)
    • /
    • pp.17-21
    • /
    • 2006
  • 도메인 기반 단백질 상호작용 예측 기법은 지난 몇 년 동안 활발히 연구되어 왔다. 도메인 기반 접근 방법 중에서도 도메인 조합 기반 단백질 상호작용 가능성 순위 부여 기법은 예측 정확도면에서 다른 기법보다 월등한 결과를 보여주고 있다. 그러나 학습 집단을 사용하는 특징 때문에 전체 도메인 정보를 이용할 수 없는 단점이 있다. 또한, 이 시스템은 도메인 정보가 부족하여 다른 기능을 하는 단백질이라도 같은 도메인 정보를 보여주기 때문에 예측 시스템의 결점을 드러내고 있다. 도메인 조합 기반 단백질 상호작용 가능성 순위 부여 기법은 InterPro 데이터베이스의 도메인 정보를 기반으로 사용한다. InterProScan은 InterPro의 여러 멤버 데이터베이스의 정보를 기반으로 Sequence 분석을 하는 소프트웨어로써 검색 후 단계에서 찾아낸 결과들을 e-value를 기반으로 여과한다. 본 논문에서는 제시된 e-value를 조정 방법을 사용함으로써 단백질 내 도메인 패턴의 다양화와 기존 도메인 정보가 없던 단백질의 도메인을 새롭게 발견할 수 있으나 접근 방식의 한계가 존재함을 확인할 수 있었다.

  • PDF

Object Detection in a Still FLIR Image using Intensity Ranking Feature (밝기순위 특징을 이용한 적외선 정지영상 내 물체검출기법)

  • Park Jae-Hee;Choi Hak-Hun;Kim Seong-Dae
    • Journal of the Institute of Electronics Engineers of Korea SP
    • /
    • 제42권2호
    • /
    • pp.37-48
    • /
    • 2005
  • In this paper, a new object detection method for FLIR images is proposed. The proposed method consists of intensity ranking feature and a classification algerian using the feature. The intensity ranking feature is a representation of an image, from which intensity distribution is regularized. Each object candidate region is classified as object or non-object by the proposed classification algorithm which is based on the intensity ranking similarity between the candidate and object training images. Using the proposed algorithm pixel-wise detection results can be obtained without any additional candidate selection algorithm. In experimental results, it is shown that the proposed ranking feature is appropriate for object detection in a FLIR image and some vehicle detection results in the situation of existing noise, scale variation, and rotation of the objects are presented.