• 제목/요약/키워드: Topic Evaluation

검색결과 411건 처리시간 0.025초

사용자 리뷰의 평가기준 별 이슈 식별 방법론: 호텔 리뷰 사이트를 중심으로 (Methodology for Identifying Issues of User Reviews from the Perspective of Evaluation Criteria: Focus on a Hotel Information Site)

  • 변성호;이동훈;김남규
    • 지능정보연구
    • /
    • 제22권3호
    • /
    • pp.23-43
    • /
    • 2016
  • 최근 IT기술의 발전에 따라 많은 사람들이 자신들의 여가활동에 대한 경험을 공유하고 있으며, 역으로 다른 사람들의 여가활동에 대한 경험을 참고하여 더 나은 여가활동을 누릴 수 있는 기회를 얻게 되었다. 이러한 현상은 영화, 숙박, 음식, 여행 등 여가활동 전반에 걸쳐 나타나고 있으며, 그 중심에는 여가활동에 대한 정보를 요약하여 제공하는 수많은 사이트가 있다. 대부분의 여가활동 정보 사이트는 각 상품에 대한 평균 평점뿐만 아니라 상세 리뷰를 제공함으로써, 해당 상품을 구매하고자 하는 잠재고객의 의사결정을 지원하고 있다. 하지만 기존 대부분의 사이트는 한 단계의 평가기준에 따라 평점과 리뷰를 제공하기 때문에, 각 평가기준을 구성하는 세부요소에 대한 특징과 평가기준 별 주요 이슈를 파악하기 위해서는 상당히 많은 수의 리뷰를 직접 읽어야 한다는 불편이 따른다. 즉 사용자는 자신이 중요한 것으로 생각하는 평가기준에 대한 조건을 파악하기 위해, 많은 수의 리뷰를 하나하나 읽어보는 과정에서 많은 시간과 노력을 소비하게 된다. 예를 들어 호텔의 접근성, 객실, 서비스, 음식 등 한 단계의 평가기준만을 사용하여 평점과 리뷰를 제공하는 사이트의 경우, 접근성 중 특히 지하철역과의 거리, 객실 중 특히 욕실의 상태를 살펴보고자 하는 사용자에게 필요한 정보를 충분히 제공하지 못하게 된다. 따라서 본 연구에서는 기존 여가활동 정보 사이트의 한계, 즉 평가기준별로 입력된 리뷰를 신뢰하기 어렵다는 점과 평가기준을 구성하고 있는 세부 내용을 파악하기 어렵다는 점을 극복하기 위한 방안을 제시하고자 한다. 본 연구에서 제안하는 방법론은 사용자가 별도의 구분 없이 입력한 리뷰를 그 내용에 따라 평가기준별로 자동 분류하고, 각 평가 기준 별 주요 이슈를 요약하여 제공한다. 제안 방법론은 최근 텍스트 분석에 활발하게 사용되고 있는 토픽 모델링(Topic Modeling)에 기반을 두고 있으며, 각 리뷰를 하나의 문서 단위로 사용하는 것이 아니라 리뷰를 문장 단위로 끊어 개별 리뷰 유닛(Review Unit)으로 분해한 뒤, 평가기준별로 리뷰 유닛을 재구성하여 분석한다는 측면에서 기존의 토픽 모델링 기반 연구와 큰 차이가 있다고 할 수 있다. 본 논문에서는 제안 방법론을 실제 호텔 정보 사이트에서 수집한 423건의 리뷰 문서에 적용하여 6가지 평가기준에 대해 총 4,860건의 리뷰 유닛을 재구성하고, 이에 대한 분석 결과를 소개함으로써 제안 방법론의 유용성을 간접적으로 보인다.

LDA, Top2Vec, BERTopic 모형의 토픽모델링 비교 연구 - 국외 문헌정보학 분야를 중심으로 - (A Comparative Study on Topic Modeling of LDA, Top2Vec, and BERTopic Models Using LIS Journals in WoS)

  • 이용구;김선욱
    • 한국문헌정보학회지
    • /
    • 제58권1호
    • /
    • pp.5-30
    • /
    • 2024
  • 이 연구는 토픽모델링 모형인 LDA, Top2Vec, BERTopic을 대상으로 실험데이터에서 토픽을 추출하고, 그 결과를 비교 분석함으로써 각각의 모형 간의 특성과 차이를 파악하는데 목적이 있다. 실험데이터는 Web of Science(WoS)에 등재된 문헌정보학 분야 학술지 85종에 게재된 논문 55,442편을 대상으로 하였다. 실험 과정으로 우선 각 모형의 파라미터를 기본값 그대로 이용하여 1차 토픽모델링 결과를 얻었고, 최적의 토픽 수를 설정하여 각 모형의 2차 토픽모델링 결과를 얻었으며, 이들을 각 모형과 단계별로 비교분석하였다. 1차 토픽모델링 단계에서는 LDA, Top2Vec, BERTopic 모형이 각각 100개, 350개, 550개의 토픽을 생성하여 세 모형은 각각 매우 다른 크기의 토픽 개수를 가져왔으며, LDA 모형에 비해 Top2Vec이나 BERTopic 모형이 토픽을 3배, 5배 더 세분화하였다. 또한 세 모형은 토픽 당 문서 수의 평균이나 표준편차에서도 많은 차이가 났다. 구체적으로 LDA 모형은 비교적 적은 수의 토픽에 많은 문서를 부여하는 반면, BERTopic 모형은 반대의 경향을 보였다. 25개의 토픽 수를 생성하는 2차 토픽모델링 단계에서는 다른 모형에 비해 Top2Vec 모형이 평균적으로 토픽 당 많은 문서를 부여하고 토픽간에 고르게 문서를 할당하여 상대적으로 편차가 작았다. 또한 모형간의 유사 토픽의 생성여부를 비교하면, LDA와 Top2Vec 모형이 전체 25개 중에 18개(72%)의 공통된 토픽을 생성하여 BERTopic 모형에 비해 두 모형이 더 유사한 결과를 보였다. 향후 토픽모델링 결과에서 각 토픽과 부여된 문서들이 주제적으로 올바르게 형성되었는지에 대한 전문가의 평가를 통해 보다 완전한 분석이 필요하다.

영어 작문 자동채점에서 ConceptNet과 작문 프롬프트를 이용한 주제-이탈 문서의 자동 검출 (Automatic Detection of Off-topic Documents using ConceptNet and Essay Prompt in Automated English Essay Scoring)

  • 이공주;이경호
    • 정보과학회 논문지
    • /
    • 제42권12호
    • /
    • pp.1522-1534
    • /
    • 2015
  • 본 연구에서는 미리 구축해 놓은 학습데이터 없이도 입력된 작문이 주어진 작문 주제에 적합한 내용인지 아닌지를 자동으로 판단할 수 있는 방법을 제안한다. ConceptNet은 다양한 종류의 문서에서 추출한 자연언어 문장들로부터 구축된 그래프 형태의 지식베이스이다. 본 연구에서는 작문 주제에 해당하는 작문 프롬프트(essay prompt)와 ConceptNet만을 이용하여 문서의 주제-이탈 여부를 판별하는 방법을 제안한다. ConceptNet에서 두 개념간의 최단 경로를 찾고 이에 대한 의미 유사도를 계산하는 방법을 제안한다. 이를 이용하여 작문 프롬프트와 수험생 작문 내용을 ConceptNet의 개념들로 매핑하고 이 개념들 사이의 의미 유사도를 계산하여 작문 프롬프트와 수험생 작문 사이의 주제 부합 여부를 판단한다. 8개의 작문 시험을 수행하여 얻은 수험생 작문 데이터에 대하여 평가를 수행한 결과 기존의 연구에 비해 좋은 성능을 얻을 수 있었다. ConceptNet을 활용하면 유의미한 단순 추론이 가능하기 때문에 본 연구에서 제안한 방법은 추론을 요하는 작문 문제에도 적용 가능함을 보였다.

토픽 모델링을 활용한 대학 강의평가 개방형 응답분석 (Open-Ended Response Analysis for University Course Evaluations using Topic Modeling)

  • 안수현;이상준
    • 실천공학교육논문지
    • /
    • 제15권3호
    • /
    • pp.539-547
    • /
    • 2023
  • 최근 대학교육은 교육 패러다임의 변화와 함께 학습자 중심의 교육 모델을 강조하고 있다. 본 연구는 대학 강의평가의 개방형 응답을 토픽 모델링으로 분석하여 학생들의 다양한 의견을 탐색하고 교육의 질을 향상시키는데 목적이 있다. 이를 위해 비수도권 대학의 2017년부터 2022년까지 강의평가 결과를 바탕으로 총 45,001개의 개방형 응답을 전공과 교양으로 구분하여 단문에 최적화된 BTM(Biterm Topic Modeling) 분석을 진행하였다. 분석 결과 전공 강의는 "비대면 수업경험에 대한 태도", "질문과 토론에 대한 태도", "출석과 성적평가에 대한 태도", "실습활동 및 발표에 대한 태도", "소통과 협업에 대한 태도"로 구분되었고, 교양 강의는 "비대면 수업경험에 대한 태도", "성적 및 평가에 대한 태도", "출석 및 수업계획서에 대한 태도", "학문적 지식과 흥미에 대한 태도", "소통과 질문에 대한 태도"로 구분되었다. 학생들의 다양한 피드백을 분석한 본 연구결과를 토대로 전공과 교양 강의의 특성을 비교하고 강의개선 및 학습경험을 향상시키는데 도움이 될 수 있는 인사이트를 얻을 수 있을 것이다.

사용자 리뷰 분석을 통한 호텔 평가 항목별 누락 평점 예측 방법론 (Predicting Missing Ratings of Each Evaluation Criteria for Hotel by Analyzing User Reviews)

  • 이동훈;부현경;김남규
    • 한국IT서비스학회지
    • /
    • 제16권4호
    • /
    • pp.161-176
    • /
    • 2017
  • Recently, most of the users can easily get access to a variety of information sources about companies, products, and services through online channels. Therefore, the online user evaluations are becoming the most powerful tool to generate word of mouth. The user's evaluation is provided in two forms, quantitative rating and review text. The rating is then divided into an overall rating and a detailed rating according to various evaluation criteria. However, since it is a burden for the reviewer to complete all required ratings for each evaluation criteria, so most of the sites requested only mandatory inputs for overall rating and optional inputs for other evaluation criteria. In fact, many users input only the ratings for some of the evaluation criteria and the percentage of missed ratings for each criteria is about 40%. As these missed ratings are the missing values in each criteria, the simple average calculation by ignoring the average 40% of the missed ratings can sufficiently distort the actual phenomenon. Therefore, in this study, we propose a methodology to predict the rating for the missed values of each criteria by analyzing user's evaluation information included the overall rating and text review for each criteria. The experiments were conducted on 207,968 evaluations collected from the actual hotel evaluation site. As a result, it was confirmed that the prediction accuracy of the detailed criteria ratings by the proposed methodology was much higher than the existing average-based method.

ERP 내재화 평가 프레임워크에 관한 연구 (Evaluation Framework for Routinization of ERP)

  • 김종일;황경태
    • 한국IT서비스학회지
    • /
    • 제16권4호
    • /
    • pp.77-97
    • /
    • 2017
  • ERP is an essential information system (IS) that many companies are operating on the basis of this solution. Since ERP is a very important system that is used in business operation and provides quantified information about the efficiency and productivity of the business activities, difference of competitiveness between companies that have successfully implemented ERP and those that do not have is very large. According to a survey done by a global consulting firm, far less than half of the companies are evaluated as successfully internalizing ERP into their organizations. Therefore, there is a need for an accurate assessment of ERP usage and an improvement of ERP based on it and the need become to increase largely. However, in reality, there is neither the systematic evaluation methods or any research about this topic. This study proposes a framework for evaluating the routinization of ERP throughout the life cycle of the ERP based on both the literature in the enterprise architecture, ERP lifecycle, ERP success areas, and actual experience of the authors in ERP implementation. The proposed framework intends to satisfy the following functional requirements : 1) the entire lifecycle of ERP should be evaluated; 2) evaluation of ERP should be performed from the enterprise-wide perspective; 3) evaluation should focus on the core activities of the organization; and objective evaluation criteria should be used in the evaluation.

뇌파정보를 활용한 영상물 요약 알고리즘 설계와 평가 (Design and Evaluation of Video Summarization Algorithm based on EEG Information)

  • 김현희;김용호
    • 한국문헌정보학회지
    • /
    • 제52권4호
    • /
    • pp.91-110
    • /
    • 2018
  • 본 연구는 비디오 스킴의 자동 생성을 위한 비디오 요약 알고리즘을 제안하고 이를 평가하였다. 제안된 알고리즘은 ERP(Event Related Potentials) 기반의 주제 적합성 모형, MMR(Maximal Marginal Relevance) 기법 및 판별분석기법을 사용하여 구현하였다. 제안한 ERP/MMR 기반 알고리즘을 이용하여 구성한 비디오 스킴의 품질과 유용성을 내재적 및 외재적 평가를 통해서 검증하였다. 내재적 및 외재적 평가에서 ERP/MMR 방법들의 평가 점수들은 각각 경쟁 기준으로 사용한 SBD(Shot Boundary Detection) 방법의 평가 점수 보다 유의미한 차이를 보이며 높게 나왔다. 그러나 이 두 평가에서 ERP/MMR(${\lambda}=0.6$) 방법의 평가 점수와 ERP/MMR(${\lambda}=1.0$) 방법의 평가 점수 간에 통계적으로 유의미한 차이는 없는 것으로 나타났다.

이요인 이론 기반 텍스트 마이닝을 통한 한·중 스마트홈 앱 서비스 사용자 평가 차이에 대한 연구: 신뢰성 중심 (A Study on the Evaluation Differences of Korean and Chinese Users in Smart Home App Services through Text Mining based on the Two-Factor Theory: Focus on Trustness)

  • 조욱녕;임규건
    • 한국IT서비스학회지
    • /
    • 제22권3호
    • /
    • pp.141-165
    • /
    • 2023
  • With the advent of the fourth industrial revolution, technologies such as the Internet of Things, artificial intelligence and cloud computing are developing rapidly, and smart homes enabled by these technologies are rapidly gaining popularity. To gain a competitive advantage in the global market, companies must understand the differences in consumer needs in different countries and cultures and develop corresponding business strategies. Therefore, this study conducts a comparative analysis of consumer reviews of smart homes in South Korea and China. This study collected online reviews of SmartThings, ThinQ, Msmarthom, and MiHome, the four most commonly used smart home apps in Korea and China. The collected review data is divided into satisfied reviews and dissatisfied reviews according to the ratings, and topics are extracted for each review dataset using LDA topic modeling. Next, the extracted topics are classified according to five evaluation factors of Perceived Usefulness, Reachability, Interoperability,Trustness, and Product Brand proposed by previous studies. Then, by comparing the importance of each evaluation factor in the two datasets of satisfaction and dissatisfaction, we find out the factors that affect consumer satisfaction and dissatisfaction, and compare the differences between users in Korea and China. We found Trustness and Reachability are very important factors. Finally, through language network analysis, the relationship between dissatisfied factors is analyzed from a more microscopic level, and improvement plans are proposed to the companies according to the analysis results.

빅데이터를 통한 브랜드 평가 맵 제안 : 현대자동차 제품 평가 중심으로 (Proposal of Brand Evaluation Map through Big Data : Focus on The Hyundai Motor's Product Evaluation)

  • 윤대명;이용혁;이봉규
    • 한국IT서비스학회지
    • /
    • 제19권4호
    • /
    • pp.1-11
    • /
    • 2020
  • Through text mining, sentiment analysis, and semiotics analysis, this study aims to reinterpret the meaning of user emotional words and related words to derive strategic elements of brand and design. After selecting a local car manufacturer whose user opinion on the brand is a clear topic, web-crawl the car comments of the manufacturer directly created by the users online. Then, analyze the extracted morphology and its associated words and convert them to fit the marketing mix theory. Through this process, propose a methodology that allows consumers to supplement and improve brand elements with negative sensibilities, and to inherit elements with positive sensibilities and manage brands reasonably. In particular, the Map presented in this study are considered to be fully utilized as information for overall brand management.

수동적 적외선 열화상 기법을 적용한 120W급 LED조명등 건전성 평가 (Soundness Evaluation of 120W LED Lighting using Passive Infrared Thermal Imaging Method)

  • 정윤수;고가진;김재열
    • 한국기계가공학회지
    • /
    • 제16권4호
    • /
    • pp.140-146
    • /
    • 2017
  • As energy conservation and environmental issues are emerging as a hot topic around the world, consumers are demanding high-efficiency, eco-friendly products. In this study, the author proposed 120W LED lighting system that replace metal halide lamp (MHL) which is currently used in the industry. Furthermore, it would be possible to provide a perfect opportunity for Korea to rise as a global leader in the LED lighting industry through soundness evaluation of the LED lighting system that is applied.