• 제목/요약/키워드: Review data mining

검색결과 275건 처리시간 0.028초

텍스트 데이터 시각화를 위한 MVC 프레임워크 (A MVC Framework for Visualizing Text Data)

  • 최광선;정교성;김수동
    • 지능정보연구
    • /
    • 제20권2호
    • /
    • pp.39-58
    • /
    • 2014
  • 빅데이터의 중요성에 대한 인식이 확산되고, 관련한 기술이 발전됨에 따라, 최근에는 빅데이터의 처리와 분석의 결과를 어떻게 시각화할 것인지가 매우 관심 받는 주제로 부각되고 있다. 이는 분석된 결과를 보다 명확하고 효과적으로 전달하는 데에 있어서 데이터의 시각화가 매우 효과적인 방법이기 때문이다. 시각화는 분석 시스템과 사용자가 소통하기 위한 하나의 그래픽 사용자 인터페이스(GUI)를 담당하는 역할을 한다. 통상적으로 이러한 GUI 부분은 데이터의 처리나 분석의 결과와 독립될 수록 시스템의 개발과 유지보수가 용이하며, MVC(Model-View-Controller)와 같은 디자인 패턴의 적용을 통해 GUI와 데이터 처리 및 관리 부분 간의 결합도를 최소화하는 것이 중요하다. 한편 빅데이터는 크게 정형 데이터와 비정형 데이터로 구분할 수 있는데 정형 데이터는 시각화가 상대적으로 용이한 반면, 비정형 데이터는 시각화를 구현하기가 복잡하고 다양하다. 그럼에도 불구하고 비정형 데이터에 대한 분석과 활용이 점점 더 확산됨에 따라, 기존의 전통적인 정형 데이터를 위한 시각화 도구들의 한계를 벗어나기 위해 각각의 시스템들의 목적에 따라 고유의 방식으로 시각화 시스템이 구축되는 현실에 직면해 있다. 더욱이나 현재 비정형 데이터 분석의 대상 중 대부분을 차지하고 있는 텍스트 데이터의 경우 언어 분석, 텍스트 마이닝, 소셜 네트워크 분석 등 적용 기술이 매우 다양하여 하나의 시스템에 적용된 시각화 기술을 다른 시스템에 적용하는 것이 용이하지 않다. 이는 현재의 텍스트 분석 결과에 대한 정보 모델이 서로 다른 시스템에 적용될 수 있도록 설계되지 못하는 경우가 많기 때문이다. 본 연구에서는 이러한 문제를 해결하기 위하여 다양한 텍스트 데이터 분석 사례와 시각화 사례들의 공통적 구성 요소들을 식별하여 표준화된 정보 모델인 텍스트 데이터 시각화 모델을 제시하고, 이를 통해 시각화의 GUI 부분과 연결할 수 있는 시스템 모델로서의 시각화 프레임워크인 TexVizu를 제안하고자 한다.

편향된 의견 문서 검출을 위한 이상치 탐지 기법 (Outlier Detection Techniques for Biased Opinion Discovery)

  • 연종흠;심준호;이상구
    • 한국전자거래학회지
    • /
    • 제18권4호
    • /
    • pp.315-326
    • /
    • 2013
  • 소셜 미디어에서는 상품평, 영화평 등의 다양한 종류의 의견이 표현되고 있으며, 사용자들이 물품 구매 등에 있어 이러한 의견을 참고로 하여 결정을 내리는 것은 일반적이 되었다. 하지만 의견 정보의 활용도가 높아질수록 이를 부적절하게 왜곡하는 사례 또한 증가하고 있다. 예를 들어, 홍보를 목적으로 과도하게 긍정적인 의견이 포함된 리뷰를 작성하거나, 반대로 일반적인 평가에서 벗어나 과도하게 부정적인 의견을 게시하는 경우 등이다. 편향된 의견은 소셜 미디어의 신뢰성과 연결 되기 때문에 이를 검출하는 것은 점차 중요한 문제로 대두되고 있다. 기존의 오피니언 마이닝 혹은 감성 분석은 문서를 분석하여 그 문서가 가지고 있는 의견의 성향을 판단하는 기법이다. 하지만 기존의 연구는 의견을 단순히 긍정/부정으로만 분류하는 방향으로 연구가 이루어져 왔으며, 특히 사전에 의견 성향에 따라 분류된 충분한 양의 학습 데이터가 필요하다는 단점이 있다. 본 논문에서는 학습데이터가 없는 경우에, 전체 문서의 의견 성향 분포에서 벗어난 의견 문서를 검출하는 기법을 제안한다. 여기에는 각도기반 이상치 탐지와, 개인화된 페이지랭크 방법을 활용한다. 또한 영화 리뷰 문서를 대상으로 실험을 수행하여 제안한 방법들의 성능을 분석하였다.

Impact of Word Embedding Methods on Performance of Sentiment Analysis with Machine Learning Techniques

  • Park, Hoyeon;Kim, Kyoung-jae
    • 한국컴퓨터정보학회논문지
    • /
    • 제25권8호
    • /
    • pp.181-188
    • /
    • 2020
  • 본 연구에서는 다양한 워드 임베딩 기법이 감성분석의 성과에 미치는 영향을 확인하기 위한 비교연구를 제안한다. 감성분석은 자연어 처리를 사용하여 텍스트 문서에서 주관적인 정보를 식별하고 추출하는 오피니언 마이닝 기법 중 하나이며, 상품평이나 댓글의 감성을 분류하는데 사용될 수 있다. 감성은 긍정적이거나 부정적인 것으로 분류될 수 있기 때문에 일반적인 분류문제 중 하나로 생각할 수 있으며, 이의 분류를 위해서는 텍스트를 컴퓨터가 인식할 수 있는 언어로 변환하여야 한다. 따라서 단어나 문서와 같은 텍스트를 자연어 처리에서 벡터로 변형하여 진행하는데 이를 워드 임베딩이라고 한다. 워드 임베딩 기법은 Bag of Words, TF-IDF, Word2Vec 등 다양한 기법이 사용되고 있는데 지금까지 감성분석에 적합한 워드 임베딩 기법에 대한 연구는 많이 진행되지 않았다. 본 연구에서는 영화 리뷰의 감성분석을 위해 다양한 워드 임베딩 기법 중 Bag of Words, TF-IDF, Word2Vec을 사용하여 그 성과를 비교 분석한다. 분석에 사용할 연구용 데이터 셋은 텍스트 마이닝에서 많이 활용되고 있는 IMDB 데이터 셋을 사용하였다. 분석 결과, TF-IDF와 Bag of Words의 성과가 Word2Vec보다 우수한 것으로 나타났으며 TF-IDF는 Bag of Words보다 성과가 우수하였으나 그 차이가 매우 크지는 않았다.

머신러닝을 활용한 뇌졸중 환자의 기능적 결과 예측: 체계적 고찰 (Predicting Functional Outcomes of Patients With Stroke Using Machine Learning: A Systematic Review)

  • 배수영;;남상훈;홍익표
    • 재활치료과학
    • /
    • 제11권4호
    • /
    • pp.23-39
    • /
    • 2022
  • 목적 : 본 연구는 뇌졸중 환자의 기능적 결과를 예측하기 위한 인구통계학적 및 임상학적 특징과 머신러닝의 사용을 체계적으로 분석하고 요약하기 위해 수행되었다. 연구방법 : PubMed, CINAHL과 Web of Science를 사용하여 2010년부터 2021년 사이에 게재된 연구를 검색하였다. 주요 검색어는 "machine learning OR data mining AND stroke AND function OR prediction OR/AND rehabilitation"을 사용하였다. 뇌 이미지 처리 기법만을 분석한 연구, 딥러닝만 적용한 연구와 전체 본문을 열람할 수 없는 연구는 제외되었다. 결과 : 검색한 결과, 총 9편의 국내외 논문을 선정했다. 선정된 논문에서 가장 많이 사용된 머신러닝 알고리즘은 서포트 벡터 머신(support vector machine, 19.05%)과 랜덤포레스트(random forest, 19.05%)였다. 9개 중 7개의 연구에서 뇌졸중 환자의 기능을 예측하기 위해 중요하다고 추출된 변수를 결과로 제시했다. 그 결과, 5개(55.56%)의 연구에서 뇌졸중 환자의 기능을 예측하기 위해 환자의 임상적 특성이 아닌 modified ranking scale (mRS) 및 functional independence measure (FIM)과 같은 초기 또는 퇴원 평가 점수가 중요하다고 도출되었다. 결론 : 이 연구는 mRS 및 FIM과 같은 뇌졸중 환자의 초기 또는 퇴원 평가 점수가 임상적 특성보다 기능적 결과에 더 많은 영향을 미칠 수 있음을 나타냈다. 따라서, 뇌졸중 환자의 기능적 결과를 향상시키기 위한 최적의 중재를 개발하고 적용하기 위해서는 뇌졸중 환자의 초기 및 퇴원 시 기능적 결과를 평가하고 검토하는 것이 필요하다.

소셜미디어 빅데이터의 개체명 인식을 활용한 옥외 힐링 장소 인식 분석 (Outdoor Healing Places Perception Analysis Using Named Entity Recognition of Social Media Big Data)

  • 성정한;이경진
    • 한국조경학회지
    • /
    • 제50권5호
    • /
    • pp.90-102
    • /
    • 2022
  • 최근 힐링에 대한 관심이 증가함에 따라 힐링을 콘셉트로 하는 옥외 공간이 조성되고 있다. 보다 전문적이고 심층적인 옥외 힐링 장소 계획·설계·디자인을 위해 88,155건의 블로그 게시글 텍스트 데이터를 개체명 인식하여 텍스트 마이닝을 진행했다. 옥외 힐링 장소의 인식과 특징을 파악을 위해 출현 빈도 분석과 응집 분석을 진행하였다. 선행연구 고찰을 통해 힐링 장소의 6가지 요소를 도출하였으며, 시간과 인원을 추가한 총 8가지 요소를 통해 인식과 특성을 살펴보았다. 분석 결과 사람들은 힐링 장소를 방문하는 데 있어 장소적요소, 시간적요소, 사회적요소, 활동요소를 인원, 식물, 색상·형태, 심리적 요소보다 중요하게 생각하였다. 상위 출현 키워드를 통해 여러 가지 인식과 특성을 파악할 수 있었다. 응집 분석 결과를 통해 장소적요소, 시간적요소, 사회적요소의 키워드들이 응집되어 나타나 주로 어떤 장소, 어떤 시간대, 누구와 함께 방문하는지 구체적으로 살펴볼 수 있었다. 연구를 통해 실제 사람들이 작성한 인식 데이터를 대량 분석하여 힐링 장소의 인식과 특성을 도출하였으며, 계획과 마케팅적으로 활용할 수 있는 구체적인 요소가 나타남을 확인했다.

앙상블 학습 기반 국내 도서의 해외 판매 굿셀러 예측 및 굿셀러 리뷰 키워드 분석 (Ensemble Learning-Based Prediction of Good Sellers in Overseas Sales of Domestic Books and Keyword Analysis of Reviews of the Good Sellers)

  • 김도영;김나연;김현희
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제12권4호
    • /
    • pp.173-178
    • /
    • 2023
  • 한국 문학이 세계적으로 관심을 받게 됨에 따라 해외 출판시장에서의 수요가 지속적으로 증가하고 있다. 따라서 해외 출판시 도서 판매량의 예측과 과거 해외 독자들의 선호도가 높았던 도서들의 특징을 분석하는 것이 중요하다. 본 논문에서는 최근 5년간 해외 출간된 도서 중에서 굿셀러로 분류되는 누적 5천 부 이상 판매 여부 예측 모델을 제안하고 굿셀러의 요인이 되는 변수들을 분석하였다. 이를 위해, XGBoost, Gradient Boosting, Adaboost, LightGBM, Random Forest의 다섯 개 앙상블 학습 모델과 Support Vector Machine, Logistic Regression, Deep Learning을 적용한 결과, 불균형 데이터 문제 해결에 앙상블 알고리즘이 큰 효과를 보였음을 확인했으며, 그 중에서도 LightGMB 모델이 99.86%의 AUC 값을 얻어 가장 좋은 예측 성능을 보임을 검증하였다. 예측을 위해 사용된 변수 중 가장 중요한 변수는 작가의 해외 출간 횟수로 나타났으며, 평점 평균, 상위 출판 시장 규모를 가진 국가에서 출판 여부와 평점 참여자 수 등이 중요한 변수로 나타났다. 또한, 굿셀러 도서에 대한 독자들의 반응을 분석하기 위해서, 굿셀러 도서 중에서도 가장 많이 판매된 4권의 작품 리뷰에 대해 텍스트 마이닝을 실시하였다. 분석 결과 스토리, 등장인물, 작가 순으로 관심을 둔 리뷰가 많았음을 알 수 있었으며, 평점이 낮은 리뷰로부터 번역 키워드가 도출된 것으로 보아, 번역에 대한 지원을 확대하는 것이 필요할 것으로 보인다.

추천시스템관련 학술논문 분석 및 분류 (A Literature Review and Classification of Recommender Systems on Academic Journals)

  • 박득희;김혜경;최일영;김재경
    • 지능정보연구
    • /
    • 제17권1호
    • /
    • pp.139-152
    • /
    • 2011
  • 1990년대 중반에 협업 필터링의 출현으로 인하여 추천시스템에 관련된 연구가 늘어나게 되었다. 협업 필터링의 출현 이후 내용 기반 필터링, 협업 필터링과 내용 기반 필터링이 혼합된 하이브리드 필터링 등 새로운 기법들이 출현함으로써 2000년대에는 추천시스템의 연구가 눈에 띄게 증가하였다. 하지만 현재까지 추천시스템에 관련된 문헌들에 대한 리뷰와 분류가 체계적으로 되어있지 않다. 이와 같은 문제에 대한 해결방안으로써, 본 연구에서는 2001년부터 2010년도까지의 추천시스템에 관련된 문헌들 중 MIS Journal Ranking의 125개의 저널에서 추천시스템(Recommender system, Recommendation system), 협업 필터링(Collaborative Filtering), 내용 기반 필터링(Content based Filtering), 개인화 시스템(Personalized system) 등의 5가지 키워드로 제한하여 조사하였다. 총 37개의 저널에서 논문을 검색하였으며, 검색되어진 논문을 분석한 결과 추천시스템과 관련이 없는 논문을 제외한 총 187개의 논문을 선정하여 분석하였다. 이 연구에서는 그러나 컨퍼런스 논문, 석사, 박사학위 논문, 영어로 작성되지 않은 논문, 완성되지 않은 논문 등은 제외하였다. 본 연구에서는 187개의 논문을 분석하여 2001년부터 2010년까지의 각각의 년도 별 추천시스템의 연구에 대한 동향 분석, Journal별 추천시스템의 게재 분류, 추천시스템 어플리케이션의 사용 분야(책, 문서, 이미지, 영화, 음악, 쇼핑, TV 프로그램, 기타)별 분류 및 분석, 추천시스템에 사용된 데이터마이닝 기술(연관 규칙, 군집화, 의사 결정나무, 최근접 이웃 기법, 링크 분석 기법, 신경망, 회귀분석, 휴리스틱 기법)별 분류 및 분석을 수행하였다. 따라서 본 연구에서 제안한 각각의 분류 및 분석 결과들을 통하여 현재까지 추천시스템의 연구에 대한 연구 동향을 파악 할 수 있었으며, 분석결과를 통해 추천시스템에 관심이 있는 연구자와 전문가에게 미래의 추천시스템의 연구에 대한 가이드라인을 제시 할 수 있을 것이라고 기대한다.

주경로 분석과 연관어 네트워크 분석을 통한 '구전(WoM)' 관련 연구동향 분석 (Analysis of Research Trends of 'Word of Mouth (WoM)' through Main Path and Word Co-occurrence Network)

  • 신현보;김혜진
    • 지능정보연구
    • /
    • 제25권3호
    • /
    • pp.179-200
    • /
    • 2019
  • 구전(Word-of-Mouth) 활동은 오래 전부터 기업의 마케팅 과정에서 중요성을 인식하고 특히 마케팅 분야에서 많은 주목을 받아왔다. 최근에는 인터넷의 발달에 따라 온라인 뉴스, 온라인 커뮤니티 등에서 사람들이 지식과 정보를 주고 받는 방식이 다양해지면서 구전은 후기, 평점, 좋아요 등으로 입소문의 양상이 다각화되고 있다. 이러한 현상에 따라 구전에 관한 다양한 연구들이 선행되어왔으나, 이들을 종합적으로 분석한 메타 분석 연구는 부재하다. 본 연구는 학술 빅데이터를 활용해 구전 관련 연구동향을 알아내기 위해서 텍스트 마이닝 기법을 적용하여 주요 연구들을 추출하고 시기별로 연구들의 주요 쟁점을 파악하는 기법을 제안하였다. 이를 위해서 1941년부터 2018년까지 인용 데이터베이스인 Scopus에서 'Word-of-Mouth'라는 키워드로 검색되는 총 4389건의 문헌을 수집하였고, 영어 형태소 분석과 불용어 제거 등 전처리 과정을 통해 데이터를 정제하였다. 본 연구는 학문 분야의 발전 궤적을 추적하는 데 활용되는 주경로 분석기법을 적용해 구전과 관련된 핵심 연구들을 추출하여 연구동향을 거시적 관점에서 제시하였고, 단어동시출현 정보를 추출하여 키워드 간 네트워크를 구축하여 시기별로 구전과 관련된 연관어들이 어떻게 변화되었는지 살펴봄으로써 연구동향을 미시적 관점에서 제시하였다. 수집된 문헌 데이터를 기반으로 인용 네트워크를 구축하고 SPC 가중치를 적용하여 키루트 주경로를 추출한 결과 30개의 문헌으로 구성된 주경로가 추출되었고, 연관어 네트워크 분석을 통해서는 시기별로 온라인 시대, 관광 산업 등 다양한 산업군 등 산업 변화가 반영돼 시대적 변화와 더불어 발전하고 있는 학술적 영역의 변화를 확인할 수 있었다.

직원을 위한 내부마케팅이 기업의 시가 총액 변동률에 미치는 영향 분석: 잡플래닛 기업 리뷰를 중심으로 (An Analysis of the Internal Marketing Impact on the Market Capitalization Fluctuation Rate based on the Online Company Reviews from Jobplanet)

  • 최기철;이상용
    • 경영정보학연구
    • /
    • 제20권2호
    • /
    • pp.39-62
    • /
    • 2018
  • 컴퓨터 연산능력의 향상과 데이터를 수집하고 가공해 분석이 가능하도록 데이터를 정형화 시키는 기술이 발달함에 따라, 소셜미디어 및 인터넷 공간에서 생산되는 다양한 텍스트 데이터를 수집하고 그것을 분석하는 시도가 늘고 있다. 본 연구는 이와 같은 기술의 발전과 새롭게 시도되고 있는 분석법을 활용해 텍스트 데이터를 분석하여 과거에 설문조사 방법을 통해 확인했던 "내부마케팅"의 효과를 기존과는 다른 방식으로 확인해 보고자 하였다. 이와 같은 분석을 위해, 전/현직자들이 해당 기업의 구직자들에게 기업의 리뷰를 제공하는 플랫폼 잡플래닛(www.jobplanet.co.kr)의 리뷰 데이터를 웹크롤러를 생성하여 약 4만 건을 수집하였다. 또한 수집된 비정형 데이터를 정형화하기 위한 형태소 분석을 진행하여 명사만을 추출한 후, 미리 생성해 놓은 단어주머니에 들어있는 단어와 같을 경우 그 숫자를 세어 분류화를 진행하였다. 분류화된 내부마케팅 영역별 단어 수의 변화를 독립변수로, 시가총액 변동률을 종속변수로 활용하여, 내부마케팅과 시가총액간의 관계를 확인하고자 하였다. 그 결과, 대부분의 기존 연구와는 다르게 내부마케팅의 효과는 제한적인 영역에서만 기업의 성과에 긍정적인 영향을 미치며 대부분의 환경에서는 음의 영향을 미치는 것으로 나타났다. 산업군으로 나누었을 때, 제조업에서는 여성지원과 교육 훈련 부문에서 기업성과에 긍정의 영향을 미치는 것으로 나타났으나, 유통업에서는 직원 복지, 일-가정 양립 그리고 바이오/제약 업종에서는 직원 복지, 일-가정 양립, 사내 커뮤니케이션 그리고 보상 부문에서 모두 기업성과에 음의 영향을 미치는 것으로 나타났다. 또한 기업의 규모가 크고 역사가 오래된 기업에서는 직원 복지가 기업성과에 악영향을 미치는 것으로 나타났으나, 교육 훈련 부문에서는 종속변수에 긍정적 영향을 미치는 것을 확인할 수 있었으며, 기업의 규모가 작고 역사가 짧은 기업에서는 직원 복지, 사내 커뮤니케이션 그리고 일-가정 양립에서 종속변수와 음의 관계를, 여성지원 에서는 종속변수와 양의 관계를 갖는 것으로 나타났다. 본 연구는 이러한 결과들을 분석하여 이론적 의미뿐만 아니라, 실무적 함의를 제시하고자 하였다.

투입물거리함수(投入物巨利函數)를 이용한 한국(韓國) 무연탄(無煙炭)의 희소성지표(稀少性指標) 산정(算定) (Derivation of Scarcity Index for Korean Coal Using Input Distance Function)

  • 이명헌
    • 자원ㆍ환경경제연구
    • /
    • 제13권1호
    • /
    • pp.33-47
    • /
    • 2004
  • 원(原)자원의 거래가격과 일치하는 무연탄에 대한 암묵가격은 우리나라의 경우 정부의 가격통제로 인하여 희소성지표로 사용하기에는 부적합하다. 김동수 이명헌 (2002)은 비용함수의 추정이 수반되는 Halvorsen and Smith(1984)의 실증적 모형을 적용하여 무연탄의 연도별 암묵가격을 도출한 결과 1970~1996년 기간동안 평균 8.93%의 상승률을 기록하였다. 이들 암묵가격이 희소성지표로서 신뢰성을 얻기 위해서는 투입 생산요소 특히 자본에 대한 정확한 가격산정이 먼저 전제되어야 하지만 우리나라의 열악한 자료환경하에서 자본가격의 산출이 임기웅변적으로 이루어지고 있는 현실을 고려하면 이들 암묵가격으로 판단한 고갈속도는 실제 상황을 왜곡시킬 수 있다. 본 연구에서는 산출량과 요소 투입량에 대한 자료만으로 추정이 가능한 Shephard(1970)의 투입물거리함수를 활용하여 무연탄 암묵가격을 산출한 바, 동일기간을 대상으로 했음에도 불구하고 평균 2.89%의 상승률을 보였다. 이러한 결과는 김동수 이명헌(2002)의 연구처럼 비용함수 추정방식으로 도출된 암묵가격에 의거하여 고갈속도를 판단할 경우 실제보다 약 3배 이상 빠르게 고갈되고 있는 것으로 잘못 인식될 수 있음을 의미한다.

  • PDF