• 제목/요약/키워드: Web data mining

검색결과 406건 처리시간 0.022초

Bi-LSTM 기반의 한국어 감성사전 구축 방안 (KNU Korean Sentiment Lexicon: Bi-LSTM-based Method for Building a Korean Sentiment Lexicon)

  • 박상민;나철원;최민성;이다희;온병원
    • 지능정보연구
    • /
    • 제24권4호
    • /
    • pp.219-240
    • /
    • 2018
  • 감성사전은 감성 어휘에 대한 사전으로 감성 분석(Sentiment Analysis)을 위한 기초 자료로 활용된다. 이와 같은 감성사전을 구성하는 감성 어휘는 특정 도메인에 따라 감성의 종류나 정도가 달라질 수 있다. 예를 들면, '슬프다'라는 감성 어휘는 일반적으로 부정의 의미를 나타내지만 영화 도메인에 적용되었을 경우 부정의 의미를 나타내지 않는다. 그렇기 때문에 정확한 감성 분석을 수행하기 위해서는 특정 도메인에 알맞은 감성사전을 구축하는 것이 중요하다. 최근 특정 도메인에 알맞은 감성사전을 구축하기 위해 범용 감성 사전인 오픈한글, SentiWordNet 등을 활용한 연구가 진행되어 왔으나 오픈한글은 현재 서비스가 종료되어 활용이 불가능하며, SentiWordNet은 번역 간에 한국 감성 어휘들의 특징이 잘 반영되지 않는다는 문제점으로 인해 특정 도메인의 감성사전 구축을 위한 기초 자료로써 제약이 존재한다. 이 논문에서는 기존의 범용 감성사전의 문제점을 해결하기 위해 한국어 기반의 새로운 범용 감성사전을 구축하고 이를 KNU 한국어 감성사전이라 명명한다. KNU 한국어 감성사전은 표준국어대사전의 뜻풀이의 감성을 Bi-LSTM을 활용하여 89.45%의 정확도로 분류하였으며 긍정으로 분류된 뜻풀이에서는 긍정에 대한 감성 어휘를, 부정으로 분류된 뜻풀이에서는 부정에 대한 감성 어휘를 1-gram, 2-gram, 어구 그리고 문형 등 다양한 형태로 추출한다. 또한 다양한 외부 소스(SentiWordNet, SenticNet, 감정동사, 감성사전0603)를 활용하여 감성 어휘를 확장하였으며 온라인 텍스트 데이터에서 사용되는 신조어, 이모티콘에 대한 감성 어휘도 포함하고 있다. 이 논문에서 구축한 KNU 한국어 감성사전은 특정 도메인에 영향을 받지 않는 14,843개의 감성 어휘로 구성되어 있으며 특정 도메인에 대한 감성사전을 효율적이고 빠르게 구축하기 위한 기초 자료로 활용될 수 있다. 또한 딥러닝의 성능을 높이기 위한 입력 자질로써 활용될 수 있으며, 기본적인 감성 분석의 수행이나 기계 학습을 위한 대량의 학습 데이터 세트를 빠르게 구축에 활용될 수 있다.

구글맵리뷰 텍스트마이닝을 활용한 공원 이용자의 인식 및 평가 - 서울숲, 보라매공원, 올림픽공원을 대상으로 - (Perception and Appraisal of Urban Park Users Using Text Mining of Google Maps Review - Cases of Seoul Forest, Boramae Park, Olympic Park -)

  • 이주경;손용훈
    • 한국조경학회지
    • /
    • 제49권4호
    • /
    • pp.15-29
    • /
    • 2021
  • 본 연구의 목적은 Google Maps에서 제공하는 장소에 대한 리뷰를 활용하여 실제로 공원을 방문한 이용자의 인식과 평가를 파악하는 것이다. 구글맵리뷰는 Social Network Service(SNS)를 통해 장소에 대한 인식과 평가에 관한 정보를 얻는 온라인 리뷰이며, 일반 리뷰어와 구글맵의 회원으로 등록된 지역 가이드의 관점에서 장소에 대한 이해를 볼 수 있는 서비스이다. 본 연구에서는 구글맵리뷰 분석이 공원 관리에 필요한 이용자들의 인식과 평가를 추출하는데 활용될 수 있는지를 살펴보고자 하였다. 서로 다른 공간특징과 시설을 가지는 3개의 공원(서울숲, 보라매공원, 올림픽공원)을 대상으로 파이썬을 활용한 웹 크롤링을 통해서 구글맵리뷰 내용을 수집하였다. 그리고 텍스트 분석을 통해 공원별 주요 키워드 분석과 네트워크 구조에 따른 특성을 분석하고, 이와 함께 구글맵리뷰에서 제공하는 별점 평갓값과 외국인 리뷰 데이터에 대한 분석도 수행했다. 연구 결과, 3개의 공원에서 공통으로 나타나는 특성으로는 이용목적으로 '산책', '자전거', '휴식', '피크닉'이 있었으며, 동반유형으로 '가족', '아이', '애견'이, 인프라로는 '놀이터', '산책로'가 있었다. 공원별 특색을 보면 서울숲은 자연을 기반으로 하는 야외활동이 많이 나타났고 반면, 주차공간 부족과 주말 혼잡은 공원 이용자에게 부정적인 영향을 미치고 있었다. 보라매공원은 수많은 활동을 제공하는 다양한 시설을 갖춘 도시공원의 모습을 가지고 있었다. 리뷰어들은 반려견을 동반하는 이용자 그룹과 그렇지 않은 다른 이용자 그룹 간의 갈등과 공원의 복잡함에 대한 부정적인 측면을 언급했다. 올림픽공원에는 대형 복합시설이 있으며, 커뮤니티, 문화예술공연과 같은 대규모 문화 이벤트가 많이 언급되었고, 레크리에이션 기능이 강조되었다. 구글맵리뷰는 공원에 대한 이용자의 전반적 경험과 이미지에 대한 특징을 파악하는 유용한 자료라고 할 수 있다. 또한, 다른 소셜미디어 데이터와 비교할 때 특히 구글맵리뷰는 공원에 대한 이용자 평갓값과 만족 및 불만족 요인을 이해할 수 있는 데이터를 제공한다.

비트코인 가격 변화에 관한 실증분석: 소비자, 산업, 그리고 거시변수를 중심으로 (Empirical Analysis on Bitcoin Price Change by Consumer, Industry and Macro-Economy Variables)

  • 이준식;김건우;박도형
    • 지능정보연구
    • /
    • 제24권2호
    • /
    • pp.195-220
    • /
    • 2018
  • 본 연구는 비트코인 가격 변화량에 영향을 미치는 요인에 대한 실증 분석을 수행하였다. 기존 연구들은 암호화폐와 관련해 블록체인 시스템의 보안성, 암호화폐가 불러일으키는 경제적 파급효과 및 법적 시사점, 소비자 수용 및 사용 의도와 사회현상을 중심으로 이루어졌다. 그러나 암호화폐 가격 변화가 급등과 급락을 반복하면서 많은 사회적 문제를 야기했음에도 불구하고 암호화폐의 가격 변화에 영향을 미치는 요인에 대한 실증적 연구는 부족하다. 때문에 본 연구에서 암호화폐 가격 변화에 미치는 영향 요인을 도출하기 위해 암호화폐 중 가장 대표적인 비트코인을 중심으로 분석을 진행하였다. 분석을 위해 소비자, 산업, 거시경제 세 가지 차원에서 가설을 수립, 각 차원의 변수에 대한 시계열 데이터를 수집하였다. 단위근 검정을 통해 시계열 데이터에 대한 가성 회귀를 제거하고 안정성을 검증한 후, 비트코인 가격 변화량에 영향을 미칠 수 있는 요인들에 대한 회귀 분석을 실시하였다. 분석 결과 비트코인 가격 변화량은 비트코인 거래 금지에 대한 검색 트래픽, 미국 달러지수 변화량과는 음의 상관관계를, GPU 벤더의 주가 변화량, 원유 가격 변화량과는 양의 상관관계를 갖는 것을 확인했다. 그 이유로는 비트코인 거래 금지는 비트코인 존폐와 관련해 투자심리에 부정적 영향을 미친 것으로 판단되며, GPU 벤더 주가는 비트코인 생산 단가 증가와 관련해 비트코인 가격에 영향을 미친 것으로 해석된다. 미국 달러지수와는 반대로 움직임으로서 비트코인이 금의 성격을 갖고 있음을 확인하였으며, 원유 가격과의 관계를 통해 원자재와 같은 투자 자산의 역할도 갖고 있음을 확인하였다. 본 연구의 결과를 통해 비트코인이 가진 성격을 규명하였으며, 비트코인 가격 변화 요인에 대한 실증 검증을 통해, 그 동안 부족했던 비트코인 가격 변화 요인을 규명하였고, 해당 요인들을 통해 실무적으로 소비자나 금융기관, 정부 기관에 대해 비트코인에 대한 전략적인 접근방법에 대한 가이드를 제공할 수 있다는 점에서 의의가 있다.

모바일 러닝에서의 신규 융합서비스 도출을 위한 분석: 사회연결망 분석과 연관성 분석 사례 (An Analysis for Deriving New Convergent Service of Mobile Learning: The Case of Social Network Analysis and Association Rule)

  • 백헌;김진화;김용진
    • 경영정보학연구
    • /
    • 제15권3호
    • /
    • pp.1-37
    • /
    • 2013
  • 본 연구는 모바일 러닝의 활성화를 위한 서비스 융합의 가능성을 보고자 하였다. 이를 위해 모바일 러닝의 유형 및 특성을 분석 하였다. 먼저 현재 모바일 러닝 서비스는 어떤 서비스를 중심으로 활성화되고 있으며, 이러한 서비스를 중심으로 사용자의 활용도가 높은 서비스는 무엇인지 알아 보았다. 두 번째로는 모바일에서 주로 이뤄지고 있는 서비스와 이러닝에서 주로 이뤄지고 있는 서비스의 복합적 융합가능성을 살펴 보았다. 세 번째로는 모바일에서의 서비스와 이러닝에서의 공통된 서비스를 중심으로 앞으로 융합이 활성화 될 가능성을 살펴보았다. 분석을 위하여 포털 사이트에서 관련 웹페이지를 통하여 변수를 추출하였으며, 사회 네트워크 분석과 연관성 분석을 사용하였다. 이는 웹페이지마다 변수의 종류와 수가 다르기 때문에 전체적인 웹 상에서 각각의 변수들의 위치와 네트워크상에서의 복잡한 연결 정도를 살펴보기 힘들다. 이러한 문제점을 해결하기 위해 사회 네트워크 분석을 하였으며, 변수들 간의 연관규칙을 발견하고자 연관성 분석을 하였다. 규칙의 해석을 위해서는 사회 네트워크 분석 결과와 연관규칙을 함께 고려하여 살펴보았다. 분석 결과, 모바일에서 제공되는 서비스와 이러닝에서 제공되고 있는 공통된 서비스 중에서 빈도수가 높은 서비스로는 게임과 SNS로 나타났으며, 이외 결제, 광고, 메일, 이벤트, 동영상, 클라우드, 전자책, 증강현실, 취업 등으로 발견되었다. 이러한 서비스를 중심으로 이러닝의 다양한 서비스와 융합하여 이뤄지고 있음을 알 수 있었다. 공통된 서비스와 함께 모바일에서는 검색, 뉴스, GPS 등의 서비스가 활성화 되고 있으며, 이러닝에서는 시뮬레이션, 교양, 공교육 등의 서비스가 활성화 되고 있음을 알 수 있었다. 모바일과 이러닝의 공통된 변수를 기반으로 각각의 서비스의 융합이 높게 나타난 변수로는 모바일에서는 게임과 SNS, 게임과 스포츠, SNS와 광고, 게임과 이벤트, SNS와 전자책, 게임과 커뮤니티가 융합이 높게 나타났으며, 이러닝에서는 게임, 동영상, 상담, 전자책을 전항으로 하여 시뮬레이션, 말하기, 공교육, 출결관리 등의 서비스의 융합정도가 높게 나타난 것을 알 수 있었다. 다음으로 모바일서비스와 이러닝서비스의 공통된 서비스중에서, 모바일 러닝 서비스에서 활성화가 높은 서비스와 사용자를 기반한 모바일 러닝 서비스의 활성화가 높은 서비스인 게임, SNS, 전자책을 기준으로 서비스 융합 활성화 가능성을 예측했다. 본 연구결과를 통해 모바일을 활용한 이러닝 서비스의 관련 서비스 융합으로, 모바일 러닝의 활성화에 대한 전략적 방향성을 제안할 수 있을 것이다.

  • PDF

집단지성을 이용한 한글 감성어 사전 구축 (Building a Korean Sentiment Lexicon Using Collective Intelligence)

  • 안정국;김희웅
    • 지능정보연구
    • /
    • 제21권2호
    • /
    • pp.49-67
    • /
    • 2015
  • 최근 다양한 분야에서 빅데이터의 활용과 분석에 대한 중요성이 대두됨에 따라, 뉴스기사와 댓글과 같은 비정형 데이터의 자연어 처리 기술에 기반한 감성 분석에 대한 관심이 높아지고 있다. 하지만, 한국어는 영어와는 달리 자연어 처리가 어려운 교착어로써 정보화나 정보시스템에의 활용이 미흡한 실정이다. 이에 본 연구는 감성 분석에 활용이 가능한 감성어 사전을 집단지성으로 구축하였고, 누구나 연구와 실무에 사용하도록 API서비스 플랫폼을 개방하였다(www.openhangul.com). 집단지성의 활용을 위해 국내 최대 대학생 소셜네트워크 사이트에서 대학생들을 대상으로 단어마다 긍정, 중립, 부정에 대한 투표를 진행하였다. 그리고 집단지성의 효율성을 높이기 위해 감성을 '정의'가 아닌 '분류'하는 방식인 폭소노미의 '사람들에 의한 분류법'이라는 개념을 적용하였다. 총 517,178(+)의 국어사전 단어 중 불용어 형태를 제외한 후 감성 표현이 가능한 명사, 형용사, 동사, 부사를 우선 순위로 하여, 현재까지 총 35,000(+)번의 단어에 대한 투표를 진행하였다. 본 연구의 감성어 사전은 집단지성의 참여자가 누적됨에 따라 신뢰도가 높아지도록 설계하여, 시간을 축으로 사람들이 단어에 대해 인지하는 감성의 변화도 섬세하게 반영하는 장점이 있다. 따라서 본 연구는 앞으로도 감성어 사전 구축을 위한 투표를 계속 진행할 예정이며, 현재 제공하고 있는 감성어 사전, 기본형 추출, 카테고리 추출 외에도 다양한 자연어 처리에 응용이 가능한 API들도 제공할 계획이다. 기존의 연구들이 감성 분석이나 감성어 사전의 구축과 활용에 대한 방안을 제안하는 것에만 한정되어 있는 것과는 달리, 본 연구는 집단지성을 실제로 활용하여 연구와 실무에 활용이 가능한 자원을 구축하여 개방하여 공유한다는 차별성을 가지고 있다. 더 나아가, 집단지성과 폭소노미의 특성을 결합하여 한글 감성어 사전을 구축한 새로운 시도가 향후 한글 자연어 처리의 발전에 있어 다양한 분야들의 융합적인 연구와 실무적인 참여를 이끌어 개방적 협업의 새로운 방향과 시사점을 제시 할 수 있을 것이라 기대한다.

협업 필터링 및 하이브리드 필터링을 이용한 동종 브랜드 판매 매장간(間) 취급 SKU 추천 시스템 (SKU recommender system for retail stores that carry identical brands using collaborative filtering and hybrid filtering)

  • 조용민;남기환
    • 지능정보연구
    • /
    • 제23권4호
    • /
    • pp.77-110
    • /
    • 2017
  • 최근 인터넷 기반의 웹 및 모바일 기기를 통한 소비 패턴의 다양화와 개성화가 급진전됨에 따라 전통적 유통채널인 오프라인 매장의 효율적 운영이 더욱 중요해졌다. 매장의 매출과 수익 모두를 제고하기 위해 매장은 소비자에게 가장 매력적인 상품을 적시에 공급-판매 해야 하는데 많은 상품들 중에서 어떤 SKU를 취급하는 것이 판매 확률을 높이고 재고 비용을 낮출 수 있는지에 대한 연구가 부족한 실정이다. 특히, 여러 지역에 걸쳐 다수의 오프라인 매장을 통해 상품을 판매하는 기업의 경우 고객에게 매력적인 적절한 SKU를 추천 받아 취급할 수 있다면 매장의 매출 및 수익률 제고에 도움이 될 것이다. 본 연구에서는 개인화 추천에 이용되어 왔던 협업 필터링과 하이브리드 필터링 등의 추천 시스템(Recommender System)을 국가별, 지역별로 복수의 판매 매장을 통해 동종 브랜드를 취급하는 유통 기업의 매장 단위 취급 SKU 추천 방식을 제안하였다. 각 매장의 취급 품목별 구매 데이터를 활용하여 각 매장 별 유사성(Similarity)을 계산하고 각 매장의 SKU별 판매 이력에 따라 협업 필터링을 하여 최종적으로 매장에 개별 SKU를 추천하였다. 또한 매장 프로파일 데이터를 활용하여 주변수 분석 (PCA : Principal Component Analysis) 및 군집 분석(Clustering)을 통하여 매장을 4개의 군집으로 분류한 뒤 각 군집 내에서 협업 필터링을 적용한 하이브리드 필터링 방식으로 추천 시스템을 구현하고 실제 판매 데이터를 바탕으로 두 방식의 성능을 측정하였다. 현존하는 대부분의 추천 시스템은 사용자에게 영화, 음악 등의 아이템을 추천하는 방식으로 연구가 진행되어 왔고 실제로 산업계에서의 적용 또한 개인화 추천 시스템이 주류를 이루고 있다. 그 동안 개인화 서비스 영역에서 주로 다루어져 왔던 이러한 추천 시스템을 동종 브랜드를 취급하는 유통 기업의 매장 단위에 적용하여 각 매장의 취급 SKU를 추천하는 방식에 대한 연구는 거의 이루어지지 않고 있는 실정이다. 기존 추천 방법론의 추천 적용 대상이 '개인의 영역이었다면 본 연구에서는 국가별, 지역별로 복수의 판매 매장을 통해 개인의 영역을 넘어 매장의 영역으로 확대하여 동종 브랜드를 취급하는 유통 기업의 매장 단위 취급 SKU 추천 방식을 제안하고 있다. 또한 기존의 추천시스템은 온라인에 한정되었다면 이를 오프라인으로 활용 범위를 넓히고, 기존 개인을 기반으로 분석을 하는 것보다 매장영역으로 확대 적용하기에 적합한 알고리즘을 개발하기 위해 데이터마이닝 기법을 적용하여 추천 방법을 제안한다. 본 연구의 결과가 갖는 의의는 개인화 추천 알고리즘을 동일 브랜드를 취급하는 복수의 판매 매장에 적용하여 의미 있는 결과를 도출하고 실제 기업을 대상으로 시스템으로 구축하여 활용할 수 있는 구체적 방법론을 제시했다는 데에 있다. 개인화 영역을 위주로 이루어졌던 기존의 추천 시스템과 관련한 학계의 연구 영역을 동종 브랜드를 취급하는 기업의 판매 매장으로 확장시킨 첫 시도라는 데에도 의미가 있다. 2014년 03주차 ~ 05주차 전(全) 매장 판매 수량 실적 Top 100개 SKU로 추천의 대상을 한정하여 협업 필터링과 하이브리드 필터링 방식으로 52개 매장 별로 취급 SKU를 추천하고, 추천 받은 SKU에 대한 2014년 06주차 매장별 판매 실적을 집계하여 두 추천 방식의 성과를 비교하였다. 두 추천 방식을 비교한 이유는 본 연구의 추천 방법이 기존 추천 방식 보다 높은 성과를 입증하기 위해 단순히 오프라인에 협업필터링을 적용한 것을 기준 모델로 정의하였다. 이 기준 모델에 오프라인 매장 관점의 특성을 잘 반영한 본 연구 모델인 하이브리드 필터링 방법과 비교 함으로써 성과를 입증한다. 연구에서 제안한 방식은 기존 추천 방식보다 높은 성과를 나타냈으며, 이는 국내 대기업 의류업체의 실제 판매데이터를 활용하여 입증하였다. 본 연구는 개인 수준의 추천시스템을 그룹수준으로 확장하여 효율적으로 접근하는 방법을 이론적인 프레임 워크를 만들었을 뿐 아니라 실제 데이터를 기반으로 분석하여 봄으로써 실제 기업들이 적용해 볼 수 있다는 점에서 연구의 가치가 크다.