• Title/Summary/Keyword: Crawling

검색결과 369건 처리시간 0.039초

트윗 데이터를 활용한 IT 트렌드 분석 (An Analysis of IT Trends Using Tweet Data)

  • 이진백;이충권;차경진
    • 지능정보연구
    • /
    • 제21권1호
    • /
    • pp.143-159
    • /
    • 2015
  • 불확실한 환경변화에 대처하고 장기적 전략수립을 위해 기업에게 있어서 IT 트렌드에 대한 예측은 오랫동안 중요한 주제였다. IT 트렌드에 대한 예측을 기반으로 새로운 시대에 대한 인식을 하고 예산을 배정하여 빠르게 변화하는 기술의 추세에 대비할 수 있기 때문이다. 해마다 유수의 컨설팅업체들과 조사기관에서 차년도 IT 트렌드에 대해서 발표되고는 있지만, 이러한 예측이 실제로 차년도 비즈니스 현실세계에서 나타났는지에 대한 연구는 거의 없었다. 본 연구는 현존하는 빅데이터 기술을 활용하여 서울지역을 중심으로 지난 8개월동안(2013년 5월1일부터 2013년12월31까지) 정보통신산업진흥원과 한국정보화진흥원에서 2012년 말에 발표한 IT 트렌드 토픽이 언급된 21,589개의 트윗 데이터를 수집하여 분석하였다. 또한 2013년에 나라장터에 올라온 프로젝트들이 IT트렌드 토픽과 관련이 있는지 상관관계분석을 실시하였다. 연구결과, 빅데이터, 클라우드, HTML5, 스마트홈, 테블릿PC, UI/UX와 같은 IT토픽은 시간이 지날수록 매우 빈번하게 언급되어졌으며, 이 같은 토픽들은 2013년 나라장터 공고 프로젝트 데이터와도 매우 유의한 상관관계를 가지고 있는 것을 확인할 수 있었다. 이는 전년도(2012년)에 예측한 트렌드들이 차년도(2013년)에 실제로 트위터와 한국정부의 공공조달사업에 반영되어 나타나고 있는 것을 의미한다. 본 연구는 최신 빅데이터툴을 사용하여, 유수기관의 IT트렌드 예측이 실제로 트위터와 같은 소셜미디에서 생성되는 트윗데이터에서 얼마나 언급되어 나타나는지 추적했다는 점에서 중요한 의의가 있고, 이를 통해 트위터가 사회적 트랜드의 변화를 효율적으로 추적하기에 유용한 도구임을 확인하고자 할 수 있었다.

소셜 미디어 상에서의 인공지능 관련 사회적 여론에 대한 다 범주 감성 분석 (Multi-Category Sentiment Analysis for Social Opinion Related to Artificial Intelligence on Social Media)

  • 이상원;최창욱;김동성;여운영;김종우
    • 지능정보연구
    • /
    • 제24권4호
    • /
    • pp.51-66
    • /
    • 2018
  • 인공지능 기술의 비약적인 발전으로 인하여, 사용자의 편의성 증대를 목적으로 다양한 분야에서 관련된 제품과 서비스들의 개발이 이루어지고 있다. 이러한 기술의 발전에는 긍정적인 파급 효과에 대한 기대감이 존재하나, 향후 발생 가능한 부정적인 측면에 대한 논의도 활발히 이루어지고 있다. 예를 들어, 인공지능 기술 기반의 자율주행 자동차의 경우 안정성의 향상이라는 측면에서 많은 관심을 받고 있으나, 트롤리 딜레마, 시스템 보안 문제 등의 사회적 이슈 또한 활발히 논의되고 있다. 이에 따라, 인공지능 관련 기술의 발전과 사회적 수용을 위해서는 사회적으로 논의되는 주요 관련 이슈들에 대한 확인과 효과적인 분석이 요구된다. 이를 위해, 본 연구에서는 '이세돌 vs 알파고' 시점인 2016년 3월을 포함하여 2016년 1월부터 2017년 12월까지 2년 동안의 인공지능과 관련된 사회적인 이슈들을 파악하고 온라인상에서 발생되는 사회적 여론에 대하여 다 범주 감성을 분석하고자 한다. 이를 위하여 국내 대표적인 포털 사이트에서 인공지능 관련 뉴스의 수와 관련된 뉴스 제목, 뉴스의 댓글을 웹 크롤링(Web Crawling) 하였다. 사회적 여론에 대한 다 범주 감성 분석은 논의되는 이슈들의 중요성을 고려하여 단순 긍정 또는 부정이 아닌, 분노, 혐오, 두려움, 행복, 중립, 슬픔, 놀라움의 7가지 다 범주 감성으로 분석하였다. 분석 결과, 대부분의 이벤트 기간에 대하여 1위 감성은 '행복'으로 나타났지만 각 키워드에 대하여 나오는 감성이 상이함을 볼 수 있었다. 또한 2016년 상반기, 하반기, 2017년 상반기, 하반기로 나누어 보았을 때 시간이 지남에 따라 '분노'의 감성이 낮아짐을 확인하였다. 이러한 분석 결과를 바탕으로 인공지능과 관련하여 현재 논의되고 있는 다양한 이슈와 동향 파악이 가능하며, 이에 대한 대응 방안 마련에 활용이 가능할 것이다. 향후 감성 분석기의 성능 향상과 댓글에 대한 공감 및 비공감도의 가중치를 추가하여 분석한다면 사회적 여론을 보다 세밀하게 파악 할 수 있을 것이다.

구글맵리뷰 텍스트마이닝을 활용한 공원 이용자의 인식 및 평가 - 서울숲, 보라매공원, 올림픽공원을 대상으로 - (Perception and Appraisal of Urban Park Users Using Text Mining of Google Maps Review - Cases of Seoul Forest, Boramae Park, Olympic Park -)

  • 이주경;손용훈
    • 한국조경학회지
    • /
    • 제49권4호
    • /
    • pp.15-29
    • /
    • 2021
  • 본 연구의 목적은 Google Maps에서 제공하는 장소에 대한 리뷰를 활용하여 실제로 공원을 방문한 이용자의 인식과 평가를 파악하는 것이다. 구글맵리뷰는 Social Network Service(SNS)를 통해 장소에 대한 인식과 평가에 관한 정보를 얻는 온라인 리뷰이며, 일반 리뷰어와 구글맵의 회원으로 등록된 지역 가이드의 관점에서 장소에 대한 이해를 볼 수 있는 서비스이다. 본 연구에서는 구글맵리뷰 분석이 공원 관리에 필요한 이용자들의 인식과 평가를 추출하는데 활용될 수 있는지를 살펴보고자 하였다. 서로 다른 공간특징과 시설을 가지는 3개의 공원(서울숲, 보라매공원, 올림픽공원)을 대상으로 파이썬을 활용한 웹 크롤링을 통해서 구글맵리뷰 내용을 수집하였다. 그리고 텍스트 분석을 통해 공원별 주요 키워드 분석과 네트워크 구조에 따른 특성을 분석하고, 이와 함께 구글맵리뷰에서 제공하는 별점 평갓값과 외국인 리뷰 데이터에 대한 분석도 수행했다. 연구 결과, 3개의 공원에서 공통으로 나타나는 특성으로는 이용목적으로 '산책', '자전거', '휴식', '피크닉'이 있었으며, 동반유형으로 '가족', '아이', '애견'이, 인프라로는 '놀이터', '산책로'가 있었다. 공원별 특색을 보면 서울숲은 자연을 기반으로 하는 야외활동이 많이 나타났고 반면, 주차공간 부족과 주말 혼잡은 공원 이용자에게 부정적인 영향을 미치고 있었다. 보라매공원은 수많은 활동을 제공하는 다양한 시설을 갖춘 도시공원의 모습을 가지고 있었다. 리뷰어들은 반려견을 동반하는 이용자 그룹과 그렇지 않은 다른 이용자 그룹 간의 갈등과 공원의 복잡함에 대한 부정적인 측면을 언급했다. 올림픽공원에는 대형 복합시설이 있으며, 커뮤니티, 문화예술공연과 같은 대규모 문화 이벤트가 많이 언급되었고, 레크리에이션 기능이 강조되었다. 구글맵리뷰는 공원에 대한 이용자의 전반적 경험과 이미지에 대한 특징을 파악하는 유용한 자료라고 할 수 있다. 또한, 다른 소셜미디어 데이터와 비교할 때 특히 구글맵리뷰는 공원에 대한 이용자 평갓값과 만족 및 불만족 요인을 이해할 수 있는 데이터를 제공한다.

미국 프로농구(NBA)의 플레이오프 진출에 영향을 미치는 주요 변수 예측: 3점과 턴오버 속성을 중심으로 (Prediction of Key Variables Affecting NBA Playoffs Advancement: Focusing on 3 Points and Turnover Features)

  • 안세환;김영민
    • 지능정보연구
    • /
    • 제28권1호
    • /
    • pp.263-286
    • /
    • 2022
  • 본 연구는 웹 크롤링을 이용하여 1990년부터 2022년까지 총 32개년에 해당하는 NBA 통계 정보를 획득하고, 탐색적 데이터 분석을 통해 관심 변수를 관찰하고 관련된 파생변수를 생성한다. 입력 데이터에 대한 정제 과정을 거쳐 무의미한 변수들을 제거하고, 남은 변수에 대한 상관관계 분석, t 검정 및 분산분석을 수행하였다. 관심 변수에 대해 플레이오프 진출/미진출 그룹 간 평균의 차이를 검정하였고, 이를 보완하기 위해 순위를 기준으로 하는 3개 집단(상위/중위/하위) 간 평균 차이를 재확인하였다. 입력 데이터 중 올해 시즌 데이터만을 테스트 세트로 활용하였고, 모델 훈련을 위해서는 훈련 세트와 검증 세트를 분할하여 5-fold 교차검증을 수행하였다. 교차검증 결과와 시험 세트를 이용한 최종 분석 결과를 비교하여 성능 지표에서 차이가 없음을 확인함으로써 과적합 문제를 해결하였다. 원시 데이터의 품질 수준이 높고, 통계적 가정을 만족하기 때문에 적은 수준의 데이터 세트임에도 불구하고 대부분 모델에서 좋은 결과를 나타냈다. 본 연구는 단순히 머신러닝을 이용하여 NBA의 경기 결과를 예측하거나 플레이오프 진출 여부만을 분류하는 것에서 그치지 않고, 입력 특성의 중요도를 파악하여 높은 중요도를 갖는 주요 변수에 본 연구의 관심 대상 변수가 포함되는지를 확인하였다. Shap value의 시각화를 통해 특성 중요도의 결과만으로 해석할 수 없었던 한계를 극복하고, 변수의 진입/제거 과정에서 중요도 산출에 일관성이 부족하다는 점을 보완할 수 있었다. 본 연구에서 관심 대상으로 분류했던 3점 및 실책과 관련된 다수의 변수가 미국 프로농구에서의 플레이오프 진출에 영향을 미치는 주요 변수에 포함되는 것으로 나타났다. 본 연구는 기존의 스포츠 데이터 분석 분야에서 다루었던 경기 결과, 플레이오프 및 우승 예측 등의 주제를 포함하고 분석을 위해 여러 머신러닝 모델을 비교 분석했다는 점에서 유사성이 있지만, 사전에 관심 속성을 설정하고, 이를 통계적으로 검증함으로써 머신러닝 분석 결과와 비교하였다는 측면에서 차이가 있다. 또한 XAI 모델 중 하나인 SHAP를 이용하여 설명 가능한 시각화 결과를 제시함으로써 기존 연구와 차별화하였다.

직원을 위한 내부마케팅이 기업의 시가 총액 변동률에 미치는 영향 분석: 잡플래닛 기업 리뷰를 중심으로 (An Analysis of the Internal Marketing Impact on the Market Capitalization Fluctuation Rate based on the Online Company Reviews from Jobplanet)

  • 최기철;이상용
    • 경영정보학연구
    • /
    • 제20권2호
    • /
    • pp.39-62
    • /
    • 2018
  • 컴퓨터 연산능력의 향상과 데이터를 수집하고 가공해 분석이 가능하도록 데이터를 정형화 시키는 기술이 발달함에 따라, 소셜미디어 및 인터넷 공간에서 생산되는 다양한 텍스트 데이터를 수집하고 그것을 분석하는 시도가 늘고 있다. 본 연구는 이와 같은 기술의 발전과 새롭게 시도되고 있는 분석법을 활용해 텍스트 데이터를 분석하여 과거에 설문조사 방법을 통해 확인했던 "내부마케팅"의 효과를 기존과는 다른 방식으로 확인해 보고자 하였다. 이와 같은 분석을 위해, 전/현직자들이 해당 기업의 구직자들에게 기업의 리뷰를 제공하는 플랫폼 잡플래닛(www.jobplanet.co.kr)의 리뷰 데이터를 웹크롤러를 생성하여 약 4만 건을 수집하였다. 또한 수집된 비정형 데이터를 정형화하기 위한 형태소 분석을 진행하여 명사만을 추출한 후, 미리 생성해 놓은 단어주머니에 들어있는 단어와 같을 경우 그 숫자를 세어 분류화를 진행하였다. 분류화된 내부마케팅 영역별 단어 수의 변화를 독립변수로, 시가총액 변동률을 종속변수로 활용하여, 내부마케팅과 시가총액간의 관계를 확인하고자 하였다. 그 결과, 대부분의 기존 연구와는 다르게 내부마케팅의 효과는 제한적인 영역에서만 기업의 성과에 긍정적인 영향을 미치며 대부분의 환경에서는 음의 영향을 미치는 것으로 나타났다. 산업군으로 나누었을 때, 제조업에서는 여성지원과 교육 훈련 부문에서 기업성과에 긍정의 영향을 미치는 것으로 나타났으나, 유통업에서는 직원 복지, 일-가정 양립 그리고 바이오/제약 업종에서는 직원 복지, 일-가정 양립, 사내 커뮤니케이션 그리고 보상 부문에서 모두 기업성과에 음의 영향을 미치는 것으로 나타났다. 또한 기업의 규모가 크고 역사가 오래된 기업에서는 직원 복지가 기업성과에 악영향을 미치는 것으로 나타났으나, 교육 훈련 부문에서는 종속변수에 긍정적 영향을 미치는 것을 확인할 수 있었으며, 기업의 규모가 작고 역사가 짧은 기업에서는 직원 복지, 사내 커뮤니케이션 그리고 일-가정 양립에서 종속변수와 음의 관계를, 여성지원 에서는 종속변수와 양의 관계를 갖는 것으로 나타났다. 본 연구는 이러한 결과들을 분석하여 이론적 의미뿐만 아니라, 실무적 함의를 제시하고자 하였다.

온라인 리뷰 분석을 통한 상품 평가 기준 추출: LDA 및 k-최근접 이웃 접근법을 활용하여 (Product Evaluation Criteria Extraction through Online Review Analysis: Using LDA and k-Nearest Neighbor Approach)

  • 이지현;정상형;김준호;민은주;여운영;김종우
    • 지능정보연구
    • /
    • 제26권1호
    • /
    • pp.97-117
    • /
    • 2020
  • 상품 평가 기준은 상품에 대한 속성, 가치 등을 표현한 지표로써 사용자나 기업이 상품을 측정하고 파악할 수 있게 한다. 기업이 자사 제품에 대한 객관적인 평가와 비교를 수행하기 위해서는 적절한 기준을 선정하는 것이 필수적이다. 이때, 평가 기준은 소비자들이 제품을 실제로 구매 및 사용 후 평가할 때 고려하는 제품의 특징을 반영하여야 한다. 그러나 기존에 사용되던 평가 기준은 제품마다 상이한 소비자의 의견을 반영하지 못하고 있다. 기존 연구에서는 소비자 의견이 반영된 온라인 리뷰를 통해 상품의 특징, 주제를 추출하고 이를 평가기준으로 사용했다. 하지만 여전히 상품과 연관성이 낮은 평가 기준이 추출되거나 부적절한 단어가 정제되지 않는 한계가 있다. 본 연구에서는 이를 극복하기 위해 잠재 디리클레 할당(Latent Dirichlet Allocation, LDA) 기법으로 리뷰로부터 평가 기준 후보군을 추출하고 이를 k-최근접 이웃 접근법(k-Nearest Neighbor Approach, k-NN)을 이용해 정제하는 모델을 개발하고 검증했다. 제시하는 방법은 준비 단계와 추출 단계로 이루어진다. 준비 단계에서는 워드임베딩(Word Embedding) 모델과 평가 기준 후보군을 정제하기 위한 k-NN 분류기를 생성한다. 추출 단계에서는 k-NN 분류기와 언급 비율을 이용해 평가 기준 후보군을 정제하고 최종 결과를 도출한다. 제안 모델의 성능 평가를 위해 명사 빈도 추출 모델, LDA 빈도 추출 모델, 실제 전자상거래 사이트가 제공하는 평가 기준을 세 비교 모델로 선정했다. 세 모델과의 비교를 위해 설문을 진행하고 점수화하여 결과를 검정했다. 30번의 검정 결과 26번의 결과에서 제안 모델이 우수함을 확인했다. 본 연구의 제안 모델은 전자상거래 사이트에서 리뷰 특성을 반영한 상품군 별 차원을 도출하는데 활용될 수 있고 이를 기초로 인사이트 발굴을 위한 리뷰 분석 및 활용에 크게 기여할 것이다.

지능형 검색엔진을 위한 색상 질의 처리 방안 (Color-related Query Processing for Intelligent E-Commerce Search)

  • 홍정아;구교정;차지원;서아정;여운영;김종우
    • 지능정보연구
    • /
    • 제25권1호
    • /
    • pp.109-125
    • /
    • 2019
  • 지능형 전자상거래 검색 엔진에 대한 관심이 커지면서, 검색 상품의 특징을 지능적으로 추출하고 활용하기 위한 연구들이 수행되고 있다. 특히 전자상거래 지능형 검색 엔진에서 상품을 검색 할 때, 제품의 색상은 상품을 묘사하는 중요한 특징 중에 하나이다. 따라서 사용자의 질의에 정확한 응답을 위해서는 사용자가 검색하려는 색상과 그 색상의 동의어 및 유의어에 대한 처리가 필요하다. 기존의 연구들은 색상 특징에 대한 동의어 처리를 주로 사전 방식으로 다뤄왔다. 하지만 이러한 사전방식으로는 사전에 등록되지 않은 색상 용어가 질의에 포함된 경우 처리하지 못하는 한계점을 가지고 있다. 본 연구에서는 기존에 사용하던 방식의 한계점을 극복하기 위하여, 실시간으로 인터넷 검색 엔진을 통해 해당 색상의 RGB 값을 추출한 후 추출된 색상정보를 기반으로 유사한 색상명들을 출력하는 모델을 제안한다. 본 모델은 우선적으로 기본적인 색상 검색을 위해 671개의 색상명과 각 RGB값이 저장된 색상 사전을 구축하였다. 본 연구에서 제시한 모델은 특정 색상을 검색하는 것으로 시작하며, 검색된 색상이 색상 사전 내 존재하는 지 유무를 확인한다. 사전 내에 검색한 색상이 존재한다면, 해당 색상의 RGB 값이 기준 값으로 사용된다. 만일 색상사전 내에 존재하지 않는다면, Google 이미지 검색 결과를 크롤링하여 각 이미지의 특정 영역 내 RGB값들을 군집화하여 구한 평균 RGB값을 검색한 색상의 기준 값으로 한다. 기준 RGB값을 앞서 구축한 색상 사전 내의 모든 색상의 RGB 값들과 비교하여 각 R, G, B 값에 있어서 ${\pm}50$ 내의 색상 목록을 정렬하고, RGB값 간의 유클리디안 거리 유사도를 활용하여 최종적으로 유사한 색 상명들을 출력한다. 제안 방안의 유용성을 평가하기 위해 실험을 진행하였다. 피설문자들이 생각하는 300 개의 색상 이름과 해당 색상 값을 얻어, 본 연구에서 제안한 방안을 포함한 총 네가지 방법을 통해 얻은 RGB 값들과 피설문자가 지정한 RGB값에 대한 비교를 진행했다. 인간의 눈을 반영하는 측정 기준인 CIELAB의 유클리드안거리는 평균 13.85로 색상사전만을 활용한 방안의 30.88, 한글 동의어사전 사이트인 워드넷을 추가로 활용한 방안의 30.38에 비해 비교적 낮은 색상 간의 거리 값을 보였다. 연구에서 제시하는 방안에서 군집화 과정을 제외한 방안의 색 차는 13.88로 군집화 과정이 색 차를 줄여준다는 것을 확인할 수 있었다. 본 연구에서는 기존 동의어 처리 방식인 사전 방식이 지닌 한계에서 벗어나기 위해, 사전 방식에 새로운 색상명에 대한 실시간 동의어 처리 방식을 결합한 RGB값 기반의 새로운 색상 동의어 처리 방안을 제안한다. 본 연구의 결과를 활용하여 전자상거래 검색 시스템의 지능화에 크게 기여할 수 있을 것이다.

인공지능을 활용한 경관 지각반응 예측모델 개발 가능성 기초연구 - 머신러닝 기법을 중심으로 - (Basic Research on the Possibility of Developing a Landscape Perceptual Response Prediction Model Using Artificial Intelligence - Focusing on Machine Learning Techniques -)

  • 김진표;서주환
    • 한국조경학회지
    • /
    • 제51권3호
    • /
    • pp.70-82
    • /
    • 2023
  • 최근 IT 기술과 데이터의 범람으로 생활 전반적인 부분의 패러다임이 전환되고 있다. 이러한 기술의 발전과 변화는 학술영역에도 영향을 미치고 있다. 학문적 교류와 연계를 통해 연구주제나 연구 방법의 개선이 이루어지고 있다. 특히, 데이터 기반의 연구 방법이 다양한 학문분야에서 진행되고 있으며 조경학에서도 지속적인 연구가 필요한 시점이다. 따라서 본 연구에서는 이러한 시대적 상황을 반영하여 인공지능의 한 분야인 머신러닝을 활용한 경관 선호 평가 및 예측모델의 개발 가능성을 알아보는 것을 목표로 한다. 본 연구의 목표를 달성하기 위하여 경관 분야에 머신러닝 기법을 적용하여 경관 선호 평가 및 예측 모델을 구축하고, 구축된 모형의 모의정도를 검증하였다. 이를 위해 본 연구에서는 최근 신재생에너지 사업으로 주목받는 풍력발전시설 경관 이미지를 연구대상으로 선정하였다. 분석을 위하여 풍력발전시설 경관 이미지를 웹크롤링 기법을 활용하여 수집하고 분석 테이터셋을 구축하였다. 우수한 성능의 예측모델 도출을 위하여 머신러닝 분석에 활용되는 University of Ljubljana의 프로그램인 오렌지 버전 3.33을 활용하였다. 또, 머신러닝 학습데이터의 평가기준을 통합한 모델과 평가기준 별도 모델 구조를 활용하였으며, 머신러닝 분류모델에 적합한 kNN. SVM, Random Forest, Logistic Regression, Neural Network 알고리즘을 사용해 모델을 생성하였다. 생성된 모델을 성능 평가를 실시하여 본 연구에 가장 적합한 예측모델을 도출하였다. 본 연구에서 도출된 예측모델은 경관의 유형에 따른 분류, 경관과 대상의 시거리에 따른 분류, 선호에 따른 분류 등 3가지 평가기준을 별도로 평가 후 종합해 예측하여 결과를 도출하였다. 연구 결과 경관 유형에 따른 평가 기준 정확도 0.986, 시거리에 따른 평가 기준 정확도 0.973, 선호에 따른 평가 기준 정확도 0.952에 달하는 높은 정확도를 가진 예측모델을 개발하였으며, 평가데이터 예측 결과를 통한 검증과정을 보아도 모델의 성능 치를 상회하는 성과를 도출했음을 알 수 있다. 경관 관련 연구에서 머신러닝을 활용한 예측모델 개발 가능성을 알아본 실험적 시도로 이미지 데이터의 수집 및 정제를 통해 데이터 세트를 구축하여 높은 성능의 예측모델이 생성 가능하며, 이후 경관 관련 연구 분야에 활용될 수 있다는 가능성을 확인할 수 있었다. 본 연구의 결과와 시사점, 한계점을 반영한다면 풍력발전시설의 경관뿐만 아니라 자연경관이나 문화경관 등 다양한 형태의 경관 예측모델 개발이 가능할 것으로 생각되며, 경관 유형에 따라 이미지를 분류하는 모델의 연구를 통해 데이터 분류의 시간을 단축하거나 머신러닝을 활용한 경관예측 인자분석을 통해 경관계획 요소의 중요도 분석 등의 주제에 맞는 연구 방법을 탐색하고 적용하여 후속 연구를 진행한다면 조경학 분야에서도 머신러닝 기법을 보다 유용하고 가치 있게 활용할 수 있을 것으로 생각된다.

웹검색 트래픽 정보를 활용한 유커 인바운드 여행 수요 예측 모형 및 유커마이닝 시스템 개발 (Development of Yóukè Mining System with Yóukè's Travel Demand and Insight Based on Web Search Traffic Information)

  • 최유지;박도형
    • 지능정보연구
    • /
    • 제23권3호
    • /
    • pp.155-175
    • /
    • 2017
  • 최근 독감 예측이나 당선인 예측, 구매 패턴, 투자 등 다방면에서 웹검색 트래픽 정보. 소셜 네트워크 내용 등 거대한 데이터를 통해 사회적 현상, 소비 패턴을 분석하는 시도가 이전보다 늘어났다. 구글, 네이버, 바이두 등 인터넷 포털 업체들의 웹검색 트래픽 정보 공개 서비스와 함께 웹검색 트래픽 정보를 활용하여 소비자나 사용자와 관련된 연구가 실시되기 시작했다. 웹검색 트래픽 정보를 활용한 사회 현상, 소비 패턴 분석을 연구는 많이 수행되었으나, 그에 비해서 도출된 여행 수요 모델을 토대로 의사결정을 위한 실질적 대책 수립으로 이어지는 연구는 많이 진행되지 않은 실정이다. 관광산업은 상대적으로 많은 고용을 가능하게 하고 외자를 유치하는 등 고부가가치를 창출하여 경제 전체에 선순환 효과를 일으키는 중요한 산업이다. 그 중에서도 국내 입국외래객중 수년간 2위와의 큰 차이로 1위를 차지해왔던 중국 국적의 관광객 '유커' 및 그들이 지출하는 1인당 평균 관광 수지는 한국 경제에 매우 중요한 한 부분이다. 관광 수요의 예측은 효율적인 자원 배분과 합리적인 의사 결정에 있어서 공공부문 및 민간부문 모두 중요하다. 적절한 관광 수요 예측을 통해서 한정된 자원을 더욱 효과적으로 활용하여 더욱 많은 부가가치를 창출하기 위한 것이다. 본 연구는 중국인 인바운드를 예측하는 방법에 있어, 이전보다 더 최신의 트렌드를 즉각적으로 반영하고 개인들의 집합의 관심도가 포함되어 예측 성능이 개선된 방법을 제안한다. 해외여행은 고관여 소비이기 때문에 잠재적 여행객들이 입국하기 전 웹검색을 통해 적극적으로 자신의 여정과 관련된 정보를 취득하기 위한 활동을 한다. 따라서 웹검색 트래픽 수치가 중국인 여행객의 관심정도를 대표할 수 있다고 보았다. 중국인 여행객들이 한국 여행을 준비하는 단계에서 검색할만한 키워드를 선정해 실제 중국인 입국자 수와 상관관계가 있음을 검증하고자 하였다. 중국 웹검색 엔진 시장에서 80%의 점유율을 가지는 중국 최대 웹검색 엔진 '바이두'에서 공개한 웹검색 데이터를 활용하여 그 관심 정도를 대표할 수 있을 것이라 추정했다. 수집에 필요한 키워드의 선정 단계에서는 잠재적 여행객이 여정을 계획하고 구체화하는 단계에서 일반적으로 검색하게 되는 키워드 후보군을 선정하였다. 키워드의 선정에는 중국 국적의 잠재적 여행객 표본과의 인터뷰를 거쳤다. 트래픽 대소 관계 확인 결과에 따라서 최종 선정된 키워드들을 한국여행이라는 주제와 직접적인 연관을 가지는 키워드부터, 간접적인 연관을 가지는 키워드까지 총 세 가지 레벨의 카테고리로 분류하였다. 분류된 카테고리 내의 키워드들은 바이두'가 제공하는 웹검색 트래픽 데이터 제공 서비스 '바이두 인덱스'를 통해 웹검색 트래픽 데이터를 수집했다. 공개된 데이터 페이지 특성을 고려한 웹 크롤러를 직접 설계하여 웹검색 트래픽 데이터를 수집하였고, 분리되어 수집된 변수에는 필요한 변수 변환 과정을 수행했다. 자동화 수집된 웹검색 트래픽 정보들을 투입하여 중국 여행 인바운드에 대한 유의한 영향 관계를 확인하여 중국인 여행객의 한국 인바운드 여행 수요를 예측하는 모형을 개발하고자 하였다. 정책 의사결정 및 관광 경영 의사결정 같은 실무적 활용을 고려하여 각 변수의 영향력을 정량적으로 설명할 수 있고 설득이 명료한 방법인 다중회귀분석방법을 적용해 선형 식을 도출하였다. 수집된 웹검색 트래픽 데이터를 기존 검증된 모형 독립변인들에 추가적으로 투입함으로써 전통적인 독립변인으로만 구성된 연구 모형과 비교하여 가장 뛰어난 성능을 보이는 모형을 확인하였다. 본 연구에서 검증하려는, 웹검색 트래픽으로 대표되는 독립변인을 투입한 최종 도출된 모형을 통해 중국인 관광 수요를 예측할 때 유의한 영향을 끼치는 웹검색 트래픽 변수를 확인할 수 있다. 최적 모형 설명력을 가지는 모형을 기반으로 최종 회귀 식을 만들었고 이를 '유커마이닝' 시스템 내부에 도입하였다. 데이터 분석에서 더 나아가 도출된 모형을 직관적으로 시각화하고, 웹검색 트래픽 정보를 활용하여 도출할 수 있는 인사이트를 함께 보여주는 데이터 분석 기반의 '유커마이닝' 솔루션의 시스템 알고리즘과 UX를 제안하였다. 본 연구가 제안하는 모형과 시스템은 관광수요 예측모형 분야에서 웹검색 트래픽 데이터라는 정보 탐색을 하는 과정에 놓인 개인들의 인터랙티브하고 즉각적인 변수를 활용한 새로운 시도이다. 실무적으로 관련 정책결정자나 관광사, 항공사 등이 활용 가능한 실제적인 가치를 가지고, 정책적으로도 효과적인 관광 정책 수립에 활용될 수 있다.