• 지능정보연구
• /
• 제19권3호
• /
• pp.1-23
• /
• 2013

융합 R&D가 추구해야 할 바람직한 방향은 이종 기술 간의 결합에 의한 맹목적인 신기술 창출이 아니라, 당면한 주요 문제를 해결함으로써 사회적 니즈를 충족시킬 수 있는 기술을 개발하는 것이다. 이와 같은 사회문제 해결형 기술 R&D를 촉진하기 위해서는 우선 우리 사회에서 주요 쟁점이 되고 있는 문제들을 선별해야 한다. 그런데 우선적이고 중요한 사회문제를 분별하기 위해 전문가 설문조사나 여론조사 등 기존의 사회과학 방법론을 사용하는 것은 참여자의 선입견이 개입될 수 있고 비용이 많이 소요된다는 한계를 지닌다. 기존의 사회과학 방법론이 지닌 문제점을 보완하기 위하여 본 논문에서는 사회적 이슈를 다루고 있는 대용량의 뉴스기사를 수집하고 통계적인 기법을 통하여 사회문제를 나타내는 키워드를 추출하는 시스템의 개발을 제안한다. 2009년부터 최근까지 3년 동안 10개 주요 언론사에서 생산한 약 백 30만 건의 뉴스기사에서 사회문제를 다루는 기사를 식별하고, 한글 형태소 분석, 확률기반의 토픽 모델링을 통해 사회문제 키워드를 추출한다. 또한 키워드만으로는 정확한 사회문제를 파악하기 쉽지 않기 때문에 사회문제와 연관된 키워드와 문장을 찾아서 연결하는 매칭 알고리즘을 제안하다. 마지막으로 사회문제 키워드 비주얼라이제이션 시스템을 통해 시계열에 따른 사회문제 키워드를 일목요연하게 보여줌으로써 사회문제를 쉽게 파악할 수 있도록 하였다. 특히 본 논문에서는 생성확률모델 기반의 새로운 매칭 알고리즘을 제안한다. 대용량 뉴스기사로부터 Latent Dirichlet Allocation(LDA)와 같은 토픽 모델 방법론을 사용하여 자동으로 토픽 클러스터 세트를 추출할 수 있다. 각 토픽 클러스터는 연관성 있는 단어들과 확률값으로 구성된다. 그리고 도메인 전문가는 토픽 클러스터를 분석하여, 각 토픽 클러스터의 레이블을 결정하게 된다. 이를 테면, 토픽 1 = {(실업, 0.4), (해고, 0.3), (회사, 0.3)}에서 토픽 단어들은 실업문제와 관련있으며, 도메인 전문가는 토픽 1을 실업문제로 레이블링 하게 되고, 이러한 토픽 레이블은 사회문제 키워드로 정의한다. 그러나 이와 같이 자동으로 생성된 사회문제 키워드를 분석하여 현재 우리 사회에서 어떤 문제가 발생하고 있고, 시급히 해결해야 될 문제가 무엇인지를 파악하기란 쉽지 않다. 따라서 제안된 매칭 알고리즘을 사용하여 사회문제 키워드를 요약(summarization)하는 방법론을 제시한다. 우선, 각 뉴스기사를 문단(paragraph) 단위로 세그먼트 하여 뉴스기사 대신에 문단 세트(A set of paragraphs)를 가지게 된다. 매칭 알고리즘은 각 토픽 클러스터에 대한 각 문단의 확률값을 측정하게된다. 이때 토픽 클러스터의 단어들과 확률값을 이용하여 토픽과 문단이 얼마나 연관성이 있는지를 계산하게 된다. 이러한 과정을 통해 각 토픽은 가장 연관성이 있는 문단들을 매칭할 수 있게 된다. 이러한 매칭 프로세스를 통해 사회문제 키워드와 연관된 문단들을 검토함으로써 실제 우리 사회에서 해당 사회문제 키워드와 관련해서 구체적으로 어떤 사건과 이슈가 발생하는 지를 쉽게 파악할 수 있게 된다. 또한 매칭 프로세스와 더불어 사회문제 키워드 가시화를 통해 사회문제 수요를 파악하려는 전문가들은 웹 브라우저를 통해 편리하게 특정 시간에 발생한 사회문제가 무엇이며, 구체적인 내용은 무엇인지를 파악할 수 있으며, 시간 순서에 따른 사회이슈의 변동 추이와 그 원인을 알 수 있게 된다. 개발된 시스템을 통해 최근 3년 동안 국내에서 발생했던 다양한 사회문제들을 파악하였고 개발된 알고리즘에 대한 평가를 수행하였다(본 논문에서 제안한 프로토타입 시스템은 http://dslab.snu.ac.kr/demo.html에서 이용 가능함. 단, 구글크롬, IE8.0 이상 웹 브라우저 사용 권장).

• 지능정보연구
• /
• 제19권3호
• /
• pp.93-111
• /
• 2013

최근 독감 예측이나 부동산가격 예측 등 다양한 분야에서 웹검색 트래픽이나 소셜 네트워크 등의 방대한 고객 데이터를 통해 사회 현상, 소비 트렌드 등을 분석하고자 하는 시도가 증가하고 있다. 최근 구글이나 네이버 등의 인터넷 포털서비스 업체들은 온라인 사용자들의 웹검색 트래픽 정보를 구글 트렌드, 네이버 트렌드 등의 서비스로 공개하고 있는데, 이들이 제공하는 웹검색 트래픽 정보를 기반으로 온라인 사용자들의 정보 검색 행태에 대한 연구들이 학계 업계 등에서 주목받고 있다. 웹검색 정보를 기반으로 사회 현상이나, 소비 동향, 정치 투표 결과 등을 예측해 볼 수 있음을 실증하고 있는 분야는 많은 연구가 수행되고 있지만, 웹검색 트래픽 정보를 이용하여, 소비자의 제품에 대한 중요한 속성 도출 및 소비자의 기대 변화 관측 등의 온라인 사용자 행태에 초점을 맞추어 연구되고 있는 분야는 상대적으로 많은 연구가 수행되고 있지는 않다. 따라서, 본 연구에서는 구글이나 네이버가 제공하는 소비자의 웹검색 트래픽을 활용해서 소비자가 생각하는 제품 포지션을 가시화할 수 있는 방법을 제안한다. 브랜드 간의 관계를 확인하기 위해, 동시 검색 트래픽 정보를 활용하여 네트워크 모델링의 방법을 사용한 시스템을 제안하고 있으며, 이를 통해 소비자들이 제품 간의 유사성을 어떻게 인지하고 형성하며, 새로운 혁신 제품 카테고리 내에서 제품 브랜드들이 소비자의 마음 속에서 어떻게 자리 잡고 있는지의 브랜드 포지셔닝을 확인할 수 있는 방법론을 제안하였다. 또한 이를 태블릿 PC의 사례를 통해서, 미시적인 관점에서 소비자의 마음속에 위치한 태블릿 PC 개별 브랜드들의 위치 및 관계를 보여주었다. 기업은 소비자의 제품에 대한 인식 및 중요 속성 도출을 위해 많은 비용과 시간을 소요하여 소비자 조사를 행하게 되는데, 본 연구의 방법론을 활용하여 소비자의 제품에 대한 인식, 제품간 유사도, 제품에 대한 중요 속성의 변화 등을 일반에게 공개된 검색 트래픽 정보를 활용하여 비교적 쉽고 추가적인 비용 없이 도출할 수 있을 것이다.