• 제목/요약/키워드: 소셜 데이터 분석

Search Result 735, Processing Time 0.023 seconds

Design and Implementation of an Analysis module based on MapReduce for Large-scalable Social Data (대용량 소셜 데이터의 의미 분석을 위한 MapReduce 기반의 분석 모듈 설계 및 구현)

  • Lee, Hyeok-Ju;Kim, Myoung-Jin;Lee, Han-Ku;Yoon, Hyo-Gun
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2011.06b
    • /
    • pp.357-360
    • /
    • 2011
  • 최근 인터넷과 통신기술, 특히 모바일과 관련된 기술의 급속한 발전으로 소셜 커뮤니케이션 수단으로 대표되는 SNS(Social Networking Service)가 중요한 이슈로 부각되어지고 있다. SNS 서비스 제공시 중요하게 고려되어져야 할 사항은 정확하고 의미 있는 데이터를 통해서 사용자가 원하고 관심 있는 분야의 정보를 어떻게 제공할 것인가에 초점이 맞춰져 있어야 한다. 그러나 최근 폭발적으로 증가되어지고 있는 소셜 데이터 때문에 사용자는 의미 분석이 정확하게 이루어지지 않은 신뢰성이 결여된 소셜 커뮤니케이션 서비스를 제공받고 있다. 이러한 소셜데이터 분석의 문제점을 해결하기 위해서 본 논문에서는 소셜 네트워크 서비스에 필요한 데이터를 수집하고, 클라우드 컴퓨팅 환경에서 수집된 대용량 SNS 데이터의 의미를 분석 할 수 있는 MapReduce 기반의 분석 모듈의 구조를 제안하였다. 제안한 모듈은 의미 분석에 필요한 소셜 데이터를 수집하는 수집 기능과 수집된 소셜데이터의 의미 분석을 수행하는 분석 기능을 포함하고 있다. 수집 기능은 SNS에서 생성되는 텍스트 형태의 데이터를 수집하고 MapReduce를 통해서 데이터를 분석하기 쉽게 적절한 크기로 생성된 파일을 분할한다. 수집된 소셜 데이터의 의미 분석은 기존 TF-IDF 방식에 개선된 Weighted-MINMAX 적용한 알고리즘을 통해서 구현하였다. 개선된 알고리즘은 단어의 중요도를 평가하고, 중요도가 높은 단어로 구성된 의미정보 제공 서비스를 지원한다. 시스템의 성능 평가를 위해서 노드별 데이터 처리시간과 추출 키워드의 정확도를 측정하였다.

Automatic Generation of Issue Analysis Report Based on Social Big Data Mining (소셜 빅데이터 마이닝 기반 이슈 분석보고서 자동 생성)

  • Heo, Jeong;Lee, Chung Hee;Oh, Hyo Jung;Yoon, Yeo Chan;Kim, Hyun Ki;Jo, Yo Han;Ock, Cheol Young
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.3 no.12
    • /
    • pp.553-564
    • /
    • 2014
  • In this paper, we propose the system for automatic generation of issue analysis report based on social big data mining, with the purpose of resolving three problems of the previous technologies in a social media analysis and analytic report generation. Three problems are the isolation of analysis, the subjectivity of experts and the closure of information attributable to a high price. The system is comprised of the natural language query analysis, the issue analysis, the social big data analysis, the social big data correlation analysis and the automatic report generation. For the evaluation of report usefulness, we used a Likert scale and made two experts of big data analysis evaluate. The result shows that the quality of report is comparatively useful and reliable. Because of a low price of the report generation, the correlation analysis of social big data and the objectivity of social big data analysis, the proposed system will lead us to the popularization of social big data analysis.

An Explorative Study on the Social Metadata in Academic Libraries (소셜 메타데이터 활용에 관한 탐색적 연구 - 국내 대학도서관 웹 사이트 분석을 중심으로 -)

  • Park, Heejin
    • Journal of the Korean BIBLIA Society for library and Information Science
    • /
    • v.24 no.2
    • /
    • pp.231-246
    • /
    • 2013
  • This paper attempts to explore the use of social metadata in academic libraries. A total of 173 academic libraries were examined and analyzed. Various social metadata were reviewed, involved with users' participation and contribution. Error-reports, tagging, recommendations, ratings, reviews, comments, sharing, and community were identified that support selection, sharing and collaboration through social engagement. Suggestions drawn from the findings are offered to utilize social metadata in order to enhance users' contribution and interaction. It is hoped that this exploratory study will provide insight into the use of social metadata in academic libraries.

Social Network Big Data 분석 기법과 응용

  • Choe, Byeong-Jin;Hwang, Yong-Geun;Jeong, Gyo-Min
    • Information and Communications Magazine
    • /
    • v.31 no.11
    • /
    • pp.46-51
    • /
    • 2014
  • 최근 정보통신 기술의 발전과 더불어 급성장 중인 소셜 네트워크는 개인 혹은 집단간의 실제 사회적 관계를 네트워크 구조로 반영하고 있다. 소셜 네트워크를의 구조를 보다 정확하게 이해하고 소셜 네트워크 내에서 정보가 전파되는 패턴을 파악하기 위해 소셜 네트워크를 수학적으로 모델링하고, 이를 응용하여 소셜 네트워크 빅 데이터를 분석하는 다양한 연구가 이루어지고 있다. 본고에서는 소셜 네트워크의 구조 분석과 정보 확산 패턴 파악에 관한 주요 연구 사례들을 소개하고, 특히 소셜 빅 데이터 분석과 관련된 연구 주제 및 응용 사례들을 살펴보고자 한다.

Analysis of Opinion Social Data on the SNS (Social Network Service) by Analyzing of Collective Damage Reply (악성 집단 댓글 분석에 의한 SNS 여론 소셜데이터 분석)

  • Hwang, Yun Chan;Koh, Chan
    • Journal of Digital Convergence
    • /
    • v.11 no.5
    • /
    • pp.41-51
    • /
    • 2013
  • A lots of social data are distributed, utilized and opened through the social media. They have characterized effectiveness and pleasure of information to the media by social data but it is ignored about excessive exposure of information and damage from collective reply of personal attack type. In this paper, we study about analysis of opinion social data on the SNS (Social Network Service) by analyzing of collective damage reply. It is analysed by diverse measurement method for distribution and disuse of the amount of Buzz data that is analysed data from structured social network.

A MapReduce based Algorithm for Spatial Aggregation of Microblog Data in Spatial Social Analytics (공간 소셜 분석을 위한 마이크로블로그 데이터의 맵리듀스 기반 공간 집계 알고리즘)

  • Cho, Hyun Gu;Yang, Pyoung Woo;Yoo, Ki Hyun;Nam, Kwang Woo
    • Journal of KIISE
    • /
    • v.42 no.6
    • /
    • pp.781-790
    • /
    • 2015
  • In recent times, microblogs have become popular owing to the development of the Internet and mobile environments. Among the various types of microblog data, those containing location data are referred to as spatial social Web objects. General aggregations of such microblog data include data aggregation per user for a single piece of information. This study proposes a spatial aggregation algorithm that combines a general aggregation with spatial data and uses the Geohash and MapReduce operations to perform spatial social analysis, by using microblog data with the characteristics of a spatial social Web object. The proposed algorithm provides the foundation for a meaningful spatial social analysis.

소셜 데이터에서 재난 사건 추출을 위한 사용자 행동 및 시간 분석을 반영한 토픽 모델

  • ;Lee, Gyeong-Sun
    • Information and Communications Magazine
    • /
    • v.34 no.6
    • /
    • pp.43-50
    • /
    • 2017
  • 본고에서는 소셜 빅데이터에서 공공안전에 위협되고 사회적으로 이슈가 되는 재난사건을 추출하기 위한 방법으로 소셜 네트워크상에서 사용자 행동 분석과 시간분석을 반영한 토픽 모델링 기법을 알아본다. 소셜 사용자의 글 수, 리트윗 반응, 활동주기, 팔로워 수, 팔로잉 수 등 사용자의 행동 분석을 통하여 활동적이고 신뢰성 있는 사용자를 분류함으로써 트윗에서 스팸성과 광고성을 제외하고 이슈에 대해 신뢰성 높은 사용자가 쓴 트윗을 중요하게 반영한다. 또한, 트위터 데이터에서 새로운 이슈가 발생한 것을 탐지하기 위해 시간별 핵심어휘 빈도의 분포 변화를 측정하고, 이슈 트윗에 대해 감성 표현 분석을 통해 핵심이슈에 대해 사건 어휘를 추출한다. 소셜 빅데이터의 특성상 같은 날짜에 여러 이슈에 대한 트윗이 많이 생성될 수 있기 때문에, 트윗들을 토픽별로 그룹핑하는 것이 필요하므로, 최근 많이 사용되고 있는 LDA 토픽모델링 기법에 시간 특성과 사용자 특성을 분석한 시간상에서의 중요한 사건 어휘를 반영하고, 해당이슈에 대한 신뢰성 있는 사용자가 쓴 트윗을 중요시 반영하도록 토픽모델링 기법을 개선한 소셜 사건 탐지 방법에 대해 알아본다.

Tweet-Based Filtering and Refinement for Finding Accurate Issues (정확한 이슈를 찾기 위한 트위터 기반 정제기법 제안)

  • Choi, BongJun;Woo, Ho Jin;Lee, Won Suk
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2014.04a
    • /
    • pp.653-655
    • /
    • 2014
  • 스마트 디바이스 산업의 발전으로 소셜미디어 데이터의 양은 기하급수적으로 증가하고 있다. 이렇게 증가한 데이터와 함께 분석을 통해 발견할 수 있는 정보의 양도 다양해지면서 여러 산업분야에서 소셜미디어 데이터 분석을 위한 연구가 진행되고 있다. 소셜미디어는 종류가 다양하고 하루 평균 발생량이 너무 많기 때문에 분석시간이 오래 걸릴 뿐 아니라, 불필요한 불용어 및 방해요소 때문에 적절한 정제작업이 필요하다. 본 논문에서는 소셜미디어의 한 종류인 트위터 분석을 위해 여러 가지 기법으로 데이터를 정제한다. 정제과정은 분석에 용이한 형태로 데이터를 변형시킨 후 의미없는 데이터와 분석에 방해가 되는 불용어를 제거한다. 이 정제를 통해 데이터 정보의 질을 높이고 분석 시간을 단축시켜 빠르고 신뢰성 높은 분석결과를 도출할 수 있다.

Monitoring and Sensing Disaster Issues from Social Media (소셜미디어 재난이슈 탐지 및 모니터링)

  • Choi, Seon-Hwa;Choi, Woo-Jeong;Lee, Jong-Kook
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2013.05a
    • /
    • pp.332-335
    • /
    • 2013
  • 최근 IT기술발전으로 데이터 저장 및 처리비용은 하락하고 소셜네트워크 서비스 등이 확대되어 데이터의 양적 팽창이 가속화되면서 빅데이터에서 가치를 창출하려는 시도가 늘어나고 있다. 특히, 국내 스마트폰 이용자가 3천만을 넘어서면서 모바일 기기는 대량 데이터 생산의 원천이 되고 있다. 모바일 기기는 스마트시대 대표 통신채널인 소셜미디어 활용을 가속화 시키며 다양한 분야에서 영향력을 발휘하고 있다. 특히 일본과 아이티 지진피해, 강남역 침수 등 재난발생 시 피해상황 파악 및 경보, 정보교환 등에 소셜미디어 채널이 활발히 활용되면서 새로운 매체로 떠오르고 있다. 본 논문에서는 언어분석을 통해 소셜미디어 속에 재난이슈를 모니터링하고 소셜미디어가 재난예방 및 대응에 적극 활용되기 위해 필요한 기술개발 방안을 제시하고자 한다.

Beauty Trend Analysis Services using Public Data and Social Web Data (공공데이터 및 소셜 웹 데이터를 이용한 뷰티 트렌드 분석 서비스)

  • Song, Je-O;Kim, Gyoung-Bae;Lee, Sang-Moon
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2017.01a
    • /
    • pp.51-52
    • /
    • 2017
  • 요우커를 중심으로 한 한류 열풍은 연예인, 미디어 콘텐츠 시장을 넘어서 한국산 제품에도 큰 영향을 미치고 있다. 특히, 화장품을 비롯한 뷰티 관련 제품은 가장 대표적인 시장으로 주목 받고 있다. 본 논문에서는 공공데이터 및 소셜 웹 데이터를 이용하여 화장품 관련 기업의 비즈니스를 위한 뷰티 트렌드 분석 서비스를 제안한다. 소셜 웹 데이터는 국내외 뷰티 시장에 대한 제품인지도를 중심으로 분석되며, 공공데이터는 국내에서 유통되는 화장품에 대한 안정성을 중심으로 분석한다.

  • PDF