• Title/Summary/Keyword: 소셜 빅데이터 분석

Search Result 330, Processing Time 0.028 seconds

Implementation on Online Storage with Hadoop (하둡을 이용한 온라인 대용량 저장소 구현)

  • Eom, Se-Jin;Lim, Seung-Ho
    • Annual Conference of KIPS
    • /
    • 2013.05a
    • /
    • pp.56-58
    • /
    • 2013
  • 최근 페이스북이나 트위터와 같은 소셜네트워크 서비스를 포함하여 대용량의 빅데이터에 대한 처리와 분석이 중요한 이슈로 다뤄지고 있으며, 사용자들이 끊임없이 쏟아내는 데이터로 인해서 이러한 데이터들을 어떻게 다룰 것인지, 혹은 어떻게 분석하여 의미 있고, 가치 있는 것으로 가공할 것인지가 중요한 사안으로 여겨지고 있다. 이러한 빅데이터 관리 도구로써 하둡은 빅데이터의 처리와 분석에 있어서 가장 해결에 근접한 도구로 평가받고 있다. 이 논문은 하둡의 주요 구성요소인 HDFS(Hadoop Distributed File System)와 JAVA에 기반하여 제작되는 온라인 대용량 저장소 시스템의 가장 기본적인 요소인 온라인 데이터 저장소를 직접 설계하고 제작하고, 구현하여 봄으로써 대용량 저장소의 구현 방식에 대한 이슈를 다뤄보도록 한다.

A study of MapReduce Algorithm for Bigdata (빅데이터 처리를 위한 맵리듀스 연구)

  • Kim, Man-Yun;Youn, Hee-Yong
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2014.07a
    • /
    • pp.341-342
    • /
    • 2014
  • 지난 10년간 데이터의 폭발적인 증가로 우리는 빅데이터 시대를 맞이하게 되었다. 특히, 최근 몇 년 사이 소셜 네트워크의 발전으로 인해 발생하는 데이터의 양이 증가하면서, 이를 처리하기 위한 시스템으로 하둡이 등장하였다. 이전에는 저장 및 처리할 수 없었던 대용량 데이터를 오픈소스인 하둡의 등장으로 누구나가 대용량 데이터를 처리할 수 있는 시스템을 운영할 수 있게 된 것이다. 대규모 처리 분석을 위한 소프트웨어 프레임워크인 하둡은 클라우드 컴퓨팅의 대표적인 기술로 널리 사용되고 있다. 하둡은 크게 데이터의 저장을 담당하는 HDFS(Hadoop Distribute File System)와 데이터를 처리하는 맵리듀스로 나뉜다. 본 논문에서는 기존의 MapReduce와 차세대 맵리듀스로 불리는 YARN을 비교 분석하고 맵리듀스의 용도와 효율적인 활용방안을 제시한다.

  • PDF

Movie Box-office Analysis using Social Big Data (소셜 빅데이터를 이용한 영화 흥행 요인 분석)

  • Lee, O-Joun;Park, Seung-Bo;Chung, Daul;You, Eun-Soon
    • The Journal of the Korea Contents Association
    • /
    • v.14 no.10
    • /
    • pp.527-538
    • /
    • 2014
  • The demand prediction is a critical issue for the film industry. As the social media, such as Twitter and Facebook, gains momentum of late, considerable efforts are being dedicated to prediction and analysis of hit movies based on unstructured text data. For prediction of trends found in commercially successful films, the correlations between the amount of data and hit movies may be analyzed by estimating the data variation by period while opinion mining that assigns sentiment polarity score to data may be employed. However, it is not possible to understand why the audience chooses a certain movie or which attribute of a movie is preferred by using such a quantitative approach. This has limited the efforts to identify factors driving a movie's commercial success. In this regard, this study aims to investigate a movie's attributes that reflect the interests of the audience. This would be done by extracting topic keywords that represent the contents of Twits through frequency measurement based on the collected Twitter data while analyzing responses displayed by the audience. The objective is to propose factors driving a movie's commercial success.

Comparative Analysis of Perception of Museum Tourists applying Gamification using Social Media Big Data (소셜미디어 빅데이터를 활용한 게이미피케이션 적용 박물관 관람객 인식 비교 분석)

  • Se-won Jeon;Youn-Ju Ahn;Gi-Hwan Ryu
    • The Journal of the Institute of Internet, Broadcasting and Communication
    • /
    • v.23 no.5
    • /
    • pp.169-175
    • /
    • 2023
  • This paper analyzes museum-related big data using museums and gamification using social media big data, identifies and compares the perceptions of visitors mentioned in social media, and presents ways to use gamification. Based on the collected data, this paper aims to provide data by comparing and analyzing the perception of visitors to the museum and visitors to the museum using gamification. This paper investigates the perception of visitors through social media analysis using TEXTOM, a social media analysis tool, to identify differences in perception. As a result of the analysis, it was found that compared to museums that were previously viewed in the form of exhibitions, they felt fun and interest in visiting museums using geikipication. In addition, based on the analysis results of keywords and related keywords, the perception, motivation, and type of viewing of the museum of the National Museum of Korea and the Independence Hall of Korea were confirmed. In addition, it can be seen that the sense of achievement of visitors who visited the museum using gamification is higher than that of the existing museum. It is believed that by developing and activating game-related content in future museum visits, many visitors will be able to increase their interest in the museum and feel fun and interested. The results of the study are believed to be meaningful as basic data to grasp the overall perception of visitors to the museum, and based on this, it is expected that visitors will be able to see and experience the museum in various ways.

Design of Prediction System for HR Recruitment Using BigData Analysis Technology (빅데이터 분석 기술을 이용한 인사채용 예측 시스템 설계)

  • Kim, Yong-Woo;Park, Seok-Cheon;Hong, Suk-Woo;Kim, Tae-Youb
    • Annual Conference of KIPS
    • /
    • 2013.11a
    • /
    • pp.1042-1045
    • /
    • 2013
  • 정보기술의 발달로 전 세계에서 발생하는 사건 사고들은 실시간으로 확인 가능하며 정보의 중요성은 더욱 더 중요해지고 있다. 이런 사회 현상에 맞춰 인적자원 솔루션에서도 빅 데이터 분석 기술을 이용하여 인적자원 의사결정에 도움을 주는 기술이 필요하게 되었다. 따라서 본 논문에서는 빅 데이터 분석 기술을 이용하여 인사채용과 관련된 데이터들을 추출하고 분석하여 구직자의 적성과 능력에 맞는 직업을 예측하는 시스템을 설계하였다. 구직자 및 이직을 원하고 있는 사람들이 소셜 네트워크 서비스를 이용하면서 사용하고 있는 특정 단어와 특정 단어의 언급 빈도의 데이터를 추출하고 추출 된 데이터는 통계를 내어 데이터의 특성에 맞게 분류하여 분류된 데이터는 연관된 속성에 의해 그룹화 한다. 그룹화 된 정보를 분석하여 구직자의 적성과 능력을 고려한 직업을 예측하는 정보로 도출하여 직업을 추천 할 수 있는 예측 시스템을 설계하였다.

Design and Implementation of Marketing System for Traditional Markets based on Big-data (전통시장을 위한 빅데이터 분석 기반 마케팅 시스템의 설계 및 구현)

  • Song, Je-o;Cho, Jung-Hyun;Lee, Sang-Moon
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2018.01a
    • /
    • pp.191-192
    • /
    • 2018
  • 우리나라는 소상공인 및 자영업에 대한 비중이 매우 높은 가운데, 대형마트 및 SSM(Super Super Market), 편의점 등 기업형 유통 판매점의 확대로 인해서 위기감이 심화되고 있다. 본 논문에서는 다양한 사람들이 무의식적으로 생성해내는 빅데이터의 특성과 많은 유동인구흐름이 많은 전통시장의 특성을 빅데이터로 분석하여 마케팅 정보까지 제공하여 전통시장에서 유익하게 사용될 수 있는 시스템을 제안한다.

  • PDF

A Study on the Analysis Techniques for Big Data Computing (빅데이터 컴퓨팅을 위한 분석기법에 관한 연구)

  • Oh, Sun-Jin
    • The Journal of the Convergence on Culture Technology
    • /
    • v.7 no.3
    • /
    • pp.475-480
    • /
    • 2021
  • With the rapid development of mobile, cloud computing technology and social network services, we are in the flood of huge data and realize that these large-scale data contain very precious value and important information. Big data, however, have both latent useful value and critical risks, so, nowadays, a lot of researches and applications for big data has been executed actively in order to extract useful information from big data efficiently and make the most of the potential information effectively. At this moment, the data analysis technique that can extract precious information from big data efficiently is the most important step in big data computing process. In this study, we investigate various data analysis techniques that can extract the most useful information in big data computing process efficiently, compare pros and cons of those techniques, and propose proper data analysis method that can help us to find out the best solution of the big data analysis in the peculiar situation.

The Correlation between Social Media and the Behaviors of the Supreme Court in Korea (소셜미디어와 대법원 판결의 상관 관계에 대한 분석)

  • Heo, Junhong;Seo, Yeeun;Lee, Seoyeong;Lee, Sang-Yong Tom
    • Knowledge Management Research
    • /
    • v.22 no.3
    • /
    • pp.31-53
    • /
    • 2021
  • As a communication channel for individuals, social media is affecting various areas such as business, economy, politics, and society. One of the less-studied areas is the law. Therefore, this study collected various information from social media and analyzed its impacts on the legal decisions, especially the Supreme Court decisions in Korea. This study was conducted by compiling information from Internet news articles and public responses. We found that when the negative reactions from the public got higher, the trial duration until the supreme court making the final decisions became shorter. However, we were not able to find the significant relationship between social media reactions and dismissal of appeal nor annulment. Our study would contribute to the information systems and knowledge management research in a sense that the social analytics is applied to the area of legal decisions, instead of using conventional qualitative study methodology. Our study is also meaningful to the practitioners because that big data analytical business can be applied to the field of law by creating a new database for the emerging legal technology. Finally, law makers can think of a better way to standardize the legal decision process to minimize the reverse effects from social media.

Design of Splunk Platform based Big Data Analysis System for Objectionable Information Detection (Splunk 플랫폼을 활용한 유해 정보 탐지를 위한 빅데이터 분석 시스템 설계)

  • Lee, Hyeop-Geon;Kim, Young-Woon;Kim, Ki-Young;Choi, Jong-Seok
    • The Journal of Korea Institute of Information, Electronics, and Communication Technology
    • /
    • v.11 no.1
    • /
    • pp.76-81
    • /
    • 2018
  • The Internet of Things (IoT), which is emerging as a future economic growth engine, has been actively introduced in areas close to our daily lives. However, there are still IoT security threats that need to be resolved. In particular, with the spread of smart homes and smart cities, an explosive amount of closed-circuit televisions (CCTVs) have been installed. The Internet protocol (IP) information and even port numbers assigned to CCTVs are open to the public via search engines of web portals or on social media platforms, such as Facebook and Twitter; even with simple tools these pieces of information can be easily hacked. For this reason, a big-data analytics system is needed, capable of supporting quick responses against data, that can potentially contain risk factors to security or illegal websites that may cause social problems, by assisting in analyzing data collected by search engines and social media platforms, frequently utilized by Internet users, as well as data on illegal websites.

Apache Spark and Map Reduce with Performance Analysis using K-Means (K-means를 이용한 아파치 스파크 및 맵 리듀스 성능 분석)

  • Jung, Young-Gyo;Jung, Dong-Young;Song, Jun-Seok;You, Hee-Yong
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2016.01a
    • /
    • pp.77-78
    • /
    • 2016
  • 빅 데이터의 데이터 수집 및 분석 기술에 대한 연구는 컴퓨터 과학 분야에서 각광 받고 있다. 또한 소셜 미디어로 인한 대량의 비정형 데이터 분석을 요구하는 다양한 분야에 접목되어 효용성을 인정받고 있다. 그러나 빅 데이터 개념을 기반으로 하는 하둡과 스파크는 유즈케이스에 따라 성능이 크게 달라진다는 문제점이 있다. 이러한 문제점을 해결하기 위해 본 논문에서는 하둡의 맵리듀스를 줄이고 아파치 스파크를 이용한 빅 데이터 분석을 위하여 머신러닝 알고리즘인 K-Means 알고리즘을 이용하여 프로세싱 모델의 성능을 비교한다.

  • PDF