• 제목/요약/키워드: 소셜 데이터 분석

검색결과 737건 처리시간 0.038초

토픽 모델링을 이용한 트위터 이슈 트래킹 시스템 (Twitter Issue Tracking System by Topic Modeling Techniques)

  • 배정환;한남기;송민
    • 지능정보연구
    • /
    • 제20권2호
    • /
    • pp.109-122
    • /
    • 2014
  • 현재 우리는 소셜 네트워크 서비스(Social Network Service, 이하 SNS) 상에서 수많은 데이터를 만들어 내고 있다. 특히, 모바일 기기와 SNS의 결합은 과거와는 비교할 수 없는 대량의 데이터를 생성하면서 사회적으로도 큰 영향을 미치고 있다. 이렇게 방대한 SNS 데이터 안에서 사람들이 많이 이야기하는 이슈를 찾아낼 수 있다면 이 정보는 사회 전반에 걸쳐 새로운 가치 창출을 위한 중요한 원천으로 활용될 수 있다. 본 연구는 이러한 SNS 빅데이터 분석에 대한 요구에 부응하기 위해, 트위터 데이터를 활용하여 트위터 상에서 어떤 이슈가 있었는지 추출하고 이를 웹 상에서 시각화 하는 트위터이슈 트래킹 시스템 TITS(Twitter Issue Tracking System)를 설계하고 구축 하였다. TITS는 1) 일별 순위에 따른 토픽 키워드 집합 제공 2) 토픽의 한달 간 일별 시계열 그래프 시각화 3) 토픽으로서의 중요도를 점수와 빈도수에 따라 Treemap으로 제공 4) 키워드 검색을 통한 키워드의 한달 간 일별 시계열 그래프 시각화의 기능을 갖는다. 본 연구는 SNS 상에서 실시간으로 발생하는 빅데이터를 Open Source인 Hadoop과 MongoDB를 활용하여 분석하였고, 이는 빅데이터의 실시간 처리가 점점 중요해지고 있는 현재 매우 주요한 방법론을 제시한다. 둘째, 문헌정보학 분야뿐만 아니라 다양한 연구 영역에서 사용하고 있는 토픽 모델링 기법을 실제 트위터 데이터에 적용하여 스토리텔링과 시계열 분석 측면에서 유용성을 확인할 수 있었다. 셋째, 연구 실험을 바탕으로 시각화와 웹 시스템 구축을 통해 실제 사용 가능한 시스템으로 구현하였다. 이를 통해 소셜미디어에서 생성되는 사회적 트렌드를 마이닝하여 데이터 분석을 통한 의미 있는 정보를 제공하는 실제적인 방법을 제시할 수 있었다는 점에서 주요한 의의를 갖는다. 본 연구는 JSON(JavaScript Object Notation) 파일 포맷의 1억 5천만개 가량의 2013년 3월 한국어 트위터 데이터를 실험 대상으로 한다.

국가가뭄정보분석시스템을 활용한 최근 가뭄관련 언론현황 분석 및 고찰 (The Analysis of the Recent News on Domestic Drought Situation by National Drought Information-Analysis System)

  • 이호선;전근일;박재영
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2017년도 학술발표회
    • /
    • pp.340-340
    • /
    • 2017
  • 최근 전 세계적으로 기후변화로 인한 가뭄이 빈번히 발생하고 있으며 우리나라도 '14~'15년 장기화된 가뭄으로 인해 많은 어려움을 겪었다. 이러한 가뭄은 비교적 느린 속도로 진행되고 그 영향이 복잡하게 나타나기 때문에 적절한 사전대응이 이루어지지 않으면 상당한 피해를 겪게 된다. 최근 기존 수자원 정보의 수집과 분석을 탈피해서 다른 사회 시스템과의 연계 추진하는 빅데이터 개념의 적용시도가 이루어지고 있다. K-water 국가가뭄정보분석센터에서는 가뭄의 사전인지와 영향평가의 보조적인 수단으로서 뉴스를 활용하는 방법론을 도출하고 이를 시스템에 구현하여 적용하여 활용성을 분석하였다. 언론(뉴스)정보는 가뭄의 발생, 영향, 대응 등을 포괄적으로 검색할 수 있도록 가뭄진행 순서에 따라 가뭄징조 및 예측, 가뭄발생, 가뭄영향, 가뭄대응, 가뭄대비 및 해소 관련 5개 카테고리와 이와 관련된 69개 세부 키워드로 구분하고 이를 시스템에 반영하였다. 빅데이터 기능을 적용하여 인터넷 뉴스를 해당키워드를 적용해 자동으로 수집할 수 있도록 하였으며 중복되거나 관련 없는 뉴스를 제외하고 이를 다시 발생지역으로 공간 구분하여 GIG 맵에 표출될 수 있도록 구축하였다. 구축된 시스템을 활용하여 '16년을 대상으로 수집된 총 448건의 뉴스자료를 분석한 결과 시스템에 구축되어 있는 '16년 용수공급체계를 반영한 가뭄평가결과와 발생위치, 발생시기, 피해내용 등이 '16년 물수급 현황을 잘 나타내는 것으로 나타났다. 향후 센터에서는 뉴스이외에 소셜미디어와 SNS등에서 다양한 가뭄관련정보를 빅데이터 수집방식에 의해 확보하고 이를 가뭄인자와 영향평가에 대한 참고자료로서 활용하기 위한 방안과 시스템 적용을 통한 검증을 지속적으로 진행할 예정이다.

  • PDF

기업의 빅데이터 적용방안 연구 -A사, Y사 빅데이터 시스템 적용 사례- (Study on the Application Methods of Big Data at a Corporation -Cases of A and Y corporation Big Data System Projects-)

  • 이재성;홍성찬
    • 인터넷정보학회논문지
    • /
    • 제15권1호
    • /
    • pp.103-112
    • /
    • 2014
  • 지난 수년간 스마트 폰 같은 스마트 기기의 빠른 확산과 함께 인터넷과 SNS 등 소셜 미디어가 급성장함에 따라 개인 정보와 소비패턴, 위치 정보 등이 포함된 가치 있는 데이터가 매 순간 엄청난 양으로 생성되고 있으며, M2M (Machine to Machine)과 IoT (Internet of Things) 등이 활성화되면서 IT 및 생산인프라 자체도 다량의 데이터를 직접 생성하기 시작했다. 본 연구는 기업에서 활용할 수 있는 빅데이터의 대표적 유형인 정형 및 비정형 데이터의 적용사례를 고찰함으로써 데이터 유형에 따른적용 영역별 파급효과를 알아본다. 또한 일반적으로 알려져 있는 비정형 빅데이터는 물론 정형빅데이터를 활용하여 실제로 기업에 보다 나은 가치를 창출할 수 있는 방안을 알아보는 것을 목적으로 한다. 이에 대한연구 결과로 빅데이터의 기업내 활동이 나아갈 수 있는 지향점으로써 내 외부에서 발생하는 정형데이터와 비정형 데이터를 적절히 결합함으로써 분석의 효과를 극대화 할 수 있음을 보여 주었다.

자연재해 분석을 위한 빅데이터 마이닝 기술 (Big data mining for natural disaster analysis)

  • 김영민;황미녕;김태홍;정창후;정도헌
    • Journal of the Korean Data and Information Science Society
    • /
    • 제26권5호
    • /
    • pp.1105-1115
    • /
    • 2015
  • 자연재해 빅데이터 분석은 현재 소셜 미디어 데이터 등 텍스트 데이터를 중심으로 시작되고 있으며 이는 재난관리의 네 단계인 예방, 대비, 대응, 복구에서 마지막 두 단계에 주로 해당된다. 반면 기상 데이터 자체에 대한 빅데이터 분석은 사전 관리에 해당하는 예방, 대비 단계에 활용될 수 있어 이와 관련한 연구 사례에 대한 체계적인 정리가 필요하다. 본 논문은 리뷰 논문으로서, 자연재해 영역에서 텍스트 데이터 외의 빅데이터를 다루는 분석 기술들에 대해 소개한다. 이를 위해 기상 관련 분야에서 사용되고 있는 데이터 마이닝 및 기계 학습 기술들을 살피고 각 기상 데이터의 특성에 맞춰 기존의 기술들이 어떻게 변형되는 지 밝힌다. 우선 2절에서 빅데이터, 데이터 마이닝, 기계 학습에 대한 기본 개념을 설명하고 3절에서 데이터 마이닝 및 기계 학습 기술의 실제 적용 사례를 상세히 정리한다. 4절에서는 자연재해 대응에 이러한 기술들이 직접 활용되는 예를 소개하고 마지막에 결론으로 마무리한다.

소셜 분석을 통한 사전제작 드라마의 가능성과 한계에 관한 연구 -jtbc <맨투맨>을 중심으로- (A Study on the Potential and Limitation of Pre-producing Dramas through Social Analysis -focusing on a jtbc drama -)

  • 김경애;구진희
    • 한국산학기술학회논문지
    • /
    • 제19권2호
    • /
    • pp.164-172
    • /
    • 2018
  • 본 논문은 드라마 사전제작과 스토리텔링의 관련성을 소셜 분석을 통해 살펴보고, 드라마의 스토리텔링이 어떤 점에 주안점을 두고 구조화되어야 할지를 jtbc의 <맨투맨>을 중심으로 살폈다. 사전제작 드라마에 대한 시청자들의 생각을 읽어내기 위해 뉴스를 배제하고 한 가지 주제에 집중하여 글을 올리는 블로그를 대상으로 하였으며, 사전제작과 드라마라는 단어를 포함한 2016. 12. 15~2017. 12. 15 사이의 블로그 67개를 선정하여 텍스트 마이닝을 수행하였다. 또한 사전제작 드라마이면서 작품의 스토리텔링에 문제를 지닌 것으로 판단되는 드라마 <맨투맨>에 대한 감성분석을 수행하였다. 블로그 텍스트 추출과 텍스트 마이닝은 OutWit Hub와 R을 이용하여 분석하였고, 좀 더 방대한 데이터를 대상으로 감성 분석을 하기 위해 소셜 메트릭스에서 제공하는 도구를 활용하였다. 감성분석 결과, <맨투맨>에서 시청자들은 김설우와 차도하의 로맨스에 공감하지 못했고 그것이 여성인물의 개연성 부족에서 비롯되었다는 해석이 도출되었다. 따라서 드라마의 성패는 사전제작 여부에 달려있는 것이라기보다 기획부터 제작에 이르는 스토리텔링의 과정이 얼마나 치밀하고 시청자의 공감을 얻도록 구조화되어 있느냐에 달려있다는 결론을 얻었다. 이러한 연구는 디지털 중심 스토리텔링 연구의 기반을 조성하고 문화 콘텐츠 산업의 전망과 이에 대한 교육을 수행하는 데 중요한 자료가 될 수 있으므로 앞으로도 지속적인 연구가 필요할 것이다.

개인정보보호 분야의 연구자 네트워크와 성과 평가 프레임워크: 소셜 네트워크 분석을 중심으로 (The Framework of Research Network and Performance Evaluation on Personal Information Security: Social Network Analysis Perspective)

  • 김민수;최재원;김현진
    • 지능정보연구
    • /
    • 제20권1호
    • /
    • pp.177-193
    • /
    • 2014
  • 개인정보 분야에서의 다양한 정보 보안 이슈가 발생함에 따라 해당 분야의 전문가를 확인하기 위한 프레임워크는 매우 중요한 영역이 되었다. 전문가 탐색과정은 주로 연구 업적 등을 통한 주관적인 평가가 일반적이지만 보다 객관적인 방식을 통한 선정이 매우 중요하다. 소셜 네트워크 분석기법의 응용이 다양한 영역에서 활용됨에 따라 본 연구는 개인정보보호분야의 전문가를 확인하고 해당 전문가들의 연구실적을 판단하기 위한 분석 프레임워크를 제시하고자 하였다. 본 연구는 연구 목적에 따라 개인정보보호 연구영역의 연구성과 자료를 바탕으로 소셜 네트워크 분석을 실시하고 핵심연구자의 성과를 분석하였다. 수집된 데이터는 연구의 공저자, 발행기관, 소속기관 등의 네트워크 구성에 활용되어 핵심전문가 집단을 관리하기 위한 프레임워크를 제시하였다. 본 연구는 NDSL에서 최근 5년 동안 발표된 논문들을 중심으로 자료를 수집하였다. 연구자들이 학술 정보를 교환하는 정기 간행물인 학술지를 바탕으로 연구 네트워크를 형성하는 네트워크 자료를 수집함으로써 연구활동에 대한 정보를 분석할 수 있었다. 일반적으로 연구자들은 연구 결과를 논문으로 발표하고, 발표된 논문들이 다수의 관련 분야 전문가들에게 공유된다는 점에서 학술연구지는 연구자들의 지식관련 의사소통 공간이며 지식의 구조화에 핵심적인 역할을 수행한다. 그에 따라 본 연구의 연구 대상 분야로 설정한 개인정보보호 분야의 연구 구조를 이해하기 위해 국내에서 발표된 관련 분야의 논문들을 연구 대상으로 자료가 수집되었다. 특히 자료의 선별 기준은 국내 최대의 데이터베이스를 보유하고 있는 NDSL에서 개인정보보호 관련 키워드를 보유한 논문 데이터를 수집 및 정제하여 분석 자료로 사용하였다. 2005년부터 2013년까지 약 2,000개의 연구결과 중 주제 관련성, 공저자 추출 등을 수집하였다. 데이터 수집 이후 연구 분석을 위한 데이터 처리를 통하여 통해 총 784개의 논문을 선정하고 분석대상으로 확정하였다. 분석 결과, 개인정보보호 연구영역의 전문가 집단을 이용한 연구논문 성과에 대한 분석은 핵심 연구자들을 추출해내고 전문가 집단을 관리하는 데 도움을 제공할 수 있다. 특히 소속집단 및 연구논문 발행기관을 분석함으로써 개인정보보호 연구영역에서 확인되지 않았던 연구자들의 연구 논문 게재의 공저자 네트워크가 매우 밀접함을 확인할 수 있다. 또한 연구논문의 발행기관 및 소속집단의 특성을 추출함으로써 개인정보보호 영역의 전문가 평가지표로서 소셜 네트워크 지표들의 활용가능성을 확인하였다.

웹사이트 중복회원 관리 : 소셜 네트워크 분석 접근 (Managing Duplicate Memberships of Websites : An Approach of Social Network Analysis)

  • 강은영;곽기영
    • 지능정보연구
    • /
    • 제17권1호
    • /
    • pp.153-169
    • /
    • 2011
  • 오늘날 기업의 마케팅에 있어 인터넷 환경의 이용은 필수적이며, 좀 더 효율적인 마케팅을 위해 다양한 방법들이 시도되고 있다. 기업들은 온라인마케팅을 통해 다양한 경품이나 포인트 등의 마케팅 비용을 사용하는 것으로 제품이나 서비스를 알려왔다. 특히 웹 2.0의 등장과 함께 기업은 좀 더 적극적으로 고객과 소통하기 위한 노력을 아끼지 않고 있다. 고객들은 회사의 웹사이트에 개인정보를 제공하는 형태로 회원가입을 하여 회사가 제공하는 혜택을 받으면서 제품 광고나 프로모션에 참여하게 된다. 그러나 온라인 마케팅의 운영측면에서 볼 때 현재의 회원관리 시스템은 회원의 모집과 운영에 있어서 효과적이지 못한 문제점이 나타나고 있다. 온라인 환경에서의 고객들은 오프라인 환경에서보다 명확한 자아를 덜 드러내기 때문에 회원가입 과정 중에 일부 악의적인 목적을 가진 고객들이 주변인의 개인정보를 이용하거나 조작하여 중복 아이디를 만들어 활동할 수 있게 된다. 이러한 취약점을 이용하여 중복가입 회원들은 고객들에게 돌아가야 할 경품이나 포인트 등을 가로채어 기업 마케팅 비용의 효율을 떨어뜨리고 있다. 그러나 증가하고 있는 마케팅 비용에 비해 중복회원의 선별 및 이들에 대한 제재를 위한 효과적 방법은 뚜렷하게 제시되지 않고 있다. 따라서 이를 방지하기 위한 체계적인 회원관리 시스템이 요구된다. 본 연구에서는 소셜 네트워크 분석 기법을 이용한 중복회원 식별방법을 제시하고 실제 온라인 고객데이터를 이용하여 그 효과성을 검증한다. 소셜 네트워크는 노드들의 관계를 표현하며, 관계의 유무, 방향 및 강도 등으로 연결 형태를 나타낼 수 있다. 특히 컴포넌트 분석방법은 소셜 네트워크 하위그룹 분석방법으로 네트워크의 내부 그룹을 구분하여 다양한 네트워크 특성을 식별하여 준다. 회원정보 분석에 있어 컴포넌트 분석방법은 전제회원 데이터 내의 의미 있는 정보를 이루고 있는 그룹을 식별하게 된다. 본 연구는 H사의 서로 다른 회원가입 기준을 가진 3개 웹사이트의 회원정보를 사용하여 진행되었다. 제안된 분석방법은 중복회원의 실체를 분석하고 시각화함으로써, 실무적인 측면에서 효율적인 마케팅의 증진을 도울 뿐만 아니라 신뢰성 있는 고객의 의견수렴 및 의사결정에도 도움이 될 것으로 기대된다.

한국의 사회적 이슈 도출을 위한 뉴스 빅데이터 분석 연구 (Analysis of News Big Data for Deriving Social Issues in Korea)

  • 이홍주
    • 한국전자거래학회지
    • /
    • 제24권3호
    • /
    • pp.163-182
    • /
    • 2019
  • 복잡해지고 있는 현대 사회의 뉴스 키워드를 시간적 흐름에 따른 빈도수와 상관관계로 분석하는 것은 이슈들에 대한 대응과 해결 방안을 논의하기 위해 매우 중요한 연구라고 할 수 있다. 이에 본 논문에서는 10년(2009~2018)간의 뉴스 빅데이터 분석을 통해 사회적 키워드의 흐름과 주요 이슈들 간의 관계를 분석하였다. 분석결과 본 연구에서는 정치적 이슈, 교육 사회문화, 젠더갈등 그리고 사회적 사건이 주요 이슈들로 제시되었다. 또한, 본 연구에서는 이슈의 변화와 흐름을 연구하기 위해 이를 5년 기준으로 양분하여 변화하는 것을 분석하였다. 이를 통해 사회적 이슈의 시간에 따른 변화와 그 대응방안을 연구하였다. 그 결과 국민생활과 밀접한 키워드(경제, 경찰)는 시간의 흐름에 관계없이 우리 사회에서 매우 중요하게 논의되는 키워드로 분석되었다. 또한 '안전'과 같은 키워드는 최근 들어 빈도수에 비해 증가율이 감소되었다. 이를 통해, 우리 사회가 안전에 대한 인식을 개선할 필요가 있는 것으로 추론할 수 있다.

Z세대 패션에 대한 소셜미디어의 빅데이터 분석 (Social media big data analysis of Z-generation fashion)

  • 성광숙
    • 한국의상디자인학회지
    • /
    • 제22권3호
    • /
    • pp.49-61
    • /
    • 2020
  • This study analyzed the social media accounts and performed a Big Data analysis of Z-generation fashion using Textom Text Mining Techniques program and Ucinet Big Data analysis program. The research results are as follows: First, as a result of keyword analysis on 67.646 Z-generation fashion social media posts over the last 5 years, 220,211 keywords were extracted. Among them, 67 major keywords were selected based on the frequency of co-occurrence being greater than more than 250 times. As the top keywords appearing over 1000 times, were the most influential as the number of nodes connected to 'Z generation' (29595 times) are overwhelmingly, and was followed by 'millennials'(18536 times), 'fashion'(17836 times), and 'generation'(13055 times), 'brand'(8325 times) and 'trend'(7310 times) Second, as a result of the analysis of Network Degree Centrality between the key keywords for the Z-generation, the number of nodes connected to the "Z-generation" (29595 times) is overwhelmingly large. Next, many 'millennial'(18536 times), 'fashion'(17836 times), 'generation'(13055 times), 'brand'(8325 times), 'trend'(7310 times), etc. appear. These texts are considered to be important factors in exploring the reaction of social media to the Z-generation. Third, through the analysis of CONCOR, text with the structural equivalence between major keywords for Gen Z fashion was rearranged and clustered. In addition, four clusters were derived by grouping through network semantic network visualization. Group 1 is 54 texts, 'Diverse Characteristics of Z-Generation Fashion Consumers', Group 2 is 7 Texts, 'Z-Generation's teenagers Fashion Powers', Group 3 is 8 Texts, 'Z-Generation's Celebrity Fashions' Interest and Fashion', Group 4 named 'Gucci', the most popular luxury fashion of the Z-generation as one text.

감성 강도를 고려한 감성 분석 평가집합 구축 (Constructing an Evaluation Set for Korean Sentiment Analysis Systems Incorporating the Category and the Strength of Sentiment)

  • 김도연;오영;박혁로
    • 한국콘텐츠학회논문지
    • /
    • 제12권11호
    • /
    • pp.30-38
    • /
    • 2012
  • 감성 분석은 블로그와 트위터 같은 다양한 소셜 미디어에서 사용자들이 표현하는 감정의 종류를 분석하고 추출하는 연구이다. 현재 감성 분석 연구는 꾸준히 계속되고 있지만, 한국어의 감성 분석 평가 집합은 아직 없다. 본 논문에서는 감성 분석을 평가할 수 있는 평가집합을 구축한다. 평가집합에서는 사용자의 감성에 대한 극성뿐만 아니라 감성의 종류와 강도까지 고려한 평가집합을 구축하였다. 이를 위해 감성의 종류는 긍정에서 7가지의 범주와 부정에서 15가지의 범주를 나누고, 각 범주별로 1~3까지의 강도를 설정하였다. 또한 각 범주에 속하는 어휘에 대해서도 1~3까지의 강도를 설정하였다. 평가집합의 데이터는 다양한 소셜 미디어에서 3,270 문장을 추출하여 구축하였으며, 각 문장에 대해 5 명이 감성의 종류와 강도를 태깅하였다. 구축한 평가집합에서 5명의 일치도는 극성의 경우 93 %, 감성의 종류는 70 %, 강도는 58 % 로 나타났다. 이는 독일어와 스페인어의 평가 집합 보다 일치도가 높게 나타났다. 이 결과는 제안한 평가 집합이 신뢰할 만한 자원으로 다른 감성 분석 시스템의 평가데이터로 사용될 수 있음을 보여준다.