• 제목/요약/키워드: Graph Mining

검색결과 105건 처리시간 0.027초

Analysis of the influence of food-related social issues on corporate management performance using a portal search index

  • Yoon, Chaebeen;Hong, Seungjee;Kim, Sounghun
    • 농업과학연구
    • /
    • 제46권4호
    • /
    • pp.955-969
    • /
    • 2019
  • Analyzing on-line consumer responses is directly related to the management performance of food companies. Therefore, this study collected and analyzed data from an on-line portal site created by consumers about food companies with issues and examined the relationships between the data and the management performance. Through this process, we identified consumers' awareness of these companies obtained from big data analysis and analyzed the relationship between the results and the sales and stock prices of the companies through a time-series graph and correlation analysis. The results of this study were as follows. First, the result of the text mining analysis suggests that consumers respond more sensitively to negative issues than to positive issues. Second, the emotional analysis showed that companies' ethics issues (Enterprise 3 and 4) have a higher level of emotional continuity than that of food safety issues. It can be interpreted that the problem of ethical management has great influence on consumers' purchasing behavior. Finally, In the case of all negative food issues, the number of word frequency and emotional scores showed opposite trends. As a result of the correlation analysis, there was a correlation between word frequency and stock price in the case of all negative food issues and also between emotional scores and stock price. Recently, studies using big data analytics have been conducted in various fields. Therefore, based on this research, it is expected that studies using big data analytics will be done in the agricultural field.

Apache Spark를 활용한 대용량 데이터의 처리 (Processing large-scale data with Apache Spark)

  • 고세윤;원중호
    • 응용통계연구
    • /
    • 제29권6호
    • /
    • pp.1077-1094
    • /
    • 2016
  • 아파치 스파크는 빠르고 범용성이 뛰어난 클러스터 컴퓨팅 패키지로, 복구 가능한 분산 데이터셋이라는 새로운 추상화를 통해 데이터를 인메모리에 유지하면서도 결함 감내성을 얻을 수 있는 방법을 제공한다. 이러한 추상화는 하드디스크에 직접 데이터를 읽고 쓰는 방식으로 결함 감내성을 제공하는 기존의 대표적인 대용량 데이터 분석 기술인 맵 리듀스 프레임워크에 비해 상당한 속도 향상을 거두었다. 특히 로지스틱 회귀 분석이나 K-평균 군집화와 같은 반복적인 기계 학습 알고리즘이나 사용자가 실시간으로 데이터에 관한 질의를 하는 대화형 자료 분석에서 스파크는 매우 효율적인 성능을 보인다. 뿐만 아니라, 높은 범용성을 바탕으로 하여 기계 학습, 스트리밍 자료 처리, SQL, 그래프 자료 처리와 같은 다양한 고수준 라이브러리를 제공한다. 이 논문에서는 스파크의 개념과 프로그래밍 모형에 대해 소개하고, 이를 통해 몇 가지 통계 분석 알고리즘을 구현하는 방법에 대해 소개한다. 아울러, 스파크에서 제공하는 기계 학습 라이브러리인 MLlib과 R 언어 인터페이스인 SparkR에 대해 다룬다.

HF-IFF: TF-IDF를 응용한 병증-본초 연관성(relevancy) 측정과 본초 특성의 시각화 -청강의감 방제를 대상으로- (HF-IFF: Applying TF-IDF to Measure Symptom-Medicinal Herb Relevancy and Visualize Medicinal Herb Characteristics - Studying Formulations in Cheongkangeuigam -)

  • 오준호
    • 대한본초학회지
    • /
    • 제30권3호
    • /
    • pp.63-68
    • /
    • 2015
  • Objectives : We applied the term weighting method used in the field of data search to quantify relevancy between symptoms and medicinal herbs, and, based on this, we aim to introduce a method of visualizing the characteristics of medicinal herbs. Methods : We proposed HF-IFF, an adaptation of TF-IDF, which is a term weighting measurement method adapted in the field of data search. Using this method, we deduced relevancy between symptoms and medicinal herbs In Cheongkangeuigam that was published in 1984 by organizing the medical theory of Cheongkang, Kim Younghoon, and visualized this as a graph in order to compare the characteristics of medicinal herbs used for different symptoms. Results : HF-IFF is the product of HF and IFF, where HF is the frequency of the relevant medicinal herb for a set of symptoms, and IFF is the inverse of the number of formulations (FF) containing that herb. A total of 251 types of medicinal herb are used in Cheongkangeuigam, and 1538 formulations are classified according to 67 types of symptom. The overall mean for HF-IFF was 0.491, with a maximum of 4.566 and a minimum of 0.013. Conclusions : In spite of several limitations, we were able to use HF-IFF to measure relevancy between symptoms and medicinal herbs, with formulations as an intermediate. We were able to use the quantified results to visually express the characteristics of the herbs used for symptoms by bubble chart and word-cloud from HF-IFF.

LSI를 이용한 차원 축소 클러스터 기반 키워드 연관망 자동 구축 기법 (Automatic Construction of Reduced Dimensional Cluster-based Keyword Association Networks using LSI)

  • 유한묵;김한준;장재영
    • 정보과학회 논문지
    • /
    • 제44권11호
    • /
    • pp.1236-1243
    • /
    • 2017
  • 본 논문은 기존의 TextRank 알고리즘에 상호정보량 척도를 결합하여 군집 기반에서 키워드 추출하는 LSI-based ClusterTextRank 기법과 추출된 키워드를 Latent Semantic Indexing(LSI)을 이용한 연관망 구축 기법을 제안한다. 제안 기법은 문서집합을 단어-문서 행렬로 표현하고, 이를 LSI를 이용하여 저차원의 개념 공간으로 차원을 축소한다. 그 다음 k-means 군집화 알고리즘을 이용하여 여러 군집으로 나누고, 각 군집에 포함된 단어들을 최대신장트리 그래프로 표현한 후 이에 근거한 군집 정보량을 고려하여 키워드를 추출한다. 그리고나서 추출된 키워드들 간에 유사도를 LSI 기법을 통해 구한 단어-개념 행렬을 이용하여 계산한 후, 이를 키워드 연관망으로 활용한다. 제안 기법의 성능을 평가하기 위해 여행 관련 블로그 데이터를 이용하였으며, 제안 기법이 기존 TextRank 알고리즘보다 키워드 추출의 정확도가 약 14% 가량 개선됨을 보인다.

소설 등장인물의 텍스트 거리를 이용한 사회 구성망 분석 (Analysis of Social Network According to The Distance of Characters Statements)

  • 박경미;김성환;조환규
    • 한국콘텐츠학회논문지
    • /
    • 제13권4호
    • /
    • pp.427-439
    • /
    • 2013
  • 복잡계 과학의 발달에 따라 많은 사회 네트워크들이 분석되고 있다. 사회 네트워크는 현재 인문, 경제, 웹 사이언스 등 다양한 분야에 응용되고 있다. 최근, 소설의 등장인물을 이용한 네트워크와 실제 사회 네트워크의 특성을 비교하는 다양한 연구가 진행되고 있다. 그러나 기존의 등장인물 네트워크는 대부분 미리 정리된 인명사전을 이용하므로 주요한 몇몇 인물들 사이의 연관성은 밝힐 수 있으나, 한번 이상 등장한 모든 인물의 전체적인 사회적 구조는 설명하지 못하고 있다. 본 연구에서는 소설로부터 등장인물을 직접 추출하고, 등장인물 사이의 거리를 사용하여 상관관계를 설정하여 네트워크를 구축한다. 제안방법은 소설 텍스트로부터 등장인물의 출현빈도와 등장인물들 사이의 연관성의 발생 빈도를 이용하여 연관성 가중치를 구할 수 있으며, 이 연관성 가중치를 사용하여 노드의 수를 조절하여 K-critical 네트워크를 구성한다. 제시한 K-critical 네트워크는 분석대상 소설에 등장하는 인물들끼리 얼마나 긴밀하게 연관되어 있는지를 정량적으로 파악하는 매우 중요한 정보를 줄 수 있음을 실험을 통하여 제시할 수 있었다.

Molecular Characterization of Legionellosis Drug Target Candidate Enzyme Phosphoglucosamine Mutase from Legionella pneumophila (strain Paris): An In Silico Approach

  • Hasan, Md. Anayet;Mazumder, Md. Habibul Hasan;Khan, Md. Arif;Hossain, Mohammad Uzzal;Chowdhury, A.S.M. Homaun Kabir
    • Genomics & Informatics
    • /
    • 제12권4호
    • /
    • pp.268-275
    • /
    • 2014
  • The harshness of legionellosis differs from mild Pontiac fever to potentially fatal Legionnaire's disease. The increasing development of drug resistance against legionellosis has led to explore new novel drug targets. It has been found that phosphoglucosamine mutase, phosphomannomutase, and phosphoglyceromutase enzymes can be used as the most probable therapeutic drug targets through extensive data mining. Phosphoglucosamine mutase is involved in amino sugar and nucleotide sugar metabolism. The purpose of this study was to predict the potential target of that specific drug. For this, the 3D structure of phosphoglucosamine mutase of Legionella pneumophila (strain Paris) was determined by means of homology modeling through Phyre2 and refined by ModRefiner. Then, the designed model was evaluated with a structure validation program, for instance, PROCHECK, ERRAT, Verify3D, and QMEAN, for further structural analysis. Secondary structural features were determined through self-optimized prediction method with alignment (SOPMA) and interacting networks by STRING. Consequently, we performed molecular docking studies. The analytical result of PROCHECK showed that 95.0% of the residues are in the most favored region, 4.50% are in the additional allowed region and 0.50% are in the generously allowed region of the Ramachandran plot. Verify3D graph value indicates a score of 0.71 and 89.791, 1.11 for ERRAT and QMEAN respectively. Arg419, Thr414, Ser412, and Thr9 were found to dock the substrate for the most favorable binding of S-mercaptocysteine. However, these findings from this current study will pave the way for further extensive investigation of this enzyme in wet lab experiments and in that way assist drug design against legionellosis.

기업 리뷰 웹 사이트 텍스트 분석을 통한 직원 불만 표현 추출과 불만 원인 도출 및 해소 방안 (Employee's Discontent Text Analysis on Anonymous Company Review Web and Suggestions for Discontent Resolve)

  • 백혜연;박용석
    • 한국정보통신학회논문지
    • /
    • 제23권4호
    • /
    • pp.357-364
    • /
    • 2019
  • 전현직 직원에 의한 산업정보 유출 비율이 80%에 이르나 산업정보유출 사고에 대한 뉴스기사나 정보유출 행위의 원인에 대한 연구들에서는 그 원인들을 처우나 인사 불만 등으로 간략하게 설명하고 있다. 본 연구에서는 전현직 직원들이 익명 기업리뷰 웹사이트에 남긴 기업에 대한 평가 텍스트를 분석하여 기업에 대한 불만 내용들을 더욱 구체적으로 확인하였다. 이 중 어떠한 불만사항이 퇴직이나 퇴사, 나아가 산업인력유출의 결과로 이어질 수 있는지 파악하기 위해 불만 분야에 대한 의미사전목록을 제시하고 부분문법그래프(LGG)를 구축하였다. 또한 텍스트 분석 결과에서 나타난 전현직 직원들의 불만사항과 기존 연구들에서 설문을 통해 정리한 인력유출 원인을 서로 비교하였다. 추가적으로 분석된 불만을 바탕으로 기업불만 해소를 통한 인력유출 방지 방안을 간략 제시하였다. 기존 설문 위주의 산업 인력 유출에 대한 분석에 더하여, 웹 크롤링을 통한 자유롭고 솔직한 불만 분석을 제공하는 데 의의가 있다.

토픽 모델링을 이용한 트위터 이슈 트래킹 시스템 (Twitter Issue Tracking System by Topic Modeling Techniques)

  • 배정환;한남기;송민
    • 지능정보연구
    • /
    • 제20권2호
    • /
    • pp.109-122
    • /
    • 2014
  • 현재 우리는 소셜 네트워크 서비스(Social Network Service, 이하 SNS) 상에서 수많은 데이터를 만들어 내고 있다. 특히, 모바일 기기와 SNS의 결합은 과거와는 비교할 수 없는 대량의 데이터를 생성하면서 사회적으로도 큰 영향을 미치고 있다. 이렇게 방대한 SNS 데이터 안에서 사람들이 많이 이야기하는 이슈를 찾아낼 수 있다면 이 정보는 사회 전반에 걸쳐 새로운 가치 창출을 위한 중요한 원천으로 활용될 수 있다. 본 연구는 이러한 SNS 빅데이터 분석에 대한 요구에 부응하기 위해, 트위터 데이터를 활용하여 트위터 상에서 어떤 이슈가 있었는지 추출하고 이를 웹 상에서 시각화 하는 트위터이슈 트래킹 시스템 TITS(Twitter Issue Tracking System)를 설계하고 구축 하였다. TITS는 1) 일별 순위에 따른 토픽 키워드 집합 제공 2) 토픽의 한달 간 일별 시계열 그래프 시각화 3) 토픽으로서의 중요도를 점수와 빈도수에 따라 Treemap으로 제공 4) 키워드 검색을 통한 키워드의 한달 간 일별 시계열 그래프 시각화의 기능을 갖는다. 본 연구는 SNS 상에서 실시간으로 발생하는 빅데이터를 Open Source인 Hadoop과 MongoDB를 활용하여 분석하였고, 이는 빅데이터의 실시간 처리가 점점 중요해지고 있는 현재 매우 주요한 방법론을 제시한다. 둘째, 문헌정보학 분야뿐만 아니라 다양한 연구 영역에서 사용하고 있는 토픽 모델링 기법을 실제 트위터 데이터에 적용하여 스토리텔링과 시계열 분석 측면에서 유용성을 확인할 수 있었다. 셋째, 연구 실험을 바탕으로 시각화와 웹 시스템 구축을 통해 실제 사용 가능한 시스템으로 구현하였다. 이를 통해 소셜미디어에서 생성되는 사회적 트렌드를 마이닝하여 데이터 분석을 통한 의미 있는 정보를 제공하는 실제적인 방법을 제시할 수 있었다는 점에서 주요한 의의를 갖는다. 본 연구는 JSON(JavaScript Object Notation) 파일 포맷의 1억 5천만개 가량의 2013년 3월 한국어 트위터 데이터를 실험 대상으로 한다.

빅데이터 분석을 활용한 워터파크 현황 및 인식 분석 (Analysis of Waterpark Status and Recognition Using Big Data Analysis)

  • 김재환;이재문
    • 디지털융복합연구
    • /
    • 제15권10호
    • /
    • pp.525-535
    • /
    • 2017
  • 본 연구는 최근 워터파크와 관련된 키워드를 통해 소비자 인식, 워터파크 현황을 살펴보고자 한다. 본 연구는 네이버와 다음을 수집채널로 선정하였으며, 키워드는 '워터파크'를 사용하였다. 자료 분석기간은 2015년 1월 1일부터 2016년 12월 31일까지 총 2년간을 연구기간으로 한정하였다. 분석결과 첫째, 빈도수를 살펴본 결과, 2015년 몰래카메라, 롯데워터파크, 검거, 용의자, 김해 2016년 롯데워터파크, 물놀이, 여름, 개장, 입장권 순으로 나타났다. 둘째, 연결정도 중심성 분석결과, 2015년 몰래카메라, 검거, 용의자, 여성, 샤워실 2016년 물놀이, 롯데워터파크, 여름, 원마운트, 입장권 순으로 나타났다. 셋째, N-GRAM 네트워크 그래프를 실시한 결과, 2015년 워터파크/몰래카메라, 몰래카메라/몰래카메라, 용의자/검거, 김해/롯데워터파크, 워터파크/용의자, 2016년 원마운트/워터파크, 김해/롯데워터파크, 워터파크/입장권, 워터파크/워터파크, 워터파크/개장 순으로 나타났다. 넷째, CONCOR분석을 실시한 결과, 2015년 3개의 그룹과 2016년 2개의 그룹이 형성되었다.

Word2Vec 기반의 의미적 유사도를 고려한 웹사이트 키워드 선택 기법 (Web Site Keyword Selection Method by Considering Semantic Similarity Based on Word2Vec)

  • 이동훈;김관호
    • 한국전자거래학회지
    • /
    • 제23권2호
    • /
    • pp.83-96
    • /
    • 2018
  • 문서를 대표하는 키워드를 추출하는 것은 문서의 정보를 빠르게 전달할 수 있을 뿐만 아니라 문서의 검색, 분류, 추천시스템 등의 자동화서비스에 유용하게 사용 될 수 있어 매우 중요하다. 그러나 웹사이트 문서에서 출현하는 단어의 빈도수, 단어의 동시출현관계를 통한 그래프 알고리즘 등의 기반으로 키워드를 추출할 경우 웹페이지 구조상 잠재적으로 주제와 관련이 없는 다양한 단어를 포함하고 있는 문제점과 한국어 형태소 분석의 정확성이 떨어지는 형태소 분석기 성능의 한계점 때문에 의미적인 키워드를 추출하는데 어려움이 존재한다. 따라서 본 논문에서는 의미적 단어 위주로 구축된 후보키워드들의 집합과 의미적 유사도 기반의 후보 키워드를 선택하는 방법으로써 의미적 키워드를 추출하지 못하는 문제점과 형태소 분석의 정확성이 떨어지는 문제점을 해결하고 일관성 없는 키워드를 제거하는 필터링 과정을 통해 최종 의미적 키워드를 추출하는 기법을 제안한다. 실 중소기업 웹페이지를 통한 실험 결과, 본 연구에서 제안한 기법의 성능이 통계적 유사도 기반의 키워드 선택기법보다 34.52% 향상된 것을 확인하였다. 따라서 단어 간의 의미적 유사성을 고려하고 일관성 없는 키워드를 제거함으로써 문서에서 키워드를 추출하는 성능을 향상시켰음을 확인하였다.