• 제목/요약/키워드: Big Data Trend 분석

검색결과 295건 처리시간 0.026초

토픽 모델링을 이용한 트위터 이슈 트래킹 시스템 (Twitter Issue Tracking System by Topic Modeling Techniques)

  • 배정환;한남기;송민
    • 지능정보연구
    • /
    • 제20권2호
    • /
    • pp.109-122
    • /
    • 2014
  • 현재 우리는 소셜 네트워크 서비스(Social Network Service, 이하 SNS) 상에서 수많은 데이터를 만들어 내고 있다. 특히, 모바일 기기와 SNS의 결합은 과거와는 비교할 수 없는 대량의 데이터를 생성하면서 사회적으로도 큰 영향을 미치고 있다. 이렇게 방대한 SNS 데이터 안에서 사람들이 많이 이야기하는 이슈를 찾아낼 수 있다면 이 정보는 사회 전반에 걸쳐 새로운 가치 창출을 위한 중요한 원천으로 활용될 수 있다. 본 연구는 이러한 SNS 빅데이터 분석에 대한 요구에 부응하기 위해, 트위터 데이터를 활용하여 트위터 상에서 어떤 이슈가 있었는지 추출하고 이를 웹 상에서 시각화 하는 트위터이슈 트래킹 시스템 TITS(Twitter Issue Tracking System)를 설계하고 구축 하였다. TITS는 1) 일별 순위에 따른 토픽 키워드 집합 제공 2) 토픽의 한달 간 일별 시계열 그래프 시각화 3) 토픽으로서의 중요도를 점수와 빈도수에 따라 Treemap으로 제공 4) 키워드 검색을 통한 키워드의 한달 간 일별 시계열 그래프 시각화의 기능을 갖는다. 본 연구는 SNS 상에서 실시간으로 발생하는 빅데이터를 Open Source인 Hadoop과 MongoDB를 활용하여 분석하였고, 이는 빅데이터의 실시간 처리가 점점 중요해지고 있는 현재 매우 주요한 방법론을 제시한다. 둘째, 문헌정보학 분야뿐만 아니라 다양한 연구 영역에서 사용하고 있는 토픽 모델링 기법을 실제 트위터 데이터에 적용하여 스토리텔링과 시계열 분석 측면에서 유용성을 확인할 수 있었다. 셋째, 연구 실험을 바탕으로 시각화와 웹 시스템 구축을 통해 실제 사용 가능한 시스템으로 구현하였다. 이를 통해 소셜미디어에서 생성되는 사회적 트렌드를 마이닝하여 데이터 분석을 통한 의미 있는 정보를 제공하는 실제적인 방법을 제시할 수 있었다는 점에서 주요한 의의를 갖는다. 본 연구는 JSON(JavaScript Object Notation) 파일 포맷의 1억 5천만개 가량의 2013년 3월 한국어 트위터 데이터를 실험 대상으로 한다.

빅데이터 분석 기법을 활용한 모바일 CRM 설계 및 구현 (Design and Implementation of Mobile CRM Utilizing Big Data Analysis Techniques)

  • 김영일;양승수;이상순;박석천
    • 한국인터넷방송통신학회논문지
    • /
    • 제14권6호
    • /
    • pp.289-294
    • /
    • 2014
  • 최근 기업에서 데이터 마이닝 기법을 이용한 CRM을 마케팅이나 새로운 기획에 활용하고 있다. 그러나 데이터 마이닝 기술은 전문지식이 필요하여 일반인의 접근이 어렵고 시간과 공간의 제약을 받게 된다. 본 논문에서는 이를 해결하기 위해 데이터 마이닝 기법을 적용한 Mobile CRM을 제안하였다. 이를 위해 기존 CRM 시스템의 구조를 분석하고 데이터 흐름과 형식을 정의 하였다. 또한 시스템 프로세스를 정의하여 데이터 마이닝 기법을 이용한 판매동향분석 알고리즘과 고객판매추천 알고리즘을 설계하였다. 제안 시스템에 대한 평가는 시나리오 테스트를 통해 정상 동작을 확인하였으며 기존 시스템과의 비교 검증을 실시하였다. 테스트 결과 기존 프로그램과 데이터 값이 일치하여 신뢰성을 확인하고 제안한 통계 테이블 조회를 통해 데이터 분석 시간을 감소시켜 신속성을 검증하였다.

위성·지상정보 융합 재난 대응 기술 분야 유망기술 도출을 위한 연관 키워드 및 빅데이터 분석 기법 (A New Scheme Exploiting the Related Keyword and Big Data Analysis for Predicting Promise Technology in the Field of Satellite·Terrestrial Information Convergence Disaster Response)

  • 이항원;김영억
    • 한국재난정보학회 논문집
    • /
    • 제18권2호
    • /
    • pp.418-431
    • /
    • 2022
  • 연구목적: 기존의 유망기술 도출 연구에서 대상 특허를 선별하는 과정에서 검색식이 충실하게 구성되지 않아 중요 특허가 분석 대상에서 누락되는 문제와 출원 미공개 기간에 변화하는 최신 기술 트랜드를 반영하지 못하는 문제들을 개선하기 위한 새로운 기법들을 제시한다. 연구방법: 본 논문에서는 R 프로그래밍을 통한 TF와 TF-IDF 등의 연관 키워드 기반 검색식 구성 기법 및 LDA 토픽 모델링 기법을 제안하고, 위성·지상 정보 융합 재난 대응 기술을 중심으로 기존 방법과 비교 분석하여 제안된 기법의 유효성을 확인한다. 연구결과: 상용 특허 DB 시스템을 활용한 제안된 방식 적용을 통해 대상 기술과 관련도가 가장 높은 주요(핵심)특허가 기존 방식(19건) 대비 17건 추가로 도출(36건, 89.5% 증가)되어 중요 특허 누락이 상당히 개선됨을 보였으며 Science ON에 등록된 최근 5년간 발표 논문을 대상으로 LDA 토픽 모델링을 수행하여 최신 기술 트랜드를 반영한 유망 기술 도출이 가능함을 보였다. 결론: 본 논문을 통해 제시한 유망기술 도출 기법을 통해 위성·지상정보 융합 재난 대응 기술분야에서의 유망기술 도출을 통한 신규 연구개발에 유용하게 사용될 수 있는 방향성을 제공하였다.

초·중·고 교육분야의 인공지능(AI) 관련 해외 연구동향 분석 (Analysis of Overseas Research Trends Related to Artificial Intelligence (AI) in Elementary, Middle and High School Education)

  • 정영주;김혜진
    • 한국도서관정보학회지
    • /
    • 제52권3호
    • /
    • pp.313-334
    • /
    • 2021
  • 본 연구는 초·중·고 교육분야 인공지능과 관련된 해외 연구동향을 분석하기 위해 SCOPUS 데이터베이스를 대상으로 관련 문헌을 수집하였다. 수집된 문헌의 발행 기간은 1974년부터 2021년 3월까지이며, 학술지 논문이 154건, 컨퍼런스 논문은 571건으로 나타났다. 이들 논문에 포함된 저자 키워드 및 인덱스 키워드 4,521개의 단어들의 동시출현(co-occurrences) 분석기법을 바탕으로 연구 동향을 분석하였다. 분석결과 machine learning을 주축으로 big data, data mining, data science, deep learning이 최신 연구 동향으로 나타났고, 초·중·고등교육 간에는 차이가 있는 것으로 나타났다. 초등은 로봇 관련 연구가 많이 있었으며, 중등은 게임과 데이터 관련 연구가 많이 있었고, 고등은 다양하고 심도 있는 연구가 이루어졌음을 알 수 있었다. 마지막으로 결과분석에서 우리나라 교육부에서 2020년 9월 발표된 '인공지능 기초' 교육과정과 미국 AK4K12의 '5 Big Ideas'와 초·중·고 공통 상위 50단어와 매핑하여 우리나라 초·중·고 인공지능 교육에 시사점을 제시하였다.

AWS를 활용한 분산 웹 크롤러 기반 가스 안전 이슈 분석 (Issue Analysis on Gas Safety Based on a Distributed Web Crawler Using Amazon Web Services)

  • 김용영;김용기;김대식;김미혜
    • 디지털융복합연구
    • /
    • 제16권12호
    • /
    • pp.317-325
    • /
    • 2018
  • 새로운 경제적 가치를 창출하고 국가경쟁력을 강화할 목적으로 세계 각국의 정부와 주요 민간 기업들은 빅데이터에 지속적인 관심과 과감한 투자를 하고 있다. 뉴스와 같이 객관적인 데이터를 수집하기 위해서, 데이터 무결성 및 품질의 확보는 전제되어야 한다. 포털 뉴스와 같이 객관적이고 방대한 데이터를 바탕으로 의사결정이나 트렌드 분석을 하고자 하는 연구자나 실무자의 경우, 기존 크롤러 방식을 이용할 경우 데이터 수집 자체가 차단되는 문제점이 발생한다. 본 연구에서는 Amazon Web Services (AWS)에서 제공하는 클라우드 서비스 플랫폼을 이용하여 기존 크롤러 방식의 문제점을 해결하여 웹 데이터를 수집하는 방법을 구현하였다. 또한 이를 바탕으로 국민의 안전과 직결되는 가스 안전 관련 기사를 수집하여 가스 안전과 관련된 이슈를 분석하였다. 본 연구를 통해 가스 안전을 확보하기 위해 5가지 분류, 즉 사고/발생, 예방, 유지/관리, 정부/정책, 그리고 대상 등을 기준으로 가스 안전을 위한 전략이 수립되고, 체계적으로 운영되어야 함으로 확인하였다.

차륜 및 차축베어링 고장진단을 위한 빅데이터 기반 머신러닝 기법 연구 (A Study of Big data-based Machine Learning Techniques for Wheel and Bearing Fault Diagnosis)

  • 정훈;박문성
    • 한국산학기술학회논문지
    • /
    • 제19권1호
    • /
    • pp.75-84
    • /
    • 2018
  • 본 철도 유지보수 산업의 효율화를 위해서는 핵심부품의 적시 관리를 통한 부품 가동률 향상 및 철도 운행의 안정성 향상이 필요하다. 또한 유지보수 시스템 고속화에 따른 신뢰성 향상과 핵심부품의 유지보수 비용 절감의 두 가지 측면을 모두 만족시키기 위해, 부품 이력관리와 대규모 빅데이터의 자동화된 분석 기술을 활용한 부품 상태 진단 기술 수요가 증가하고 있다. 이 논문에서는 철도차량의 차상 및 지상 장치로부터 발생되는 실시간 빅데이터 수집, 처리, 분석을 위해서 빅데이터 플랫폼 기반의 철도차량 부품의 상태 데이터 관리시스템을 개발하였으며, 이 시스템의 활용으로 철도차량의 부품 상태정보 및 시스템 리소스에 대한 실시간 모니터링이 가능하다. 또한 빅데이터 플랫폼으로부터 수집된 상태 데이터를 기반으로 분산/병렬처리 및 자동화된 부품 고장진단이 가능한 머신러닝 기법을 제안하였다. 실험결과, 분산/병렬처리 기술이 적용된 알고리즘의 실행시간 단축을 아마존 웹서비스의 가상 인스턴스 생성 시스템을 통해 증명하였으며, random forest 머신러닝 기법을 활용한 고장 진단 모델의 베어링 및 차륜 부품에 대한 상태 예측 정확도가 83%임을 확인하였다.

Eco-System: 클라우드 컴퓨팅환경에서 REC 가격예측 시뮬레이션 (Eco-System: REC Price Prediction Simulation in Cloud Computing Environment)

  • 조규철
    • 한국시뮬레이션학회논문지
    • /
    • 제23권4호
    • /
    • pp.1-8
    • /
    • 2014
  • 클라우드 컴퓨팅은 정보의 다양성과 빅데이터를 IT자원을 이용하여 처리할 수 있는 컴퓨팅 개념이다. 정부는 신재생에너지를 활용한 전력생산을 장려하기 위해 RPS를 시행하였고 시스템을 구축하여 지리적으로 분산되어 있는 빅데이터를 수집하여 운영하고 있다. RPS제도를 이행하는 발전사업자들은 의무할당량 중 REC 부족분을 타 발전사업자들로부터 REC를 구매하여 조달해야 한다. REC는 자율시장에 근거하여 거래되고 있고, 매매가격의 편차가 크기 때문에 RPS 빅데이터를 통해 형평성있는 REC가격을 예측할 필요가 있다. 본 연구에서는 부정확한 가격추이와 규칙을 정량적으로 표현하여, 클라우드 환경에서 퍼지기반으로 REC가격을 예측하는 방법을 제안한다. 클라우드 환경에서 RPS 빅데이터를 통한 상호연관성과 가격결정에 영향을 주는 변수들에 대한 분석이 가능하고 시뮬레이션을 통해 REC 가격을 예측할 수 있다. 클라우드 환경에서 퍼지로직은 매물수량과 매매가격을 이용하여 투명성있는 REC 가격을 예측하고 장기적으로 수렴된 가격을 제시할 것이다.

사물 인터넷의 보안 위협 요인들에 대한 분석 (Analysis on the Security threat factors of the Internet of Things)

  • 전정훈
    • 융합보안논문지
    • /
    • 제15권7호
    • /
    • pp.47-53
    • /
    • 2015
  • 최근 사물 인터넷(internet of things) 기술은 클라우드 컴퓨팅 서비스(cloud computing service) 및 빅 데이터(big data)와 함께 IT분야에 이슈가 되고 있는 기술 중에 하나로, 다양한 산업분야에서 응용 및 활성화되고 있다. 이러한 동향은 유비쿼터스(ubiquitous) 시대를 실현하는데 중요한 기반 기술의 등장이라 할 수 있다. 그러나 사물 인터넷은 다양한 산업분야에서 실현되고 있는 만큼 보안 문제 또한 다양할 것으로 예상되고 있는 가운데 이에 대한 보안 위협(security threats)들에 대한 대응 방안이 강구되어야 할 것이다. 따라서 본 논문은 사물 인터넷 기술의 적용분야에 대한 사례와 이에 따른 보안 위협들을 분석해 봄으로써, 향후, 사물 인터넷의 보안 대응 방안 마련에 활용될 것으로 기대한다.

텍스트 마이닝을 통한 건설기계분야 국내 정부 R&D 연구동향 분석 (Text-Mining Analysis of Korea Government R&D Trends in Construction Machinery Domains)

  • 윤봄;배준수
    • 산업경영시스템학회지
    • /
    • 제46권spc호
    • /
    • pp.1-8
    • /
    • 2023
  • To investigate the national science and technology policy direction in the field of construction machinery, an analysis was conducted on projects selected as national research and development (R&D) initiatives by the government. Assuming that the project titles contain key keywords, text mining was employed to substantiate this assumption. Project information data spanning nine years from 2014 to 2022 was collected through the National Science & Technology Information Service (NTIS). To observe changes over time, the years were divided into three-year sections. To analyze research trends efficiently, keywords were categorized into groups: 'equipment,' 'smart,' and 'eco-friendly.' Based on the collected data, keyword frequency analysis, N-gram analysis, and topic modeling were performed. The research findings indicate that domestic government R&D in the construction machinery field primarily focuses on smart-related research and development. Specifically, investments in monitoring systems and autonomous operation technologies are increasing. This study holds significance in analyzing objective research trends through the utilization of big data analysis techniques and is expected to contribute to future research and development planning, strategic formulation, and project management.

전기철도 부하특성 분석 및 데이터베이스 구축 (A study on the electric railway load pattern analysis and building database program)

  • 전용주;김치태;이기천;이성욱
    • 한국철도학회:학술대회논문집
    • /
    • 한국철도학회 2006년도 추계학술대회 논문집
    • /
    • pp.719-722
    • /
    • 2006
  • At present, In korea one of big characteristics in electricity power market is unique seller but in the near future competitions are expected in the market. Another big trend is development of IT technology. Through IT, remote inspection for power usage are possible. So huge power consumer like KORAIL it is necessary to investigate power consumption pattern. This paper presents load consumption pattern for representative substation and billing system database program. Base on the substation annual power usage data, the characteristic of the substation power consumption are investigated and effective electrical billing system are compared each other. The database program was properly designed to examine the billings.

  • PDF