• 제목/요약/키워드: Real-Time Analytics

검색결과 60건 처리시간 0.021초

IoT 기반 Apache Spark 분석기법을 이용한 과수 수확 불량 영역 모니터링 아키텍처 모델 (Using IoT and Apache Spark Analysis Technique to Monitoring Architecture Model for Fruit Harvest Region)

  • 오정원;김행곤
    • 스마트미디어저널
    • /
    • 제6권4호
    • /
    • pp.58-64
    • /
    • 2017
  • 현대 사회는 급속한 세계인구의 증가, 농촌 인구의 고령화, 산업화로 인한 농작물 재배 지역의 감소, 농촌 지역의 수익 구조의 불량 등으로 농부들의 탈농촌화 등으로 먹거리 문제 해결이 중요한 화두로 떠오르고 있다. 최근 농촌의 수익을 증대시키기 위해서 스마트 팜(Smart Farm) 분야의 연구가 활발하게 이루어지고 있다. 기존의 스마트 팜 연구는 주로 온실의 농작물의 재배 환경을 모니터링 하여 온실의 조도, 습도, 토양 등이 불량해지면 재배 환경인자를 제어하는 시스템을 자동으로 가동시켜 농작물의 재배 환경을 최적의 상태로 유지하는 데 중점을 두어 연구되고 있다. 즉, 실내에서 재배하는 농작물에 중점을 두어 연구가 이루어지고 있으며 실외에서 재배되는 농작물의 재배환경에 적용되는 연구는 많이 이루어지지 않았다. 본 논문에서는 과수원에서 자라는 과수의 수확 시기를 정확하게 예측하여 최상의 품질로 과일이 수확되게 지원하고 수확이 불량한 지역을 빅데이터 분석을 통해 모니터링하여 불량 지역의 수확성을 향상시키기 위해서 집중 관리할 수 있은 기능을 제공하는 아키텍처를 제안한다. 수확에 관련된 인자는 과일 색상 정보와 과일 무게 정보를 사용하며 실시간으로 수집되는 수확 상관인자 데이터를 Apache Spark 엔진을 이용하여 분석하도록 제안한다. Apache Spark 엔진은 대용량 배치성 데이터 분석 뿐만 아니라 실시간 데이터 분석에서도 우수한 성능을 보인다. 서비스를 수신하는 사용자 디바이스는 PC User 와 Smart Phone User를 지원한다. 센싱 데이터 수신 장치는 센싱되는 데이터를 수신한 후 서버로 전송하는 단순한 처리만 필요하므로 Arduino를 적용하였다. 과일의 수확시기를 조절하여 좋은 품질의 과일을 생산하려면 수확이 불량한 지역을 판단하여 불량지역을 집중 관리해야 한다. 본 논문에서는 빅 데이터 분석 기법을 이용해서 과일 수확의 불량지역을 판단하는 아키텍처 모델을 제안한다.

타임라인의 감정추출을 통한 트위터 사용자의 정치적 성향 분석 (Propensity Analysis of Political Attitude of Twitter Users by Extracting Sentiment from Timeline)

  • 김석중;황병연
    • 한국멀티미디어학회논문지
    • /
    • 제17권1호
    • /
    • pp.43-51
    • /
    • 2014
  • 소셜 네트워크 서비스는 편리한 접근성과 뚜렷한 사용자 주관 점에서 사회 여러 분야에서 폭 넓고 유용하게 사용될 충분한 가능성을 가지고 있다. 그 중에서도 트위터는 사용자간의 네트워크 형성이 간단하고 개방적이며 실시간 전파력이 뛰어난 특징을 가지고 있다. 그러나 140글자로 제한된 글에서 의미 분석을 시도해야 한다는 점과 한글 자연어처리의 한계, 트위터 자체의 제약과 기술적 문제들로 실제 분석에는 많은 어려움이 따른다. 본 논문은 특정 계정이나 키워드에 의존하여 개별 트윗을 분석한 기존의 방법 대신 항구성을 띄는 인간의 정치적 성향을 분석에 적용할 경우 정확도 향상에 기여할 수 있음을 가정하고 2012년 4월 11일 제19대 국회의원선거 기간 동안 수집한 트윗 코퍼스에 적용한 실험을 통해 보였다. 실험 결과는 실제 선거 결과와 정확히 일치하였으며, 75.4%의 정확도와 34.8%의 재현율을 보인 개별 트윗 분석보다 사용자의 타임라인별 정치 성향 분석이 약 8%의 정확도와 5%의 재현율 향상을 가져옴을 보였다.

Social Media Analytics to Understand the Construction Industry Sentiments

  • Shrestha, K. Joseph;Mani, Nirajan;Kisi, Krishna P.;Abdelaty, Ahmed
    • 국제학술발표논문집
    • /
    • The 9th International Conference on Construction Engineering and Project Management
    • /
    • pp.712-720
    • /
    • 2022
  • The use of social media to disseminate news and interact with project stakeholders is increasing over time in the construction industry. Such social media data can be analyzed to get useful insights of the industry such as demands of new housing construction and satisfaction of construction workers. However, there has been a limited attempts to analyze social media data related to the construction industry. The objective of this study is to collect and analyze construction related tweets to understand the overall sentiments of individuals and organizations about the construction industry. The study collected 87,244 tweets from April 6, 2020, to April 13, 2020, which had hashtags relevant to the construction industry. The tweets were then analyzed to evaluate its sentiments polarity (positive or negative) and sentiment intensity or scores (-1 to +1). Descriptive statistics were produced for the tweets and the sentiment scores were visualized in a scatterplot to show the trend of the sentiment scores over time. The results shows that the overall sentiment score of all the tweets was slightly positive (0.0365). Negative tweets were retweeted and marked as favorite by more users on average than the positive ones. More specifically, the tweets with negative sentiments were retweeted by 2,802 users on average compared to the tweets with positive sentiments (247 average retweet count). This study can potentially be expanded in the future to produce a real time indicator of the construction market industry such as the increased availability of construction jobs, improved wage rates, and recession.

  • PDF

빅데이터 기반의 IoT 이상 장애 탐지 시스템 설계 (Design of Anomaly Detection System Based on Big Data in Internet of Things)

  • 나성일;김형중
    • 디지털콘텐츠학회 논문지
    • /
    • 제19권2호
    • /
    • pp.377-383
    • /
    • 2018
  • 사물인터넷(IoT) 서비스는 스마트 환경이 발전하면서 다양한 데이터를 생산하고 있다. 이 데이터는 사용자의 상황을 판단하는 중요한 데이터로 사용된다. 그렇기 때문에 센서의 이상 상태를 실시간으로 모니터링하고 이상 데이터를 탐지하는 것이 중요하다. 하지만 데이터 구조와 프로토콜이 다양하기 때문에 표준화된 데이터 구조로 변환하는 과정이 필요하다. 그럼으로써 데이터의 품질을 보장하고 정확한 분석을 통해 서비스의 품질까지 좋아지는 효과를 기대할 수 있다. 본 논문은 수집된 센서의 이상탐지를 위해 빅데이터 기반의 이상탐지 시스템을 제안한다. 제안한 시스템은 이상탐지를 위해 데이터 표준화 전처리와 시계열 기반의 이상탐지가 우수한 SVM(Support Vector Machine) 모델을 적용하였다. 실험에서는 전처리와 전처리되지 않은 데이터를 각각 학습시키고 비교하였다. 그 결과, 전처리된 데이터는 이상 장애를 정확히 탐지하고 예측하였다.

소셜빅데이터를 이용한 온라인 소비자감성지수(e-CCSI) 개발 (Electronic-Composit Consumer Sentiment Index(CCSI) development by Social Bigdata Analysis)

  • 김유신;홍성관;강희주;정승렬
    • 인터넷정보학회논문지
    • /
    • 제18권4호
    • /
    • pp.121-131
    • /
    • 2017
  • 인터넷, 소셜미디어, 모바일 등의 등장이후 소비자들은 개인의 의견을 온라인을 통해 적극적으로 표명하기 시작했고 이의 확산 또한 실시간으로 이루어지고 있다. 인터넷 기반의 다양한 커뮤니케이션 활동들을 통해 생산되는 텍스트는 인터넷을 사용하는 사용자들이 공유하고 공감하는 자원으로서 단순한 소통의 도구를 넘어 분석의 가치가 있는 새로운 정보의 창고가 되고 있다. 세계 각국의 정부와 기업은 인터넷과 소셜미디어를 통해 생산되는 소셜 빅데이터를 활용하여 사회/경제적 문제의 해결과 정부의 정책을 효과적으로 추진하는데 적극 활용하고 있다. 특히 경제와 관련해서는 경기현황에 대한 경제주체들의 움직임을 보다 빠르고 정확하게 분석하고 예측하여 이에 알맞은 정책을 적기에 실시할 수 있도록 다각적인 활동을 펼치고 있다. 본 연구에서는 소셜 미디어에 내재된 소비자의 직적접이고 즉시성 있는 의견을 경제적 측면에서 활용할 수 있는 온라인 소비자감성지수 모형을 제시하고 구현하였다. 이를 위해 한국은행의 소비자동향조사(CSI)와 소비자심리지수(CCSI)를 온라인으로 수행할 수 있는 어휘분류체계(온톨로지)와 감성사전을 구축하고 감성분석을 실시하여 생활형편, 경제상황, 소비와 수입 4가지 영역의 소셜감성지수를 도출하였다. 또한 이들을 결합한 온라인 소비자감성지수(e-CCSI)를 개발하고 소비자심리지수와 비교를 통해 유용성을 확인하였다.

산업용 사물인터넷에서 포그 컴퓨팅을 위한 인지 IoT 플랫폼 조사연구 (Research study on cognitive IoT platform for fog computing in industrial Internet of Things)

  • 홍성혁
    • 사물인터넷융복합논문지
    • /
    • 제10권1호
    • /
    • pp.69-75
    • /
    • 2024
  • 본 연구에서는 산업용 사물인터넷(IIoT)의 맥락에서 포그 컴퓨팅(Fog Computing, FC)를 위해 특별히 고안된 혁신적인 인지 사물인터넷(Cognitive IoT) 프레임워크를 제안한다. 본 논문에서는 인지 IoT 플랫폼의 복잡한 설계 및 기능적 아키텍처에 초점을 맞추고, 이 아키텍처는 서비스 제공, 인지 의사결정, 분산 모니터링 및 제어와 같은 핵심 구성 요소를 원활하게 통합하는 것을 제안한다. 이 플랫폼의 중요한 측면은 기계 학습(ML) 및 인공 지능(AI)을 통합하는 것으로, 다양한 산업 애플리케이션에서 운영의 유연성과 상호 운용성을 향상시켜 실시간 기계 상태 모니터링에 중점을 둔 예측 유지보수-서비스(Predictive Maintenance-as-a-Service, PdM-as-a-Service) 모델을 통해 제시된다. 이 모델은 실시간 데이터 분석을 활용하여 유지보수 및 관리 작업을 수행함으로써 전통적인 유지보수 접근법을 뛰어넘고, 실증적 결과는 포그 컴퓨팅 환경 내에서 플랫폼의 효과성을 입증하며, 산업용 IoT 애플리케이션 분야에서의 변혁적 잠재력을 보여 IIoT 플랫폼 개발에 기여 하는 연구이다.

공급망관리의 디지털화 : 구성요소와 전략적 파급효과 (Digitization of Supply Chain Management : Key Elements and Strategic Impacts)

  • 박성택;김태웅;김미량
    • 디지털융복합연구
    • /
    • 제18권6호
    • /
    • pp.109-120
    • /
    • 2020
  • 디지털화가 수반되지 않는 공급망은 마케팅, 상품개발, 제조, 물류 및 고객에의 상품 인도라는 여러 단계가 서로 독립적으로 수행되는 과정에 불과하다. 디지털화는 이런 여러 단계 간의 벽을 허물고, 모든 이해관계자 집단에게 투명하고 통합된 네트워크로의 변신을 가능하게 한다. 디지털 공급망관리의 최종 목표는 속도와 가시성이다. 이를 목표 달성을 위해서는 다양한 공급망 테크놀러지가 요구되는데, 여기에는 통합계획수립 및 운영체계, 공급망 애널리틱스, 자율적 물류관리, 스마트 물류센터와 스마트 팩토리 등이 포함된다. 이런 기술들은 예상치 못한 운영조건의 변동사항에 대한 가상 시나리오를 구축하고 이에 대한 솔루션을 제공함으로써 공급망 상의 변동에 대응할 수 있는 역량과 예측력을 강화시킨다. 본 연구에서는 공급망의 디지털화에 대한 여러 연구결과를 제시하고 현실적으로 기술도입 과정에서 제기되는 여러 이슈에 대한 논의를 시도해 보고자 한다. 연구결과에 대한 시사점도 함께 제시한다.

소셜미디어 빅데이터의 텍스트 마이닝과 오피니언 마이닝 기법을 활용한 웹드라마 분석과 제안 (Webdrama Analysis and Recommendation using Text Mining and Opinion Mining Technique of Social Media)

  • 오세종;김치호
    • 만화애니메이션 연구
    • /
    • 통권44호
    • /
    • pp.285-306
    • /
    • 2016
  • 1인 스마트폰 사용으로 웹툰, 웹소설, TV드라마는 생산자에서 소비자에게 직접적으로 소비할 수 있는 Direct-to-Consumer로 전환되고 있다. 특히, 포털사이트의 웹드라마는 새로운 미디어로 급성장하고 있다. '연애세포', '0시의 그녀', '최고의 미래', '우리 옆집에 EXO가 산다' 등을 TV드라마의 시청률처럼 조회수, 유입자, 댓글, 좋아요 등으로 다양한 반응을 분석할 수 있다. 분석 방법은 소셜미디어 빅데이터의 텍스트 마이닝 기법과 오피니언 마이닝 기법으로 작품을 분석했다. 즉, 웹드라마 마다의 특정 키워드를 추출하고, 추출한 키워드의 긍정, 부정, 중립 등 시청자의 감정을 예측할 수도 있다. 주요 인기 웹드라마를 분석한 결과로는 이미 팬을 확보한 K-Pop 아이돌 멤버의 출현과 포털사이트의 편성 회사와의 연관성이 재생수, 유입자, 댓글, 좋아요에 큰 영향을 미치는 것으로 나타났다. 또한 TV 이외의 매체로 '모바일 TV'의 영향력을 증명하였다. 한계점으로는 모바일 특화 콘텐츠 확보와 비즈니스 모델을 정립하는 것이 필요하겠다. 이 부분을 해결한다면, 한국은 웹드라마의 콘텐츠 강국이라는 긍정적 이미지를 보여줄 수 있는 계기가 될 것이다.

A 은행 사례 분석을 통한 빅데이터 기반 자금세탁방지 시스템 설계 (A Study on Big Data Anti-Money Laundering Systems Design through A Bank's Case Analysis)

  • 김상완;함유근
    • 한국빅데이터학회지
    • /
    • 제1권1호
    • /
    • pp.85-94
    • /
    • 2016
  • 본 논문은 타 산업에 비해 상대적으로 빅데이터의 잠재 가치가 높은 금융권에서 사전 예방과 실시간 탐지가 특히 중요해지고 있는 자금세탁방지를 위한 빅데이터 기반의 시스템 구현 방안을 제시한다. 기존 A 은행의 사례 분석을 통해 현 자금세탁방지 업무에 빅데이터를 적용 가능한 부분과 기능들 논의한다. 연구 결과 빅데이터를 활용한 자금세탁방지 시스템은 기존의 자금세탁방지 시스템에 추가적으로 소셜 네트워크 서비스나 로그 파일 등의 다양한 출처로부터 데이터를 수집해 일부가 아닌 전체 데이터를 대상으로 빠른 속도로 거래 모니터링과 잠재적 위험 탐지가 가능하다. 즉 빅데이터 기반 자금세탁방지 시스템은 비정형 데이터인 소셜 네트워크 서비스 데이터와 기존 거래나 고객정보를 통합하고 소셜 네트워크 분석 방법을 적용하여 고객확인의무와 잠재 요주의 인물 탐지 기능을 제고시킬 수 있다. 또한 빅데이터 분석 인프라 하에서 룰 모델이나 거래패턴 스코어링 모델을 적용해 실시간으로 혐의 거래 적발이 가능하다.

  • PDF

소셜 미디어 분석을 통한 음악 추천 모델의 설계 및 구현 (Design and implementation of a music recommendation model through social media analytics)

  • 정경록;박구락;박상혁
    • 융합정보논문지
    • /
    • 제11권9호
    • /
    • pp.214-220
    • /
    • 2021
  • 스마트폰이 빠르게 보급되면서 음악을 생활 속의 배경음악처럼 항상 모든 곳에서 듣는 것이 일반화되어 개인의 상황과 조건에 맞는 추천을 할 수 있는 음악 데이터베이스를 필요하다. 본 논문에서는 소셜 미디어를 통한 음악추천 모델을 제안한다. 소셜 미디어의 데이터를 사용하여 음악 데이터베이스를 작성하고 기존의 음원 제공 플랫폼이 주로 사용하는 협업필터링과는 다른 방식으로 음악을 분류한다. 웹크롤링으로 음악 제목이 해시 태그로 달린 게시글을 찾아 해당 글에 함께 달린 다른 해시 태그들을 수집하고 분류하여 실제 청취자의 음악에 관한 의견을 데이터베이스에 사용한다. 소셜 미디어를 작성할 때의 감정, 상황, 시간대, 날씨 등 많은 조건이 해시 태그에는 포함되어 있으므로 다양한 사람의 의견이 집단지성으로 반영된 소셜 미디어 기반 데이터베이스를 구축할 수 있다.