• 제목/요약/키워드: Traffic big data

검색결과 237건 처리시간 0.027초

Dynamic Caching Routing Strategy for LEO Satellite Nodes Based on Gradient Boosting Regression Tree

  • Yang Yang;Shengbo Hu;Guiju Lu
    • Journal of Information Processing Systems
    • /
    • 제20권1호
    • /
    • pp.131-147
    • /
    • 2024
  • A routing strategy based on traffic prediction and dynamic cache allocation for satellite nodes is proposed to address the issues of high propagation delay and overall delay of inter-satellite and satellite-to-ground links in low Earth orbit (LEO) satellite systems. The spatial and temporal correlations of satellite network traffic were analyzed, and the relevant traffic through the target satellite was extracted as raw input for traffic prediction. An improved gradient boosting regression tree algorithm was used for traffic prediction. Based on the traffic prediction results, a dynamic cache allocation routing strategy is proposed. The satellite nodes periodically monitor the traffic load on inter-satellite links (ISLs) and dynamically allocate cache resources for each ISL with neighboring nodes. Simulation results demonstrate that the proposed routing strategy effectively reduces packet loss rate and average end-to-end delay and improves the distribution of services across the entire network.

Network Anomaly Traffic Detection Using WGAN-CNN-BiLSTM in Big Data Cloud-Edge Collaborative Computing Environment

  • Yue Wang
    • Journal of Information Processing Systems
    • /
    • 제20권3호
    • /
    • pp.375-390
    • /
    • 2024
  • Edge computing architecture has effectively alleviated the computing pressure on cloud platforms, reduced network bandwidth consumption, and improved the quality of service for user experience; however, it has also introduced new security issues. Existing anomaly detection methods in big data scenarios with cloud-edge computing collaboration face several challenges, such as sample imbalance, difficulty in dealing with complex network traffic attacks, and difficulty in effectively training large-scale data or overly complex deep-learning network models. A lightweight deep-learning model was proposed to address these challenges. First, normalization on the user side was used to preprocess the traffic data. On the edge side, a trained Wasserstein generative adversarial network (WGAN) was used to supplement the data samples, which effectively alleviates the imbalance issue of a few types of samples while occupying a small amount of edge-computing resources. Finally, a trained lightweight deep learning network model is deployed on the edge side, and the preprocessed and expanded local data are used to fine-tune the trained model. This ensures that the data of each edge node are more consistent with the local characteristics, effectively improving the system's detection ability. In the designed lightweight deep learning network model, two sets of convolutional pooling layers of convolutional neural networks (CNN) were used to extract spatial features. The bidirectional long short-term memory network (BiLSTM) was used to collect time sequence features, and the weight of traffic features was adjusted through the attention mechanism, improving the model's ability to identify abnormal traffic features. The proposed model was experimentally demonstrated using the NSL-KDD, UNSW-NB15, and CIC-ISD2018 datasets. The accuracies of the proposed model on the three datasets were as high as 0.974, 0.925, and 0.953, respectively, showing superior accuracy to other comparative models. The proposed lightweight deep learning network model has good application prospects for anomaly traffic detection in cloud-edge collaborative computing architectures.

차량에서 배출되는 대기 오염 물질의 빅 데이터에 대한 병렬 데이터 처리 모델의 강화 및 성능 최적화에 관한 연구 (A study on the enhancement and performance optimization of parallel data processing model for Big Data on Emissions of Air Pollutants Emitted from Vehicles)

  • 강성인;조성윤;김지환;김현정
    • 한국인터넷방송통신학회논문지
    • /
    • 제20권6호
    • /
    • pp.1-6
    • /
    • 2020
  • 도로이동 오염원 대기환경 빅데이터는 상시 교통량 조사장비인 AVC, VDS, WIM, DTG를 활용한 차종, 속도, 하중 등 실시간 교통류 데이터와 GIS를 활용한 도로형상(오르막, 내리막, 회전구간) 데이터를 연계한 교통류 데이터로 구성되어 있다. 또한, 일반적인 데이터와 달리 단위시간 당 데이터가 많이 발생하고, 다양한 포맷을 가지고 있다. 특히, 이들 상세 교통류 정보로 수집되는 대용량의 실시간 데이터들은 약 총 740만 건/시간 이상이 수집되어 저장 및 가공되기 때문에 효율적으로 데이터를 처리할 수 있는 시스템이 필요하다. 따라서 본 연구에서는 도로이동 오염뭔 대기환경 빅데이터 시각화를 위한 오픈소스 기반의 데이터 병렬처리 성능 최적화 연구를 수행한다.

Developing a Solution to Improve Road Safety Using Multiple Deep Learning Techniques

  • Humberto, Villalta;Min gi, Lee;Yoon Hee, Jo;Kwang Sik, Kim
    • International Journal of Internet, Broadcasting and Communication
    • /
    • 제15권1호
    • /
    • pp.85-96
    • /
    • 2023
  • The number of traffic accidents caused by wet or icy road surface conditions is on the rise every year. Car crashes in such bad road conditions can increase fatalities and serious injuries. Historical data (from the year 2016 to the year 2020) on weather-related traffic accidents show that the fatality rates are fairly high in Korea. This requires accurate prediction and identification of hazardous road conditions. In this study, a forecasting model is developed to predict the chances of traffic accidents that can occur on roads affected by weather and road surface conditions. Multiple deep learning algorithms taking into account AlexNet and 2D-CNN are employed. Data on orthophoto images, automatic weather systems, automated synoptic observing systems, and road surfaces are used for training and testing purposes. The orthophotos images are pre-processed before using them as input data for the modeling process. The procedure involves image segmentation techniques as well as the Z-Curve index. Results indicate that there is an acceptable performance of prediction such as 65% for dry, 46% for moist, and 33% for wet road conditions. The overall accuracy of the model is 53%. The findings of the study may contribute to developing comprehensive measures for enhancing road safety.

교통 영상 빅데이터 처리를 위한 Yolo 기반 광원 객체 탐지 (Yolo based Light Source Object Detection for Traffic Image Big Data Processing)

  • 강지수;심세은;조선문;정경용
    • 융합정보논문지
    • /
    • 제10권8호
    • /
    • pp.40-46
    • /
    • 2020
  • 교통안전에 대한 관심이 높아짐에 따라 교통사고의 발생률을 줄이는 자율 주행에 대한 연구가 지속적으로 진행되고 있다. 객체의 인식과 탐지는 자율 주행을 위한 필수적인 요소이다. 때문에 도로 상황을 판단하기 위하여 교통 영상 빅데이터에서 객체 인식 및 탐지에 대한 연구가 활발히 진행 중이다. 하지만 기존 연구들은 대부분 주간 데이터만 사용하기 때문에 야간 도로에서 객체 인식이 어렵다. 특히 광원 객체의 경우 빛 번짐과 백화 현상으로 인해 주간의 특징을 그대로 사용하기 어렵다. 따라서 본 연구에서는 교통 영상 빅데이터 처리를 위한 Yolo 기반 광원 객체 탐지를 제안한다. 제안하는 방법은 야간 교통 영상을 대상으로 색상 모델 변화를 적용하여 이미지 처리를 수행한다. 이미지 처리를 통해서 객체의 특징을 추출하여 객체의 후보군을 결정한다. 후보군 데이터를 활용하여 딥러닝 모델을 통해 야간 도로에서 광원 객체 탐지의 인식률을 높이는 것이 가능하다.

The Effect of Real-time Traffic Information System Relieving Traffic Congestion

  • Kang, Ho Jun;Moon, Tae Nam;Lee, Kang Hyeok;Song, Young Do;Shin, Do Hyoung
    • 국제학술발표논문집
    • /
    • The 6th International Conference on Construction Engineering and Project Management
    • /
    • pp.652-653
    • /
    • 2015
  • This study investigates the effect of real-time traffic information on the traffic flows in Korea. Recently, the development of smartphones has made it easier to use the route guidance service based on real-time traffic information. By the Big Data analysis in the study, it was found that the number of postings on the web community sites increased sharply in 2010 and 2011 when the smartphones spread widely. In the analysis of the traffic speeds by time, the average traffic speeds for morning and evening rush hours on weekdays from 2009 to 2014 of the 142 sections in the 6 national highways in Gyeonggi-do, Korea were used. From the results of the analysis, it was found that the percentage of the number of sections with the improved traffic flows increased greatly in 2012 compared to 2011. The findings of the study indicate the effect of the real-time traffic information on improving traffic flows.

  • PDF

텍스트 마이닝을 적용한 한국교통방송제보 비정형데이터의 분석 (Analysis of the Unstructured Traffic Report from Traffic Broadcasting Network by Adapting the Text Mining Methodology)

  • 노유진;배상훈
    • 한국ITS학회 논문지
    • /
    • 제17권3호
    • /
    • pp.87-97
    • /
    • 2018
  • 교통사고 관련 제보는 비정형 데이터로서 교통사고를 유발한 가해자나 피해자의 관점이 아닌, 교통사고 발생 지점과 구간, 시간대에 있었던 타 운전자의 관점에서 생성된 교통정보의 가치를 가지고 있다. 그러나, 비정형 데이터인 교통제보가 빅 데이터로서 교통사고 통계나 교통관련 연구에 활용되지 못하였으나, 텍스트 마이닝 기법을 활용한 본 연구를 통해 비정형의 빅 데이터를 시각화하고 해석하여, 기존의 정형 데이터에서 분석하지 못한 정보를 도출할 수 있었다. 그리고 교통사고 발생으로 인한 도로상 영향을 파악할 수 있었다. 이러한 분석으로 교통제보의 트랜드를 파악하고, 운전자가 제보하는 "도로명", "지점명", "시간대"를 추출하였으며, 교통사고 발생으로 다른 운전자에게 가장 많은 영향을 미치는 지점과 구간의 파악이 가능하였다. 향후 실제 교통사고 데이터와 결합하여 교통제보와의 상관성 분석 등을 통해 비정형 데이터의 활용방안을 모색할 계획이다.

공공데이터 인프라기반 b-Traffic 서비스 플랫폼 연구 (A Study on b-Traffic Service Platform based on Open data Infrastructure)

  • 손석현;송석현;신효섭
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2014년도 제50차 하계학술대회논문집 22권2호
    • /
    • pp.117-118
    • /
    • 2014
  • 최근 공공기관의 공공데이터 제공이 활성화 되고 있으며, 이를 활용한 응용서비스에 대한 요구도 증가하고 있는 추세이다. 현재 교통정보예측 플랫폼은 실시간 교통정보 또는 과거 교통정보이력을 분석하여 미래의 교통량이나 도착시간정보를 제공하고 있으나 날씨, 사고 등과 같은 미래 교통정보에 즉각적인 영향을 줄 수 있는 요소를 배제하고 있어 높은 신뢰도를 확보하기 어렵다. 본 논문에서는 교통정보예측에 영향을 주는 요소인 기상, 사고, 교통정보와 같은 공공데이터를 효율적으로 수집 저장 처리할 수 있는 저장방식 및 신뢰도 높은 교통정보를 예측할 수 있는 예측기술이 포함된 b-Traffic 서비스 플랫폼을 제시한다.

  • PDF

도시 빅데이터를 활용한 스마트시티의 교통 예측 모델 - 환경 데이터와의 상관관계 기계 학습을 통한 예측 모델의 구축 및 검증 - (Big Data Based Urban Transportation Analysis for Smart Cities - Machine Learning Based Traffic Prediction by Using Urban Environment Data -)

  • 장선영;신동윤
    • 한국BIM학회 논문집
    • /
    • 제8권3호
    • /
    • pp.12-19
    • /
    • 2018
  • The research aims to find implications of machine learning and urban big data as a way to construct the flexible transportation network system of smart city by responding the urban context changes. This research deals with a problem that existing a bus headway model is difficult to respond urban situations in real-time. Therefore, utilizing the urban big data and machine learning prototyping tool in weathers, traffics, and bus statues, this research presents a flexible headway model to predict bus delay and analyze the result. The prototyping model is composed by real-time data of buses. The data is gathered through public data portals and real time Application Program Interface (API) by the government. These data are fundamental resources to organize interval pattern models of bus operations as traffic environment factors (road speeds, station conditions, weathers, and bus information of operating in real-time). The prototyping model is implemented by the machine learning tool (RapidMiner Studio) and conducted several tests for bus delays prediction according to specific circumstances. As a result, possibilities of transportation system are discussed for promoting the urban efficiency and the citizens' convenience by responding to urban conditions.

대용량 이력자료를 활용한 다중시간대 고속도로 교통량 예측 (Multiple Period Forecasting of Motorway Traffic Volumes by Using Big Historical Data)

  • 장현호;윤병조
    • 대한토목학회논문집
    • /
    • 제38권1호
    • /
    • pp.73-80
    • /
    • 2018
  • 고속도로 교통류 제어는 기존의 Reactive 방식(실시간 대응)에서 Proactive 방식(사전 대응)으로 발전하고 있다. 첨단 고속도로 교통류 제어의 핵심 입력자료 중 하나는 여러 시간대에 걸치는 장래 교통량 상태이다. 다중 시간대 교통량 예측을 위해서는 장래 상태의 불확실성을 극복해야 한다. 이는 예측 시간대의 확장에 따라 장래 상태의 불확실성은 증가하기 때문이다. 따라서 다중 시간대 교통량 예측을 위해서는 장래 상태의 불확실성을 효과적으로 극복할 수 있는 실행 가능한 방안이 필요하다. 본 연구에서는 대용량 이력자료에 내재된 교통류 상태의 시간적 진화 행태를 이용하여 장래 상태의 불확실성을 효과적으로 극복함으로써 다중 시간대 장래 교통량 상태를 예측하는 모형을 제시하도록 한다. 개발 모형은 현행 교통량의 상태 진화를 기반으로 대용량 자료에 내재된 과거 상태를 추출하고, 이를 이용하여 장래 상태를 예측한다. 추가로, 개발된 모형은 실제 적용을 고려하여 자료관리시스템에 적합하도록 설계되었다. 적용결과, 개발모형은 다중 시간대에 걸치는 불확실성을 효과적으로 극복함으로써 우수한 예측력을 보였으며, 첨단자료관리시스템에 실제 적용이 가능하다고 판단된다.