• 제목/요약/키워드: Big data traffic

검색결과 237건 처리시간 0.032초

Data Source Management using weight table in u-GIS DSMS

  • Kim, Sang-Ki;Baek, Sung-Ha;Lee, Dong-Wook;Chung, Warn-Il;Kim, Gyoung-Bae;Bae, Hae-Young
    • 한국공간정보시스템학회 논문지
    • /
    • 제11권2호
    • /
    • pp.27-33
    • /
    • 2009
  • The emergences of GeoSensor and researches about GIS have promoted many researches of u-GIS. The disaster application coupled in the u-GIS can apply to monitor accident area and to prevent spread of accident. The application needs the u-GIS DSMS technique to acquire, to process GeoSensor data and to integrate them with GIS data. The u-GIS DSMS must process big and large-volume data stream such as spatial data and multimedia data. Due to the feature of the data stream, in u-GIS DSMS, query processing can be delayed. Moreover, as increasing the input rate of data in the area generating events, the network traffic is increased. To solve this problem, in this paper we describe TRIGGER ACTION clause in CQ on the u-GIS DSMS environment and proposes data source management. Data source weight table controls GES information and incoming data rate. It controls incoming data rate as increasing weight at GES of disaster area. Consequently, it can contribute query processing rate and accuracy

  • PDF

주성분분석을 이용한 기종점 데이터의 압축 및 주요 패턴 도출에 관한 연구 (A Study on the Compression and Major Pattern Extraction Method of Origin-Destination Data with Principal Component Analysis)

  • 김정윤;탁세현;윤진원;여화수
    • 한국ITS학회 논문지
    • /
    • 제19권4호
    • /
    • pp.81-99
    • /
    • 2020
  • 기종점 데이터는 수요 분석 및 서비스 설계를 위해서 대중교통, 도로운영 등 다양한 분야에서 저장 및 활용되고 있다. 최근 빅데이터의 활용성이 증대되면서 기종점 데이터의 분석 및 활용에 대한 수요도 함께 증가하고 있다. 기존의 일반적인 교통 정보 데이터가 수집장비 수(n)에 비례하여 데이터양이 증가(α·n)하는 것과는 다르게, 기종점 데이터는 수집지점 수(n)의 증가에 따라 수집 데이터의 양이 기하급수적으로 증가(α·n2)하는 경향이 있다. 이로 인하여 기종점 데이터를 원시 데이터의 형태로 장기간 저장하고 빅데이터 분석에 활용하는 것은 대용량의 저장 공간이 필요하다는 것을 고려할 때 실용적 대안으로 여겨지지 않고 있다. 이와 함께 기종점 데이터는 0~10 사이의 작은 수요 부분에 패턴화된 형태와 무작위 적인 형태의 데이터가 섞여있어 작은 수요가 그룹화되어 발생하는 주요 패턴을 추출하기에 어려움이 있다. 이러한 기종점 데이터의 저장용량의 한계와 패턴화 분석의 한계를 극복하고자 본 연구에서는 주성분 분석을 활용한 대중교통 기종점 데이터의 압축 및 분석 방법을 제안하였다. 본 연구에서는 서울시와 세종시의 대중교통 이용 데이터를 활용하여 모빌리티 데이터를 분석하고, 모빌리티 기종점 데이터에 포함된 무작위 성향이 높은 데이터를 제거하기 위해 주성분분석 기반의 데이터 압축 및 복원에 관한 연구를 수행하였다. 주성분분석으로 분해된 기종점 데이터와 원데이터를 비교하여 주요한 수요 패턴을 찾고 이를 통해 압축률과 복원율을 높일 수 있는 주성분 범위를 제안하였다. 본 연구에서 분석한 결과, 서울시 기준 1~80, 세종시 기준 1~60까지의 주성분을 사용할 경우 주요 이동 데이터의 손실 없이 기종점 데이터에 포함되어있는 노이즈를 제거하고 데이터를 압축 및 복원이 가능하였다.

해상교통정보의 수집, 관리 및 공유 개선방안에 관한 연구 (A Study on the Improvement of Collection, Management and Sharing of Maritime Traffic Information)

  • 신길호;송재욱
    • 해양환경안전학회지
    • /
    • 제28권4호
    • /
    • pp.515-524
    • /
    • 2022
  • 해상교통정보의 수집, 관리 및 공유를 개선하기 위해서는 해상교통정보 관련 기술 동향 파악 및 해상교통정보의 현황·문제점 분석이 우선되어야 한다. 따라서 본 연구에서는 먼저 해상교통정보의 국내외 기술 동향을 조사하였으며 국내 해상교통정보의 수집·관리·공유에 대한 현황·문제점을 분석하여 정리하였다. 자료를 토대로 문제점을 분석한 결과 우선 수집단계의 문제점은 주로 LTE 통신권을 벗어나는 원거리 RADAR·CCTV·카메라 영상정보 수집의 어려움으로 나타났으며 이로 인해 EEZ를 거쳐 영해로 진입하는 밀입국 선박 등의 조기 탐지가 어려운 것으로 나타났다. 그리고 관리단계의 문제점은 대부분 해상교통시스템이 자체 구축한 물리 저장 공간을 사용함으로써 저장 공간의 유연성 부족으로 인해 편리한 축소·확대가 어렵고 시스템 장애 발생 시 대비책으로 시스템 이중화·백업 등이 힘든 상황이다. 또한 공유단계의 문제점은 대부분 해상교통정보 공유시 주로 내부망을 사용하고 있는 현황상 운영기관 외부로의 정보 공유가 어려운 것으로 나타났으며 LRIT·SASS와 같이 정부 클라우드를 통해 정보 공유가 되고 있다고 하여도 정부 클라우드의 특성상 해양 빅데이터 등을 효과적으로 활용할 수 있는 다양한 애플리케이션의 제공이 원활히 되고 있지 않은 상황이다. 이러한 문제점들을 개선하기 위해 우선 수집단계의 경우 무인기·위성 등 수집장비의 추가 구축을 제시함으로써 수집구역을 확장하였고 관리·공유단계는 각 해상교통시스템의 운영 주체·정보 공개성을 고려한 민간 클라우드 도입 및 구축형태를 제시함으로써 클라우드 도입 시 전문성·보안성 향상을 기대하였다.

교통카드 빅 데이터를 활용한 철도역의 대중교통 연계영향권 설정을 위한 GIS 분석 기법 연구 (A Study on the GIS Analysis Techniques for Finding an Catchment Area by Public Transport at Railway Stations Using Transport Cards Big Data)

  • 진상규;김황배
    • 대한토목학회논문집
    • /
    • 제36권6호
    • /
    • pp.1093-1099
    • /
    • 2016
  • 현재 우리나라의 수도권 전철역이 499개가 있지만 철도역과 연계수단간의 연계영향권에 대한 연구가 많지 않다. 대부분 진행된 연구들은 연계영향권보다는 접근영향권에 대한 연구가 주를 이루고 있다. 또한 연계영향권의 연구들은 설문조사와 기초통계자료를 이용하여 연계영향권의 설정에 대한 이론적기반과 분석기법에 한계를 가지고 있다. 본 논문에서는 새로운 연계영향권을 설정 방법론을 정립하고 이를 빅데이터인 교통카드 이용자들의 철도역 이용 공간자료와 GIS 기반 연계영향권 분석 기법을 접목하여 수단별 네트워크 통행시간기반 연계영향권 설정 연구를 수행 하였다. 연구결과 마을버스 15분이내, 지선버스 20분이내, 간선버스 25분 이상 등의 연계영향권이 네트워크 접근시간의 차이에 따라 명확히 구분됨을 확인하였다.

SDN 환경에서 서버 상태를 고려한 단계적 가중치 기반의 부하 분산 기법 연구 (Study of Load Balancing Technique Based on Step-By-Step Weight Considering Server Status in SDN Environment)

  • 이재영;권태욱
    • 한국전자통신학회논문지
    • /
    • 제18권6호
    • /
    • pp.1087-1094
    • /
    • 2023
  • 빅데이터, 클라우드, IoT, AI 등 기술의 발전으로 인해 높은 데이터 처리율이 요구되고 있으며 네트워크의 유연성과 확장성에 대한 중요성이 증가하고 있다. 하지만 기존 네트워크 체계는 벤더와 장비에 종속되어 앞선 요구를 충족하기에는 한계가 존재한다. 이에 소프트웨어 중심의 유연한 네트워크를 구성할 수 있는 SDN 기술이 주목받고 있으며 특히 SDN을 기반의 부하 분산 방식은 방대한 트래픽을 효율적으로 처리하여 네트워크 성능을 최적화할 수 있다. 기존 SDN 환경에서 부하 분산 연구들은 서버와 컨트롤러 간 불필요한 트래픽이 발생하거나 서버가 임계치에 도달한 후에야 부하 분산이 이루어지는 제한사항이 존재한다. 본 논문에서는 이를 해결하기 위해 서버 부하에 따라 단계적으로 서버에 가중치를 부여하는 방식을 통해 불필요한 트래픽을 최소화하고 서버가 과부화 되기 전에 적절한 부하 분산이 이루어질 수 있는 방식을 제안한다.

RDP: A storage-tier-aware Robust Data Placement strategy for Hadoop in a Cloud-based Heterogeneous Environment

  • Muhammad Faseeh Qureshi, Nawab;Shin, Dong Ryeol
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제10권9호
    • /
    • pp.4063-4086
    • /
    • 2016
  • Cloud computing is a robust technology, which facilitate to resolve many parallel distributed computing issues in the modern Big Data environment. Hadoop is an ecosystem, which process large data-sets in distributed computing environment. The HDFS is a filesystem of Hadoop, which process data blocks to the cluster nodes. The data block placement has become a bottleneck to overall performance in a Hadoop cluster. The current placement policy assumes that, all Datanodes have equal computing capacity to process data blocks. This computing capacity includes availability of same storage media and same processing performances of a node. As a result, Hadoop cluster performance gets effected with unbalanced workloads, inefficient storage-tier, network traffic congestion and HDFS integrity issues. This paper proposes a storage-tier-aware Robust Data Placement (RDP) scheme, which systematically resolves unbalanced workloads, reduces network congestion to an optimal state, utilizes storage-tier in a useful manner and minimizes the HDFS integrity issues. The experimental results show that the proposed approach reduced unbalanced workload issue to 72%. Moreover, the presented approach resolve storage-tier compatibility problem to 81% by predicting storage for block jobs and improved overall data block placement by 78% through pre-calculated computing capacity allocations and execution of map files over respective Namenode and Datanodes.

스마트카드 데이터를 이용한 심야버스 이용수요 특성분석 : 강남역을 중심으로 (Analysis of User Demand Characteristics of Currently-established Night Bus in Seoul by Using Smart Card Data : Case Study on Gangnam Station)

  • 김민주;이영인
    • 한국ITS학회 논문지
    • /
    • 제16권1호
    • /
    • pp.101-116
    • /
    • 2017
  • 본 연구에서는 대중교통 이용객의 대부분이 사용하는 스마트카드 자료를 이용하여 실제 심야시간 통행량을 추정하고, 이를 현재 심야버스 노선과 비교하여 KT통신사에서 심야시간에 발생한 통화량을 기준으로 선정한 심야버스 노선과 실제 심야통행량을 비교하였다. 심야버스와 심야통행량을 비교하기 위해 일치도와 관련된 지표를 제시하고, 현재 얼마나 서비스가 제공되고 있는지 계산하였다. 연구의 특이한 점은 같은 정류장명을 가진 버스정류장이라도 어느 방향에 있느냐에 따라 속한 행정동이 다르기 때문에, 기준이 되는 영향권의 지표를 지하철역으로 잡고, 지하철역과 인접한 행정동을 지하철역의 영향권의 범위로 설정한 것이다. 심야버스가 심야시간 주요 교통수단으로 자리 잡은 만큼, 실제 교통량을 계산하여 노선을 선정한다면, 더 나은 서비스를 제공할 수 있을 것으로 기대된다.

서울 대도시권 통합 대중 교통망에서 연도별 및 요일별 시간거리 접근도 변화 (Changes of Time-Distance Accessibility by Year and Day in the Integrated Seoul Metropolitan Public Transportation Network)

  • 박종수;이금숙
    • 한국경제지리학회지
    • /
    • 제21권4호
    • /
    • pp.335-349
    • /
    • 2018
  • 본 연구의 목적은 시간이 경과하면서 통행속도와 같은 교통환경에 나타나는 변화가 대중교통이용자의 시간거리 접근성에 미치는 영향을 분석하는 것이다. 이를 위하여 서울대도시권 대중교통체계의 3개년(2011년, 2013년, 2015년)의 각각 1주일치 통행기록을 담은 교통카드 데이터를 활용한다. 교통카드빅데이터에는 대중교통이용자들의 통행궤적에 대한 시 공간 정보가 담겨 있다. 본 연구에서는 교통카드 자료의 통행시간을 토대로 각 시점의 대중교통체계를 구성하고 있는 지하철 역 및 버스 정류장들 사이의 링크들의 시간거리를 산출한다. 실험 결과로 얻어진 통합 교통망에서 접근도 변화는 두 가지 관점으로 요약할 수 있다. 첫째, 해가 지날수록 접근도는 떨어지는 경향이 있다. 교통망이 더 복잡해짐으로 차량의 이동 속도가 저하되기 때문이다. 둘째, 요일별 접근도 변화 분석에서 주말에 접근도가 높아지는 경향이 있다. 이것은 버스노선들 상의 버스 속도가 주말에 빨라지기 때문이다. 접근도 변화의 분석을 위해 연도별과 요일별 차량속도와 승객수를 그래프로 설명한다.

안전신고 제도(안전신문고) 도입에 따른 효과 분석 (Analysis of Effects on Adoption of a Safety e-Reporting System)

  • 이준;조상명;박은미;이상화
    • 한국방재안전학회논문집
    • /
    • 제12권4호
    • /
    • pp.27-41
    • /
    • 2019
  • 본 연구는 안전 신문고 제도의 효과를 분석하기 위해 2014년 9월 ~ 2019년 7월까지 접수된 안전신고 데이터 분석을 수행하고 해당 데이터를 통해 안전신고 성과를 측정할 수 있는 항목을 선정하여 4대 불법 주정차 주민신고제 도입에 대한 효과, 도로교통사고 기반의 원단위법을 이용한 효과 분석을 수행하였다. 2019년 10월까지 49개 기초자치단체의 4대 불법 주정차 주민 신고제 도입 후 약 60% 정도 단속 단가가 감소되었으며, 단속인력에 대한 신고 1건의 가치는 21만 3천원/건으로 도출되었다. 과태료 부과 등을 통한 세수 확보를 건당 편익으로 산정하면 약 6만 2천원/건 정도 추정되었다. 이 둘을 합하면 4대 불법 주정차 주민신고 가치는 총 27만 5천원/건으로 도출되었다. 안전신문고의 신고 유형은 대부분 교통 및 시설로 이를 대표적인 신고가치로 정의하고 연도별 총 편익을 산정한 결과, 2014년부터 2019년까지 안전신문고로 접수된 신고건수는 1,164,439건, 2019년 4월 이후 7월까지 신고 된 4대 불법 주정차 신고건수는 502,721건으로 지난 5년간 총 편익을 산정하면 약 2,734억여 원이다.

Faster R-CNN을 이용한 갓길 차로 위반 차량 검출 (Detecting Vehicles That Are Illegally Driving on Road Shoulders Using Faster R-CNN)

  • 고명진;박민주;여지호
    • 한국ITS학회 논문지
    • /
    • 제21권1호
    • /
    • pp.105-122
    • /
    • 2022
  • 최근 5년간 고속도로에서 발생한 사망 사고의 통계를 살펴보면, 고속도로 전체 사망자 중 갓길에서 발생한 사망자의 사망률이 약 3배 높은 것으로 나타났다. 이는 갓길 사고 발생 시 사고의 심각도가 매우 높다는 것을 보여주며, 갓길 차로 위반 차량을 단속하여 사고를 미연에 방지하는 것이 중요하다는 것을 시시한다. 이에 본 연구는 Faster R-CNN 기법을 활용하여 갓길 차로 위반 차량을 검출할 수 있는 방법을 제안하였다. Faster R-CNN 기법을 기반으로 차량을 탐지하고, 추가적인 판독 모듈을 구성하여 갓길 위반 여부를 판단하였다. 실험 및 평가를 위해 현실세계와 유사하게 상황을 재현할 수 있는 시뮬레이션 게임인 GTAV를 활용하였다. 이미지 형태의 학습데이터 1,800장과 평가데이터 800장을 가공 및 생성하였으며, ZFNet과 VGG16에서 Threshold 값의 변화에 따른 성능을 측정하였다. 그 결과 Threshold 0.8 기준 ZFNet 99.2%, Threshold 0.7 기준 VGG16 93.9%의 검출율을 보였고, 모델 별 평균 검출 속도는 ZFNet 0.0468초, VGG16 0.16초를 기록하여 ZFNet의 검출율이 약 7% 정도 높았으며, 검출 속도 또한 약 3.4배 빠름을 확인하였다. 이는 비교적 복잡하지 않은 네트워크에서도 입력 영상의 전처리 없이 빠른 속도로 갓길 차로 위반 차량의 검출이 가능함을 보여주며, 실제 영상자료 기반의 학습데이터셋을 충분히 확보한다면 지정 차로 위반 검출에 본 알고리즘을 활용할 수 있다는 것을 시사한다.