• 제목/요약/키워드: Big data traffic

검색결과 234건 처리시간 0.023초

지능형 해상교통정보시스템 연계를 위한 데이터파이프라인 설계 (Design of Data Pipeline for Linkage the Intelligent Maritime Transport Information System)

  • 백종화;임광현;조득재
    • 한국항해항만학회:학술대회논문집
    • /
    • 한국항해항만학회 2022년도 춘계학술대회
    • /
    • pp.315-316
    • /
    • 2022
  • 해양사고를 줄이고 해사안전 및 바다국민 행복을 도모하기 위해 해양수산부는 2021년 1월말부터 국민을 대상으로 지능형 해상교통정보서비스를 제공하고 있다. 본 서비스를 통해 다양한 정보가 생성 및 수집되고 있으며, 수집된 정보를 기반으로 데이터과학에 접목시켜 서비스 알고리즘을 개발하고 검증하여 보다 안전하고 효율적인 지능형 해상교통정보서비스 구현을 위한 연구개발이 진행 중에 있다. 향상된 서비스를 개발 및 구현하기 위해서는 수집·저장된 데이터를 연계하고 여러 시스템에서 데이터를 원활하게 접근하여 사용하고 저장할 수 있는 데이터파이프라인 체계가 필요하다. 이에, 본 연구에서는 데이터과학 기반 서비스 알고리즘 개발 환경과 지능형 해상교통서비스 테스트베드 등 다양한 시스템에서 활용 가능한 데이터파이프라인을 설계하였다.

  • PDF

De-cloaking Malicious Activities in Smartphones Using HTTP Flow Mining

  • Su, Xin;Liu, Xuchong;Lin, Jiuchuang;He, Shiming;Fu, Zhangjie;Li, Wenjia
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제11권6호
    • /
    • pp.3230-3253
    • /
    • 2017
  • Android malware steals users' private information, and embedded unsafe advertisement (ad) libraries, which execute unsafe code causing damage to users. The majority of such traffic is HTTP and is mixed with other normal traffic, which makes the detection of malware and unsafe ad libraries a challenging problem. To address this problem, this work describes a novel HTTP traffic flow mining approach to detect and categorize Android malware and unsafe ad library. This work designed AndroCollector, which can automatically execute the Android application (app) and collect the network traffic traces. From these traces, this work extracts HTTP traffic features along three important dimensions: quantitative, timing, and semantic and use these features for characterizing malware and unsafe ad libraries. Based on these HTTP traffic features, this work describes a supervised classification scheme for detecting malware and unsafe ad libraries. In addition, to help network operators, this work describes a fine-grained categorization method by generating fingerprints from HTTP request methods for each malware family and unsafe ad libraries. This work evaluated the scheme using HTTP traffic traces collected from 10778 Android apps. The experimental results show that the scheme can detect malware with 97% accuracy and unsafe ad libraries with 95% accuracy when tested on the popular third-party Android markets.

IDC용 소형 통합보안라우터의 실시간 트래픽쉐이핑과 IPS의 융합 구현 (A Convergence Implementation of Realtime Traffic Shaping and IPS on Small Integrated Security Router for IDC)

  • 양승의;박기영;정회경
    • 한국정보통신학회논문지
    • /
    • 제23권7호
    • /
    • pp.861-868
    • /
    • 2019
  • 최근 들어 빅데이터와 사물인터넷 그리고 인공지능 등 다양한 서버 기반의 서비스가 온라인상에서 이루어지고 있다. 이에 따라 안정적인 서버 운영을 지원하는 IDC(Internet Data Center)의 수요도 커지고 있다. IDC는 안정적인 회선과 전력공급시설을 갖춘 서버 입주시설로써 효율적으로 구분되어진 랙 단위 서브네트워크 상에 서버를 20~30대씩 묶어 관리하는 시설이다. 여기서는 랙 단위로 서버들의 보안, 방화벽, 트래픽 등을 효율적으로 관리해주는 방법이 필요하다. 즉 라우터, 방화벽, IPS 그리고 회선속도를 제어해 주는 트래픽쉐이핑 기능과 최근 관심 분야인 VPN 기술까지 지원해야 한다. 이를 지원하기 위해 3~5종의 상용 장비를 채택할 경우 도입비용은 물론 운용관리에 큰 부담일수 있다. 따라서 본 논문에서는 5가지 기능을 하나의 랙 단위 소형 통합보안라우터에 구현하는 방법을 제시하고, 특히 IDC에서는 필수 기술인 트래픽 쉐이핑과 IPS를 융합 구현하며 이에 따른 효용성도 제시하고자 한다.

스마트시티 서비스 니즈 도출을 위한 사용자 행위 분석에 관한 연구 (A Study on User Behavior Analysis for Deriving Smart City Service Needs)

  • 안세윤;김소연
    • 한국콘텐츠학회논문지
    • /
    • 제18권7호
    • /
    • pp.330-337
    • /
    • 2018
  • 최근 사용자 중심의 스마트시티 서비스에 관한 관심이 높아지고 있다. 본 연구는 사용자 중심의 스마트시티 서비스를 계획하 기 위한 사전 연구로 사용자의 니즈를 조사하였다. 본 연구는 스마트시티 서비스에 대한 니즈를 도출하기 위해 GIS 기반 위치분석데이터와 비디오 에스노그래피 방법론을 활용하고자 한다. 본 연구는 스마트시티 테스트베드로 선정된 대전 도안지구의 현장조사를 통해 사용자의 집객도가 높은 지역을 세부조사대상지로 선정하고, 도로교통공단의 교통사고분석시스템(TAAS : Traffic Accidents Analysis System)의 위치분석데이터를 이용하여 주변 보행환경을 함께 조사하였다. 또한 비디오 에스노그래피의 고정카메라기법을 통해 사용자의 행위 유형과 변화를 관찰하였다. 추출된 영상데이터를 통해 사용자의 활동을 11개의 세분화 된 유형으로 분류하고, 관찰되는 문제점 및 특이사항을 분석하였다. 본 연구를 통해 조사된 사용자 행위특성은 향후 사용자 중심 스마트시티 서비스를 제안할 수 있는 근거를 마련한다는 점에 의의가 있다.

LSTM을 활용한 고속도로 교통정보 예측 모델 개발 방법론 (Methodology for Developing a Predictive Model for Highway Traffic Information Using LSTM)

  • 이요셉;진형석;김예진;박성호;윤일수
    • 한국ITS학회 논문지
    • /
    • 제22권5호
    • /
    • pp.1-18
    • /
    • 2023
  • 최근 빅데이터 및 딥러닝 기술의 발전으로 다양한 교통정보가 널리 수집 및 활용되고 있다. 특히 시계열 특성을 갖는 교통정보 예측 분야에서는 장단기 메모리(long short term memory, LSTM)가 널리 사용되고 있다. LSTM에 입력되는 시계열 데이터의 추세, 계절성, 주기 등이 상이하기 때문에 시계열 데이터를 기반으로 한 예측 모델에서도 데이터의 특성에 따라 하이퍼 파라미터의 적합한 값을 찾는 시행착오법이 필수적이다. 이에 적합한 하이퍼 파라미터를 찾는 방법론이 정립된다면, 정확도가 높은 모델 구성에 소요되는 시간을 줄일 수 있다. 따라서, 본 연구에서는 국내 고속도로 차량검지기 데이터와 LSTM을 기반으로 교통정보 예측 모델을 개발하였으며, LSTM의 하이퍼 파라미터별 평가지표 변화를 통해 예측 결과에 미치는 영향평가를 수행하였다. 또한, 이를 기반으로 교통분야에서 고속도로 교통정보 예측에 적합한 하이퍼 파라미터를 찾는 방법론을 제시하였다.

Job-aware Network Scheduling for Hadoop Cluster

  • Liu, Wen;Wang, Zhigang;Shen, Yanming
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제11권1호
    • /
    • pp.237-252
    • /
    • 2017
  • In recent years, data centers have become the core infrastructure to deal with big data processing. For these big data applications, network transmission has become one of the most important factors affecting the performance. In order to improve network utilization and reduce job completion time, in this paper, by real-time monitoring from the application layer, we propose job-aware priority scheduling. Our approach takes the correlations of flows in the same job into account, and flows in the same job are assigned the same priority. Therefore, we expect that flows in the same job finish their transmissions at about the same time, avoiding lagging flows. To achieve load balancing, two approaches (Flow-based and Spray) using ECMP (Equal-Cost multi-path routing) are presented. We implemented our scheme using NS-2 simulator. In our evaluations, we emulate real network environment by setting background traffic, scheduling delay and link failures. The experimental results show that our approach can enhance the Hadoop job execution efficiency of the shuffle stage, significantly reduce the network transmission time of the highest priority job.

Analysis of Component Technology for Smart City Platform

  • Park, Chulsu;Cha, Jaesang
    • International Journal of Advanced Culture Technology
    • /
    • 제7권3호
    • /
    • pp.143-148
    • /
    • 2019
  • In order to solve the urban problems caused by the increase of the urban population, the construction of smart city applying the latest technology is being carried out all over the world. In particular, we will create a smart city platform that utilizes data generated in the city to collect and store and analyze, thereby enhancing the city's continuous competitiveness and resilience and enhancing the quality of life of citizens. However, existing smart city platforms are not enough to construct a platform for smart city as a platform for solution elements such as IoT platform, big data platform, and AI platform. To complement this, we will reanalyze the existing overseas smart city platform and IoT platform in a comprehensive manner, combine the technical elements applied to it, and apply it to the future Korean smart city platform. This paper aims to investigate the trends of smart city platforms used in domestic and foreign countries and analyze the technology applied to smart city to study smart city platforms that solve various problems of the city such as environment, energy, safety, traffic, environment.

실시간 정보를 제공하는 M2M 빅데이터 품질특성이 사용자 만족에 미치는 영향에 대한 연구 - 버스기사의 교통정보 시스템 중심으로 - (A study on the Effect of Quality Characteristics of M2M Big Data providing real-time Information on User Satisfaction)

  • 양동식;박동진;이윤재
    • 한국산업정보학회논문지
    • /
    • 제27권6호
    • /
    • pp.25-40
    • /
    • 2022
  • 본 논문은 실시간 정보를 제공하는 M2M 빅데이터의 품질이 사용자에게 어떤 영향을 미치는지에 관한 것이다. 최근 들어 데이터의 종류(Variety), 양(Volume), 속도(Velocity) 등이 급변함에 따라 데이터의 획득 및 관리에 많은 어려움이 있다. 이러한 문제는 데이터의 품질 저하로 이어질 뿐만 아니라 데이터를 활용하여 의사결정을 내릴 때 부정적인 영향을 줄 수 있다. 일반적으로 데이터의 품질을 '사용 적합성'으로 정의하는 데 이는 데이터 품질이 사용자 요구의 기대치를 충족해야 함을 의미한다. 이것은 데이터의 품질이 빅데이터의 활용에 중요한 요소임으로 데이터의 획득과정에서부터 데이터 품질 영역(Data Quality Dimensions)에 대한 관리가 필요하다. 본 연구에서는 교통정보 시스템에 사용되는 실시간 M2M 데이터의 품질 영역과 사용자 만족도의 관계를 분석하였다. M2M 빅데이터 관련 변수 간의 영향을 분석하기 위해 연구 모델과 가설을 설정하였다. 가설을 검증하기 위해 데이터 이용자를 대상으로 설문조사 실시하고 분석을 하여 주요 요인들 간의 인과관계를 파악했다.

유동인구 빅데이터 기반 고속도로 휴게소 혼잡지표 개발 연구 (Study on the Development of Congestion Index for Expressway Service Areas Based on Floating Population Big Data)

  • 김해;이환필;권철우;박성호;박상민;윤일수
    • 한국ITS학회 논문지
    • /
    • 제17권4호
    • /
    • pp.99-111
    • /
    • 2018
  • 고속도로 휴게소는 효율적인 고속도로 운영과 이용객의 편의를 위해 매우 중요한 시설로서 운전자에게 사전에 휴게소에 대한 혼잡 정도를 알려줌으로써 휴게소 이용객이 적절히 분산되도록 관리하는 교통운영 전략이 필요하다. 하지만, 현재 휴게소 이용인원을 측정할 수 있는 수집장치와 데이터의 부재로 인하여 휴게소에 대한 혼잡도 측정과 관리가 적절하게 이루어지지 못하고 있다. 이에 본 연구에서는 이동통신사의 휴대폰 기반 유동인구 빅데이터를 활용하여 고속도로 휴게소 혼잡지표를 개발하였다. 휴게소 혼잡지표로 '휴게소 밀도'와 '휴게소 유동인구 V/c', 두 가지를 대안으로 개발하였으며, 이 중 이해하기 쉽고 용량의 비교가 가능한 '휴게소 유동인구 V/c'를 휴게소 혼잡지표로 최종 선정하였다. 이용객들이 직관적으로 이해하기 쉽도록 휴게소 혼잡도 등급은 '여유', '약간혼잡', '혼잡'의 3단계로 설정하였다.

지역 전통시장 활성화를 위한 지능형 시스템 구축 제언 (Suggestions for establishing a smart system to revitalize the local traditional market)

  • 이정훈;조정원
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2022년도 추계학술대회
    • /
    • pp.191-193
    • /
    • 2022
  • 인공지능, 빅데이터 등 디지털 기술의 촉발로 인한 4차 산업혁명의 도래는 사회, 문화, 산업 등에 많은 변화를 일으켰다. 하지만, 각 지역의 전통시장은 새로운 유통환경과 소비자 변화에 신속하게 대응하지 못하고 있다. 특히, 제주지역 전통시장의 경우 제주 방문 관광객 대상의 마케팅 전략 등 지역적 특성을 살리지 못하고 있다. 이에 본 연구에서는 제주 지역적 특성을 고려한 빅데이터 및 인공지능 기반의 스마트 전통시장 구축에 대해 제언하고자 한다. 연구 내용으로는 방문자 빅데이터 분석을 통한 고객 프로파일링, 트래픽 분석을 통한 관광객 동선 결과제공, 실시간 인기 제품 차트 제공, 영상기반 화재 및 범죄 예방 기능 개발 등이 있다.

  • PDF