• 제목/요약/키워드: Data Transmission Processing

검색결과 901건 처리시간 0.046초

소셜미디어 수집과 분석을 위한 재난 빅 데이터 플랫폼의 설계 (Design of a Disaster Big Data Platform for Collecting and Analyzing Social Media)

  • 반퀴엣뉘엔;신응억뉘엔;양쯔엉뉘엔;김경백
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 춘계학술발표대회
    • /
    • pp.661-664
    • /
    • 2017
  • Recently, during disasters occurrence, dealing with emergencies has been handled well by the early transmission of disaster relating notifications on social media networks (e.g., Twitter or Facebook). Intuitively, with their characteristics (e.g., real-time, mobility) and big communities whose users could be regarded as volunteers, social networks are proved to be a crucial role for disasters response. However, the amount of data transmitted during disasters is an obstacle for filtering informative messages; because the messages are diversity, large and very noise. This large volume of data could be seen as Social Big Data (SBD). In this paper, we proposed a big data platform for collecting and analyzing disasters' data from SBD. Firstly, we designed a collecting module; which could rapidly extract disasters' information from the Twitter; by big data frameworks supporting streaming data on distributed system; such as Kafka and Spark. Secondly, we developed an analyzing module which learned from SBD to distinguish the useful information from the irrelevant one. Finally, we also designed a real-time visualization on the web interface for displaying the results of analysis phase. To show the viability of our platform, we conducted experiments of the collecting and analyzing phases in 10 days for both real-time and historical tweets, which were about disasters happened in South Korea. The results prove that our big data platform could be applied to disaster information based systems, by providing a huge relevant data; which can be used for inferring affected regions and victims in disaster situations, from 21.000 collected tweets.

Design of A new Algorithm by Using Standard Deviation Techniques in Multi Edge Computing with IoT Application

  • HASNAIN A. ALMASHHADANI;XIAOHENG DENG;OSAMAH R. AL-HWAIDI;SARMAD T. ABDUL-SAMAD;MOHAMMED M. IBRAHM;SUHAIB N. ABDUL LATIF
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제17권4호
    • /
    • pp.1147-1161
    • /
    • 2023
  • The Internet of Things (IoT) requires a new processing model that will allow scalability in cloud computing while reducing time delay caused by data transmission within a network. Such a model can be achieved by using resources that are closer to the user, i.e., by relying on edge computing (EC). The amount of IoT data also grows with an increase in the number of IoT devices. However, building such a flexible model within a heterogeneous environment is difficult in terms of resources. Moreover, the increasing demand for IoT services necessitates shortening time delay and response time by achieving effective load balancing. IoT devices are expected to generate huge amounts of data within a short amount of time. They will be dynamically deployed, and IoT services will be provided to EC devices or cloud servers to minimize resource costs while meeting the latency and quality of service (QoS) constraints of IoT applications when IoT devices are at the endpoint. EC is an emerging solution to the data processing problem in IoT. In this study, we improve the load balancing process and distribute resources fairly to tasks, which, in turn, will improve QoS in cloud and reduce processing time, and consequently, response time.

ATM망에서 우선 순위가 주어진 MPEG 비디오 데이터 전송시 대역폭 재협상을 통한 셀 손실 방지 기법 (A Cell Loss Constraint Method of Bandwidth Renegotiation for Prioritized MPEG Video Data Transmission in ATM Networks)

  • 윤병안;김은환;전문석
    • 한국정보처리학회논문지
    • /
    • 제4권7호
    • /
    • pp.1770-1780
    • /
    • 1997
  • ATM 망에서의 폭주로 인한 셀 손실은 피할 수 없기 때문에 영상 데이터 전송시 화질의개선 여지가 문제점으로 남아있다. ATM망에서 MPEG 비디오 전송시에 무차별적인 셀들의 손실은 서비스 품질의 심각한 저하를 가져올 수 있다. 본 논문에서는 이러한 문제점을 해결하기 위해 두 가지 방법을 제안한다. 첫째, MPEG 부호화기의 데이터 스트림의 트래픽 특성을 분석하여 높은 우선 순위의 데이터 스트림을 생성한다. 그리고 망의 폭주시에 가능한 한 낮은 우선 순위의 셀들을 폐기시키고 높은 우선 순위의 셀들을 전송하게 함으로써 사용자의 QOS를 보장한다. 이 때 부호화기의 데이터 스트림에 대한 우선 순위는 파라미터 ${\beta}$값의 증감에 따라 우선 순위 단계를 조절한다. 둘째, ${\beta}$값이 클수록 우선 순위가 높은 셀들의 수가 증가하게 된다. 이것은 망의 폭주시 우선 순위가 높은 셀의 손실을 초래한다. 이를 예방하기 위하여 본 연구에서는 사용량 감시 제어기를 설치하여 버퍼의 상태에 따라 전송률을 재 조절하는 방법을 취한다. 즉, 부호화기의 대역폭은 부호화기와 네트워크 사이의 재협상을 통하여 얻는다. 본 논문에서는 부호화기의 대역폭 요구사항을 최대 셀 전송률, 버스트 길이, 지속율을 다루는 사용 파라미터 제어(UPC)에 의하여 얻는다. 네트워크 인터페이스 카드(NIC : Network Interface Card)에 있는 적용 부호화기의 비트율 제어 알고리즘은 사용자의 QOS를 유지하기 위해 필요한 UPC 파라미터를 계산한다. 시뮬레이션시에는 동적인 UPC를 지원하는 ATM 네트워크 인터페이스 환경을 통하여 MPEG 부호화기의 비트율을 조절함으로써 측정하였다. 우선 순위가 주어진 데이터 스트림의 대역폭 재협상을 통한 실험의 결과는 대역폭의 이득과 우선 순위가 높은 데이터 스트림의 손실을 방지함으로써 영상의 화질이 개선됨을 보여준다.

  • PDF

실시간 공정 데이터를 위한 XML 기반 네트워크 서비스 (XML-Based Network Services for Real-Time Process Data)

  • 추영열;송명규
    • 제어로봇시스템학회논문지
    • /
    • 제14권2호
    • /
    • pp.184-190
    • /
    • 2008
  • This paper describes a message model based on XML (eXtensible Markup Language) to present real-time data from sensors and instruments at manufacturing processes for web service. HTML (Hyper Text Markup Language) is inadequate for describing real-time data from process control plants while it is suitable for displaying non-real-time multimedia data on web. For XML-based web service of process data, XML format for the data presentation was proposed after investigating data of various instruments at steel-making plants. Considering transmission delay inevitably caused from increased message length and processing delay from transformation of raw data into defined format, which was critical for operation of a real-time system, its performance was evaluated by simulation. In the simulation, we assumed two implementation models for conducting the transformation function. In one model, transformation was done at an SCC (Supervisory Control Computer) after receiving real-time data from instruments. In the other model, transformation had been carried out at instruments before the data were transmitted to the SCC. Various tests had been conducted under different conditions of offered loads and data lengths and their results were described.

Data Alignment for Data Fusion in Wireless Multimedia Sensor Networks Based on M2M

  • Cruz, Jose Roberto Perez;Hernandez, Saul E. Pomares;Cote, Enrique Munoz De
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제6권1호
    • /
    • pp.229-240
    • /
    • 2012
  • Advances in MEMS and CMOS technologies have motivated the development of low cost/power sensors and wireless multimedia sensor networks (WMSN). The WMSNs were created to ubiquitously harvest multimedia content. Such networks have allowed researchers and engineers to glimpse at new Machine-to-Machine (M2M) Systems, such as remote monitoring of biosignals for telemedicine networks. These systems require the acquisition of a large number of data streams that are simultaneously generated by multiple distributed devices. This paradigm of data generation and transmission is known as event-streaming. In order to be useful to the application, the collected data requires a preprocessing called data fusion, which entails the temporal alignment task of multimedia data. A practical way to perform this task is in a centralized manner, assuming that the network nodes only function as collector entities. However, by following this scheme, a considerable amount of redundant information is transmitted to the central entity. To decrease such redundancy, data fusion must be performed in a collaborative way. In this paper, we propose a collaborative data alignment approach for event-streaming. Our approach identifies temporal relationships by translating temporal dependencies based on a timeline to causal dependencies of the media involved.

스트리밍 동기화 데이터 처리를 위한 단말 소프트웨어 개발에 관한 연구 (A study of STB software development for streaming synchronized data processing)

  • 신중목;유지상
    • 한국통신학회논문지
    • /
    • 제29권6A호
    • /
    • pp.690-696
    • /
    • 2004
  • 국내 지상파 데이터 방송 전송 규격인 ATSC(advanced television systems committee)-A/9O에서는 메인 프로그램과 긴밀한 시간관계가 요구되는 동기화 데이터로써 DSM-CC(Digital storage media command and control) section의 형태로 전송되는 비스트리밍 동기화 데이터와 PES(packetized elementary stream) packet의 형태로 전송되는 스트리밍 동기화 데이터를 규정하고 있다. 본 논문의 목적은 ATSC A/90 규격에 정의된 스트리밍 동기화 데이터 처리를 위한 알고리즘을 구현하고 검증하는데 있다. 이를 위하여 windows 환경 하에서 스트리밍 동기화 데이터를 포함한 PES packet을 분석하는 parser와 분석된 데이터의 재생을 위한 player를 구현하였다. 또한, 구현된 알고리즘의 검증을 위하여 디지털 데이터 방송 수신카드를 탑재한 한국전자통신연구원의 PC형 STB(Set-top Box)에 알고리즘을 포팅하여 실험 환경을 구축하고, 스트리밍 동기화 데이터를 삽입한 MPEG-2 TS(transport stream)를 이용하여 알고리즘이 포팅된 시스템의 동작을 확인하였다.

가역적 데이터 은닉 시스템에서 RS 부호를 사용한 이미지 공간상관 관계 향상을 위한 전송 기법 (Transmission Methods Using RS Codes to Improve Spatial Relationship of Images in Reversible Data Hiding Systems)

  • 김태수;장민호;김성환
    • 한국통신학회논문지
    • /
    • 제40권8호
    • /
    • pp.1477-1484
    • /
    • 2015
  • 본 논문에서는 효율적인 데이터 전송을 위해 Reed-Solomon(RS) 부호를 활용하여 암호화된 이미지에 정보를 전송하는 새로운 가역적 데이터 은닉 기술을 제안한다. 암호화된 이미지로부터 데이터의 복구 시 발생하는 오류를 줄이기 위해 메시지를 RS 부호의 부호어를 생성 후 데이터 은닉키를 활용하여 암호화된 이미지에 반영한다. 수신자는 부호어가 포함된 암호화 이미지를 수신하고 먼저 암호화된 이미지를 암호화에 따라 이미지를 해독하고, 공간 상간관계를 이용하여 데이터를 추출한다. 이 추출한 데이터로부터 RS 부호의 정보를 계산하여 RS 복호기를 통해 메시지를 추정한다. 두 개 이미지와 RS 부호에 대한 모의실험 결과는 제안한 구조의 성능이 비트 오류 비율 측면에서 성능 향상을 보여준다.

S-P3P: P3P 표준을 반영한 보안 프로토콜 설계 및 분석 (Design and Analysis of a Secure Protocol for the P3P Standard)

  • 최현우;장현수;고광선;김구수;엄영익
    • 정보처리학회논문지C
    • /
    • 제14C권7호
    • /
    • pp.545-552
    • /
    • 2007
  • P3P는 웹 서비스 제공자와 사용자 사이에서 사용되는 개인정보의 정의, 전송, 수집, 그리고 유지 등에 대한 정책을 정의하고 협상하기 위한 표준이다. 현재까지 제시된 P3P 표준은 주로 사용자의 개인정보보호 정책과 웹 서버의 P3P 정책을 정의하고 두 정책을 비교하는 방법을 제공하고 있다. 그러나 사용자와 웹 서버 사이의 개인정보 및 데이터의 안전한 전송을 위한 세부 기능과 이 때 발생할 수 있는 문제점에 대해서는 명확하게 제시하고 있지 않다. 이러한 문제점을 해결하기 위해서, 본 논문에서는 Secure P3P(S-P3P) 프로토콜을 제안한다. 제안 프로토콜은 현재의 P3P 표준을 위한 보안 프로토콜로서 웹 서버와 사용자 간의 상호 인증 기능을 제공하고, 전송되는 메시지와 데이터의 무결성과 기밀성을 보장한다. 또한, S-P3P 프로토콜은 사용자로부터 웹 서버에 전송되는 개인정보의 송수신에 대한 부인방지 기능을 제공한다.

패킷화된 음성과 저속의 데이터가 혼합된 트래픽을 위한 Layered Cell 프로토콜의 성능해석 (Performance Analysis of Layered Cell Protocol for the Integrated Traffic of Packetized Voice and Low Bit-rate Data)

  • 이영교;박기식;정해원;조성준
    • 한국통신학회논문지
    • /
    • 제24권7A호
    • /
    • pp.964-972
    • /
    • 1999
  • 본 논문에서는 셀룰라 이동 통신시스템에서 BSC와 MSC 사이에 AAL 2를 적용하기 위한 시뮬레이션 모델을 제안하였다. 짧은 길이의 패킷을 처리하기 위해 프레임 구조와 이를 하나 또는 그 이상의 ATM 셀에 다중화 시키는 방식 등을 제시하였으며, 또한, 패킷화된 음성과 저속의 비트율을 갖는 데이터가 혼합된 트래픽을 사용하여 통계적 다중화의 효율 (AR), 전송 지연 특성, 채널전송효율 등을 해석하였다. 시뮬레이션 결과, AAL 2 다중화를 하지 않는 경우, 최대 수용 가능한 가입자 수가 최대 47 가입자이었으나, 다중화를 하는 경우, 최대 가입자 수는 Non-Overlapping 방식에서는 70, Overlapping 방식에서는 110이었다. 그러므로, Overlapping 방식을 적용한 layered 셀 방식이 Non-Overlapping 방식보다 더 효율적임을 알 수 있었다. 그리고, 대역폭이 2 Mbps인 셀룰라 이동 통신시스템의 경우 최적의 전송 버퍼 크기는 4 ATM 셀이 된다는 것을 알았다.

  • PDF

디지털 뇌파 전송 프로토콜 개발 및 검증 (Development and Verification of Digital EEG Signal Transmission Protocol)

  • 김도훈;황규성
    • 한국통신학회논문지
    • /
    • 제38C권7호
    • /
    • pp.623-629
    • /
    • 2013
  • 본 논문에서는 뇌파 전송 프로토콜 설계하고 이를 검증할 테스트 플랫폼 제작 결과를 소개한다. 건식 전극에서 검출된 뇌파는 인접한 ADC(analog-to-digital converter)를 거쳐 디지털 신호로 변환되고, 각 센서 노드에서 디지털 신호로 변환된 뇌파는 $I^2C$(inter-integrated circuit) 프로토콜을 통해서 DSP(digital signal processor) 플랫폼으로 전송된다. DSP 플랫폼에서는 뇌파 전처리 알고리즘 수행 및 뇌 특성 벡터 추출 등의 기능을 수행한다. 본 연구에서는 각 채널당 10비트 또는 12비트 ADC를 사용하여 최대 16채널의 데이터를 전송하기 위하여 $I^2C$ 프로토콜을 적용하였다. 실험결과 4바이트 데이터 버스트전송을 수행하면 통신오버헤드가 2.16배로 측정이 되어 10 비트 또는 12 비트 1 ksps ADC를 16채널로 사용시 총 데이터전송율이 각각 345.6 kbps, 414.72 kbps 로 확인되었다. 따라서 400 kbps 고속전송모드 $I^2C$를 사용할 경우 ADC 비트에 따라서 슬레이브와 마스터의 채널비가 각각 16:1, $(8:1){\times}2$ 로 되어야 한다.