• 제목/요약/키워드: Multiple Stream Data

검색결과 179건 처리시간 0.023초

Squall: 실시간 이벤트와 마이크로-배치의 동시 처리 지원을 위한 TMO 모델 기반의 실시간 빅데이터 처리 프레임워크 (Squall: A Real-time Big Data Processing Framework based on TMO Model for Real-time Events and Micro-batch Processing)

  • 손재기;김정국
    • 정보과학회 논문지
    • /
    • 제44권1호
    • /
    • pp.84-94
    • /
    • 2017
  • 최근 다양하고 방대한 양의 데이터를 처리하기 위해 빅데이터의 특성인 5V(Volume, Variety, Velocity, Veracity, Value) 중에서도 속도(Velocity)의 중요성이 강조되면서 대량의 데이터를 빠르고 정확하게 처리하는 기술인 실시간 스트림 처리(Real-time Stream processing)를 위해 많은 연구가 진행되고 있다. 본 논문에서는 실시간 빅데이터 처리를 위해 대표적인 실시간 객체 모델인 TMO(Time-triggered Message-triggered Object) 개념을 도입한 Squall 프레임워크를 제시하고, 단일 노드에서 동작하는 Squall 프레임워크와 그 동작들에 대해 기술한다. TMO는 작업을 수행할 때, 특정 조건에 대해 실시간으로 처리하는 비주기적인 처리방법과 일정 시간 간격동안 주기적인 처리를 지원하는 객체 모델이다. 따라서 Squall 프레임워크는 실시간 빅데이터의 실시간 이벤트 스트림 및 마이크로-배치 처리를 동시에 지원하고, 기존 아파치 스톰과 스파크 스트리밍 대비 상대적으로 우수한 성능을 제공한다. 하지만 Squall은 대부분의 프레임워크에서 제공되는 다중 노드에서의 실시간 분산처리를 위한 추가적인 개발이 필요하다. 결론적으로, TMO 모델의 장점은 실시간 빅데이터 처리시 기존 아파치의 스톰이나 스파크 스트리밍의 단점들을 극복할 수 있다. 이러한 TMO 모델은 실시간 빅데이터 처리에 있어 유용한 모델로서의 가능성을 가지고 있다.

시각적 선호요인 분석을 통한 농촌 소하천 경관평가에 관한 연구 (Landscape Evaluation of Rural Stream based on the Factor Analysis of Visual Preference)

  • 김성근;조우현;임승빈
    • 농촌계획
    • /
    • 제5권1호
    • /
    • pp.35-44
    • /
    • 1999
  • The purpose of this study is to find the bi-polar adjectives for rural stream landscape evaluation by the semantic differential scale and to suggest the major determinants of visual preference in rural stream landscapes. For this, the bi-polar adjectives for rural stream landscape evaluation was found by the method of the reliability test, and the spatial image was analyzed by the factor analysis. The level of visual preference was measured by slide simulation test, and these data were analyzed by the multiple regression. The major findings of this study can be summarized as follows : 1) Of the bi-polar adjectives expressing psychological and physical characteristics, the hi-polar adjectives which demonstrated reliability and consistency run as follows : Bi-polar adjectives expressing psychological characteristics : 'calm-bustling', 'unfamiliar-familiar', 'still-active','depressing-brisk', 'discomfortable-comfortable', 'suppressed-free', 'lifeless-living', 'quiet-noisy', 'unpleasant-pleasant'. Bi-polar adjectives expressing physical characteristics : 'artificial-natural', 'narrow-wide', 'rocky-not rocky', 'desolate-fertile', 'dirty-clean', 'enclosed-open', 'flat-steep', 'not gravelly-gravelly', 'thicketed-not thicketed', 'not weedy-weedy'. 2) Two factors, the harmony and the movement, were derived from the factor analysis for the psychological variables. Three factors, the naturalness, the rock, and the vegetation, were derived from the factor analysis for the physical variables. 3) Rural stream landscape types were classified into four types by the multi-dimensional scaling method. Type III, IV obtained higher rank of visual preference and type I, II obtained lower. 4) For all types, the factors determining the level of visual preference were found to be the harmony, the naturalness, and the vegetation. The visual preference determinants of rural stream landscape need to be considered in improving or restoring the rural stream landscapes.

  • PDF

지역적 성향을 고려한 도시하천 유역의 도달시간 및 저류상수 공식 개발 (Development of Concentration Time and Storage Coefficient Considering Regional Trend in Urban Stream Watershed)

  • 배덕효;김용재
    • 한국수자원학회논문집
    • /
    • 제48권6호
    • /
    • pp.479-489
    • /
    • 2015
  • 본 연구에서는 도시하천 유역의 신뢰성 높은 수문해석을 위해 지역적 성향을 고려한 도달시간 및 저류상수 공식을 개발하였다. 이를 위해 국내 대표 도시하천 유역인 중랑천, 탄천, 안양천, 홍제천 내 13개 유역을 대상으로 지역적 성향이 없는 유역특성인자와 지역적 성향이 있는 도시 및 강우특성인자를 분석하였으며, 단계적 다중회귀분석을 통하여 공식을 개발하였다. 개발된 공식은 국내외 경험식들과 함께 도시하천 유역에 대해 정확도를 비교 평가하였다. 분석결과 본 연구에서 개발한 공식의 계산값이 다른 경험식들에 비해 더욱 정확하게 모의하였으며 오차합, 평균오차, 평균제곱근오차 또한 가장 낮은 것으로 나타났다. 본 연구는 도시하천 유역이라는 지역적 성향을 고려하여 공식을 개발함으로써 기존 국내외 경험식들보다 더 나은 결과를 제시하였다는 측면에서 가치가 있다고 판단된다.

Selective Decoding Schemes and Wireless MAC Operating in MIMO Ad Hoc Networks

  • Suleesathira, Raungrong;Aksiripipatkul, Jansilp
    • Journal of Communications and Networks
    • /
    • 제13권5호
    • /
    • pp.421-427
    • /
    • 2011
  • Problems encountered in IEEE 802.11 medium access control (MAC) design are interferences from neighboring or hidden nodes and collision from simultaneous transmissions within the same contention floors. This paper presents the selective decoding schemes in MAC protocol for multiple input multiple output ad-hoc networks. It is able to mitigate interferences by using a developed minimum mean-squared error technique. This interference mitigation combined with the maximum likelihood decoding schemes for the Alamouti coding enables the receiver to decode and differentiate the desired data streams from co-channel data streams. As a result, it allows a pair of simultaneous transmissions to the same or different nodes which yields the network utilization increase. Moreover, the presented three decoding schemes and time line operations are optimally selected corresponding to the transmission demand of neighboring nodes to avoid collision. The selection is determined by the number of request to send (RTS) packets and the type of clear to send packets. Both theoretical channel capacity and simulation results show that the proposed selective decoding scheme MAC protocol outperforms the mitigation interference using multiple antennas and the parallel RTS processing protocols for the cases of (1) single data stream and (2) two independent data streams which are simultaneously transmitted by two independent transmitters.

멀티미디어 CDMA 이동통신 시스템에서의 다양한 QoS 요구조건을 고려한 성능 분석 (Performance Analysis of Multimedia CDMA Mobile Communication System Considering Diverse Qos Requirements)

  • 김백현;신승훈;곽경섭
    • 한국통신학회논문지
    • /
    • 제27권1B호
    • /
    • pp.1-12
    • /
    • 2002
  • 멀티미디어 CDMA(code division multiple access) 이동통신 서비스는 음성, 동영상, 파일 전송, 전자 우편, 인터넷 접속 등과 같은 다양한 어플리케이션들을 이동중인 사용자들에게 각각의 요구 조건에 부합할 수 있는 QoS(quality of service)로 제공하여야 한다. 본 논문에서 고려한 시스템은 음성, 스트림 데이터 및 패킷 데이터의 혼합 트래픽 환경에서 실시간 전송을 요구하는 음성 서비스에게는 선점 우선권(preemptive priority)을 부여하고, 지연에 다소 민감하지 않은 스트림 데이터 서비스에 대해서는 버퍼를 부여하였다. 또한, 최선형(best-effort) 서비스를 받는 패킷 데이터 서비스에 대해서는 기지국의 방송 제어 신호에 의해 송신 허용 확률(transmission permission probability)을 결정함으로써 효율을 향상시킬 수 있는 접속 제어 시스템을 고려한다. 본 논문에서는 멀티미디어 CDMA 이동통신 시스템의 성능 분석을 위하여 음성 및 스트림 데이터 트래픽을 2차원-마르코프 체인으로 모델링하고 분석하였으며, 잔여 용량(residual capacity)을 기초로 하여 패킷 데이터 트래픽에 대한 수학적 분석을 수행하였다.

GPU를 사용한 효율적인 공간 데이터 처리 (An Efficient Technique for Processing of Spatial Data Using GPU)

  • 이재일;오병우
    • Spatial Information Research
    • /
    • 제17권3호
    • /
    • pp.371-379
    • /
    • 2009
  • 최근 그래픽 프로세서(GPU)의 발전에 따라 대량의 프로세서를 탑재한 고성능 그래픽 카드가 개인 컴퓨터에서 널리 사용되고 있다. GPU를 사용하여 CPU의 부하를 줄이면서도 성능을 향상시킬 수 있어서 복잡한 연산을 처리해야 하는 다양한 응용 프로그램에 적용하는 연구가 활발히 진행되고 있다. 본 논문에서는 복잡한 연산이 필요한 공간 데이터 처리의 성능을 향상시키기 위하여 GPU의 병렬 처리 기술을 활용하는 방법을 제안하였다. 원본 공간 데이터를 화면에 출력하기 위해서는 그래픽 처리 연산이 필요하며 같은 종류의 연산을 모든 데이터에 적용해야 하므로 GPU의 SIMD 병렬 처리를 사용하여 성능을 향상시킬 수 있다.

  • PDF

Ecological Comparisons of Stream Conditions Between the Unimpacted and Impacted Sites: Case Study

  • Lee, Jae-Hoon;Lee, Sang-Jae;An, Kwang-Guk
    • 생태와환경
    • /
    • 제41권4호
    • /
    • pp.441-448
    • /
    • 2008
  • The purpose of this study was to analyze chemical water quality, fish trophic guilds, tolerance indicators, and fish community conditions in the Gap Stream and to compare the stream conditions between the unimpacted site and impacted site. This study was conducted in the physically stable season (May 2008) to minimize physical impacts such as flow and hydrological disturbance, and applied the study in the Gap Stream with two sites of unimpacted upstream site (Unim-S), mainly surrounded by forested area and impacted site (Im-S), influenced by the wastewater disposal plants and industrial complex in the urban region. Chemical data analysis showed that the degree of organic matter pollution, based on BOD, and COD, was $2{\sim}3$ fold greater in the Im-S than the Unim-S, and that TP, as eutrophication indicators, was 4.7 fold greater in the Im-S. Also, $NH_3-N$ was in 8.2 fold greater in the Im-S ($6.25\;mg\;L^{-1}$) than the Unim-S ($0.76\;mg\;L^{-1}$), indicating a massive influence of wastewater from the disposal plant. Similar results were found in other chemical parameters. Thus, chemical impacts in the Im-S were evident, compared to the unimpacted site. Evaluations of tolerant indicator species indicated that sensitive species were dominant in the Unim-S (23.9%) and tolerant species were dominant (97.8%) in the Im-S. Condition factor (CF) was averaged 0.95 ($0.68{\sim}1.18$) in the Unim-S and 1.08 ($0.93{\sim}1.22$) in the Im-S. Fish community in the Unim-S and Im-S was categorized as Zacco-community and Hemibarbus-community, respectively, and the community diversity index (H') was significantly (p<0.05) higher in the Unim-S (0.810) than the Im-S (0.466). Overall, our results suggest that the comparison approach of various chemical and ecological indicators provide important information in identifying multiple stressors in the stream ecosystems.

병렬 TCP 통신을 이용한 스마트폰 실시간 스트리밍 서비스 (Smartphone Real Time Streaming Service using Parallel TCP Transmission)

  • 김장영
    • 한국정보통신학회논문지
    • /
    • 제20권5호
    • /
    • pp.937-941
    • /
    • 2016
  • 본 논문에서는 전 세계 스마트폰 기기 시장을 양분하고 있는 안드로이드 스마트폰을 이용하여 원격지에 있는 영상을 실시간으로 확인할 수 있는 시스템을 설계하고 제안하였다. 이 무선 영상 전송 시스템은 개인이 실시간 현지 상황을 서버에 접속한 단말들에 전달하거나 이동 가능한 드론, 로봇 차량 등의 장치에 설치하여 현장 확인, 영상을 통한 보안 감시로 이용할 수 있을 것이다. 보안 감시 및 재난안전 예방을 위해 데이터를 긴급히 보내야하는 경우도 있다. 이러한 이용 분야들에 적용하면 응급상태나 재난예방, 보안감시에 있어 중요한 역할을 한다. 따라서 효율적인 실시간 스트리밍 전송을 위해서 본 논문에서는 병렬 TCP 통신 (parallel stream)을 이용하여 구현하였다. 결론적으로, 병렬 TCP 통신을 이용한 시스템의 효과를 다양한 환경에서 평가하고 성능 분석도 하였다.

P2P 기반의 UCC 방송에서 협상을 통한 업로드 트래픽의 개선 (Improvement of Upload Traffic through Negotiation in UCC Broadcasting System)

  • 김지훈
    • 디지털산업정보학회논문지
    • /
    • 제10권3호
    • /
    • pp.171-179
    • /
    • 2014
  • Among the P2P based multimedia streaming architecture, multiple chain architecture has advantage in adapting to dynamically changing network topology simply and rapidly, so this architecture is used for UCC broadcasting system. In UCC broadcasting system, general peer involved in DSLAM becomes UCC server rather than broadcasting system that transfers data from ISP servers. Therefore UCC data generated from UCC server peers is transmitted to peers through DSLAM, and this transmission uses uplink bandwidth of DSLAM. In this paper, I propose an efficient management method of DSLAM uplink bandwidths through negotiating tracker and UCC server peer or head peers of DSLAM. I propose the method that tracker restricts a bitrate of uplink stream of UCC servers when used uplink bandwidth of DSLAM exceeds a certain point of maximum uplink bandwidths. I will show the improved performance of proposed scheme rather than general method with respect to the uplink bandwidth of DSLAM by numerical analysis and simulation.

Examining Interaction Patterns in Online Discussion through Multiple Lenses

  • HAN, Seungyeon
    • Educational Technology International
    • /
    • 제15권2호
    • /
    • pp.117-141
    • /
    • 2014
  • This qualitative study investigated different interaction patterns in an online discussion. The data was collected from asynchronous discussion occurred in a graduate course. The data analysis methods include inductive analysis and mapping strategy. The results of the study suggest three layers of interaction: response sequences, interaction amongst participants, and concept map of messages. The visualization of response sequences enabled the researcher to discover complex and dynamic interaction patterns amongst participants. The many-to-many communication feature of online discussion does not always enable direct one-on-one interaction between two participants. Rather, one message contributed to multiple threads in the stream of conversation. In terms of interaction amongst participants, the interaction amongst participants, as indicated in the data, the messages also bind each participant and consequently a group(s) of participants together. It appears that the contribution of one message may not only enable a response to one participant, but also connect many participants to each other. The concept map of messages proposes that response sequences and interaction amongst participants can also be viewed between concepts within messages in the discussion. On the surface, the messages posted by individuals are linked by the system in a linear fashion as they are posted. However, the interaction extends to collaborative conversation amongst participants. Ultimately, a conceptual network of interrelated ideas including multiple perspectives is built in asynchronous discussion.