• 제목/요약/키워드: MapReduce Online

검색결과 10건 처리시간 0.024초

맵리듀스 온라인 프레임워크에서 공간 데이터 스트림 처리를 위한 동적 부하 관리 기법 (Dynamic Load Management Method for Spatial Data Stream Processing on MapReduce Online Frameworks)

  • 정원일
    • 한국산학기술학회논문지
    • /
    • 제19권8호
    • /
    • pp.535-544
    • /
    • 2018
  • 다양한 센서를 내장하고 고품질의 무선 네트워크 통신 기능을 탑재한 이동 장치의 보급이 확대됨에 따라 다양한 서비스 환경에서 이동 장치로부터 생성되는 시공간 데이터 량도 빠르게 증가하고 있다. 이와 같이 실시간 특성을 갖는 대량의 공간 데이터 스트림을 처리하기 위한 기존의 연구에서 하둡 기반의 공간 빅 데이터 시스템은 일괄 처리 방식의 플랫폼으로 공간 데이터 스트림에 대한 실시간 서비스에 적용하기에는 매우 어렵다. 이에 본 논문에서는 맵리듀스 온라인 프레임워크를 확장하여 연속적으로 입력되는 공간 데이터 스트림에 대한 실시간 질의 처리를 지원하고, 질의 처리 과정에서 야기될 수 있는 부하 문제를 효과적으로 분산하는 부하 관리 기법을 제안한다. 제안 기법에서는 공간 분할 영역을 기반으로 입력 데이터의 유입율과 부하율을 이용하여 노드들에 대해 동적으로 부하를 분산하는 기법을 제시하였다. 실험에서는 특정 공간 영역에서의 부하 관리가 요구될 때 해당 영역에서의 공간 데이터 스트림을 공유하는 자원들에게 분배함으로써 효과적인 질의 처리를 지원할 수 있음을 보인다.

분산형 서버 구조 기반 Map 밸런스 서버를 이용한 게임 서버 간 부하 관리 방법 (A Management method of Load Balancing among Game Servers based on Distributed Server System Using Map Balance Server)

  • 김순곤;이남재;양승원
    • 한국항행학회논문지
    • /
    • 제15권6호
    • /
    • pp.1034-1041
    • /
    • 2011
  • 일반적으로 분산 형 구조의 게임서버시스템 하에서 게임 배경처리는 일정크기로 나누어진 여러 개의 부분 배경들을 다수의 게임서버가 나누어서 처리한다. 그런데 분할된 게임 배경에 대한 게임 사용자들의 선호도가 사용자의 특성에 따라 다르게 나타나기 때문에 모든 게임 배경 내 사용자들의 분포를 일률적으로 만들기는 매우 어렵다. 이 때문에 캐릭터들이 한 장소에 급격히 집중되어 게임이 진행되는 경우, 서버가 처리할 수 있는 한계를 넘어 시스템이 일시적으로 다운되는 문제가 발생 할 수 있으며, 그 반대의 경우 수행할 캐릭터가 없는 상황에서도 배경처리를 계속 수행해야 하므로 게임서버의 효율이 상당히 떨어지게 된다. 이를 해결하기 위하여 본 논문에서는 Map 밸런스 서버를 이용하여 사용자 처리를 위한 부하를 비교적 균등화 시킬 수 있는 Map 관리 방법을 제안 하였다. 제안한 모델 하에서는 사용자가 활동하지 않는 게임 내 공간 처리를 일시 중지시키는 방법으로 게임 서버의 부하를 감소시킬 수 있으며, 서버 간 처리하는 배경을 새로 할당하여 부하를 재분배함으로써 서버들의 효율을 극대화할 수 있다.

클라우드 컴퓨팅에서 Handheld Devices 기반의 M2M 및 IoT 온라인 쇼핑 서비스 프레임워크 (Framework of Online Shopping Service based on M2M and IoT for Handheld Devices in Cloud Computing)

  • 아이만 압둘라 알사파르;모하마드 아잠;박준영;허의남
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 춘계학술발표대회
    • /
    • pp.179-182
    • /
    • 2013
  • We develop Framework architecture of Online Shopping Services based on M2M and IoT for Handheld Devices in Cloud Computing. MapReduce model will be used as a method to simplify large scale data processing when user search for purchasing products online which provide efficient, and fast respond time. Therefore, providing user with a enhanced Quality of Experience (QoE) as well as Quality of Service (QoS) when purchasing/searching products Online from big data.

Sparse Feature Convolutional Neural Network with Cluster Max Extraction for Fast Object Classification

  • Kim, Sung Hee;Pae, Dong Sung;Kang, Tae-Koo;Kim, Dong W.;Lim, Myo Taeg
    • Journal of Electrical Engineering and Technology
    • /
    • 제13권6호
    • /
    • pp.2468-2478
    • /
    • 2018
  • We propose the Sparse Feature Convolutional Neural Network (SFCNN) to reduce the volume of convolutional neural networks (CNNs). Despite the superior classification performance of CNNs, their enormous network volume requires high computational cost and long processing time, making real-time applications such as online-training difficult. We propose an advanced network that reduces the volume of conventional CNNs by producing a region-based sparse feature map. To produce the sparse feature map, two complementary region-based value extraction methods, cluster max extraction and local value extraction, are proposed. Cluster max is selected as the main function based on experimental results. To evaluate SFCNN, we conduct an experiment with two conventional CNNs. The network trains 59 times faster and tests 81 times faster than the VGG network, with a 1.2% loss of accuracy in multi-class classification using the Caltech101 dataset. In vehicle classification using the GTI Vehicle Image Database, the network trains 88 times faster and tests 94 times faster than the conventional CNNs, with a 0.1% loss of accuracy.

대규모 로그를 사용한 유저 행동모델 분석 방법론 (The Analysis Framework for User Behavior Model using Massive Transaction Log Data)

  • 이종서;김성국
    • 한국빅데이터학회지
    • /
    • 제1권2호
    • /
    • pp.1-8
    • /
    • 2016
  • 사용자로그는 많은 숨겨진 정보를 포함하고 있지만 데이터 정형화가 이루어지지 않았고, 데이터 크기도 너무 방대하여 처리하기 까다로워서 아직 밝혀져야 할 부분들을 많이 내포하고 있다. 특히 행동마다의 모든 시간정보를 포함하고 있어서 이를 응용하여 많은 부분을 밝혀낼 수 있다. 하지만 로그데이터 자체를 바로 분석으로 사용할 수는 없다. 유저 행동 모델 분석을 위해서는 별도의 프레임워크를 통한 변환과정들이 필요하다. 이 때문에 유저 행동모델 분석 프레임워크를 먼저 파악을 하고 데이터에 접근해야 한다. 이 논문에서는, 우리는 유저 행동모델을 효과적으로 분석하기 위한 프레임워크 모델을 제안한다. 본 모델은 대규모 데이터를 빨리 처리하기 위한 분산환경에서의 MapReduce 프로세스와 유저별 행동분석을 위한 데이터 구조 설계에 대한 부분을 포함한다. 또한 실제 온라인 서비스 로그의 구조를 바탕으로 어떤 방식으로 MapReduce를 처리하고 어떤 방식으로 유저행동모델을 분석을 위해 데이터 구조를 어떤식으로 변형할지 설명하고, 이를 통해 어떤 방식의 모델 분석으로 이어질지에 대해 상세히 설명한다. 이를 통해 대규모 로그 처리방법과 분석모델 설계에 대한 기초를 다질 수 있을 것이다.

  • PDF

GIS기반 소방취약지 분석관리 서비스 플랫폼 개발 (A Service Platform Development on the GIS-based Analysis and Management of the Fire-fighting Vulnerable Areas)

  • Song, Wanyoung;Cho, Kwanghyun;Cho, Myeongheum;Kim, Seonggon;Kim, Sungjae
    • 한국재난정보학회 논문집
    • /
    • 제11권2호
    • /
    • pp.269-278
    • /
    • 2015
  • 소방취약지 분석 관리를 위한 공간정보 분석기법을 자동화하고 소방주제도를 갱신 구축하여 온라인으로 탑재하는 서비스 플랫폼 기술을 개발하였다. 그 결과, 플랫폼을 통하여 화재진압 활동에 필요한 사전 정보가 제공되는 기반이 마련되었다. 이 결과에 향후 소방취약지 활용서비스 연구가 뒷바침되면 화재진압 현장의 골든타임을 감소시킬 수 있다. 소방분야에 적합한 공간분석과 자동화, 손쉬운 서비스 탑재 운영으로 전문적 관리와 서비스 확대 개선에 만족할 만한 기술적 가능성을 확인하였다.

Reliability-aware service chaining mapping in NFV-enabled networks

  • Liu, Yicen;Lu, Yu;Qiao, Wenxin;Chen, Xingkai
    • ETRI Journal
    • /
    • 제41권2호
    • /
    • pp.207-223
    • /
    • 2019
  • Network function virtualization can significantly improve the flexibility and effectiveness of network appliances via a mapping process called service function chaining. However, the failure of any single virtualized network function causes the breakdown of the entire chain, which results in resource wastage, delays, and significant data loss. Redundancy can be used to protect network appliances; however, when failures occur, it may significantly degrade network efficiency. In addition, it is difficult to efficiently map the primary and backups to optimize the management cost and service reliability without violating the capacity, delay, and reliability constraints, which is referred to as the reliability-aware service chaining mapping problem. In this paper, a mixed integer linear programming formulation is provided to address this problem along with a novel online algorithm that adopts the joint protection redundancy model and novel backup selection scheme. The results show that the proposed algorithm can significantly improve the request acceptance ratio and reduce the consumption of physical resources compared to existing backup algorithms.

E-voting Implementation in Egypt

  • Eraky, Ahmed
    • Journal of Contemporary Eastern Asia
    • /
    • 제16권1호
    • /
    • pp.48-68
    • /
    • 2017
  • Manual elections processes in Egypt have several negative effects; that mainly leads to political corruption due to the lack of transparency. These issues negatively influence citizen's participation in the political life; while electronic voting systems aim to increase efficiency, transparency, and reduce the cost comparing to the manual voting. The main research objectives are, finding the successful factors that positively affects E-voting implementation in Egypt, in addition of finding out the reasons that keep Egyptian government far from applying E-voting, and to come up with the road map that Egyptian government has to take into consideration to successfully implement E-voting systems. The findings of the study suggest that there are seven independent variables affecting e-voting implementation which are; leadership, government willingness, legal framework, technical quality, awareness, citizen's trust in government and IT literacy. Technology-Organization-Environment (TOE) theory was used to provide an analytical framework for the study. A quantitative approach (i.e., survey questionnaire) strategy was used to collect data. A random sampling method was used to select the participants for the survey, whom are targeted voters in Egypt and have access to the internet, since the questionnaire was distributed online and the data is analyzed using regression analysis. Practical implications of this study will lead for more citizen participation in the political life due to the transparency that E-voting system will create, in addition to reduce the political corruption.

Big IoT Healthcare Data Analytics Framework Based on Fog and Cloud Computing

  • Alshammari, Hamoud;El-Ghany, Sameh Abd;Shehab, Abdulaziz
    • Journal of Information Processing Systems
    • /
    • 제16권6호
    • /
    • pp.1238-1249
    • /
    • 2020
  • Throughout the world, aging populations and doctor shortages have helped drive the increasing demand for smart healthcare systems. Recently, these systems have benefited from the evolution of the Internet of Things (IoT), big data, and machine learning. However, these advances result in the generation of large amounts of data, making healthcare data analysis a major issue. These data have a number of complex properties such as high-dimensionality, irregularity, and sparsity, which makes efficient processing difficult to implement. These challenges are met by big data analytics. In this paper, we propose an innovative analytic framework for big healthcare data that are collected either from IoT wearable devices or from archived patient medical images. The proposed method would efficiently address the data heterogeneity problem using middleware between heterogeneous data sources and MapReduce Hadoop clusters. Furthermore, the proposed framework enables the use of both fog computing and cloud platforms to handle the problems faced through online and offline data processing, data storage, and data classification. Additionally, it guarantees robust and secure knowledge of patient medical data.

소셜미디어 감성분석을 위한 베이지안 속성 선택과 분류에 대한 연구 (Investigating the Performance of Bayesian-based Feature Selection and Classification Approach to Social Media Sentiment Analysis)

  • 강창민;어균선;이건창
    • 경영정보학연구
    • /
    • 제24권1호
    • /
    • pp.1-19
    • /
    • 2022
  • 온라인 사용자들이 소셜 미디어상에 올린 온라인 리뷰 속 숨겨진 감정을 분석하는 감성분석은 소셜미디어의 확산에 힘입어 많은 관심을 받고 있다. 본 연구는 기존 연구들과 차별화된 방법으로 감성분석을 시도하기 위하여 베이지안 네트워크에 기반한 감성 분석 모델을 제안한다. 모델에는 MBFS(Markov Blanket-based Feature Selection)가 속성 선택 기법으로 사용된다. MBFS의 성과를 실증적으로 증명하기 위하여 소셜미디어인 Yelp의 리뷰 데이터를 활용하였다. 벤치마킹 속성 선택 기법으로는 상관관계기반 속성 선택, 정보획득 속성 선택, 획득비율 속성 선택을 사용하였다. 한편, 해당 속성선택방법을 토대로 4개의 머신러닝 알고리즘을 이용하여 분류성과를 비교하였다. 나아가 MBFS로 선택된 속성들 간 인과관계를 확인하고자 베이지안 네트워크를 통해 What-if 분석을 실시하였다. 본 연구에서 택한 머신러닝 분류기는 베이지안 네트워크 기반의 TAN (Tree Augmented Naive Bayes), NB (Naive Bayes), S-Spouses(Sons & Spouses), A-markov (Augmented Markov Blanket)이다. 성과분석 결과 본 연구에서 제안한 MBFS 방법이 정확도, 정밀도, F1점수 측면에서 벤치마킹 방법보다 더 우수한 성과를 나타내었다.