• 제목/요약/키워드: Distributed Data

검색결과 5,976건 처리시간 0.039초

대규모 분산 시뮬레이션 환경을 위한 실시간성 지원 DDS/SDN 통합 아키텍쳐 (DDS/SDN integration architecture with real-time support for large-scale distributed simulation environments)

  • 김다올;조인휘;김원태
    • 전기전자학회논문지
    • /
    • 제22권1호
    • /
    • pp.136-142
    • /
    • 2018
  • 최근 개발 시스템의 대형화로 순차적 시뮬레이션 방법으로는 오랜 시간이 소요되거나 실시간으로 결과가 요구되는 시스템 검증이 불가능해 졌다. 때문에 여러 프로세스로 나누어 시뮬레이션하는 분산 시뮬레이션 시스템의 연구가 진행되었다. 그리고 실시간 시스템의 시뮬레이션을 위해 분산된 시스템들 간의 효율적인 데이터 교환이 필요하다. Data Distribution Service는 Object Management Group에서 제안한 데이터 중심의 통신 미들웨어로 효율적인 데이터 교환과 다양한 QoS를 제공한다. 그러나 광역에 분포되어 있는 대규모 분산 시뮬레이션 환경에서는 데이터 교환 시 도메인 분리로 참여자 탐색 문제와 QoS 보장의 어려움을 갖는다. 따라서, 본 논문에서는 SDN 기반의 네트워크에서 QoS보장과 효과적인 참여자 탐색이 가능한 DDS/SDN 아키텍처를 제안한다.

Spatial Clearinghouse Components for OpenGIS Data Providers

  • Oh, Byoung-Woo;Kim, Min-Soo;Lee, Jong-Hun
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 1999년도 Proceedings of International Symposium on Remote Sensing
    • /
    • pp.84-88
    • /
    • 1999
  • Recently, the necessity of accessing spatial data from remote computer via network has been increased as distributed spatial data have been increased due to their size and cost. Many methods have been used in recent years for transferring spatial data, such as socket, CORBA, HTTP, RPC, FTP, etc. In this paper, we propose spatial clearinghouse components to access distributed spatial data sources via CORBA and Internet. The spatial clearinghouse components are defined as OLE/COM components that enable users to access spatial data that meet their requests from remote computer. For reusability, we design the spatial clearinghouse with UML and implement it as a set of components. In order to enhance interoperability among different platforms in distributed computing environment, we adopt international standards and open architecture such as CORBA, HTTB, and OpenGIS Simple Features Specifications. There are two kinds of spatial clearinghouse: CORBA-based spatial clearinghouse and Internet-based spatial clearinghouse. The CORBA-based spatial clearinghouse supports COM-CORBA bridge to access spatial data from remote data providers that satisfy the OpenGIS Simple Features Specification for OLE/COM using COM and CORBA interfaces. The Internet-based spatial clearinghouse provides Web-service components to access spatial data from remote data providers using Web-browser.

  • PDF

사물인터넷 환경에서 센서데이터의 처리를 위한 적응형 우선순위 큐 기반의 작업 스케줄링 (Adaptive Priority Queue-driven Task Scheduling for Sensor Data Processing in IoT Environments)

  • 이미진;이종식;한영신
    • 한국멀티미디어학회논문지
    • /
    • 제20권9호
    • /
    • pp.1559-1566
    • /
    • 2017
  • Recently in the IoT(Internet of Things) environment, a data collection in real-time through device's sensor has increased with an emergence of various devices. Collected data from IoT environment shows a large scale, non-uniform generation cycle and atypical. For this reason, the distributed processing technique is required to analyze the IoT sensor data. However if you do not consider the optimal scheduling for data and the processor of IoT in a distributed processing environment complexity increase the amount in assigning a task, the user is difficult to guarantee the QoS(Quality of Service) for the sensor data. In this paper, we propose APQTA(Adaptive Priority Queue-driven Task Allocation method for sensor data processing) to efficiently process the sensor data generated by the IoT environment. APQTA is to separate the data into job and by applying the priority allocation scheduling based on the deadline to ensure that guarantee the QoS at the same time increasing the efficiency of the data processing.

An Efficient Design and Implementation of an MdbULPS in a Cloud-Computing Environment

  • Kim, Myoungjin;Cui, Yun;Lee, Hanku
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제9권8호
    • /
    • pp.3182-3202
    • /
    • 2015
  • Flexibly expanding the storage capacity required to process a large amount of rapidly increasing unstructured log data is difficult in a conventional computing environment. In addition, implementing a log processing system providing features that categorize and analyze unstructured log data is extremely difficult. To overcome such limitations, we propose and design a MongoDB-based unstructured log processing system (MdbULPS) for collecting, categorizing, and analyzing log data generated from banks. The proposed system includes a Hadoop-based analysis module for reliable parallel-distributed processing of massive log data. Furthermore, because the Hadoop distributed file system (HDFS) stores data by generating replicas of collected log data in block units, the proposed system offers automatic system recovery against system failures and data loss. Finally, by establishing a distributed database using the NoSQL-based MongoDB, the proposed system provides methods of effectively processing unstructured log data. To evaluate the proposed system, we conducted three different performance tests on a local test bed including twelve nodes: comparing our system with a MySQL-based approach, comparing it with an Hbase-based approach, and changing the chunk size option. From the experiments, we found that our system showed better performance in processing unstructured log data.

대용량 데이터의 내용 기반 검색을 위한 분산 고차원 색인 구조 (A Distributed High Dimensional Indexing Structure for Content-based Retrieval of Large Scale Data)

  • 최현화;이미영;김영창;장재우;이규철
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제37권5호
    • /
    • pp.228-237
    • /
    • 2010
  • 고차원 데이터에 대한 다양한 색인 구조가 제안되어 왔음에도 불구하고, 인터넷 서비스로서 이미지 및 동영상의 내용 기반 검색을 지원하기 위해서는 고확장성 지원 및 k-최근접점 검색 성능 향상을 지원하는 새로운 고차원 데이터의 색인 구조가 절실히 요구된다. 이에 우리는 다중 컴퓨팅 노드를 바탕으로 구축되는 분산 색인 구조로 분산 벡터 근사 트리(Distributed Vector Approximation-tree)를 제안한다. 분산 벡터 근사 트리는 대용량의 고차원 데이터로부터 추출한 샘플 데이터를 바탕으로 hybrid spill-tree를 구축하고, hybrid spill-tree외 말단 노드 각각에 분산 컴퓨팅 노드를 매핑하여 VA-file용 구축하는 두 레벨의 분산 색인 구조이다. 우리는 다중 컴퓨팅 노드들 상에 구축된 분산 벡터 근사 트리를 바탕으로 병렬 k-최근접점 검색을 수행함으로써 검씩 성능을 향상시킨다. 본 논문에서는 서로 다른 분포의 데이터 집합을 바탕으로 한 성능 시험 결과를 통하여, 분산 벡터 근사 트리가 기존의 고확장성을 지원하는 색인 구조와 비교하여 검색 정확도에 대한 손실 없이 더 빠른 k-최근접점 검색을 수행함을 보인다.

분산 파일 시스템 기반 NoSQL의 데이터 안정성을 위한 범용 트랜잭션 관리 기법 (General-purpose Transaction Management Technique for Data Stability of NoSQL on Distributed File System)

  • 권영현;윤도현;박호진
    • 디지털콘텐츠학회 논문지
    • /
    • 제16권2호
    • /
    • pp.299-306
    • /
    • 2015
  • 본 논문에서는, 분산 파일 시스템을 기반으로 하는 NoSQL의 데이터 안정성 확보를 연구하였다. 본 논문의 궁극적 목표인 분산 파일 시스템 기반의 NoSQL을 구현하는 과정에서 분산 파일 시스템의 제약 조건인 랜덤 쓰기 문제에 봉착했고, 이 문제의 해결을 위해 중간파일의 개념을 사용함으로써 어떠한 장애 상황에서도 데이터의 오염을 방지할 수 있었다. 또한 중간파일을 쓰는 과정에서 기존 파일 시스템에 비해 분산 파일 시스템이 가지는 성능적 열세를 인식하여, NoSQL을 위한 파일 블록 단위를 다시 정의하는 방법으로 성능적 손실을 크게 줄였다. 결과적으로, 본 논문에서는 보편적 분산 파일 시스템의 확장성을 가진 NoSQL을 개발함과 동시에 원자성, 일관성, 고립성, 성능 등의 조건을 만족하는 트랜잭션 관리 기법을 사용함으로써 데이터 안정성을 가지면서 실용적 사용에도 무리가 없는 NoSQL을 구현하였다.

SoFA: 검색 지향 시스템을 위한 분산 파일 시스템 (SoFA: A Distributed File System for Search-Oriented Systems)

  • 최은미;쩐도안타인;비핀 우바디야;파흐릇딘 아지모프;루왕용;장옥향;김상범;김필성
    • 한국시뮬레이션학회논문지
    • /
    • 제17권4호
    • /
    • pp.229-239
    • /
    • 2008
  • 분산 파일 시스템(DFS)은 분산 환경에서 장애와 사본에 대한 투명성을 보장하며 파일을 다수의 물리적인 컴퓨터 노드들에게 저장할 수 있는 메카니즘을 제공한다. 검색엔진, 그리드 컴퓨팅, 데이터 마이닝 어플리케이션등과 같이 많은 양의 데이터를 처리하는 어플리케이션들은 데이터 저장을 위한 백엔드 인프라 구조를 제공할 필요가 있다. 분산 파일 시스템은 이러한 저장 데이터 기반을 위한 주요 구성요소가 된다. 많은 프로젝트의 관심사가 되는 네트워크 컴퓨팅은 이와 같이 설계 및 구현된 분산파일 시스템을 갖추고 있으며, 다양한 아키텍처와 기능들을 시스템의 특성에 따라서 제공하고 있다. 이 논문에서는 대용량의 검색 지향적인 시스템에서 사용되는 SOFA 분산 파일 시스템, 메카니즘들과 성능들을 소개한다.

  • PDF

분포형 개념을 이용한 토사유출량 산정에 관한 연구 (A Study on the Estimation of Sediment Yield Based on a Distributed System Concept)

  • 김웅태;윤용남;박무종;유철상
    • 한국수자원학회논문집
    • /
    • 제34권2호
    • /
    • pp.131-140
    • /
    • 2001
  • 본 연구는 분포형 개념에 기초한 USLE(Universal Soil Loss Equation)의 매개변수의 산정방법과 유역에서 발생한 유사전달률을 중심으로 수행되었다. 그리드를 이용한 분포형 개념의 모형은 경사가 가장 급한 방향으로 한 그리드에서 다른 그리드로 유사를 추적할 수 있다. 여기서는 기존에 조사된 경기도 지역에 위치한 10개의 농업용 저수지의 토사유출량과 유역의 물리적인 특성을 수집하여 연구에 이용하였다. 한 그리드의 유사전달률은 그 그리드의 숲이나 토사이동을 방해하는 면적비와 관계가 있다고 정의하고 $C_1$이라는 비례상수를 도입하였다. 8개 저수지에 대하여 모형을 보정하고 나머지 2개 저수지에 대하며 검정을 실시하였으며 유역의 물리적인 특성과 $C_1$과의 회귀분석을 실시하였다. 회귀분석 결과를 2개의 저수지 유역에 검정한 바 적절한 결과를 보였으며 본 연구에서 제안한 모형의 적용 가능성을 확인할 수 있었다.

  • PDF

네트워크를 이용한 실시간 분산제어시스템에서 데이터 샘플링 주기 결정 알고리듬 (An Algorithm of Determining Data Sampling Times in the Network-Based Real-Time Distributed Control Systems)

  • Seung Ho Hong
    • 전자공학회논문지B
    • /
    • 제30B권1호
    • /
    • pp.18-28
    • /
    • 1993
  • Processes in the real-time distributed control systems share a network medium to exchange their data. Performance of feedback control loops in the real-time distributed control systems is subject to the network-induced delays from sensor to controller, and from controller to actuator. The network-induced delays are directly dependent upon the data sampling times of control components which share a network medium. In this study, an algorithm of determining data sampling times is developed using the "window concept". where the sampling datafrom the control components dynamically share a limited number of windows. The scheduling algorithm is validated through the aimulation experiments.

  • PDF

분산형 FP트리를 활용한 병렬 데이터 마이닝 (Parallel Data Mining with Distributed Frequent Pattern Trees)

  • 조두산;김동승
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2003년도 하계종합학술대회 논문집 V
    • /
    • pp.2561-2564
    • /
    • 2003
  • Data mining is an effective method of the discovery of useful information such as rules and previously unknown patterns existing in large databases. The discovery of association rules is an important data mining problem. We have developed a new parallel mining called Distributed Frequent Pattern Tree (abbreviated by DFPT) algorithm on a distributed shared nothing parallel system to detect association rules. DFPT algorithm is devised for parallel execution of the FP-growth algorithm. It needs only two full disk data scanning of the database by eliminating the need for generating the candidate items. We have achieved good workload balancing throughout the mining process by distributing the work equally to all processors. We implemented the algorithm on a PC cluster system, and observed that the algorithm outperformed the Improved Count Distribution scheme.

  • PDF