• 제목/요약/키워드: 데이터 분산 서비스

검색결과 775건 처리시간 0.042초

스마트 항로표지 서비스를 위한 데이터 전처리 기술 연구

  • 박종빈;김경원
    • 한국항해항만학회:학술대회논문집
    • /
    • 한국항해항만학회 2022년도 춘계학술대회
    • /
    • pp.85-87
    • /
    • 2022
  • 스마트 항로표지 장치에서는 위도와 경도에 대응하는 각종 센싱정보가 시계열 형식으로 생산되므로 다양한 서비스 개발이 용이하다. 그러나 데이터의 수집 및 관리 주체가 상이하고, 시스템이 분산된 상태이며, 같은 항로표지에 대해서도 저장 포맷이 다를 수 있는 등 데이터의 효과적인 활용측면에서 제약이 많았다. 이를 해결하기 위해 본 논문에서는 파편적으로 수집된 스마트 항로표지 원시 데이터를 효과적으로 결합하고 다양한 위치기반 서비스 제공에 적합하게 가공하는 데이터 전처리 기술을 제안한다.

  • PDF

효율적인 노래방 서비스를 위한 멀티미디어 분산 프락시 캐슁 구조 (Multimedia Distributed Proxy Caching Mechanism for Effective Noraebang Service)

  • 김동수;김영준;김익수
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2001년도 춘계학술발표논문집 (상)
    • /
    • pp.155-158
    • /
    • 2001
  • 본 논문은 주문형 서비스의 한 분야로서 부족한 네트워크 자원을 고갈시키지 않을 뿐만 아니라 서버의 부하를 크게 경감시켜 MOD의 성능을 최대화시켜 효율적인 노래방 서비스를 위한 새로운 프락시 캐슁을 제안한다. 제안된 프락시 캐슁 구조는 일반적인 unicast 전송으로 멀티미디어 데이터를 서비스 받고 동시에 요청된 데이터가 다른 종단노드(HEN)에 이미 캐슁 되어 있을 경우 후 순위 예약 곡들을 그 종단노드(HEN)로부터 데이터를 전송 받아 스위칭 에이전트(SA)의 스위칭 테이블을 통해 미리 디스크에 저장하여 unicast 채널의 서비스 종료된 다음 후 순위 예약 곡을 서비스 받는 방법을 사용한다. 제안된 분산 프락시 캐슁은 예약 곡목이 많을수록 서버 부하와 과도한 네트워크 트래픽으로 인한 병목현상으로 인한 지연을 크게 감소시킬 수 있고, 시뮬레이션을 통해 성능의 우수함을 확인하였다.

  • PDF

트랜스코딩 서버 간 부하 분산을 위한 트랜스코딩 부하 예측 (Transcoding Load Estimation for Load Distribution between Transcoding Servers)

  • 김종우;허난숙;서동만;정인범
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2008년도 춘계학술발표대회
    • /
    • pp.909-912
    • /
    • 2008
  • 무선 네트워크의 발달로 인해 이동 사용자가 급증함에 따라 무선 네트워크 환경에서도 질 높은 미디어 스트리밍 서비스를 받기 위한 수요가 증가하고 있다. 그러나 무선 네트워크는 유선 네트워크보다 상대적으로 좁은 네트워크 대역폭을 가진다. 또한 유선 네트워크 환경의 단말기에 비해 제한된 시스템 자원을 가지므로 유선 네트워크 환경의 사용자를 위한 고화질 미디어 데이터를 그대로 스트리밍 서비스 받기에 적합하지 않다. 최근 이러한 문제를 해결하기 위한 방법으로 미디어 트랜스코딩 서비스가 활발하게 연구되고 있다. 다수의 트랜스코딩 서버로 구성된 분산 트랜스코딩 시스템에서 특정 서버로 트랜스코딩 작업이 집중될 경우 사용자에게 질 높은 수준의 미디어 스트리밍 서비스를 제공하기 어렵다. 때문에 각 트랜스코딩 서버간의 균형적인 부하 분산이 중요한 문제가 되며, 처리되는 미디어 데이터의 특성을 부하 분산에 반영할 필요가 있다. 본 논문에서는 MPEG-2 미디어 데이터의 트랜스코딩 과정을 분석함으로써 비트율 변경에 따른 트랜스코딩 작업 시간 예측 기법을 제안한다. 제안된 기법은 트랜스코딩 서버 정보와 영화 정보, 목적 트랜스코딩 비트율을 이용하여 예상 트랜스코딩 시간을 예측한다.

분산 데이터베이스 환경에서 고객관리를 위한 실체화된 뷰 유지 방법론 (AMaterialized View Maintenance Methodology for Customer Management in a Distributed Database Environment)

  • 이현창
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2002년도 추계학술발표논문집 (하)
    • /
    • pp.1851-1854
    • /
    • 2002
  • 일반적으로 고객 관리를 위한 고객 데이터는 운영 시스템 환경 여건상 다양한 분산 데이터베이스 시스템에 저장되어 있다. 이와 같이 분산 저장된 데이터들로부터 고객들의 향후 경향이나 추세 분석 등 의사 결정에 필요한 데이터로 활용하고자 할 때는 데이터베이스에 저장된 대량의 데이터가 고객 분석에 적합한 형태로 구성되어 서비스되어야 한다. 이에 적절한 구조가 데이터 웨어하우스 구조이며, 데이터 웨어하우스는 분산 저장된 각각의 소스들로부터 발생된 변경 정보들을 실시간으로 데이터 웨어하우스에 반영되어야한다. 이렇게 함으로써 정확한 의사 결정을 수행할 수 있게 된다. 이에 본 논문에서는 분산 컴퓨팅 환경에서 고객 관리를 정확하고 효과적으로 이루어질 수 있도록 기본 소스에서 발생된 데이터 변경을 웨어하우스에 실시간으로 전달하여 정확한 데이터를 유지할 수 있는 방법론을 제시하고자 한다. 또한 제시된 방법의 실험 평가 결과를 간략하게 도시하여 나타내었다.

  • PDF

Public Cloud 기반 Hadoop Cluster를 이용한 IoT 데이터 처리 시스템 설계 (IoT Data Processing System Using a Public Cloud based Hadoop Cluster)

  • 이황로;최은미
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 추계학술발표대회
    • /
    • pp.188-191
    • /
    • 2013
  • 인간과 사물, 서비스 세 가지 분산된 환경 요소에 대해 인간의 명시적 개입 없이 상호 협력적으로 센싱, 네트워킹, 정보 처리 등 지능적 관계를 형성하는 사물 공간 연결망인 IoT(Internet of Things)에서 센싱된 정보를 처리하고 서비스하기 위한 환경을 적시적소에 배치(Depolyment) 하기 위하여 클라우드 서비스와의 연동방법에 대해 본 논문에서 연구하였다. Public Cloud환경에서 Hadoop Cluster를 구성하여 IoT 서비스에 적용할 수 있는 통합 환경을 구축하면 폭발적으로 증가하는 IoT 데이터를 저장하고 빠른 시간안에 이를 효과적으로 처리 및 분석하기 위한 시스템 구축이 가능하며 분산 저장소에 저장된 데이터를 분석하고 의미있는 지식을 발견하여 새로운 비즈니스 모델 창출에 기여할 수 있다. 본 논문에서 Public Cloud 환경에서 Hadoop Clouster를 구성하여 IoT에서 생성되는 데이터를 효과적으로 처리하고 분석할 수 있는 방법을 제안한다.

압축 방식에 따른 분산 메시징 시스템 성능 분석 (Performance Analysis of Distributed Messaging System by Compression Method)

  • 황윤영;김수진;신용태
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2021년도 추계학술발표대회
    • /
    • pp.524-527
    • /
    • 2021
  • 인터넷 서비스의 발전으로 프로젝트의 규모가 커짐에 따라 발생하는 문제를 해결하기 위해 프로젝트의 구조가 Monolith 구조에서 Micro Service 구조로 변하는 중이다. Micro Service 구조는 각각 독립된 데이터베이스를 가지기 때문에 각 서비스들 간에 데이터를 공유하고 관리하는 것에 어려움이 있다. Apache Kafka와 같은 분산 메시징 시스템은 여러 개로 분산된 서비스 간에 메시지를 전송 및 수신하여 데이터의 통신과 교환을 가능하게 한다. 본 논문에서는 분산 메시징 시스템에서 지원하는 압축 방식 별로 성능을 측정하고 분석하고자 한다.

분산 웹 환경에서의 위치기반 라우팅 서비스 (LOCATION BASED ROUTING SERVICE IN DISTRIBUTED WEB ENVIRONMENT)

  • 김도현;김민수;장병태
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2003년도 추계학술발표논문집 (중)
    • /
    • pp.709-712
    • /
    • 2003
  • 이동체의 위치를 기반으로 하는 다양한 응용 어플리케이션들은 그 영역을 점차 확대하고 있다. 위치를 기반으로 한다는 것은 이동체의 현재위치 뿐만 아니라 과거 및 미래 위치에 대한 예측을 모두 포함한다. 이런 이동체의 위치를 효율적으로 적용할 수 있는 분야가 이동체의 위치 기반 라우팅 분석 이다. 이는 특정 이동체의 과거 위치 궤적, 실시간 현재 위치 추적, 그리고 지도정보와 결합된 최단 및 최적 경로 산출 등의 다양한 분야를 포함한다. 본 논문에서는 이런 위치 기반 라우팅 서비스를 웹 서비스 환경으로 확장한 내용을 언급한다. 웹 지리정보시스템은 사용자에게 친숙한 방법으로 지리, 속성데이터의 디스플레이 및 분석 등 다양한 서비스를 제공한다. 이는 위치기반 라우팅 서비스를 웹 지리정보시스템과의 결합하여 분산 웹 환경에서 효율적으로 라우팅 서비스를 제공할 수 있는 구조를 서술한다. 이동체의 위치는 GPS 기반의 획득 방법으로 얻어지고 지리정보와의 맵 매칭을 통해 실세계의 좌표로 변환하게 된다. 또한, 대용량 위치 데이터를 엑세스 하기 위한 메모리와 기억장치 간의 효율적인 데이터 엑세스 기법이 제시된다. 위치 기반 라우팅 분석의 결과물은 웹상에서 제공되기 위해 XML 기반의 웹 서비스 데이터로 변형된다. 이를 위한 XML 기반의 지리정보 데이터 스카마인 GML 의 적용 기술을 언급한다.

  • PDF

대용량 데이터의 분산 처리를 위한 클라우드 컴퓨팅 환경 최적화 및 성능평가 (Optimization and Performance Analysis of Cloud Computing Platform for Distributed Processing of Big Data)

  • 홍승태;신영성;장재우
    • Spatial Information Research
    • /
    • 제19권4호
    • /
    • pp.55-71
    • /
    • 2011
  • 최근 IT 분야에서 인터넷을 기반으로 IT 자원들을 서비스 형태로 제공하는 클라우드 컴퓨팅에 대한 관심이 증대되고 있으며, 이에 따라 대규모 데이터를 수많은 서버들에 분산 저장하고 관리하기 위한 분산 데이터 처리 기법에 대한 연구가 활발히 진행되고 있다. 한편 GIS 기술의 성장과 더불어 급격히 증가하고 있는 공간 데이터를 효율적으로 활용하기 위해서는, 클라우드 컴퓨팅을 이용한 대용량 공간데이터의 분산 처리가 필수적이다. 이를 위해 본 논문에서는 대표적인 분산 데이터 처리 기법에 대해 살펴보고, 분산 데이터 처리 기법 성능 개선을 위한 최적화 요구사항을 분석한다. 마지막으로 Hadoop 기반 클러스터를 구축하고 이를 통해서 분산 데이터 처리 기법의 성능 최적화에 대한 성능평가를 수행한다.

분산 환경에서의 클러스터화된 밀집 인덱스 기반 효율적인 불균등 분포 데이터의 조인 기법 (Dense Clustering Index Based Efficient Join Method to Handle Skewed Data in Distributed Environment)

  • 김재형;박상현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2014년도 춘계학술발표대회
    • /
    • pp.656-659
    • /
    • 2014
  • 오픈소스로부터 촉발된 분산 시스템의 보편화로 기존 상용 시스템으로는 제공하지 못한 다양한 종류의 서비스가 각광받고 있다. 특히, 테라바이트 단위를 넘어 페타바이트 단위의 데이터를 다루는 서비스의 등장으로 드러난 오픈소스 분산 시스템의 문제를 개선하기 위한 시도가 학계 및 업계에서 다각적으로 이뤄지고 있다. 이러한 시도는 새로운 방법론을 제시하는 것에서부터 기존 분산 데이터베이스 관리 시스템(Distributed DBMS)에서 사용된 방법론들을 적용하는 것까지 다양하게 이뤄지고 있다. 본 논문에서는 특정 키 값(Key Value)에 불균등 분포된 데이터에 대한 조인 연산의 탐색 공간을 밀집 인덱스를 통해 줄여 비교적 높은 시간 복잡도를 완화하는 방법론을 제시하고자 한다.

IEEE 1516 HLA/RTI 표준을 만족하는 데이터 분산 관리 모듈의 설계 및 구현 (Design and Implementation of Data Distribution Management Module for IEEE 1516 HLA/RTI)

  • 안정현;홍정희;김탁곤
    • 한국시뮬레이션학회논문지
    • /
    • 제17권2호
    • /
    • pp.21-29
    • /
    • 2008
  • High Level Architecture(HLA)는 이기종의 시뮬레이터간 연동을 위한 명세(Specification)이며 Run-Time Infrastructure(RTI)는 이를 구현한 소프트웨어이다. IEEE 1516 HLA/RTI 관리 서비스 중 하나인 데이터 분산 관리 서비스는 시뮬레이터간에 주고 받는 데이터양을 필터링하는 방법이다. 데이터 분산 관리의 목적은 다른 페더레이트가 필요로 하는 데이터만 전달함으로 효율적인 데이터 통신을 가능하게 하는 것이다. 본 논문은 경량화된 RTI를 위해 새로운 데이터 분산 관리 설계 발상에 대해서 제안하고 그것의 구현에 대해서 보여준다. 이 데이터 분산 관리의 설계 발상은 페더레이트와 페더레이션 프로세스에서 생산하는 메시지 수를 최소화하는데 있다. 각 페더레이트는 보통 시뮬레이션이 시작할 때 데이터를 송신(Publish)/수신(Subscribe) 한다. 또한 각 페더레이트는 시뮬레이션 시간이 계속적으로 진행되는 도중에 데이터를 갱신하고 이와 연관된 Region을 수정한다. 그러므로 제안된 데이터 분산 관리 디자인은 복잡한 송신(Publish)/수신(Subscribe) 서비스를 이용하여 빠른 데이터 갱신과 Region을 수정을 할 수 있도록 한다. 이를 적용하여 제안된 DDM 데이터 전달 방식으로 IEEE 1516 HLA/RTI 인터페이스에 만족하도록 구현하였다. 그리고 제안된 DDM 데이터 전달 방식의 성능을 측정하였다. 또한 region을 변경시키며 overlap ratio를 변화시키며 데이터양을 증가시키며 다양한 시나리오로 실험하였다.

  • PDF