• 제목/요약/키워드: Cluster computing environment

검색결과 109건 처리시간 0.023초

서버 클러스터 환경에서 에너지 절약을 위한 향상된 서버 전력 소비 추정 모델 (An Improved Estimation Model of Server Power Consumption for Saving Energy in a Server Cluster Environment)

  • 김동준;곽후근;권희웅;김영종;정규식
    • 정보처리학회논문지A
    • /
    • 제19A권3호
    • /
    • pp.139-146
    • /
    • 2012
  • 서버 클러스터 환경에서 에너지 절약을 위한 방법 중 하나는 서버의 전원을 트래픽 상황에 맞게 제어하는 전원 제어 기술이다. 이는 현재 데이터 센터의 전체 에너지 사용량과 각 서버의 에너지 사용량을 파악하여 적절하게 ON/OFF 상태로 관리하는 기술이다. 이를 위해서 각 서버의 전력을 효과적으로 추정하는 방식이 필요한데, 본 논문에서는 비용 면과 에너지 면에서 효율적인 소프트웨어 방식의 추정 모델을 사용하여 전력을 추정한다. 또한 기존의 전력 추정 모델은 CPU의 유휴(idle) 사용량만을 사용함으로써 현재 서버의 세부적인 CPU 상태나 I/O 장치의 사용량을 정확히 파악하지 못하고, 이는 해당 서버의 전력을 효과적으로 추정하지 못하는 단점으로 이어진다. 본 논문에서는 CPU의 다양한 상태 필드를 활용하여 서버의 CPU 및 시스템의 전반적인 상태를 보다 정확히 파악하고, 이에 따라 서버의 전력을 기존의 두 소비전력 추정 모델(CPU/디스크/메모리 기반의 전력 소비 추정 모델 및 CPU 유휴값 기반의 전력 소비 추정 모델)보다 정확히 측정하는 CPU 필드(field) 기반의 전력 추정 모델을 제안한다. 2대의 서버를 사용하여 실험을 수행하였으며, 전력계를 통해 측정한 실제 전력과 각 추정 모델의 추정 값을 비교하여 평균 오차율을 계산하였다. 실험 결과 기존 소비전력 추정 모델이 평균 8-15%대의 오차율을 보이는 반면, 본 논문에서 제안하는 서버 전력 추정 모델은 2%대의 오차율을 보여 주었다.

실시간 탐지정보 제공을 위한 무인기 플랫폼 기반 실시간 LiDAR 데이터 처리구조 (Unmanned Aircraft Platform Based Real-time LiDAR Data Processing Architecture for Real-time Detection Information)

  • 엄준호;이야수;오상윤
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제21권12호
    • /
    • pp.745-750
    • /
    • 2015
  • LiDAR 기술은 실제와 유사한 수준의 3차원 영상 정보를 제공하는 센싱 기술로, 다양한 분야에서 활용되고 있다. 이 기술을 실제 활용하기 위해서는 복잡하고, 방대한 데이터 처리가 요구되며, 이에 급변하는 상황에서 빠른 대응이 필요한 군사 작전에서의 활용은 제한적이다. 본 논문에서는 무인기 플랫폼 기반의 실시간 LiDAR 데이터 처리구조를 제안하여 LiDAR 데이터 처리를 위해 무인기-고성능 데이터 처리영역 간 병렬처리와 오프로딩을 통해 실시간 수준의 탐지 정보를 제공하도록 제안한다. 또한, 제안 구조의 적용 가능성 검증을 위해 기존 처리 방식과 무인기 플랫폼의 처리환경과 유사한 ARM 클러스터에서의 병렬 처리 방식에서 실제 LiDAR 데이터의 보간 처리를 통해 처리시간, 용량을 확인하는 실험을 수행하였고, 기존 방식과 유사하거나 양호한 결과를 확인하였다. 향후 제안 구조를 기반으로 실시간성 보장이 요구되는 무인 침투자 감시 등 군사 작전에 활용될 수 있을 것이다.

세부 동작 기반 사물인터넷 서비스 분류 기법 개발 (Development of IoT Service Classification Method based on Service Operation Characteristic)

  • 조정훈;이화민;이대원
    • 인터넷정보학회논문지
    • /
    • 제19권2호
    • /
    • pp.17-26
    • /
    • 2018
  • 최근 사물인터넷 서비스의 등장 및 융합으로 통합 사물인터넷 서비스 플랫폼에 관한 다양한 연구가 진행되었다. 현재 사물인터넷 서비스는 서비스 제공자의 목적에 따라 독립적인 시스템으로 구축되어 유사한 서비스를 제공하는 서비스 간의 정보 교환 및 모듈 재사용이 불가능 하였다. 이에 본 연구에서는 통합 사물인터넷 플랫폼 환경을 제공하기 위하여 다양한 서비스들의 세부 동작 기반 서비스 분류 알고리즘을 제안한다. 구현을 통하여 상용화된 100여개의 사물인터넷 서비스를 분류 및 군집화를 진행하였으며 이를 기반으로 K-means알고리즘과 비교하여 제안하는 알고리즘의 성능을 평가하였다. 또한 표본 집단의 부족으로 발생하는 단일 클러스터를 방지하기 위하여 K-means 알고리즘을 활용하여 재 군집화를 진행하였다. 향후 연구로 기존의 서비스 표본 집단을 확대하고 현재 구현한 분류 시스템을 보다 빠르고 대량의 데이터 처리를 위하여 스파크를 활용할 예정이다.

리눅스 기반의 클러스터 VOD서버와 내장형에 클라이언트의 구현 (Implementation of a Cluster VOD Server and an Embedded Client based on Linux)

  • 서동만;방철석;이좌형;김병길;정인범
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제10권6호
    • /
    • pp.435-447
    • /
    • 2004
  • VOD 시스템에서는 한정된 자원을 이용하여 많은 사용자에게 안정적인 QoS(Quality of Service)를 제공하는 것이 중요하다. 실제 구현 환경에서 QoS의 문제점들을 분석하기 위하여 본 연구에서는 소스 공개 플랫폼인 리눅스를 기반으로 하는 클러스터형 VOD 서버와 내장형 클라이언트 시스템을 구현하였다 서버에서는 MPEG 미디어 데이타의 병렬 처리와 부하 균등, VCR 기능을 구현하였다. VOD 사용자에게 보다 친밀한 인터페이스를 제공하기 위하여 일반 TV를 단말로 사용하였고 VCR 기능들을 제공하기 위하여 내장형 보드를 사용하였다. 본 논문에서는 사용자들의 다양한 요구사항에서의 성능 측정을 바탕으로 VOD 시스템의 성능 한계 일인들을 평가한다. 또한, 분석된 자료를 근거로 VOD 시스템에서의 가용 메모리와 가용 네트워크 대역폭을 기준으로 하는 동적 진입 제어의 방법을 제안한다. 제안된 방법은 시스템 자인의 효율성을 증가시켜 더욱 많은 사용자들에게 QoS가 보장되는 미디어 스트림을 제공한다.

SAN 환경에서 공유 디스크 파일 시스템을 위한 전역 버퍼 관리자 (A Global Buffer Manager for a Shared Disk File System in SAN Clusters)

  • 박선영;손덕주;신범주;김학영;김명준
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제10권2호
    • /
    • pp.134-145
    • /
    • 2004
  • 네트워크를 통해 전송되는 데이타의 양이 급속히 증가함에 따라 확장성 있는 저장 시스템에 대한 사용자 요구가 증가하고 있다. 네트워크 연결형 자료 저장 시스템인 SAN(Storage Area Network)은 호스트와 디스크를 광채널 스위치로 연결하는 구조로서 저장 공간과 서버에 대한 확장성을 제공한다. SAN 환경에서는 다수의 호스트가 네트워크에 연결된 저장 장치를 공유하므로 공유 데이타에 대한 일관성 유지가 필요하다. 이를 위해 각 호스트가 수정한 데이타를 즉시 디스크에 반영하는 방법을 사용하고 있지만 이는 느린 디스크 접근 시간(Disk Access Time)으로 인해 시스템의 성능을 저하시키는 요인이 된다. 본 논문에서는 필요한 공유 데이타를 다른 호스트의 메모리를 통해서 직접 전송 받을 수 있도록 하여 공유 데이타의 접근 속도를 향상시킬 수 있는 전역 버퍼 관리자의 설계와 구현에 대해 소개한다. SANtopia 전역 버퍼 관리자는 SAN에 연결된 호스트들이 서로의 버퍼 캐시를 공유하도록 함으로써 블록 데이타로의 빠른 접근을 가능하게 한다. 마이크로 벤치마크를 통한 블록 단위 I/O의 성능 측정 결과, 전역 버퍼 관리자를 사용하는 것이 기존의 디스크 I/O를 사용하는 방법에 비해 약 1.8-12.8배 정도 빠른 성능을 보였으며 파일 시스템 벤치마크를 통한 성능 측정 결과. 전역 버퍼 관리자를 사용한 SANtopia 파일 시스템은 사용하지 않은 것과 비교해서 디렉터리 파일 시스템 콜의 경우 약 1.06배 정도 빠르고 일반 파일시스템 콜은 약 1.14배 정도 빠른 성능을 보였다.

DSCP 재정의를 통한 효율적인 QoS 정책 구현: 네트워크 부하 분산을 위해 (Efficient QoS Policy Implementation Using DSCP Redefinition: Towards Network Load Balancing)

  • 이한우;김수환;박건우
    • 문화기술의 융합
    • /
    • 제9권3호
    • /
    • pp.715-720
    • /
    • 2023
  • 군은 4차 산업혁명으로 AI, 클라우드 컴퓨팅, 드론봇 운용 등 혁신적인 변화를 추진하고 있다. 이러한 변화는 하급 제대의 모든 전투원에 이르기까지 IoT 기반의 네트워킹이 발생함으로써 정보교환 요구량이 급격히 증가할 것으로 예상된다. 따라서 지상망, 정지위성 및 저궤도 소형통신 위성 등 다양한 기반체계를 통해 효율적인 정보유통을 보장해야 하며, 이를 통해 유통되는 정보교환요구량을 적절히 분산시켜야 할 필요성이 제기된다. 본 연구에서는 정보유통 시 QoS (Quality of Service)와 밀접히 관련된 DSCP에 11개 우선순위를 재정의하고, 군집 분석을 통해 식별된 국방 "정보교환요구목록"의 군집 그룹과 1:1로 매핑하는 연구를 수행하였다. 연구의 목적은, 중요한 정보교환요구 목록들이 우선순위를 갖고 라우팅이 되도록 QoS 정책을 재수립함으로써, 제한된 대역폭을 갖는 다계층 통합망(지상망, 정지위성망, 저궤도 소형통신위성망) 내에서 효율적인 정보유통을 보장하기 위한 것이다. 본 논문에서는 군집 분석을 통해 분류된 정보교환요구목록이 DSCP에 얼마나 잘 할당되었는가를 M&S를 통해 평가하였으며, 제안하는 DSCP 재분류를 통해, 대역폭이 제한된 네트워크 환경에서 보다 효율적으로 정보가 유통되는 것을 확인하였다.

무선 센서 네트워크의 수명연장을 위한 클러스터링 알고리즘 (Clustering Algorithm for Extending Lifetime of Wireless Sensor Networks)

  • 김선철;최승권;조용환
    • 한국컴퓨터정보학회논문지
    • /
    • 제20권4호
    • /
    • pp.77-85
    • /
    • 2015
  • 최근 무선 센서 네트워크는 다양한 분야에서 유비쿼터스 컴퓨팅 환경을 구현하기 위해 사용되고 있으며 센서 필드의 정보 수집을 위해 소형의 저전력, 저가격 센서를 사용한다. 본 논문은 이러한 센서 노드의 에너지 효율성을 고려한 클러스터링 알고리즘을 제안한다. 제안 알고리즘은 기존의 LEACH에 기반하며 슬립 기법과 전송 모드의 변경을 통해 네트워크와 노드의 수명을 연장할 수 있다. 제안 알고리즘에서 노드는 이웃 노드들과의 거리를 기반으로 자신의 클러스터링 참여 값을 구하고 자신의 주위에 노드들이 많이 존재한다면 슬립 모드로 대기하도록 한다. 또한 BS로의 데이터 전달에 기존의 싱글 홉 전송만 사용하는 것이 아니라 클러스터 헤드의 에너지 수준에 따라 멀티 홉 전송으로 변경할 수 있도록 하여 에너지를 보존하도록 한다 제안 기법의 성능을 확인하기 위해 LEACH와 비교 실험을 수행하였으며 특히 불균일하게 노드가 배치된 네트워크에서 제안기법의 성능이 우수함을 확인하였다.

SDS 환경의 유사도 기반 클러스터링 및 다중 계층 블룸필터를 활용한 분산 중복제거 기법 (Distributed data deduplication technique using similarity based clustering and multi-layer bloom filter)

  • 윤다빈;김덕환
    • 한국차세대컴퓨팅학회논문지
    • /
    • 제14권5호
    • /
    • pp.60-70
    • /
    • 2018
  • 클라우드 환경에서 다수의 사용자가 물리적 서버를 가상화하여 사용할 수 있도록 편의성을 제공하는 Software Defined Storage(SDS)를 적용하고 있지만 한정된 물리적 자원을 고려하여 공간 효율성을 최적화하는 솔루션이 필요하다. 기존의 데이터 중복제거 시스템에서는 서로 다른 스토리지에 업로드 된 중복 데이터가 중복제거되기 어렵다는 단점이 있다. 본 논문에서는 유사도기반 클러스터링과 다중 계층 블룸 필터를 적용한 분산 중복제거 기법을 제안한다. 라빈 해시를 이용하여 가상 머신 서버들 간의 유사도를 판단하고 유사도가 높은 가상머신들을 클러스터 함으로써 개별 스토리지 노드별 중복제거 효율에 비하여 성능을 향상시킨다. 또한 중복제거 프로세스에 다중 계층 블룸 필터를 접목하여 처리 시간을 단축하고 긍정오류를 감소시킬 수 있다. 실험결과 제안한 방법은 IP주소 기반 클러스터를 이용한 중복제거 기법에 비해 처리 시간의 차이가 없으면서, 중복제거율이 9% 높아짐을 확인하였다.

DEVS 형식론 기반의 재겨냥성 하둡 시뮬레이션 환경 개발 (Development of Retargetable Hadoop Simulation Environment Based on DEVS Formalism)

  • 김병수;강봉구;김탁곤;송해상
    • 한국시뮬레이션학회논문지
    • /
    • 제26권4호
    • /
    • pp.51-61
    • /
    • 2017
  • 최근 빅 데이터가 증가하는 추세에 따라 이를 분석 및 처리하고 활용하는 방안에 대한 관심도 증대되고 있다. 이러한 빅 데이터를 저장, 관리하기 위한 대표적인 플랫폼으로 분산 컴퓨팅 프레임워크인 맵리듀스와 분산 파일 시스템인 HDFS로 구성된 하둡 플랫폼이 있다. 하둡은 일반적으로 수백 수천 대 이상의 클러스터로 구축되는데, 이 때 실제 클러스터 구성이나 파라미터에 따라 하둡 플랫폼이 가지는 효과도를 분석하는 것이 중요하다. 하지만 수천 대 이상의 클러스터 구축하여 이를 분석하는 것이 실질적으로 어렵기 때문에 모델링 및 시뮬레이션 기법을 통해 분석하는 것이 필요하다. 본 논문은 계층적이고 모듈러한 모델링이 가능한 DEVS 형식론을 기반으로 하둡 시뮬레이션 환경을 제안한다. 제안하는 시뮬레이션 환경은 하둡 실행 결과를 이용한 입력 모델 설계를 통해 어플리케이션의 특성을 잘 반영할 수 있으며, 파라미터/알고리즘/모델들을 다양하게 변경하여 실험할 수 있는 재겨냥성 환경을 제공한다. 또한 사용자 편의성의 극대화를 위해 사용자 인터페이스, 실시간 모델 뷰어, 입력 시나리오 편집기를 제공한다. 본 논문에서는 어플리케이션 실행 결과와의 비교를 통해 하둡 시뮬레이터를 검증하고, 다양한 파라미터에 대한 실험을 진행한다.

Job-aware Network Scheduling for Hadoop Cluster

  • Liu, Wen;Wang, Zhigang;Shen, Yanming
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제11권1호
    • /
    • pp.237-252
    • /
    • 2017
  • In recent years, data centers have become the core infrastructure to deal with big data processing. For these big data applications, network transmission has become one of the most important factors affecting the performance. In order to improve network utilization and reduce job completion time, in this paper, by real-time monitoring from the application layer, we propose job-aware priority scheduling. Our approach takes the correlations of flows in the same job into account, and flows in the same job are assigned the same priority. Therefore, we expect that flows in the same job finish their transmissions at about the same time, avoiding lagging flows. To achieve load balancing, two approaches (Flow-based and Spray) using ECMP (Equal-Cost multi-path routing) are presented. We implemented our scheme using NS-2 simulator. In our evaluations, we emulate real network environment by setting background traffic, scheduling delay and link failures. The experimental results show that our approach can enhance the Hadoop job execution efficiency of the shuffle stage, significantly reduce the network transmission time of the highest priority job.