• 인터넷정보학회논문지
• /
• 제5권6호
• /
• pp.21-30
• /
• 2004

Ad-Hoc네트워크에서 클러스터 구조는 여러 채널을 효율적으로 사용 가능하게 하고 제어메시지의 교환수를 감소시키며 네트워크의 확장성을 증가시킨다. 또한 클러스터 구조는 Ad-Hoc 네트워크에서 방송되는 메시지의 수를 감소시키기 위해 사용된다. 이를 위해 임의의 클러스터 구조는 작은 수의 클러스터를 가지는 것이 바람직하다. 일반적으로 연결성 기반의 클러스터 구성방법은 다른 방법들에 비해 작은 수의 클러스터를 생성한다. 그러나 연결성 기반의 방법은 네트워크의 위상에 따라 연결성을 고려하지 않는 방법보다 더 많은 클러스터를 생성할 경우도 있다. 본 논문에서는 클러스터 구성을 2단계로 나누어 수행하는 클러스터 구성방법을 제안한다. 제안방법은 첫 번째 단계에서 최소연결성을 가진 노드가 클러스터 구성을 시작한다. 이때 최소연결성의 노드들을 가능한 많이 포함하는 작은 수의 클러스터를 생성하기 위하여 일련의 조정절차를 이용한다. 두 번째 단계에서는 첫 번째 단계에서 생성된 클러스터에 포함되지 않은 노드들을 대상으로 최대 연결성을 가진 노드가 클러스터 구성을 시작한다. 제안된 방법은 첫 번째 및 두 번째 단계를 거쳐서 기존 방법보다 더 작은 수의 클러스터를 완전히 분산된 방법으로 생성한다. 본 논문에서 제안한 방법은 실험결과에 의해 LIDCP(3)와 HCCP(3)보다 우수한 것으로 평가되었다.

• 한국정보과학회논문지:컴퓨팅의 실제 및 레터
• /
• 제5권5호
• /
• pp.583-594
• /
• 1999

VLSI 기술과 네트워크 기술의 비약적인 발달로 인해 자원의 공유를 위한 분산 컴퓨팅 환경의 구축이 보편화되어 가고 있다. 그러나, 네트워크에 연결된 수많은 컴퓨터들의 사용 추이를 살펴볼 때, 사용자의 유형과 시간대에 따라 그러한 컴퓨터들이 유휴 상태에 놓여 있는 경우가 적지 않다는 사실을 알 수 있다. 유휴 상태의 컴퓨터 자원을 최대한 활용할 수 있다면, 결과적으로 막대한 예산의 재투자 없이도 강력한 총체적 컴퓨팅 파워를 얻을 수 있다. 본 논문에서는 기존의 분산 컴퓨팅 환경을 토대로 워크스테이션 풀(pool)을 구축함으로써, 유휴 상태의 컴퓨터들을 최대한 활용할 수 있도록 하기 위해 개발한 Java Distributed Batch-processing System (JDBS)에 대해 기술한다. JDBS 시스템은 CPU-intensive한 독립된 작업들을 배치 형태로 처리하는 분산 배치 처리 시스템으로서, 자바로 구현되었기 때문에 풀에 참여할 수 있는 기종이 다양할 뿐만 아니라 JDBS와 유사한 기존의 시스템들에 비해 시스템의 구축이 훨씬 용이하다. 그 밖에도 복수 클러스터 구조와 지능형 전략을 사용함으로써 규모 확장성과 안정성을 향상시켰으며, 풀로의 가입과 탈퇴, 작업의 제출, 제출된 작업의 모니터링을 쉽게 할 수 있도록 하기 위해 그래픽 인터페이스를 제공한다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제6권11호
• /
• pp.2827-2848
• /
• 2012

Previously, we described a social media cloud computing service environment (SMCCSE). This SMCCSE supports the development of social networking services (SNSs) that include audio, image, and video formats. A social media cloud computing PaaS platform, a core component in a SMCCSE, processes large amounts of social media in a parallel and distributed manner for supporting a reliable SNS. Here, we propose a Hadoop-based multimedia system for image and video transcoding processing, necessary functions of our PaaS platform. Our system consists of two modules, including an image transcoding module and a video transcoding module. We also design and implement the system by using a MapReduce framework running on a Hadoop Distributed File System (HDFS) and the media processing libraries Xuggler and JAI. In this way, our system exponentially reduces the encoding time for transcoding large amounts of image and video files into specific formats depending on user-requested options (such as resolution, bit rate, and frame rate). In order to evaluate system performance, we measure the total image and video transcoding time for image and video data sets, respectively, under various experimental conditions. In addition, we compare the video transcoding performance of our cloud-based approach with that of the traditional frame-level parallel processing-based approach. Based on experiments performed on a 28-node cluster, the proposed Hadoop-based multimedia transcoding system delivers excellent speed and quality.

• 한국멀티미디어학회논문지
• /
• 제23권2호
• /
• pp.241-246
• /
• 2020

Hadoop is a framework to process large data sets in a distributed way across clusters of nodes. It has been a popular platform to process big data, but in recent years, other platforms became competitive ones depending on the characteristics of the application. Spark is one of distributed platforms to enable real-time data processing and improve overall processing performance over Hadoop by introducing in-memory processing instead of disk I/O. Whereas Hadoop is designed to work on Java and data analysis is processed using Java API, Spark provides a variety of APIs with Scala, Python, Java and R. In this paper, the goal is to find out whether the APIs of different programming languages af ect the performances in Spark. We chose two popular APIs: Python and Scala. Python is easy to learn and is used in AI domain in a wide range. Scala is a programming language with advantages of parallelism. Our experiment shows much faster processing with Scala API than Python API. For the performance issues on AI-based analysis, further study is needed.

• 정보과학회 논문지
• /
• 제42권10호
• /
• pp.1195-1206
• /
• 2015

지식 관리 시스템을 운영하기 위해서는 대량의 지식 정보를 자동으로 추론 및 관리하는 기술이 필요하다. 현재, 이러한 시스템의 대다수는 컴퓨터간의 지식 정보를 자동으로 교환하고 스스로 새로운 지식을 추론하기 위해 온톨로지를 적용하고 있다. 따라서 대용량의 온톨로지를 대상으로 새로운 정보를 추론하는 효율적인 기술이 요구되고 있다. 본 논문은 분산 클러스터의 메모리상에서 MapReduce와 유사한 작업을 수행하는 Spark 프레임워크를 적용하여, SHIF 수준으로 작성된 대용량의 온톨로지를 규칙 기반으로 추론하는 기술에 대해서 제안한다. 이에 본 논문은 다음 3 가지에 초점을 맞추어 설명을 한다. 클러스터내의 분산된 메모리상에서 대용량 추론을 실시하기 위해서, 먼저 각 추론 규칙에 따라 대용량의 온톨로지 트리플을 효과적으로 분류하여 적재하기 위한 자료구조, 두 번째 규칙간의 종속 관계와 상호 연관성에 따른 규칙 실행 순서와 반복 조건 정의, 마지막으로 규칙 실행에 필요한 명령을 정의하고 이러한 명령어를 실행하여 추론을 수행하는 알고리즘에 대해 설명한다. 제안하는 기법의 효율성을 검증하기 위해, 온톨로지 추론과 검색 속도를 평가하는 공식 데이터인 LUBM을 대상으로 실험을 수행하였다. 대표적인 분산클러스터 기반 대용량 온톨로지 추론 엔진인 WebPie와 비교 실험한 결과, LUBM에 대해서 WebPie의 추론 처리량이 553 트리플/초 인데 비해 284배 개선된 157k 트리플/초의 성능 향상이 있었다.

• 한국공간정보시스템학회 논문지
• /
• 제8권2호
• /
• pp.75-89
• /
• 2006

최근 무선 기술과 측위 기술의 발전에 따라 위치 기반 서비스에 대한 관심이 크게 증가하고 있다. 기존 연구의 단일 노드 기반 시스템으로는 처리하기 힘든 휴대폰 사용자와 같은 최소 백만 단위 이상의 대용량의 객체를 처리하기 위해 클러스터 기반 분산 컴퓨팅 구조로 GALIS가 제안되었다. GALIS는 이동 객체의 현재 위치정보를 관리하는 SLDS와 과거 시간의 흐름에 따라 과거 위치정보를 관리하는 LLDS로 구성된다. SLDS와 LLDS는 분산된 다수의 노드로 구성되며 각 노드는 독립된 지역에 위치한 이동객체의 정보를 관리한다. 본 논문에서는 GALIS 프로토타입에 모니터링 기법을 적용하여 각 노드가 관리하는 이동 객체수의 변동에 따른 위치 정보관리 및 시공간 질의 처리시 각 노드에 걸리는 부하를 모니터링 함으로써 각 노드의 역할을 동적으로 조정할 수 있게 각 노드별 이동 객체 처리상황 및 부하를 관리한다. 또, GALIS 질의 처리 서브시스템 성능 향상을 위해 질의 처리 결과를 버퍼링하여 연속된 질의 처리시 발생할 수 있는 중첩된 질의 영역을 관리하는 버퍼링 기법을 제안한다. 버퍼링 기법을 통해 수행되는 질의는 중첩된 질의 영역을 제외한 부분으로 나누어 수행하기 때문에 시스템으로부터 구해야 하는 결과 세트의 크기를 줄여주는 역할을 하여 질의 처리 수행시간이 감소하도록 질의 처리 과정을 개선한다.

• Journal of Information Processing Systems
• /
• 제5권2호
• /
• pp.69-76
• /
• 2009

Self healing systems are considered as cognation-enabled sub form of fault tolerance system. But our experiments that we report in this paper show that self healing systems can be used for performance optimization, configuration management, access control management and bunch of other functions. The exponential complexity that results from interaction between autonomic systems and users (software and human users) has hindered the deployment and user of intelligent systems for a while now. We show that if that exceptional complexity is converted into self-growing knowledge (policies in our case), can make up for initial development cost of building an intelligent system. In this paper, we report the application of AHSEN (Autonomic Healing-based Self management Engine) to in OKKAM Project infrastructure backbone cluster that mimics the web service based architecture of u-Zone gateway infrastructure. The 'blind' load division on per-request bases is not optimal for distributed and performance hungry infrastructure such as OKKAM. The approach adopted assesses the active threads on the virtual machine and does resource estimates for active processes. The availability of a certain server is represented through worker modules at load server. Our simulation results on the OKKAM infrastructure show that the self healing significantly improves the performance and clearly demarcates the logical ambiguities in contemporary designs of self healing infrastructures proposed for large scale computing infrastructures.

• 인터넷정보학회논문지
• /
• 제13권6호
• /
• pp.1-8
• /
• 2012

클러스터링 기법은 데이터에 대한 특성에 따라 몇 개의 클러스터로 군집화 하는 계층적 클러스터링이나 분할 클러스터링 등 다양한 기법이 있는데 그 중에서 K-Means 알고리즘은 구현이 쉬우나 할당-재계산에 소요되는 시간이 증가하게 된다. 또한 초기 클러스터 중심이 임의로 설정되기 때문에 클러스터링 결과가 편차가 심하다. 본 논문에서는 클러스터링에 소요되는 시간을 줄이고 안정적인 클러스터링을 하기 위해 초기 클러스터 중심 선정 방법을 삼각형 높이를 이용하는 방법을 제안하고 비교 실험해 봄으로서 할당-재계산 횟수를 줄이고 전체 클러스터링 시간을 감소시키고자 한다. 실험결과로 평균 총소요시간을 보면 최대평균거리를 이용하는 방법은 기존 방법에 비해서 17.9% 감소하였고, 제안한 방법은 38.4% 감소하였다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2014년도 제49차 동계학술대회논문집 22권1호
• /
• pp.9-13
• /
• 2014

The performance of large scale software applications has been automatically increasing for last few decades under the influence of Moore's law - the number of transistors on a microprocessor roughly doubled every eighteen months. However, on-chip transistors limitations and heating issues led to the emergence of multicore processors. The energy efficient ARM based System-on-Chip (SoC) processors are being considered for future high performance computing systems. In this paper, we present a case study of two widely used parallel programming models i.e. MPI and MapReduce on distributed memory cluster of ARM SoC development boards. The case study application, Black-Scholes option pricing equation, was parallelized and evaluated in terms of power consumption and throughput. The results show that the Hadoop implementation has low instantaneous power consumption that of MPI, but MPI outperforms Hadoop implementation by a factor of 1.46 in terms of total power consumption to execution time ratio.

• 한국정보처리학회논문지
• /
• 제3권3호
• /
• pp.617-630
• /
• 1996

본 연구에서는 소규모 서버로 사용될 수 있는 Workstation Cluster환경에서 전통 적인 디스크들을 디스크 배열 처럼 사용할 수 잇는 병행 화일시스템(S-CFS)을 설계 하고 구현하였다. S-CFS는 범용의 UNIX 운영체제를 기반으로 구현되어서 융통성과 이식 성이 높으며 별도의 입출력 노드가 불필요하므로 시스템 자원을 효율적으로 사용한다. 성능 분석 결과에 위하며, 소규모 서버에서 디스크의 수가 충분 할 경우, 트랜잭션 처리 에서 병행 화일시스템의 성능은 CPU 계산 능력에 의하여제한받는 것으로 나타났으며 대용량 데이타 입출력에서는 성능이 버퍼 간의 데이타 복사시간에 의하여 제한받는 것으로 나다.Workstation Cluster 에서 구현된 병행 화일시스템은 8개의 디스크에서 트랜잭션 처리의 경우에는초당 388 트랜잭션의 처리율을 보였으며, 대용량 데이타의 경우에는 15.8 MBytes/sec 의 대역표을 보였다. 그리고 사용자가 병행 화일시스템의 병렬성을 제어할 수 있도록 설계함으로써 고속 입출력을 요구하는 사용자의 처리율을 높일 수 있도록 하였다.