• 한국컴퓨터정보학회논문지
• /
• 제15권5호
• /
• pp.49-56
• /
• 2010

본 논문에서는 클라우드 컴퓨팅을 위해 Hadoop 기반의 클러스터를 구축하고, RandomTextWriter, WordCount, PI 애플리케이션을 수행함으로써 애플리케이션 특성에 따른 클러스터의 성능을 평가한다. RandomTextWriter는 주어진 용량만큼 임의의 단어를 생성하여 HDFS에 저장하는 애플리케이션이고, WordCount는 입력 파일을 읽어서 블록 단위로 단어 빈도수를 계산하는 애플리케이션이다. 그리고 PI는 몬테카를로법을 사용하여 PI 값을 유도하는 애플리케이션이다. 이러한 애플리케이션을 실행시키면서 데이터 블록 크기와 데이터 복제본 수 증가에 따른 애플리케이션의 수행시간을 측정한다. 시뮬레이션을 통하여 RandomTextWriter 애플리케이션은 데이터 복제본 수 증가에 비례하여 수행시간이 증가함을 알 수 있었다. 반면에 WordCount와 PI 애플리케이션은 데이터 복제본 수에 큰 영향을 받지 않았다. 또한 WordCount 애플리케이션은 블록 크기가 64~256MB 일 때 최적의 수행시간을 얻을 수있었다. 따라서 이러한 애플리케이션의 특성을 고려한 스케줄링 정책을 개발한다면 애플리케이션의 실행시간을 단축하여 클라우드 컴퓨팅 시스템의 성능을 향상시킬 수 있음을 보인다.

• 한국산업정보학회논문지
• /
• 제21권3호
• /
• pp.13-19
• /
• 2016

최근에 실시간 처리를 위해 메모리 기반의 빅데이터 처리 프레임 워크인 스파크가 널리 사용되고 있다. 스파크는 프로그램이 필요로 하는 중간 데이터를 모두 메모리에 올려놓아, I/O 수행을 최소화함으로써 빠른 응답을 가져올 수 있다. 그러나 응용프로그램의 메모리 사용량이 클러스터의 실제 메모리의 량보다 많을 경우, 최적의 성능을 기대하기 어렵다. 본 논문에서는 메모리 사용량이 많은 페이지랭크 응용 프로그램에서 병목이 되는 현상을 실험을 통해 그 요인에 대해 분석하고, 스파크와 함께 타키온을 구성해서 메모리의 효율적 사용을 통해 병목의 요인을 해결하여 18%의 성능향상을 하였다.

• 디지털산업정보학회논문지
• /
• 제13권2호
• /
• pp.77-85
• /
• 2017

Due to the expansion of accommodation space caused by increase of population along with lifestyle changes, most of people spend their time indoor except for the travel time. Because of this, environmental change of indoor is very important, and it affects people's health and economy in resources. But, most of people don't acknowledge the importance of indoor environment. Thus, monitoring system for sustaining and managing indoor environment systematically is needed, and big data clusters should be used in order to save and manage numerous sensor data collected from many spaces. In this paper, we design a big data cluster for the indoor environment monitoring in order to store the sensor data and monitor unit of the huge building Implementation design big data cluster-based system for the analysis, and a distributed file system and building a Hadoop, HBase for big data processing. Also, various sensor data is saved for collection, and effective indoor environment management and health enhancement through monitoring is expected.

• 정보처리학회논문지A
• /
• 제10A권1호
• /
• pp.25-34
• /
• 2003

병렬 파일 시스템은 고속의 네트웍으로 여러 대의 컴퓨터들을 서로 연결하여 컴퓨터들 간에 메시지를 주고받으면서 파일을 분산 저장하고 병렬로 읽어오는 방식으로 파일 입출력 장치의 병목현상을 해결한다. 그러나 대부분의 병렬 파일 시스템은 전달하려는 메시지의 특성을 고려하지 않은 프로토콜의 사용으로 성능저하의 문제를 가지고 있다. 이에 따라 본 논문에서 메시지 처리 방법으로 HCM(Hybrid Channel Model)을 제안한다. 본 논문에서 제안하는 HCM은 병렬 파일 시스템에서 전달되는 메시지를 그 특성에 따라 분리해서 별개의 프로토콜을 이용하여 제어 메시지와 파일 데이터 블록을 전송한다. 안정성이 검증된 TCP/IP를 이용하여 구현한 메시지 채널을 통해 제어 메시지를 고속의 데이터 전송이 가능한 VIA를 이용하여 구현한 데이터 채널을 통해 파일 데이터 블록을 각각 분리하여 처리하도록 하고 있다 HCM을 병렬 파일 시스템에 구현하고 실험해본 결과 본 논문에서 제안한 채널 모델이 상당한 성능향상을 보였다.

• 한국정보과학회논문지:시스템및이론
• /
• 제30권1호
• /
• pp.33-49
• /
• 2003

인터넷의 확산으로 대용량 멀티미디어 데이타에 대한 요구가 증가하고 있으며 이를 효율적으로 관리하기 위한 스토리지에 대찬 연구가 진행되고 있다. 기하급수적으로 늘어나는 스토리지에 대한 요구를 해결하기 위해서 제시된 방법중의 하나가 공유디스크 환경을 제공하는 SAN(Storage Area Network)이다. SAN은 fibre channel이라는 고속 전송망을 이용해서 고속의 저장장치를 위한 네트워크를 구성한 것이다. 하지만 저장장치 네트워크의 구성만으로는 스토리지에 대한 요구는 해결하였지만 이를 사용자에게 제공하기 위한 공유디스크 환경에서의 파일시스템에 대한 연구는 미진하다. 특히 기존에 제시된 로컬 파일 시스템, 분산 파일시스템에서는 공유디스크환경에 적합하지 않으며 대용량 스토리지에 적합한 메타 데이터 구조 측면에서의 설계는 부족한 실정이다. 이를 해결하기 위해 본 논문에서는 공유디스크 환경에 적합한 메타 데이타 구조를 설계 및 구현하여 대용량 스토리지에 적합한 공유디스크 파일 시스템을 제시한다. 구현한 공유디스크 파일시스템은 SAN fabric에 참여하는 호스트들 사이의 균형적인 할당 블록을 주기 위한 파일시스템 레이아웃과 비트맵 관리기법, 대용량 파일을 위한 효율적인 익스텐트 기반의 SEMI FLAT구조를 제안하였으면, 대용량의 디렉토리를 사용할 수 있게 확장해싱을 이용한 2단계 디랙토리 관리 구조를 설계 및 구현하였다. 또한 리눅스 커널 상에서 제시한 메타 데이타 구조에 대한 구현에 필요한 구조 정보와 알고리즘을 제시하였으며. 성능의 우수성을 보이기 위해 리눅스 환경의 대표적인 파일 시스템인 EXT2, 공유디스크 환경의 GFS와의 성능을 파일 생성, 디렉토리 생성, I/O횟수 측면에서 비교하였다.

• 한국정보전자통신기술학회논문지
• /
• 제2권1호
• /
• pp.73-79
• /
• 2009

객체지향 프로그래밍 언어를 기반으로 윈도우 사용자의 컴퓨터 파일시스템에 기록된 파일의 의미를 분석한 후, 이를 사용자 편의를 위해 파일명의 의미를 시소러스로 클러스터링 하는 설계를 하고, 파일로 기록된 문자의 의미와 파일확장자를 기반으로, 데이터베이스를 구성하고 참조하여 사용자 작성 파일들을 시소러스의 의미 체계와 통제어로 클러스터링 하여, 윈도우시스템의 화면표시 되는 Icon 파일들을 자동으로 분리하고, 설정하여, Mashup 시각구조로 나타내어 주는 프로세스(WTPM)를 설계하고 구현을 하였다.

• 한국전자통신학회논문지
• /
• 제12권2호
• /
• pp.367-374
• /
• 2017

본 논문에서는 빅 데이터 처리를 위한 플랫폼인 하둡이 가지고 있는 분산 노드 관리 기법의 문제점을 분석하고 하둡 분산 파일시스템에서 노드 관리를 유연하게 처리하기 위한 기법을 제안한다. 기존의 방법은 클러스터에 포함된 노드가 일시적으로 연결되지 않는 경우 이를 즉시 고장으로 판정함으로 인해 클러스터를 동적으로 구성하지는 못하는 문제가 있다. 본 논문에서 제안하는 지연된 블록 복제 기법은 연결이 끊어진 노드가 추후 클러스터에 쉽게 편입될 수 있도록 노드의 제거를 최대한 지연함으로써 노드 관리의 유연성을 제공한다. 실험을 통해 제안하는 기법이 클러스터의 규모가 변화하는 환경에서 분산 처리 성능에 영향을 거의 미치지 않으면서도 노드 관리의 유연성을 증대시키는 것을 입증한다.

• 한국콘텐츠학회논문지
• /
• 제12권2호
• /
• pp.30-39
• /
• 2012

최근 클라우드 컴퓨팅 시장에 진출했거나 진출을 선언한 글로벌 IT 기업들을 이미 보유하고 있는 하드웨어, 소프트웨어 기반 기술들을 활용하거나 상호 협력을 통해 다양한 클라우드 서비스들을 제공함으로써 불특정 다수를 대상으로 급격하게 성장하고 있는 클라우드 컴퓨팅 시장에서 자신들의 영역을 지속적으로 확장해 나가고 있다. 분산 파일 시스템은 데이터의 저장과 관리뿐만 아니라 상위 계층 서비스가 요구하는 충분한 성능과 안정성을 보장해주기 위한 클라우드 컴퓨팅의 핵심 기술 중의 하나이다. 본 논문 에서는 클라우드 컴퓨팅을 위해 분산 파일 시스템이 갖추어야 할 사항들과 클라우드 컴퓨팅에서 활용 가능한 오픈 소스 기반의 하둡 분산 파일 시스템, 메모리 데이터베이스 기술, 고가용성 데이터베이스 시스템을 소개하고 현재 클라우드 컴퓨팅 시장에서 활용되고 있는 분산 파일 시스템의 동향을 통한 다양한 분산처리 기술을 참고하여 대용량 분산 데이터 처리 아키텍처를 구현하였다.

• 한국정보과학회논문지:컴퓨팅의 실제 및 레터
• /
• 제9권6호
• /
• pp.635-645
• /
• 2003

가격 대 성능비가 좋다는 장점으로 인해 많이 사용되고 있는 클러스터 병렬 컴퓨터 시스템에서는 여러 노드에 산재해 있는 자원들을 사용자들이 투명하게 사용할 수 있도록 지원하는 것이 필수적이다. 본 논문에서는 클러스터 시스템에서 단일 디스크 입출력 공간을 지원하는 효율적인 디스크 공유 기법을 제안한다. 응용 수준이 아닌 운영 체제 내의 블록 장치 드라이버 수준에서 디스크 공유를 지원함으로써 사용자들은 로컬 및 원격 디스크를 구분할 필요 없이 클러스터 시스템 내의 모든 디스크들을 마치 로컬 디스크 인 것처럼 투명하게 사용할 수 있다. 기반 운영체제로는 리눅스를 사용하였으며, 실험 결과 단일 디스크 입출력 공간을 성공적으로 지원함과 동시에 비교적 단순한 전역 캐쉬 일관성 정책을 사용했음에도 성능 면에서 NFS에 비해 읽기 성능은 유사, 쓰기 성능은 월등히 향상됨을 확인할 수 있었다. 본 논문이 기여하는 바는 블록 장치 드라이버 수준에서 단일 디스크 입출력 공간을 지원하는 기법을 제안함으로써 블록 장치 드라이버에 비해 비교적 구현이 쉬운 기타 입출력 장치 드라이버에 대해서도 유사한 방식으로 단일 입출력 공간을 지원할 수 있도록 도움을 줄 수 있다는 점이다.

• 정보처리학회논문지A
• /
• 제10A권1호
• /
• pp.15-24
• /
• 2003

본 논문에서는 분산 컴퓨팅 환경에서 클러스터 노드 할당 시스템에 대한 최적화 모델을 제시한다. 분산 파일 시스템 구조를 지닌 제시 모델에서는 시간에 따른 시스템의 역동적인 움직임을 면밀하게 고려하여 클러스터 노드 할당 세트가 타당한지를 조사하는 클러스터 모니터 노드의 기능이 주어진다. 노드 할당 시스템의 클러스터 모니터 노드는 병렬 모듈들을 클러스터 노드들에 분산시키면서 유전 알고리즘을 이용하여 좋은 할당 솔루션을 제공한다. 실험적 연구의 일환으로 코딩 기법, 교배, 돌연변이, 개체집단 크기 같은 다양한 유전 인자 파라미터와 노드 모듈개수에 따른 솔루션 품질 및 계산 시간에 관한 비교 실험 결과를 발표한다.