• 한국정보전자통신기술학회논문지
• /
• 제11권1호
• /
• pp.70-75
• /
• 2018

스마트 팩토리는 설계 개발, 제조, 유통 물류 등 생산 전체 과정에 정보 통신 기술을 적용하여 생산성, 품질, 고객만족도 등을 향상시킬 수 있는 지능형 공장이다. 스마트 팩토리에서 발생되는 데이터의 양은 공장의 규모 및 시설 수준에 따라 많은 차이를 보이지만, 기존의 생산관리시스템을 활용하여 방대한 양의 데이터를 발생시키는 스마트 팩토리 환경에 적용하기에 어려움이 있다. 이로 인해 방대한 양의 빅데이터 처리할 수 있는 빅데이터 분산 처리 시스템의 필요성이 요구되고 있다. 따라서 본 논문에서는 스마트 팩토리 환경에서의 GlusterFS 기반 빅데이터 분산 처리 시스템 설계하였다. 제안하는 빅데이터 분산 처리 시스템은 기존 분산 처리 시스템에 비해 네트워크 트래픽 분산 및 관리를 통해 부하와 데이터 소실 위험도를 감소시켰다.

• 전자공학회논문지
• /
• 제51권2호
• /
• pp.85-91
• /
• 2014

클라우드 스토리지 시스템은 데이터의 저장과 관리를 위해서 분산 파일시스템을 사용한다. 기존 분산 파일시스템은 데이터 디스크의 손실 발생시 이를 복구하기 위해서 3개의 복제본을 만든다. 그러나 데이터 복제 기법은 저장공간을 원본 파일의 복제 횟수만큼 필요로하고 복제과정에서 입출력 발생이 증가하는 문제가 있다. 본 논문에서는 SSD 기반 클라우드 스토리지 시스템에서 저장공간 효율성 향상과 입출력 성능 향상을 위하여 Erasure Codes를 이용한 데이터 복제 기법을 제안한다. 특히, 데이터 접근 빈도에 따라 복제 횟수를 줄이더라도 Erasure Codes를 사용하여 데이터 복구 성능을 동일하게 유지하였다. 실험 결과 제안한 기법이 HDFS 보다 저장공간 효율성은 최대 약40% 향상되었으며, 읽기성능은 약11%, 쓰기성능은 약10% 향상됨을 확인하였다.

• 한국군사과학기술학회지
• /
• 제25권4호
• /
• pp.372-380
• /
• 2022

This study proposes a distributed parallel processing system, called the Fast Analysis System for remote sensing daTa(FAST), for large-scale satellite image processing and analysis. FAST is a system that designs jobs in vertices and sequences, and distributes and processes them simultaneously. FAST manages data based on the Hadoop Distributed File System, controls entire jobs based on Apache Spark, and performs tasks in parallel in multiple slave nodes based on a docker container design. FAST enables the high-performance processing of progressively accumulated large-volume satellite images. Because the unit task is performed based on Docker, it is possible to reuse existing source codes for designing and implementing unit tasks. Additionally, the system is robust against software/hardware faults. To prove the capability of the proposed system, we performed an experiment to generate the original satellite images as ortho-images, which is a pre-processing step for all image analyses. In the experiment, when FAST was configured with eight slave nodes, it was found that the processing of a satellite image took less than 30 sec. Through these results, we proved the suitability and practical applicability of the FAST design.

• 한국콘텐츠학회논문지
• /
• 제13권2호
• /
• pp.32-43
• /
• 2013

최근 많은 기관들로부터 클라우드 서비스가 향후 대세적인 IT서비스로의 확고한 기술로서 예견하고 있고, 실질적으로 IT를 리딩하는 많은 벤더 기업들을 주축으로 실질적인 클라우드 서비스를 제공 하고 있다. 따라서 클라우드 사용자는 서비스의 물리적인 위치나, 시스템 환경과 같은 부분들을 관여하지 않고, 스토리지 서비스, 데이터의 사용, 소프트웨어의 사용들을 제공하는 획기적인 서비스로 거듭나고 있다. 한편, 클라우드 컴퓨팅 기술들은 인프라스트럭처에서 요구되는 서비스의 수준, 다양한 시스템에서 요구되는 하드웨어적인 문제들을 벗어서 자유스럽게 원하는 만큼의 IT 리소스를 쉽게 사용할 수 있는 장점을 가지고 있지만, 고가용성 측면에서 반드시 기술적인 해결 방안을 모색하여야 한다. 따라서 본 논문 에서는 고가용성 측면에서의 클라우드 컴퓨팅을 위해 분산 파일 시스템이 갖추어야 할 사항들과 클라우드 컴퓨팅에서 활용 가능한 오픈소스 기반의 하둡 분산 파일 시스템, 메모리 데이터베이스 기술, 고가용성 데이터베이스 시스템을 소개하고 현재 클라우드 컴퓨팅 시장에서 활용되고 있는 분산 파일 시스템을 통한 분산처리 기술을 참고하여 고가용성 대용량 분산 데이터 처리 아키텍처를 클라우드 서비스 측면에서 구현하였다.

• 디지털융복합연구
• /
• 제12권11호
• /
• pp.233-239
• /
• 2014

초고해상도 콘텐츠는 파일 크기가 매우 크기 때문에 기존의 부호화 기술로는 네트워크를 통해 전송하는 것이 불가능하다. 고효율의 부호화 기법인 HEVC를 이용하면 네트워크 전송이 가능하나 압축시간이 많이 필요하기 때문에 분산 트랜스코딩 시스템이 필요하다. 분산 트랜스코딩 시스템은 데이터를 분산하여 저장한 뒤 다수의 노드를 이용하여 부호화한다. 그러나 분산 트랜스코딩 시스템은 분산된 정보가 노출되거나 내부관리자의 공격에 취약하다는 문제점이 있다. 본 논문에서는 초고해상도 콘텐츠를 트랜스코딩 할 때, 분산 트랜스코딩 시스템의 기밀성이 보장되지 않는다는 문제점을 해결하고자 한다. 우리는 SNA를 이용하여 데이터 노드에서 HEVC로 부호화된 콘텐츠 데이터를 비밀분산기법을 통해 암호화하여 저장했다. 결과적으로 안전한 분산 트랜스코딩이 가능하고, 내부관리자의 공격을 방지할 수 있다.

• 스마트미디어저널
• /
• 제8권3호
• /
• pp.88-94
• /
• 2019

가축 질병 발생시 신속하게 대처를 하지 못할 경우 그 피해가 막대하기 때문에 가축 질병은 축산업에서 매우 중요한 이슈이다. 가축 질병 발생으로 인한 문제를 해결하기 위해서는 가축 질병상태를 조기에 진단하고 체계적이며 과학적인 가축 사양기술의 개발이 필요하지만 국내에는 이러한 기술에 대한 연구가 미흡한 실정이다. 본 논문에서는 클라우드 컴퓨팅을 활용한 가축 질병 예찰 및 축사 통합 관제 시스템을 제안하고자 한다. 제안하는 시스템은 WSN과 어플리케이션을 통해 수집된 가축 및 축사관련 정보들을 데이터를 컬럼 지향 데이터베이스인 하둡 HBase를 이용하여 저장하고 관리하며, 맵리듀스 모델을 통한 병렬처리를 통해 가축 질병 예찰 및 축사 통합 관제 서비스를 제공한다. 또한 REST 기반의 웹서비스 제공을 통해 사용자는 PC, 모바일 기기 등 다양한 플랫폼으로 서비스를 제공받을 수 있다.

• 정보과학회 논문지
• /
• 제42권3호
• /
• pp.307-319
• /
• 2015

현재 대용량 온톨로지를 추론하기 위해 하둡 기반의 분산 클러스터 환경을 구축한 후, 맵-리듀스 알고리즘을 기반으로 추론을 수행하는 방식이 활발히 연구되고 있다. 그러나 본 논문에서는 분산 클러스터의 메모리 환경에서 대용량 OWL Horst Lite 온톨로지 추론을 위한 기법을 제안한다. 대용량 온톨로지 추론에 사용되는 규칙 기반 추론 방식은 데이터가 더 이상 추론 되지 않을 때까지 트리플 형식으로 표현된 온톨로지에 추론 규칙을 반복적으로 수행한다. 따라서 컴퓨터 디스크에 적재된 대용량의 온톨로지를 대상으로 추론을 수행하면 추론 시스템의 성능이 상당히 저하된다. 이러한 단점을 극복하기 위해서 본 논문에서는 메모리 기반의 분산 클러스터 프레임워크인 Spark를 기반으로 온톨로지를 메모리에 적재한 후, 추론을 수행하는 기법을 제안한다. Spark에 적합한 OWL Horst Lite 온톨로지 추론 시스템을 구현하기 위해서 대용량 온톨로지를 적절한 크기의 블록으로 분할한 후, 각각의 블록을 분산 클러스터를 구성하는 각 노드의 메모리에 분산 적재하여 작업을 수행하는 방법론을 제안하였다. 제안하는 기법의 효율성을 검증하기 위해, 온톨로지 추론과 검색 속도를 평가하는 공식 데이터인 LUBM을 대상으로 실험하였다. 대표적인 맵-리듀스 기반 온톨로지 추론 엔진인 WebPIE와 비교 실험한 결과, LUBM8000(11억개 트리플, 155GB)에 대해서 WebPIE의 추론 처리량이 19k/초보다 3.2배 개선된 62k/초의 성능 향상이 있었다.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제21권12호
• /
• pp.774-779
• /
• 2015

본 논문에서는 단위 추론 작업들 간의 순차 처리와 반복 처리에 효과적인 인-메모리 방식의 고속 클러스터 컴퓨팅 환경인 Apache Spark을 이용한 대용량의 정성적 공간 추론기의 설계와 구현에 관해 소개한다. 본 논문에서 제안하는 공간 추론기는 매우 효율적인 방법으로, 공간 객체들 간의 위상 관계와 방향 관계를 나타내는 대규모 공간 지식베이스의 무결성을 검사할 수 있을 뿐만 아니라, 주어진 공간 지식베이스로부터 새로운 사실들을 유도해냄으로써 지식베이스를 확장할 수도 있다. 일반적으로 공간 객체들 간의 위상 관계와 방향 관계에 관한 정성적 추론은 이접 관계들 간의 많은 조합 연산들을 포함한다. 본 추론기에서는 공간 추론에 필요한 최소한의 이접 관계 집합을 찾아내고 이들만을 포함하도록 조합 표를 축소함으로써, 추론의 효율성을 크게 개선시켰다. 또한, 본 추론기에서는 추론 성능 향상을 위해 Hadoop 클러스터 시스템에서 분산 추론 작업이 진행되는 동안 디스크 입출력을 최소화하도록 설계하였다. 대용량의 가상 및 실제 공간 지식베이스를 이용한 실험들에서, 본 논문에서 제안하는 Apache Spark 기반의 정성적 공간 추론기가 MapReduce 기반의 기존 추론기보다 더 높은 성능을 보여주었다.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제21권2호
• /
• pp.101-108
• /
• 2015

위치를 수집할 수 있는 모바일 기기의 확산에 따라 다양한 위치기반서비스들이 개발되어 사용되고 있다. 본 논문에서는 위치기반서비스가 일반화됨에 따라 수집되고 저장되는 경로 데이터의 양이 기하급수적으로 커지고 결국 빅데이터가 될 것이기 때문에 수집된 대용량 경로데이터에서 최선 경로를 찾아 추천해주는 시스템을 제안한다. 대용량 경로 데이터에서 실제 운행 시간 등의 정보를 바탕으로 기존 내비게이션보다 좋은 경로를 추천할 수 있게 된다. 대용량 경로 데이터 처리를 위해 하둡 맵리듀스를 이용해서 분류하고 분류된 경로를 데이터베이스에 저장하여 사용자의 요청에 빠르게 반응할 수 있도록 하였다. 사용자의 요청에 지도상의 최단 경로가 아닌 수집된 경로 기록을 바탕으로 최선 경로를 찾게 되는 것이다. 구현된 전체 시스템은 1) 실제 경로를 수집하기 위한 안드로이드 응용프로그램, 2) 하둡 맵리듀스를 이용해 수집된 경로를 미리 분류해 놓기 위한 분류 엔진, 3) 사용자의 출발지-도착지 요청에 따라 분류된 경로에서 최선 경로를 찾아 사용자에게 돌려주는 웹서버와 안드로이드 클라이언트 서비스 시스템이다. 실제운행 실험을 제안한 방법과 시스템이 실효성이 있음을 보인다.

• 한국콘텐츠학회논문지
• /
• 제12권2호
• /
• pp.30-39
• /
• 2012

최근 클라우드 컴퓨팅 시장에 진출했거나 진출을 선언한 글로벌 IT 기업들을 이미 보유하고 있는 하드웨어, 소프트웨어 기반 기술들을 활용하거나 상호 협력을 통해 다양한 클라우드 서비스들을 제공함으로써 불특정 다수를 대상으로 급격하게 성장하고 있는 클라우드 컴퓨팅 시장에서 자신들의 영역을 지속적으로 확장해 나가고 있다. 분산 파일 시스템은 데이터의 저장과 관리뿐만 아니라 상위 계층 서비스가 요구하는 충분한 성능과 안정성을 보장해주기 위한 클라우드 컴퓨팅의 핵심 기술 중의 하나이다. 본 논문 에서는 클라우드 컴퓨팅을 위해 분산 파일 시스템이 갖추어야 할 사항들과 클라우드 컴퓨팅에서 활용 가능한 오픈 소스 기반의 하둡 분산 파일 시스템, 메모리 데이터베이스 기술, 고가용성 데이터베이스 시스템을 소개하고 현재 클라우드 컴퓨팅 시장에서 활용되고 있는 분산 파일 시스템의 동향을 통한 다양한 분산처리 기술을 참고하여 대용량 분산 데이터 처리 아키텍처를 구현하였다.