• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제7권8호
• /
• pp.297-306
• /
• 2018

본 논문에서는 분산 스트림 처리 프레임워크인 Apache Storm을 고성능 통신 장비인 InfiniBand에 적용하는 방안을 다룬다. InfiniBand 상에서 Storm을 동작시키는 쉬운 방법은 IPoIB (IP over InfiniBand)를 사용하는 것이다. 그러나 이 방법은 노드에 심각한 CPU 부하를 발생시키는데, 이는 잦은 문맥 전환과 버퍼 복사에서 기인하는 것으로 나타났다. 이를 해결하기 위해, Storm에서 InfiniBand의 RDMA (Remote Direct Memory Access) 기능을 사용하는 새로운 통신 방식을 제안한다. 첫째, Storm에서 RDMA 기능을 이용하기 위해, 기존 통신 프레임워크인 Netty를 대체하는 새로운 프레임워크인 RJ-Netty (RDMA/JXIO Netty)를 설계 및 구현한다. 둘째, Storm이 기존 Netty와 RJ-Netty를 모두 사용할 수 있도록 관련 클래스들을 개선한다. 셋째, RJ-Netty의 성능을 최대화하기 위해 멀티스레드를 지원하도록 JXIO 서버 기능을 개선한다. 실험 결과, 제안한 RJ-Netty는 Ethernet은 물론 IPoIB에 비해서 메시지 처리량을 향상시키면서도 CPU 부하를 크게 줄인 것으로 나타났다. 본 논문은 Apache Storm을 InfiniBand 상에서 동작시킨 최초의 시도로, 고성능의 InfiniBand RDMA를 사용하여 Storm의 처리 성능을 향상시킨 우수한 연구 결과라 사료된다.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제23권12호
• /
• pp.677-683
• /
• 2017

Apache Storm이란 대표적인 실시간 분산 처리 시스템으로써, 분산 서버를 통해 실시간 데이터를 빠르게 처리하는 특징을 갖는다. 기존에 Storm은 다수의 서버에 트래픽을 분배할 때, 셔플(Shuffle) 그룹핑은 처리 지연 문제가 발생하며 이를 개선한 로컬(Local-or-Shuffle) 그룹핑은 트래픽이 특정 노드에 편중되는 문제가 발생할 수 있다. 본 논문은 이러한 기존 Storm 그룹핑에서 발생할 수 있는 문제를 해결하기 위한 지역성 고려(Locality-aware) 그룹핑을 제안한다. 실험에서는 제안하는 지역성 고려 그룹핑이 기존의 셔플 그룹핑 및 로컬 그룹핑에 비해 우수함을 확인하였다. 본 논문은 기존의 Storm의 한계점인 지역성과 로드 밸런싱을 동시에 고려한 우수한 결과라 사료된다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2017년도 추계학술발표대회
• /
• pp.679-681
• /
• 2017

Apache Storm은 대용량 데이터 스트림을 처리하기 위한 실시간 분산 병렬 처리 프레임워크이며, 이를 사용해 다수의 프로세스 및 스레드를 동시에 동작시킬 수 있다. 하지만, 이러한 멀티 프로세스 및 스레드 환경을 제공하는 Storm은 많은 네트워크 시스템 호출을 수행하고, 이는 잦은 문맥 전환(context switch), 운영체제로의 버퍼 복사, 운영체제 내의 버퍼 복사 등으로 인해 CPU 과부하 문제를 발생시킬 수 있다. 이러한 문제는 고성능 네트워크 장비인 InfiniBand의 IPoIB(IP over InfiniBand) 통신을 사용할 때, InfiniBand가 지원하는 대역폭(bandwidth) 대비 저용량 데이터의 송수신으로 인해 더 잦은 문맥 전환과 버퍼 복사가 발생하여 CPU 과부하 문제가 더욱 심각해진다. 따라서, 본 논문에서는 InfiniBand의 RDMA(Remote Direct Memory Access)를 Storm에 적용하는 설계안을 제시함으로써 CPU 과부하 문제를 해결한다.

• 데이타베이스연구회지:데이타베이스연구
• /
• 제34권3호
• /
• pp.58-68
• /
• 2018

분산 컴퓨팅이란 다수의 서버로 구성된 분산 시스템에서 데이터를 효율적으로 저장 및 처리하는 기술이다. 따라서 분산 시스템을 구성하는 서버의 상태에 따라 분산 컴퓨팅의 성능에 큰 영향을 미친다. 본 논문은 분산 시스템에서 실시간으로 발생하는 시스템 자원의 로그 데이터를 수집하고 이상을 탐지하여 결과를 시각화하는 자가 진단 시스템을 제안한다. 먼저, 자가 진단 과정을 수집, 전달, 분석, 저장, 시각화의 다섯 단계로 구분한다. 다음으로, 자가 진단 과정이 실시간성, 확장성, 고가용성의 목표를 만족하도록 실시간 자가 진단 시스템을 설계한다. 본 시스템은 대표적인 실시간 분산 기술인 Apache Flume, Apache Kafka, Apache Storm을 기반으로 구현되어 실시간성, 확장성, 고가용성의 세 가지 목표를 만족할 수 있다. 또한, 자가 진단 과정에서 로그 데이터 처리의 지연을 최소화하도록 간단하지만 효과적인 이동 평균 및 3-시그마 기반 이상 탐지 기법을 사용한다. 본 논문의 결과를 통해, 분산 시스템 내에서 서버 상태를 실시간으로 진단할 수 있는 분산 실시간 자가 진단 시스템을 구축할 수 있다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2017년도 추계학술발표대회
• /
• pp.52-54
• /
• 2017

실시간으로 빠르게 발생하는 대용량 데이터를 다루기 위해 Apache Storm, Apache Spark 등 실시간 데이터 스트림 처리 기술에 대한 연구가 활발하다. 대부분의 실시간 처리 기술들은 단독으로 사용하기에 어려움이 있으며, 데이터 스트림의 입출력을 위해 메시징 시스템과 함께 사용하는 것이 일반적이다. Apache Kafka는 대표적인 분산 메시징 시스템으로써, 실시간으로 발생하는 대용량의 로그 데이터를 전달하는데 특화된 시스템이다. 현재 Kafka를 위한 다양한 성능 모니터링 도구들이 존재한다. 이러한 모니터링 도구들은 Kafka에서 처리되는 데이터의 양 이외에도 유입 데이터의 크기, 수집 속도, 처리 속도 등 다양한 데이터들을 관찰할 수 있다. 본 논문은 Kafka에서 제공하는 도구와 오픈 소스로 제공되는 여러 개의 도구들을 비교하여, 향후 Kafka의 로드 쉐딩에 대한 연구에 적용할 수 있는 최적의 모니터링 도구를 선별하고자 한다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제6권6호
• /
• pp.309-314
• /
• 2017

일반적으로 SNS (social network service) 데이터는 정형, 비정형 데이터가 섞여 빠르게 생성되는 빅데이터의 특성을 갖기 때문에 실시간 수집/저장/분석에 많은 어려움이 있다. 본 논문에서는 이러한 SNS 데이터의 분석에 활용할 수 있는 Apache Storm 기반 실시간 동적 데이터 시각화 기술을 제안한다. Storm은 대표적인 빅데이터 기술 중 하나로, 실시간으로 수집되는 데이터를 분산 환경에서 처리 및 분석하는 소프트웨어 플랫폼이다. 본 논문은 Storm을 사용하여 빠르게 발생하는 트위터(Twitter) 데이터를 수집 및 집계하고, 태그 클라우드를 통해 그 결과를 동적으로 표현하고자 한다. 이를 위해, 사용자가 요구하는 키워드를 입력받고 해당 키워드를 통한 시각화 결과를 실시간으로 확인할 수 있는 웹 인터페이스를 설계 및 구현한다. 또한, 각각의 태그 클라우드 결과를 비교하여 올바로 시각화되었는지 확인한다. 본 연구를 통해, 사용자는 관심있는 주제가 SNS에서 어떻게 변화하고 있는지 직관적으로 판단할 수 있게 되며, 시각화 결과는 주제별 트렌드 분석, 고객 니즈 파악 등 다른 서비스에도 활용이 가능하다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2018년도 추계학술발표대회
• /
• pp.561-564
• /
• 2018

최근 빠르게 발생하는 빅데이터 스트림이 다양한 분야에서 활용되고 있다. 이러한 빅데이터 전체를 수집하고 처리하는 것은 매우 비경제적이므로, 데이터 스트림 중 필요한 데이터를 걸러내는 필터링 과정이 필요하다. 본 논문에서는 아파치 스톰(Apache Storm)을 사용하여 데이터 스트림의 질의 필터링 시스템을 구축한다. 스톰은 대용량 데이터 스트림을 처리하기 위한 실시간 분산 병렬 처리 프레임워크이다. 하지만, 스톰은 입력 데이터 구조나 알고리즘 변경 시, 코드의 수정과 재배포, 재시작 등이 필요하다. 따라서, 본 논문에서는 이 같은 문제를 해결하기 위해 아파치 카프카(Apache Kafka)를 사용하여 데이터 수집 모듈과 스톰의 처리 모듈을 분리함으로써 시스템의 가용성을 크게 높인다. 또한, 시스템을 웹 기반 클라이언트-서버 모델로 구현하여 사용자가 언제 어디에서든 질의 필터링 시스템을 사용할 수 있게 하며, 웹 클라이언트를 통해 입력한 질의를 자동적 분석하는 쿼리 파서를 구현하여 별도의 프로그램의 수정 없이 질의 필터링을 적용할 수 있다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2018년도 추계학술발표대회
• /
• pp.2-4
• /
• 2018

본 연구에서는 웹 서버 성능 테스트 프로그램인 JMeter를 이용하여 대표적인 오픈소스 웹 서버인 Apache, Nginx, Cherokee, Monkey HTTP, Sand Storm의 성능을 비교 분석하였다. 실험 결과 파일 크기가 작은 경우에는 Lighttpd, 중간 크기인 경우에는 Cherokee, 큰 경우에는 Nginx가 좋은 성능을 보였다. 또한 클라이언트의 수를 증가시켰을 때 Cherokee가 상대적으로 가장 작은 성능 저하를, Lighttpd가 가장 큰 성능 저하를 보였다.

• 정보과학회 논문지
• /
• 제44권1호
• /
• pp.84-94
• /
• 2017

최근 다양하고 방대한 양의 데이터를 처리하기 위해 빅데이터의 특성인 5V(Volume, Variety, Velocity, Veracity, Value) 중에서도 속도(Velocity)의 중요성이 강조되면서 대량의 데이터를 빠르고 정확하게 처리하는 기술인 실시간 스트림 처리(Real-time Stream processing)를 위해 많은 연구가 진행되고 있다. 본 논문에서는 실시간 빅데이터 처리를 위해 대표적인 실시간 객체 모델인 TMO(Time-triggered Message-triggered Object) 개념을 도입한 Squall 프레임워크를 제시하고, 단일 노드에서 동작하는 Squall 프레임워크와 그 동작들에 대해 기술한다. TMO는 작업을 수행할 때, 특정 조건에 대해 실시간으로 처리하는 비주기적인 처리방법과 일정 시간 간격동안 주기적인 처리를 지원하는 객체 모델이다. 따라서 Squall 프레임워크는 실시간 빅데이터의 실시간 이벤트 스트림 및 마이크로-배치 처리를 동시에 지원하고, 기존 아파치 스톰과 스파크 스트리밍 대비 상대적으로 우수한 성능을 제공한다. 하지만 Squall은 대부분의 프레임워크에서 제공되는 다중 노드에서의 실시간 분산처리를 위한 추가적인 개발이 필요하다. 결론적으로, TMO 모델의 장점은 실시간 빅데이터 처리시 기존 아파치의 스톰이나 스파크 스트리밍의 단점들을 극복할 수 있다. 이러한 TMO 모델은 실시간 빅데이터 처리에 있어 유용한 모델로서의 가능성을 가지고 있다.

• 인터넷정보학회논문지
• /
• 제19권4호
• /
• pp.1-6
• /
• 2018

스마트시티는, 각종 센서들로부터의 데이터를 수집, 처리하여 시민들을 위하여, 다양한 스마트 서비스들을 제공한다. 본 논문에서는, 이과 같은 스마트시티 서비스 중의 하나로서, 소음지도를 시민에게 실시간으로 제공하기 위한 연구 결과를 발표한다. 본 논문은, 스마트 시티의 융복합된 유비쿼터스센서네트워크들로부터 끊임없이 전달되는 대량의 스트림 데이터를, 실시간으로 전달받아서, 지리정보시스템 (GIS)의 정보들과 융합하여, 시각적으로 소음정보를 표시하여 주는, 3차원 소음지도를 실시간으로 제작하는, 실시간 분산병렬처리 방법론을 제시하였다. 이 방법론을 오픈소스소프트웨어를 활용하여 실제 시스템으로 개발되어 구현하였다. 본 논문에서는, 이와 같이 구현된 시스템들 중에서, 아파치 스톰(Apache Storm) 프레임워크를 사용하여 구현한 실제 시스템을 소개한다. 본 연구에서는, 이 실제 구현된 시스템을 성능평가하였다. 대량의 비정형 데이터를 실시간으로 처리하려면, 큰 컴퓨팅 파워가 필요하며, 필요한 컴퓨팅 파워의 규모도 사전에 알 수 없다는 문제들이 있다. 이 문제들을 해결하기 위하여, 본 연구에서는, 컴퓨팅 파워를 자유롭게 조절하여 공급할 수 있는. 클라우드 컴퓨팅을 사용하여 성능평가를 하였다. 이와 같은 성능평가를 통하여, 본 논문에서 제시한 방법론이 적절함을 확인하였고, 개발하여 구현한 시스템이 잘 작동함도 확인하였다. 나아가서는. 실시간으로 소음지도를 생산할 수 있음을 확인하였다. 본 논문은 이와 같은 성능평가 내용도 소개하고 상세히 설명한다.