• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2012년도 추계학술발표대회
• /
• pp.268-270
• /
• 2012

DRAM 가격의 하락으로 인메모리 컴퓨팅에 대한 연구 및 개발이 다시 활발해지고 있으나 효율적인 메모리 시스템 구성을 위한 연구는 아직 부족한 실정이다. 이에 본 논문은 64 비트 멀티프로세서와 대용량의 메모리로 구성되는 인메모리 컴퓨팅 시스템을 모델링하고, 메모리 크기 및 채널 개수에 따른 시스템의 성능을 시뮬레이션 하였다. 그리고 처리된 트랜잭션의 수를 성능평가의 기준으로 하여 메모리의 크기와 채널 개수에 따른 비용을 고려한 최적의 인메모리 컴퓨팅 메모리 시스템 구조를 제안하였다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2019년도 제60차 하계학술대회논문집 27권2호
• /
• pp.325-326
• /
• 2019

본 논문은 퍼스널 컴퓨팅 환경의 성능 향상을 위한 인피니밴드 네트워크 기반 인메모리 스토리지 시스템의 구조를 제안한다. 성능평가를 위해 100Gbit/s을 지원하는 MCX455A-ECAT 한 쌍을 MCP1600-E02A 케이블로 직결한 x86-64 architecture의 인피니밴드 네트워크를 구성하고 Target 시스템에 iSCSI Extensions for RDMA(iSER)을 적용한 RAM disk를 생성하였다. CentOS virt-manager에서 생성한 Initiator 시스템의 Windows 가상 머신에는 Target 시스템의 RAM disk를 VirtIO 방식으로 연결한다. 이 구조는 시스템 종료 후 초기화되는 종래 RAM disk의 일반적 특성을 개선한다. 마지막으로 스토리지 성능평가를 통해 향후 출시될 PCI Express 4.0 이상의 시스템과 퍼스널 컴퓨팅 스토리지 성능 향상 측면에서 해당 구조의 적합성을 보인다.

• Journal of the Korean Data and Information Science Society
• /
• 제26권5호
• /
• pp.1035-1045
• /
• 2015

최근 빅데이터 분야에서 데이터를 메모리에 적재 후 빠르게 처리하는 인메모리 컴퓨팅 기술이 새롭게 부각되고 있다. 인메모리 컴퓨팅 기술은 과거 대용량 메모리와 다중 프로세서를 탑재한 고성능서버에 적용 가능하였지만, 점차 일반 컴퓨터를 초고속 네트워크로 연결하여 분산 병렬처리가 가능한 구조로 변화하고 있다. 본 논문은 In-memory data grid (IMDG) 기술을 택시 애플리케이션에 접목하여 기존의 데이터베이스의 변경 없이 성능을 향상시키는 기법을 제안한다. IMDG 기술을 적용한 경우 기존의 데이터베이스 기반의 웹서비스에 비해 처리속도와 처리량이 평균 6~9배정도 증가하며, 또한 부하량에 따른 처리량 변화의 폭이 매우 작음을 확인 하였다.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제23권8호
• /
• pp.466-472
• /
• 2017

하드웨어 트랜잭셔널 메모리(HTM)는 트랜잭션 처리를 위한 병렬 프로그래밍 패러다임을 크게 바꾸었으며, 최근 Intel에서 TSX를 제안함에 따라 HTM에 기반한 다수의 연구들이 수행되었다. 그러나 기존 연구들은 트랜잭션 처리에서 하나의 원인에 대한 충돌 예측만을 지원하며, 모든 워크로드에 대해 획일화된 TSX 환경을 제공한다. 이러한 문제점을 해결하기 위해, 본 논문에서는 멀티코어 인메모리 환경에서 트랜잭션을 처리하기 위한 효율적인 HTM 기법을 제안한다. 첫째, 제안하는 기법은 과거 트랜잭션 처리 정보를 수집한 매트릭스를 이용하여, HTM 실패시의 대비책 경로로써 STM 혹은 single lock을 선택한다. 둘째, 머신러닝 알고리즘 기반 재시도 정책을 제공함으로써, 워크로드 특성에 맞는 효율적인 트랜잭션 처리를 수행한다. 마지막으로 STAMP를 이용한 성능평가를 통해, 제안하는 기법이 기존 연구에 비해 10~20%의 성능 향상이 있음을 보인다.

• 정보과학회 논문지
• /
• 제42권8호
• /
• pp.998-1009
• /
• 2015

근래에 들어 풍부한 지식베이스를 구축하기 위한 대용량 RDFS 추론에 대한 관심이 높아지면서 기존의 단일 머신으로는 대용량 데이터의 추론 성능을 향상시키기에 한계가 있다. 그래서 분산 환경에서 의 RDFS 추론 엔진 개발이 활발히 연구되고 있다. 하지만 기존의 분산 환경 엔진은 실시간 처리가 불가능 하며 구현이 어렵고 반복 작업에 취약하다. 본 논문에서는 이러한 문제를 극복하기 위해 병렬 그래프 구조 를 사용한 인-메모리 분산 추론 엔진 구축 방법을 제안한다. 트리플 형태의 온톨로지는 기본적으로 그래프 구조를 가지고 있으므로 그래프 구조 기반의 추론 엔진을 설계하는 것이 직관적이다. 또한 그래프 구조를 활용하는 오퍼레이터를 활용하여 RDFS 추론 규칙을 구현함으로써 기존의 데이터 관점과 달리 그래프 구조의 관점에서 설계할 수 있다. 본 논문에서 제안한 추론 엔진을 평가하기 위해 LUBM1000(1억 3천 3백만 트리플, 17.9GB), LUBM3000(4억 1천 3백만 트리플, 54.3GB)에 대해 추론 속도를 실험을 하였으며 실 험결과, 비-인메모리 분산 추론 엔진보다 약 10배 정도 빠른 추론 성능을 보였다.

• 응용통계연구
• /
• 제29권6호
• /
• pp.1077-1094
• /
• 2016

아파치 스파크는 빠르고 범용성이 뛰어난 클러스터 컴퓨팅 패키지로, 복구 가능한 분산 데이터셋이라는 새로운 추상화를 통해 데이터를 인메모리에 유지하면서도 결함 감내성을 얻을 수 있는 방법을 제공한다. 이러한 추상화는 하드디스크에 직접 데이터를 읽고 쓰는 방식으로 결함 감내성을 제공하는 기존의 대표적인 대용량 데이터 분석 기술인 맵 리듀스 프레임워크에 비해 상당한 속도 향상을 거두었다. 특히 로지스틱 회귀 분석이나 K-평균 군집화와 같은 반복적인 기계 학습 알고리즘이나 사용자가 실시간으로 데이터에 관한 질의를 하는 대화형 자료 분석에서 스파크는 매우 효율적인 성능을 보인다. 뿐만 아니라, 높은 범용성을 바탕으로 하여 기계 학습, 스트리밍 자료 처리, SQL, 그래프 자료 처리와 같은 다양한 고수준 라이브러리를 제공한다. 이 논문에서는 스파크의 개념과 프로그래밍 모형에 대해 소개하고, 이를 통해 몇 가지 통계 분석 알고리즘을 구현하는 방법에 대해 소개한다. 아울러, 스파크에서 제공하는 기계 학습 라이브러리인 MLlib과 R 언어 인터페이스인 SparkR에 대해 다룬다.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제24권1호
• /
• pp.24-32
• /
• 2018

본 논문은 산업 현장과 민간에서 실시간으로 수집되는 에너지 빅데이터를 수용하는 빅데이터 시스템을 제안한다. 구축된 빅데이터 시스템은 하둡(Hadoop) 기반이며, 빅데이터 처리에 있어 인메모리(in-memory) 분산처리 컴퓨팅을 지원하는 스파크(Spark) 프레임워크가 동시에 적용되었다. 본문에서는 지역난방에 사용되는 열에너지 형태의 빅데이터에 초점을 두어, 입출력되는 에너지의 특성을 고려하며 실시간 수집되는 빅데이터를 적재, 관리, 처리 및 분석하는 방법을 다룬다. 이 때, 외부에서 유입되는 빅데이터는 시스템 내부에 설계된 관계형 데이터베이스 스키마에 따라 저장하고 관리되며, 저장된 빅데이터는 설정된 목적에 따라 처리하고 분석된다. 제안된 빅데이터 시스템과 더불어 지역난방과 관련한 복수의 실증현장으로부터 실시간으로 수집되는 열에너지 빅데이터에 대해 시스템이 활용된 사례를 기술한다.

• 정보과학회 논문지
• /
• 제44권10호
• /
• pp.1005-1018
• /
• 2017

가상화는 클라우드 컴퓨팅의 핵심 기술로 물리적 서버에 다수의 가상머신을 운영하여 서버 자원에 대한 활용도를 극대화하고, 관리의 편리성과 보안성을 향상시키는 것을 목표로 한다. 그러나 가상화는 물리적인 자원을 공유하기 때문에 가상머신의 성능이 저하되는 문제점을 가지고 있다. 본 연구에서는 가상머신의 대수에 따라서 발생하는 입출력 부하를 검증하고, 성능 저하의 원인을 해결하기 위해 KVM 하이퍼바이저의 블록 처리 과정을 분석하였다. 또한, 가상화 환경의 입출력 문제점을 보완하기 위한 QBic(QEMU/K-VM Based In-Memory Cache)을 구현하였다. QBic은 하이퍼바이저의 블록 입출력 과정을 모니터링하여 사용빈도가 높은 데이터를 캐시에 저장한다. 이후 캐시를 통해 해당하는 데이터를 빠르게 접근할 수 있으며, 스토리지의 접근 횟수를 줄여 하드웨어의 부하를 낮출 수 있다. 마지막으로 성능 측정을 통해 그 결과를 기술한다.

• 한국차세대컴퓨팅학회논문지
• /
• 제13권5호
• /
• pp.7-18
• /
• 2017

트위터는 사용자들에게 정보를 받거나 교환하는 채널로써의 역할이 활발히 이루어지고 있고 새로운 사건이 발생했을 때 빠르게 반응하기 때문에 지진이나 홍수, 자살 등의 새로운 사건을 탐지하는 센서역할로 활용할 수 있다. 그리고 사건을 탐지하기 위해서 우선적으로 관련된 트윗 추출이 필수적이다. 하지만 관련된 트윗을 찾기 위해 관련 키워드를 포함한 트윗을 추출하기 때문에 해당 키워드가 없지만 의미적으로 사건과 관련이 있는 트윗은 찾지 못하는 문제점이 있다. 또한 기존의 연구들은 디스크에 저장된 데이터에 대한 분석이 주를 이루고 있어 원하는 결과를 얻기 위해서는 데이터를 수집하여 저장하고 분석에 이르기까지 오랜 시간이 소모된다. 이러한 문제점을 해결하기 위해 본 연구에서는 실시간 이슈 탐지를 위한 일반-급상승 단어 사전 생성 및 매칭 기법을 제안한다. 데이터 스트림 인메모리 기반으로 일반-급상승 단어 사전을 생성 및 관리하기 때문에 새로운 사건을 빠르게 학습하고 대응할 수 있다. 또한 분석을 원하는 주제의 일반 사전과 급상승 사전을 동시에 관리하기 때문에 기존의 방법으로 찾지 못하는 트윗을 검출해 낼 수 있다. 본 연구를 통해 빠른 정보와 대응이 필요한 분야에 즉시적으로 활용할 수 있다.