• 디지털융복합연구
• /
• 제12권8호
• /
• pp.351-359
• /
• 2014

보안 장비에서 발생하는 로그는 그동안 ESM(Enterprise Security Management) 기반으로 통합적으로 데이터를 분석하였으나 데이터 저장 용량의 한계와 ESM자체의 데이터 처리 성능의 한계로 빅데이터 처리에 부적합하기 때문에 빅데이터 플랫폼을 이용한 보안로그 분석 기술이 필요하다. 빅데이터 플랫폼은 Hadoop Echosystem을 이용하여 대용량의 데이터 수집, 저장, 처리, 검색, 분석, 시각화 기능을 구현할 수 있다. 현재 ESM기술은 SIEM(Security Information & Event Management)방식으로 기술이 발전하고 있으며 SIEM방식의 보안기술을 구현하기 위해서는 현재 보안장비에서 발생하는 방대한 로그 데이터를 처리할 수 있는 빅데이터 플랫폼 기술이 필수적이다. 본 논문은 Hadoop Echosystem 이 가지고 있는 빅데이터 플랫폼 기술을 활용하여 보안로그를 분석하기 위한 시스템을 어떻게 구현할 수 있는지에 대한 모델을 연구하였다.

• Journal of the Korean Data and Information Science Society
• /
• 제26권5호
• /
• pp.1035-1045
• /
• 2015

최근 빅데이터 분야에서 데이터를 메모리에 적재 후 빠르게 처리하는 인메모리 컴퓨팅 기술이 새롭게 부각되고 있다. 인메모리 컴퓨팅 기술은 과거 대용량 메모리와 다중 프로세서를 탑재한 고성능서버에 적용 가능하였지만, 점차 일반 컴퓨터를 초고속 네트워크로 연결하여 분산 병렬처리가 가능한 구조로 변화하고 있다. 본 논문은 In-memory data grid (IMDG) 기술을 택시 애플리케이션에 접목하여 기존의 데이터베이스의 변경 없이 성능을 향상시키는 기법을 제안한다. IMDG 기술을 적용한 경우 기존의 데이터베이스 기반의 웹서비스에 비해 처리속도와 처리량이 평균 6~9배정도 증가하며, 또한 부하량에 따른 처리량 변화의 폭이 매우 작음을 확인 하였다.

• 정보과학회 논문지
• /
• 제43권2호
• /
• pp.256-268
• /
• 2016

이기종의 다양한 장비로 구성된 현대의 네트워크는 분산 설치되어 있고, 이를 중앙 집중적이면서 효율적으로 관리하기 위해서 NETCONF 표준이 제정되었다. 본 논문에서는 NETCONF의 각 계층에 대해 개선한 연구를 포함하여 하나의 시스템으로 통합하는 작업을 수행하였다. RPC 계층에서는 멀티스레드를 사용하여 비동기 통신 채널 및 병렬 처리가 가능하도록 하였고, Operation 계층에서는 장비 설정 데이터 간 종속성을 이용한 데이터 그룹을 활용하여 연산의 효율성을 증가시켰다. Operation 계층과 연동할 수 있도록 Content 계층에서의 설정 데이터 모델링 기법에 대해서도 제시하였다. 마지막으로 GUI 프로그램을 구현하고 구현 결과를 나타내었다. 개선된 NETCONF와 표준 NETCONF를 질의 처리율, 질의 처리 속도, CPU 사용률에 대해 비교하는 실험을 수행한 결과 질의 처리율과 처리 속도에서는 개선된 NETCONF가, CPU 사용률에서는 표준 NETCONF가 우수하였다.

• 정보처리학회논문지A
• /
• 제16A권1호
• /
• pp.9-16
• /
• 2009

그리드 시스템은 넓은 지역에 분산되어 있는 이질적인 자원들로 구성되어 있어서 가까운 지역에 비교적 동질적이고 통제가 가능한 자원들을 대상으로 하는 전통적 병렬시스템의 스케줄링 알고리즘으로는 효율적인 작업처리가 불가능하다. 본 논문에서는 그리드 시스템의 특성을 반영한 알고리즘을 제안하기 위해 기존의 스케줄링 알고리즘에서 사용하고 있는 정보의 종류에 초점을 두고 선행연구에서 제안된 알고리즘들을 비교 분석하여 개선할 수 있는 요소들을 도출하였다. 알고리즘들을 비교 분석한 결과 프로세서의 수나 성능과 같은 자원의 정적 정보가 스케줄링 알고리즘에 유용하게 사용될 수 있으며, 처리속도가 극단적으로 느리거나 사용이 불가능한 자원을 회피하기 위한 수단이 필요하고, 비교적 장시간 처리를 하는 그리드의 특성상 자원의 실시간 부하정보를 이용하는 경우 효용성이 떨어지는 것을 확인할 수 있었다. 본 논문에서는 이러한 분석 결과를 바탕으로 WQR(Workqueue Replication) 알고리즘의 논리에 정적 자원정보를 고려하도록 개선한 새로운 알고리즘(WQRuSI)을 제안하였으며, 시뮬레이션을 통하여 새로운 알고리즘의 성능이 우수함을 확인하였다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제6권10호
• /
• pp.487-492
• /
• 2017

클러스터링은 빅데이터 분석 및 데이터 마이닝 분야에서 데이터 간 유사성을 파악하기 위해 사용하는 기법으로 다양한 클러스터링 기법 중 범주적 데이터를 위해 k-Modes 알고리즘이 대표적으로 사용된다. k-Modes와 같이 반복적 연산이 집중된 작업의 속도를 향상시키기 위해 많은 관심을 받고 있는 분산 병행 프레임워크 스파크는 하둡과 달리 RDD라는 추상화 객체 개념을 사용하여 대용량의 데이터를 메모리 상에서 처리 가능한 환경을 제공한다. 스파크는 다양한 기계학습을 위한 라이브러리인 Mllib을 제공하고 있으나 연속적 데이터만 처리 가능한 k-means만 포함되어 있어 범주적 데이터 처리가 불가능한 한계가 있다. 따라서 본 논문에서는 스파크 환경에서 범주적 데이터 클러스터링을 위한 k-Modes 알고리즘을 위한 RDD 설계하고 효과적으로 동작할 수 있는 알고리즘을 구현하였다. 실험을 통해 제안한 알고리즘이 스파크 환경에서 선형적으로 증가한다는 것을 보였다.

• 정보처리학회논문지:컴퓨터 및 통신 시스템
• /
• 제5권8호
• /
• pp.181-188
• /
• 2016

최근 급격히 증가하는 공간 데이터를 효율적으로 처리하기 위해 많은 연구들이 진행되고 있다. 기존 관계형 데이터베이스 시스템을 확장한 공간 데이터베이스 시스템은 확장성에 대한 문제가 있으며, 분산 처리 플랫폼인 하둡을 확장한 SpatialHadoop은 중간 연산 결과를 디스크에 작성하기 때문에 파일 입출력의 오버헤드로 성능이 저하되는 문제가 있다. 본 논문은 인-메모리 기반 분산 처리 프레임워크인 스파크를 확장한 공간 연산 스파크를 제안하였다. 또한 공간 연산 스파크의 성능을 향상시키기 위하여 GPGPU를 결합한 모델을 개발하였다. 공간 연산 스파크는 중간 연산 결과를 메모리에 유지시키는 스파크의 특징을 그대로 사용하고 있으며, GPGPU 기반 공간 연산 스파크의 경우 다수의 PE를 이용하여 병렬처리하기 때문에 효율적으로 공간 연산을 수행할 수 있다. 본 논문은 단일 AMD 시스템에서 공간 연산 스파크와 GPGPU 기반 공간 연산 스파크를 구현하였다. 공간 연산 스파크와 GPGPU 기반 공간 연산 스파크의 성능을 평가하기 위하여 Point-in-Polygon 연산과 Spatial Join 연산을 수행하였으며, SpatialHadoop에 비하여 최대 8배의 성능 향상을 확인하였다.

• 한국정보과학회논문지:시스템및이론
• /
• 제34권1호
• /
• pp.10-18
• /
• 2007

휴대용 단말기에서의 동영상 및 3차원 영상을 처리하는 것이 일반화되면서, H.264 및 3차원 그래픽 가속기 데이타를 처리하기 위한 연산량이 크게 증가하고 있다. 본 연구에서는 H.264 인코더의 움직임 추정기 및 디코더의 움직임 보상기와 3차원 그래픽 렌더링 가속기를 재구성 가능하도록 설계하였다. 움직임 추정기는 효율적인 데이타 스캐닝 방법과 DAU, FDVS 알고리즘을 사용하여, JM8.2에 제시된 다중 프레임 움직임 추정보다 연산량을 평균적으로 70% 이상 감소시키면서 화질 열화가 없도록 하였다. 3차원 그래픽 렌더링 가속기는 중심선 트래버셜 알고리즘을 사용하여 병렬 처리하도록 함으로써 처리량을 증가시켰다. 움직임 추정기와 3차원 렌더링 가속기의 메모리를 재구성 가능한 구조로 설계하여, 2.4Mbits (47%)의 메모리를 공유하였으며, 메모리를 8개의 블록으로 분산시켜 사용되지 않는 부분의 전력 소모를 최소화 할 수 있도록 하였다. 또한, 움직임 보상기와 3차원 렌더링 가속기의 픽셀 프로세서를 공유하여 약 7%의 하드웨어면적을 감소 시켰다.

• 한국정보처리학회논문지
• /
• 제3권6호
• /
• pp.1407-1417
• /
• 1996

지금까지 다중스레드 모델을 위한 다중스레드 코드의 생성 및 스레드 분할에 대 하여 이루어진 연구는 실행시간을 번역시간에 예측할 수 없는 연산을 경계로 삼아 스 레드를 분할하고, 스레드의 길이를 증가시키기 위하여 주어진 제약조건내에서 스레드 를 병합하는 것이다. 이러한 정책으로 인하여 병렬성이 적은 프로그램이라 하여도 원 격자료 접근이 많으면 스레드의 길이가 짧아지고 그에 따라 문맥전환이 늘어나기 때 문에 시스템에 부담이 된다. 본 논문에서는 스레드의 길이를 늘이고, 메세지 전송횟 수를 감소시키기 위한 다른 방법으로 프로그램의 루프에서 접근되는 배열의 첨자를 분석하고 이를 바탕으로 루프 액티베이션에서 참조되는 배열의 원소를 해당 루프 액 티베이션이 수행되는 노드에 분산 저장하는 배열의 지역화방안을 제안한다. 배열을 지역화하기 위하여 먼저 루프 액티베이션에서 접근되는 배열의 이름, 루프 첨자와 접 근되는 배열원소의 첨자간의 차이인 종속거리 그리고 배열원소의 용도에 관한 정보를 얻기 위한 원소 접근 형태 분석을 수행한다. 원소 접근 형태 분석으로 부터 얻어진 정보를 이용하여 가능한한 지역 기억장치에서 필요한 배열의 원소를 읽어올 수 있도 록 배열 원소에 접근하는 루프 액티베이션이 수행되는 처리기 모임의 지역 기억장치 에 배열원소를 저장하는 배열 지역화를 수행한다. 실험결과, 배열을 지역화함으로써 다른 처리기 모임의 지역 기억장치로부터 배열의 원소를 읽어오기 위한 원격자료 접 근을 지역자료 접근으로 대치함으로써 원격접근의 수가 줄어든다. 이로 인하여 스레 드의 길이가 증가하며, 원격접근 횟수 및 문맥 전환의 수가 줄어들어 시스템의 성능 향상을 꾀할 수 있었다.

• 한국통신학회논문지
• /
• 제38B권7호
• /
• pp.501-511
• /
• 2013

현재 대부분의 소셜 네트워크 서비스에 대한 시각화방법들은 네트워크 자료를 시각화하여 표현하는 것에만 중점을 두고 있으며, 기하급수적으로 증가하는 소셜 네트워크의 빅데이터 처리에 대한 계산량 및 효율적인 처리속도는 전혀 고려하지 않고 있다. 본 논문은 소셜 네트워크의 사용자 노드 간의 계층 관계를 사용자 중심으로 시각화하는 클라우드 기반의 방법을 제안한다. 제안방법은 퍼지를 이용하여 소셜 네트워크 노드의 계층 관계를 표현함으로써 사용자의 사회관계를 직관적으로 이해할 수 있으며, 소셜 네트워크에서의 사용자들의 중심 역할 관계를 쉽게 파악할 수 있다. 또한 클라우드 기반의 하둡(hadoop)과 하이브(hive)를 이용하여 시각화 알고리즘을 분산병렬 처리함으로써 소셜 네트워크의 빅데이터를 신속히 처리할 수 있다.

• 인터넷정보학회논문지
• /
• 제14권6호
• /
• pp.71-84
• /
• 2013

컴퓨터 시스템 운용 간에 발생하는 많은 정보들이 기록되는 로그데이터는 컴퓨터 시스템 운용 점검, 프로세스의 최적화, 사용자 최적화 맞춤형 제공 등 다방면으로 활용되고 있다. 본 논문에서는 다양한 종류의 로그데이터들 중에서 은행에서 발생하는 대용량의 로그데이터를 처리하기 위한 클라우드 환경 하에서의 MongoDB 기반 비정형 로그 처리시스템을 제안한다. 은행업무간 발생하는 대부분의 로그데이터는 고객의 업무처리 프로세스 간에 발생하며, 고객 업무 프로세스 처리에 따른 로그데이터를 수집, 저장, 분류, 분석하기 위해서는 별도로 로그데이터를 처리하는 시스템을 구축해야만 한다. 하지만 기존 컴퓨팅환경 하에서는 폭발적으로 증가하는 대용량 비정형 로그데이터 처리를 위한 유연한 스토리지 확장성 기능, 저장된 비정형 로그데이터를 분류, 분석 처리할 수 있는 기능을 구현하기가 매우 어렵다. 이에 따라 본 논문에서는 클라우드 컴퓨팅 기술을 도입하여 기존 컴퓨팅 인프라 환경의 분석 도구 및 관리체계에서 처리하기 어려웠던 비정형 로그데이터를 처리하기 위한 클라우드 환경기반의 로그데이터 처리시스템을 제안하고 구현하였다. 제안한 본 시스템은 IaaS(Infrastructure as a Service) 클라우드 환경을 도입하여 컴퓨팅 자원의 유연한 확장성을 제공하며 실제로, 로그데이터가 장기간 축적되거나 급격하게 증가하는 상황에서 스토리지, 메모리 등의 자원을 신속성 있고 유연하게 확장을 할 수 있는 기능을 포함한다. 또한, 축적된 비정형 로그데이터의 실시간 분석이 요구되어질 때 기존의 분석도구의 처리한계를 극복하기 위해 본 시스템은 하둡 (Hadoop) 기반의 분석모듈을 도입함으로써 대용량의 로그데이터를 빠르고 신뢰성 있게 병렬 분산 처리할 수 있는 기능을 제공한다. 게다가, HDFS(Hadoop Distributed File System)을 도입함으로써 축적된 로그데이터를 블록단위로 복제본을 생성하여 저장관리하기 때문에 본 시스템은 시스템 장애와 같은 상황에서 시스템이 멈추지 않고 작동할 수 있는 자동복구 기능을 제공한다. 마지막으로, 본 시스템은 NoSQL 기반의 MongoDB를 이용하여 분산 데이터베이스를 구축함으로써 효율적으로 비정형로그데이터를 처리하는 기능을 제공한다. MySQL과 같은 관계형 데이터베이스는 복잡한 스키마 구조를 가지고 있기 때문에 비정형 로그데이터를 처리하기에 적합하지 않은 구조를 가지고 있다. 또한, 관계형 데이터베이스의 엄격한 스키마 구조는 장기간 데이터가 축적되거나, 데이터가 급격하게 증가할 때 저장된 데이터를 분할하여 여러 노드에 분산시키는 노드 확장이 어렵다는 문제점을 가지고 있다. NoSQL은 관계형 데이터베이스에서 제공하는 복잡한 연산을 지원하지는 않지만 데이터가 빠르게 증가할 때 노드 분산을 통한 데이터베이스 확장이 매우 용이하며 비정형 데이터를 처리하는데 매우 적합한 구조를 가지고 있는 비관계형 데이터베이스이다. NoSQL의 데이터 모델은 주로 키-값(Key-Value), 컬럼지향(Column-oriented), 문서지향(Document-Oriented)형태로 구분되며, 제안한 시스템은 스키마 구조가 자유로운 문서지향(Document-Oriented) 데이터 모델의 대표 격인 MongoDB를 도입하였다. 본 시스템에 MongoDB를 도입한 이유는 유연한 스키마 구조에 따른 비정형 로그데이터 처리의 용이성뿐만 아니라, 급격한 데이터 증가에 따른 유연한 노드 확장, 스토리지 확장을 자동적으로 수행하는 오토샤딩 (AutoSharding) 기능을 제공하기 때문이다. 본 논문에서 제안하는 시스템은 크게 로그 수집기 모듈, 로그 그래프생성 모듈, MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈로 구성되어져 있다. 로그 수집기 모듈은 각 은행에서 고객의 업무 프로세스 시작부터 종료 시점까지 발생하는 로그데이터가 클라우드 서버로 전송될 때 로그데이터 종류에 따라 데이터를 수집하고 분류하여 MongoDB 모듈과 MySQL 모듈로 분배하는 기능을 수행한다. 로그 그래프생성 모듈은 수집된 로그데이터를 분석시점, 분석종류에 따라 MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈에 의해서 분석되어진 결과를 사용자에게 웹 인터페이스 형태로 제공하는 역할을 한다. 실시간적 로그데이터분석이 필요한 로그데이터는 MySQL 모듈로 저장이 되어 로그 그래프생성 모듈을 통하여 실시간 로그데이터 정보를 제공한다. 실시간 분석이 아닌 단위시간당 누적된 로그데이터의 경우 MongoDB 모듈에 저장이 되고, 다양한 분석사항에 따라 사용자에게 그래프화해서 제공된다. MongoDB 모듈에 누적된 로그데이터는 Hadoop기반 분석모듈을 통해서 병렬 분산 처리 작업이 수행된다. 성능 평가를 위하여 로그데이터 삽입, 쿼리 성능에 대해서 MySQL만을 적용한 로그데이터 처리시스템과 제안한 시스템을 비교 평가하였으며 그 성능의 우수성을 검증하였다. 또한, MongoDB의 청크 크기별 로그데이터 삽입 성능평가를 통해 최적화된 청크 크기를 확인하였다.