• 제목/요약/키워드: 캐시메모리

검색결과 242건 처리시간 0.028초

하둡 시스템 정보의 이상탐지를 위한 시각화 (Visualization of Anomaly Detection in Hadoop System Information)

  • 양석우;손시운;길명선;문양세;원희선
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 춘계학술발표대회
    • /
    • pp.702-705
    • /
    • 2015
  • 본 논문에서는 하듐 환경에서 시스템 정보의 이상탐지를 위한 시각화 기능을 설계 및 구현한다. 제안한 이상탐지 시각화 기능은 크게 세 단계로 구분된다. 먼저, 각 노드로부터 시스템 로그 데이터(캐시 및 메인 메모리)를 수집하여 하이브(Hive) 저장한다. 그리고 저장한 데이터에 3-시그마 규칙을 적용하여 이상탐지를 수행한 후 관계형 데이터베이스에 적합하도록 재가공한다. 마지막으로, 스쿱(Sqoop)을 통해 RDBMS(MariaDB)에 이상탕지 결과를 저장하고, DHTMLX 차트 라이브러리를 사용하여 이를 시각화한다. 시각화 결과, 로그 데이터의 이상탐지와 데이터간의 상관관계를 직관적으로 이해할 수 있게 되었다.

플래시 메모리를 사용한 쓰기 캐시 정책 연구 (A Study on Write Cache Policy using a Flash Memory)

  • 김영진;알드히노;이정배;임기욱
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2009년도 추계학술발표대회
    • /
    • pp.77-78
    • /
    • 2009
  • In this paper, we study a pattern-aware write cache policy using a NAND flash memory in disk-based mobile storage systems. Our work is designed to face a mix of a number of sequential accesses and fewer non-sequential ones in mobile storage systems by redirecting the latter to a NAND flash memory and the former to a disk. Experimental results show that our policy improves the overall I/O performance by reducing the overhead significantly from a non-volatile cache over a traditional one.

디스크 기반 그래프 엔진의 입출력 성능 향상을 위한 그래프 오더링 (Improving the I/O Performance of Disk-Based Graph Engine by Graph Ordering)

  • 임근학;김정현;이은재;서지원
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제24권1호
    • /
    • pp.40-45
    • /
    • 2018
  • 빅데이터와 소셜 네트워크의 발전과 더불어 거대한 그래프를 처리하는 연구도 활발하게 진행되고 있다. 최근 그래프 처리의 성능 향상을 위해 Gorder 라는 그래프 오더링 기법이 제안되었다. 이 기법은 메모리 상의 그래프 레이아웃을 변형하여 데이터 접근 패턴을 CPU 캐시에 적합하게 바꿈으로써 성능을 향상시킨다. 하지만 그래프 알고리즘의 캐시 지역성에만 초점을 두고 설계되었기 때문에 디스크 기반 그래프 엔진에서는 적합하지 않고 전처리 비용도 크다는 문제점이 있다. 제시한 문제점을 해결하기 위해, 본 논문에서는 새로운 그래프 오더링인 I/O Order를 제안하였다. I/O Order는 디스크 기반의 그래프 엔진에서 지역성 외에 입출력 부하를 고려하여 설계되었다. 또한, 오더링 비용을 줄이기 위해 간단한 scheme을 사용한다. 본 논문에서 제시된 I/O Order는 Gorder와 비교해 전처리 비용이 최대 9.6배 감소하였고 성능은 지역성이 낮은 그래프 알고리즘에서 Random 대비 최대 2배 이상 향상되었다.

대용량 지형 데이터를 위한 웹 기반 분산 가시화 시스템 (Web-Based Distributed Visualization System for Large Scale Geographic Data)

  • 황규현;윤성민;박상훈
    • 한국멀티미디어학회논문지
    • /
    • 제14권6호
    • /
    • pp.835-848
    • /
    • 2011
  • 본 논문에서는 방대한 지형 데이터의 효과적 가시화를 위한 클라이언스-서버 기반의 분산/병렬 시스템을 제안한다. 이 시스템은 웹 기반으로 수행되는 클라이언트 GUI 프로그램과 복수의 PC 클러스터에서 구동되는 분산/병렬 서버 프로그램으로 구성된다. PC 뿐만 아니라 모바일 기기에서도 클라이언트 프로그램이 수행될 수 있도록 자바 기반의 OpenGL 그래픽스 라이브러리인 JOGL을 사용하여 GUI를 설계하였으며, 사용하는 기기의 현재 사용 가능한 메모리 크기와 화면의 최대 해상도 정보를 서버에게 전달하여 서버의 작업을 최소화하였다. 서버로 사용된 PC 클러스터는 분산된 지형 데이터를 액세스하고 이를 클라이언트로부터 받은 정보에 따라 적절히 리샘플링 한 후 이를 다시 전송하는 작업을 담당한다. 서버의 각 노드들뿐만 아니라 클라이언트까지 캐시 자료구조를 유지함으로써 분산된 방대한 지형 데이터의 반복 접근 시 발생되는 지연 시간을 최소화하도록 설계하였다.

응용프로그램의 기동시간 단축을 위한 파일 시스템 수준의 SSD 캐싱 기법 (File-System-Level SSD Caching for Improving Application Launch Time)

  • 한창희;유준희;이동은;강경태;신현식
    • 정보과학회 논문지
    • /
    • 제42권6호
    • /
    • pp.691-698
    • /
    • 2015
  • 응용프로그램의 기동 시간은 기기에 대한 사용자 체험에 영향을 주는 중요한 지표로 보조 기억 장치의 성능에 의해 큰 영향을 받는다. 하드디스크 대신 SSD를 사용하게 되면 기동 시간을 크게 낮출 수 있지만 비용 대비 성능을 고려하면 작은 용량의 SSD를 하드디스크의 캐시로 쓰는 것이 현실적인 대안이 될 수 있다. 본 논문에서는 파일시스템 수준에서 하드디스크 상의 블록을 SSD로 이주시키는 기법을 제안한다. 제안한 기법은 기존의 SSD 캐싱 기법들에서 요구되던 캐시 데이터의 사상에 필요한 주 메모리, CPU, 그리고 사상 정보의 유지를 위한 SSD 공간 사용의 부가적인 오버헤드가 없다. 8개의 응용프로그램을 이용한 실험에서 메타데이터와 데이터 블록을 모두 SSD에 캐싱한 경우에 기동시간이 평균 56% 단축됨을 확인하였다.

PC향 SSD의 성능 분석을 위한 트랜잭션 수준 시뮬레이터 (A Transaction Level Simulator for Performance Analysis of Solid-State Disk (SSD) in PC Environment)

  • 김동;방관후;하승환;정성우;정의영
    • 대한전자공학회논문지SD
    • /
    • 제45권12호
    • /
    • pp.57-64
    • /
    • 2008
  • 본 연구는 전송 수준 모델링 기법을 이용하여 SSD가 장착된 PC 시스템의 성능 분석 및 구조 탐색을 위한 시스템 수준 환경 구축을 제안한다. 구축된 시뮬레이션 환경은 SSD가 장착된 PC 시스템의 관점에서 다양한 구조적 변화에 대한 정량적인 성능 분석을 제공할 뿐만 아니라, 기존의 레지스터 전송 수준 모델링 기법보다 매우 빠른 시뮬레이션 속도를 제공한다. 구축된 시뮬레이터의 유용성을 보이기 위하여, PC 수준의 구조 탐색과 SSD 수준의 구조 탐색을 수행하였다. 특히 SSD 수준의 구조 탐색에서는 캐시 버퍼에서 저장된 데이터의 캐시 적중률에 따른 성능 변화와 NAND 플래시 메모리의 성능 변화가 전체 시스템 성능에 미치는 영향을 분석하였다. 이러한 실험 결과는 제안된 시뮬레이터가 PC 환경하에서 SSD 및 PC 구조의 성능 분석 및 구조 개선에 효율적으로 활용될 수 있음을 보여주었다.

16개의 처리기를 가진 다중접근기억장치를 위한 영상처리 알고리즘의 구현에 대한 성능평가 (Performance Analysis of Implementation on Image Processing Algorithm for Multi-Access Memory System Including 16 Processing Elements)

  • 이유진;김재희;박종원
    • 전자공학회논문지CI
    • /
    • 제49권3호
    • /
    • pp.8-14
    • /
    • 2012
  • 최근 3D TV나 영화, 증강현실과 같은 대용량 고화질의 영상 응용분야가 확산됨에 따라 빠른속도로 영상을 처리하는 것이 요구되고 있다. 여러개의 프로세서로 구성되어 병렬처리 성능을 극대화 시킬 수 있는 SIMD구조의 컴퓨터는 다양하고 많은 양의 데이터들을 처리하는 것을 가속화한다. 다중접근기억장치인 MAMS는 여러개의 PE와 고성능 SIMD 구조에 최적화된 시스템으로 MAMS는 메모리 모듈을 $M{\times}N$의 2-D array 개념을 적용하여 X, Y 좌표 및 임의의 간격으로 pq개의 데이터 각각에 수평, 수직, 대각선, 역대각선, 블록의 다양한 방식으로 충돌없이 접근하며, 이 메모리모듈(MM)의 개수 m은 pq 개수보다 큰 소수이다. MAMS-PP4는 4개의 PE와 5개의 MM로 구성되어 기존에 구현된 바 있다. 이 논문에서는 MAMS-PP4의 확장으로 16개의 PE와 17개의 MM으로 구성된 MAMS-PP16에 대한 영상처리 알고리즘의 구현과 그에 따른 성능평가에 대해 소개한다. MAMS-PP16의 인스트럭션 포맷은 64비트로 확장되어 새로 설계 되었으며 특정 어플리케이션의 추가와 새로운 인스트럭션이 포함되어 있다. 본 논문에서는 구현된 알고리즘이 수행될 수 있도록 MAMS-PP16의 시뮬레이터를 개발하였다. 이 시뮬레이터를 통해 구현된 영상처리 알고리즘을 수행함으로서 MAMS-PP16의 성능이 향상되었음을 확인하였다. 영상처리 알고리즘 중 피라미드 기법을 적용하여 수행한 결과, 캐시를 사용하는 Serial processor에서는 랜덤한 응답인 반면, 캐시를 사용하지 않는 MAMS-PP16에서 일정한 응답을 확인하였다.

비정렬 격자에 대한 광선 투사를 위한 셀 사이 연결정보 추출 병렬처리 알고리즘 (Parallel Cell-Connectivity Information Extraction Algorithm for Ray-casting on Unstructured Grid Data)

  • 이지훈;김덕수
    • 한국컴퓨터그래픽스학회논문지
    • /
    • 제26권1호
    • /
    • pp.17-25
    • /
    • 2020
  • 본 논문은 비정렬 격자에 대한 광선투사 수행의 전처리 과정 중 하나인 셀 사이 연결정보 추출에 대한 멀티코어 CPU 기반 병렬처리 알고리즘을 제안한다. 본 연구는 기존의 직렬처리 알고리즘을 단순히 병렬화하였을 때 발생하는 동기화 문제를 확인하고, 이를 해결할 수 있는 3-단계 병렬처리 알고리즘을 제안한다. 제안하는 알고리즘은 각 단계 내에서의 스레드 간 동기화를 제거함으로서 병렬처리 효율을 높인다. 또한, 연결정보 추출 알고리즘의 핵심 연산인, 삼각형 중복 검사 과정의 메모리 접근에 대한 공간적 지역성을 높이고 캐시 활용 효율을 향상시킨다. 본 연구는 나아가, 스레드 마다 자체 메모리 풀을 사용하게 함으로서 병렬처리 효율을 더욱 높인다. 본 연구의 효용성을 확인하기 위해, 제안하는 알고리즘을 두 개의 옥타코어 CPU를 가지는 시스템에 구현하고 세 개의 비정렬 격자 데이터에 적용하였다. 그 결과, 제안하는 병렬처리 알고리즘은 스레드 수 증가에 따라 지속적으로 성능 향상을 보여주었다. 또한, 32개 스레드(물리코어 16개)를 사용하여 기존 직렬처리 알고리즘 대비 최대 82.9배 높은 성능을 보여주었다. 이는 제안하는 알고리즘의 높은 병렬처리 확장성 및 캐시 활용 효율 개선 효과를 증명하며, 대용량 비정렬 격자 처리에 대한 적합성을 보여주는 결과다.

멀티코어 시스템에서 흐름 수준 병렬처리에 기반한 리눅스 TCP/IP 스택의 성능 개선 (A Performance Improvement of Linux TCP/IP Stack based on Flow-Level Parallelism in a Multi-Core System)

  • 권희웅;정형진;곽후근;김영종;정규식
    • 정보처리학회논문지A
    • /
    • 제16A권2호
    • /
    • pp.113-124
    • /
    • 2009
  • 최근 멀티코어가 장착된 시스템이 증가하면서 이를 통한 애플리케이션 성능향상에 대한 노력이 계속 되어왔다. 하나의 시스템에 다수의 처리장치가 존재함으로 인해 프로세싱 파워는 기존보다 증가했지만 기존의 소프트웨어나 하드웨어들은 싱글코어 시스템에 적합하게 설계된 경우가 많아 멀티코어의 이점을 충분히 활용하지 못하고 있는 경우가 많다. 기존의 많은 소프트웨어들은 멀티코어 상에서 공유 자원에 대한 병목현상과 비효율적인 캐시 메모리 사용으로 인하여 충분한 성능향상을 기대하기 어려우며 이러한 문제점들로 인하여 기존 소프트웨어는 코어의 개수에 비례한 성능을 얻지 못하며, 최악의 경우 오히려 감소될 수 있다. 본 논문에서는 TCP/IP를 사용하는 기존의 네트워크 애플리케이션과 운영체제에 흐름 수준 병렬처리 기법을 적용하여 성능을 증가 시킬 수 있는 방법을 제안한다. 제안된 방식은 개별 코어단위로 네트워크 애플리케이션, 운영체제의 TCP/IP 스택, 디바이스 드라이버, 네트워크 인터페이스가 서로 간섭 없이 작동할 수 있는 환경을 구성하며, L2 스위치를 통해 각 코어 단위로 트래픽을 분산하는 방법을 적용하였다. 이를 통해 각 코어 간에 애플리케이션의 데이터 및 자료구조, 소켓, 디바이스 드라이버, 네트워크 인터페이스의 공유를 최소화하여, 각 코어간의 자원을 차지하기 위한 경쟁을 최소화하고 캐시 히트율을 증가시킨다. 이를 통하여 8개의 멀티코어를 사용하였을 경우 네트워크 접속속도와 대역폭이 코어의 개수에 따라 선형적으로 증가함을 실험을 통해 입증하였다.

리눅스 커널에서 네트워크 멀티미디어 서비스를 위한 메모리 복사 감소 기법 구현 (Implementation of Memory Copy Reduction Scheme for Networked Multimedia Service in Linux)

  • 김정원
    • 한국통신학회논문지
    • /
    • 제28권2B호
    • /
    • pp.129-137
    • /
    • 2003
  • MPEG(Motion Picture Expert Group)과 같은 멀티미디어 스트림은 연속적 재생으로 인해 데이터의 지속적인 디스크 검색을 요구한다. 따라서, 커널의 효율적인 지원이 필요한데, 유닉스 계열의 리눅스 버퍼 캐시 시스템은 비정기적이고 비실시간 데이터인 텍스트 데이터용으로 설계되었다. 대용량의 연속 미디어의 경우 커널 주소공간에서 사용자 주소공간으로의 대량의 복사가 이루어지므로 이 과정에서 CPU의 과중한 오버헤드가 발생한다. 이것은 시스템 처리율을 저하시킬 뿐만 아니라 QOS(Quality of Service)도 보장할 수 없다. 본 논문에서 이 메모리 복사 오버헤드를 감소시키기 위한 direct I/O와 one copy 기법을 리눅스 커널에서 설계 및 구현하였다. direct I/O는 디스크의 데이터를 커널 버퍼로 복사하지 않고 사용자 버퍼로 직접 복사하므로 CPU 오버헤드를 획기적으로 감소시킬 수 있다. 그리고, one-copy는 사용자 버퍼로 데이터를 복사하지 않고 직접 네트워크로 전송하는 기법이다. 구현 결과, CPU 오버헤드의 상당한 감소와 시스템의 처리율이 향상됨을 확인하였다.