• 제목/요약/키워드: 대용량 메모리

검색결과 370건 처리시간 0.033초

대용량 파일시스템을 위한 선택적 압축을 지원하는 인-메모리 캐시의 설계와 구현 (Design and Implementation of an In-Memory File System Cache with Selective Compression)

  • 최형원;서의성
    • 정보과학회 논문지
    • /
    • 제44권7호
    • /
    • pp.658-667
    • /
    • 2017
  • DRAM 기반의 인메모리 캐시는 고비용으로 인해 용량을 늘리는 데에는 한계가 있다. 이를 위해 압축을 이용하여 더 많은 데이터를 캐시하는 기법들이 연구되어 왔다. 그러나 압축은 높은 처리부하와 반응 지연을 야기한다. 본 논문에서는 섀넌 엔트로피를 통해 파일의 압축률을 낮은 오버헤드를 통해 고속으로 예측하여, 높은 압축률을 가진 파일만 압축하는 선택적 압축 기법을 제안하였다. 또한 이를 파일시스템 내에서 실제 사용이 가능하도록 커널 레벨에서 파일 시스템을 위한 인메모리 캐시를 제공하도록 구현하였다. 실험 결과 선택적 압축 기법은 비 압축에 비해 약 18%의 실행시간 감소를 보이며, 전체 캐시 데이터 압축 방법에 비해서도 캐시 히트율의 감소에 의한 성능하락을 최소화 시키고, 동시에 압축에 대한 오버헤드를 줄여, 7.5%의 실행시간을 감소시킬 수 있음을 보였다. 또한 압축에 사용되는 CPU사용시간을 모두 압축 했을 때와 비교하여 28%감소시킬 수 있음을 보여주었다.

실시간 위치 기반 서비스를 위한 확장 SLDS 설계 및 구현 (Design and Implementation of the Extended SLDS for Real-time Location Based Services)

  • 이승원;강홍구;홍동숙;한기준
    • 한국공간정보시스템학회 논문지
    • /
    • 제7권2호
    • /
    • pp.47-56
    • /
    • 2005
  • 최근 이동 컴퓨팅 기술과 무선 측위 기술이 급속도로 발전하고 무선 인터넷이 보편화됨에 따라 이동체의 위치 정보를 활용하는 위치 기반 서비스(LBS: Location Based Service)가 다양한 분야에서 제공되고 있다. 위치 기반 서비스를 제공하기 위해서는 이동체의 위치 정보를 주기적으로 저장하는 위치 데이타 서버가 필요하다. 기존에는 이동체의 위치 데이타를 저장하기 위해서 GIS 서버를 사용해 왔다. 하지만 GIS 서버는 정적 데이타를 기반으로 설계되었기 때문에 이동체의 위치 데이타를 저장하는데 적합하지 않다. 따라서, 본 논문에서는 이동체의 위치 데이타를 관리하기 위해 제안된 클러스터 기반 분산 컴퓨팅 구조를 갖는 GALIS(Gracefully Aging Location Information System) 아키텍처의 서브 시스템인 SLDS(Short-term Location Data Subsystem)를 확장하여 실시간 위치 기반 서비스를 위한 확장 SLDS를 설계 및 구현하였다. 확장 SLDS는 TMO(Time-triggered Message-triggered Object) 프로그래밍 기법을 이용하여 위치 데이타 처리의 실시간성을 보장하며, 이동체 데이타를 다수의 노드에 적절히 분산시킴으로써 대용량 위치 데이타를 효율적으로 관리할 수 있다. 그리고, 메인메모리에서 위치 데이타를 관리하기 때문에 검색 및 갱신 오버헤드가 적다. 또한, 실험을 통하여 확장 SLDS는 기존에 제시된 SLDS 보다 더 효율적인 저장과 부하 분산을 수행한다는 것을 확인하였다.

  • PDF

컬럼-기반 데이터베이스를 위한 그림자 복구 (Shadow Recovery for Column-based Databases)

  • 변시우
    • 한국산학기술학회논문지
    • /
    • 제16권4호
    • /
    • pp.2784-2790
    • /
    • 2015
  • 컬럼-기반 데이터베이스 저장소는 우수한 입출력 성능으로 대용량 데이터 트랜잭션을 위한 매우 진보적인 모델이다. 전통적인 데이터 저장소는 빠른 쓰기 연산을 위하여 한 레코드의 속성들을 하드 디스크에 연속적으로 배치되어 있는 가로-지향 저장 모델을 활용하였다. 하지만 검색이 대부분인 데이터웨어하우스 시스템을 위해서는 월등한 판독 성능 때문에 컬럼-지향 저장소가 더 적합한 모델이 되고 있다. 또한 최근에는 플래시 메모리를 사용한 SSD가 고속 데이터 분석 시스템을 위한 적합한 저장 매체로 인식되고 있다. 본 연구에서는 플래시 미디어 파일 시스템을 기반으로 하는 컬럼-기반 데이터베이스 환경을 위한 새로운 트랜잭션 회복기법(CoSR)을 제안한다. 제안 기법은 기존의 쉐도우 페이징 기법을 개선하여 플래시 파일 시스템에서 새로운 블록에 데이터를 저장할 경우 무효화되어 폐기되는 이전 데이터 블록을 재활용하였다. 이를 위하여 제안된 컬럼-기반 쉐도우 복구 기법에 재활용 쉐도우 리스트 구조를 활용하였다. 제안 기법은 기존 쉐도우 페이징기법의 최대 단점인 쉐도우 페이지 관련 추가 저장공간의 부담을 최소화하고, 기존 복구 기법에서 컬럼 데이터 압축에 기인한 입출력 성능저하를 최소화 할 수 있다. 실험 분석결과를 통하여 CoSR기법이 기존 기법보다 17% 더 우수함을 확인하였다.

FirmOS를 이용한 HDD 무결성 검사 시스템 개발에 관한 연구 (Study on Development of HDD Integrity Verification System using FirmOS)

  • 염재환;오세진;노덕규;정동규;황주연;오충식;김효령;신재식
    • 융합신호처리학회논문지
    • /
    • 제18권2호
    • /
    • pp.55-61
    • /
    • 2017
  • 전파천문분야에서 관측데이터의 저장을 위해 대용량 HDD를 RAID로 연결한 디스크 팩을 활용하고 있다. VLBI 관측의 경우 관측속도가 빨라지고 광대역으로 확장되면서 많은 양의 관측데이터를 저장해야 한다. HDD는 사용회수가 많아질수록 고장이 많이 발생하고 있으며, 이것을 찾아서 복구하는데 많은 시간이 소요된다. 또한 고장난 HDD를 계속 사용할 경우 관측데이터의 손실이 발생한다. 그리고 새 HDD를 구입하여 많은 비용도 필요하게 된다. 본 연구에서는 FirmOS를 이용하여 SATA HDD의 무결성 검사 시스템을 개발하였다. FirmOS는 일반 서버보드와 CPU를 갖는 시스템에서 특정목적에만 동작하도록 개발한 OS이다. 개발한 시스템은 FirmOS 기반에서 SATA HDD의 물리적인 영역에 특정 패턴의 데이터를 쓰고 읽는 과정을 수행한다. 그리고 HDD 제어기의 메모리 영역에서 HDD로부터 읽어들인 저장된 패턴 데이터와 비교를 수행하는 방식으로 HDD의 무결성 검사를 확인하는 방법을 채용하였다. 개발한 시스템을 활용하여 VLBI 관측에서 활용하고 있는 디스크 팩의 고장여부를 쉽게 확인할 수 있었으며, 관측효율을 향상시킬 수 있는데 많은 도움이 되고 있다. 본 논문에서는 개발한 SATA HDD 무결성 확인 시스템의 설계, 구성, 시험 등에 대해 자세히 기술한다.

  • PDF

스트링 B-트리를 이용한 게놈 서열 분석 시스템 (An Analysis System for Whole Genomic Sequence Using String B-Tree)

  • 최정현;조환규
    • 정보처리학회논문지A
    • /
    • 제8A권4호
    • /
    • pp.509-516
    • /
    • 2001
  • 생명 과학의 발전과 많은 게놈(genome) 프로젝트의 결과로 여러 종의 게놈 서열이 밝혀지고 있다. 생물체의 서열을 분석하는 방법은 전역정렬(global alignment), 지역정렬(local alignment) 등 여러 가지 방법이 있는데, 그 중 하나가 k-mer 분석이다. k-mer는 유전자의 염기 서열내의 길이가 k인 연속된 염기 서열로서 k-mer 분석은 염기서열이 가진 k-mer들의 빈도 분포나 대칭성 등을 탐색하는 것이다. 그런데 게놈의 염기 서열은 대용량 텍스트이고 k가 클 때 기존의 온메모리 알고리즘으로는 처리가 불가능하므로 효율적인 자료구조와 알고리즘이 필요하다. 스트링 B-트리는 패턴 일치(pattern matching)에 적합하고 외부 메모리를 지원하는 좋은 자료구조이다. 본 논문에서는 스트링 B-트리(string B-tree)를 k-mer 분석에 효율적인 구조로 개선하여, C. elegans 외의 30개의 게놈 서열에 대해 분석한다. k-mer들의 빈도 분포와 대칭성을 보여주기 위해 CGR(Chaotic Game Representation)을 이용한 가시화 시스템을 제시한다. 게놈 서열과 매우 유사한 서열 상의 어떤 부분을 시그니쳐(signature)라 하고, 높은 유사도를 가지는 최소 길이의 시그니쳐를 찾는 알고리즘을 제시한다.

  • PDF

영역 질의의 효과적인 처리를 위한 궤적 인덱싱 (Trajectory Indexing for Efficient Processing of Range Queries)

  • 차창일;김상욱;원정임
    • 정보처리학회논문지D
    • /
    • 제16D권4호
    • /
    • pp.487-496
    • /
    • 2009
  • 본 연구에서는 대용량 궤적 데이터베이스에서 영역 질의를 효과적으로 처리하기 위한 인덱싱 기법에 대하여 논의한다. 먼저, 기존 인덱싱기법의 문제점을 지적하고, 이러한 문제점을 해결하는 새로운 기법을 제안한다. 제안된 기법에서는 우선 시간 차원을 다수의 시간 구간으로 분할하고, 인덱싱의 대상이 되는 전체 라인 세그먼트들을 시간 구간별로 구분한다. 각 시간 구간에 속하는 라인 세그먼트들에 대하여 별도의 인덱스를 구축한다. 또한, 디스크에서 관리되는 과거 시간 구간에 대한 인덱스들과는 달리 최근 시간 구간에 대한 인덱스는 메인 메모리상에 관리함으로써 삽입과 검색의 성능을 크게 개선할 수 있다. 각 시간 구간에 속하는 라인 세그먼트들은 다음과 같은 방식으로 인덱스를 구축한다. 먼저, 2D-트리를 이용하여 전체 공간 차원을 유사한 수의 라인 세그먼트들이 배정되도록 다수의 셀들로 분할한다. 또한, 분할된 각 셀마다 시공간 차원 (x, y, t)에 대한 별도의 3차원 $R^*$-트리를 두어 보다 상세한 인덱싱을 지원한다. 이와 같은 다양한 전략을 이용함으로써 기존 기법의 문제점들을 해결 할 수 있다. 다양한 실험을 통하여 제안된 기법의 우수성을 정량적으로 검증한다. 실험 결과에 의하면, 기존 기법에 비하여 작은 인덱스 구조를 갖으면서도 검색 성능면에서 3$\sim$10배까지의 성능 향상 효과를 갖는 것으로 나타났다.

JAVA를 이용한 위성영상처리/분석 시스템 개발 : GeoPixel Ver. 1.0 (Development of a Remotely Sensed Image Processing/Analysis System : GeoPixel Ver. 1.0)

  • 안충현;신대혁
    • 대한원격탐사학회지
    • /
    • 제13권1호
    • /
    • pp.13-30
    • /
    • 1997
  • 초 미세 분광 분해능 센서, 고 공간 분해능 센서로 대표되는 최근의 위성 센서의 실용화 로, 향후 획득되는 위성 영상은 최소 수백 MB/scene 정도의 막대한 양이 될 것으로 예상된다. 또 한, 인터넷 및 초고속 정보망을 이용한 각종 정보의 활발한 교환은 보다 능동적인 형태의 위성영 상의 가공, 분석, 부가가치 정보 생산이 가능한 서비스 시스템의 개발을 요구한다. 본 연구에서는 향후 예상되는 위성 센서의 개발 방향과 이를 처리하기 위하여 고려되어야 할 미래지향적인 개념 인, 객체 파이프를 통한 자료의 입출력, 다중 쓰레드를 활용한 자료 처리 구조에 대하여 분석하 고, 인터넷 언어인 자바를 이용하여 개발 중에 있는, 위성 영상 처리 및 분석 시스템(GeoPixel 1.0)에 대하여 설명한다. 이 시스템은 인터넷 상에서 사용이 가능하며, 사용자 플랫폼에 독립적으 로, 상당 부분이 위성자료 분석 모듈들이 구현되어 있다. 대용량 위성 영상 처리를 위하여 본 연 구에서 개발된 다중쓰레딩, 객체 파이프와 같은 새로운 자료 처리 개념을 이용한 시스템의 개발 로 보다 효율적인 컴퓨터 자원(CPU 시간과 메모리)의 활용과 처리 속도면에서의 향상이 기대된 다.

휴대용 멀티미디어 디바이스를 위한 TPO(Time, Place, Occasion)-Shift 시스템 설계에 대한 연구 (Research on the Design of TPO(Time, Place, 0Occasion)-Shift System for Mobile Multimedia Devices)

  • 김대진;최홍섭
    • 한국컴퓨터정보학회논문지
    • /
    • 제14권2호
    • /
    • pp.9-16
    • /
    • 2009
  • 광대역 네트워크의 발달과 함께 멀티미디어 산업의 발달은 IPTV와 같은 디지털 콘텐츠 시장의 확산을 가져오고 있다. 이러한 배경 속에서 멀티미디어에 대한 욕구를 만족시키기 위해 Time-Shift 시스템이 개발되었다. 이 시스템은 시간(Time)에 대한 독립적 특성만 강조되었기 때문에 장소(Place)와 상황(Occasion)에 대해서는 독립적이지 못하다. 이러한 문제를 해결하기 위해서 본 논문에서는 휴대용 멀티미디어 디바이스를 위한 TPO(Time, Place, Occasion)-Shift 시스템에 대한 설계를 제안한다. 휴대용 멀티미디어 디바이스에서 지원 가능한 프로파일과 일반 셋탑박스에서 지원 가능한 프로파일은 다르고, 휴대용 디바이스에서는 대용량의 멀티미디어 데이터를 무한정으로 저장할 수 없기 때문에 한정된 양의 데이터를 원하는 프로파일로 계속저장하는 것이 설계의 핵심이다. 따라서 보다 효율적인 버퍼 관리를 위해서 지정시간 단위의 바스켓을 구성하고, 바스켓의 파일이름에 시간정보를 삽입함으로써 새로운 콘텐츠 구성을 위한 DTS(Decoding Time Stamp) 정보로 파일이름을 사용할 수 있다. 따라서 트랜스코딩을 통하여 데이터 변환할 때, DTS정보를 이용하여 새로운 포맷의 콘텐츠를 휴대용 멀티미디어 디바이스에 구성할 수 있게 된다. 또한 바스켓 기반의 버퍼시스템를 이용하여 모바일 디바이스에 실시간으로 컨텐츠를 구성하고 셋탑박스내에서 메모리를 적게 사용한다. 본 논문에서 제안한 TPO-Shift시스템은 윈도우즈 비스타의 환경에서 다이렉트쇼(Directshow) 재생기를 이용한 셋탑박스, 그리고 휴대용 디바이스인 MS340 단말기로 구현하였으며, 실시간으로 TPO-Shift 시스템을 충분히 실행함을 확인할 수 있었다.

클라우드 환경에서 MongoDB 기반의 비정형 로그 처리 시스템 설계 및 구현 (Design and Implementation of MongoDB-based Unstructured Log Processing System over Cloud Computing Environment)

  • 김명진;한승호;최운;이한구
    • 인터넷정보학회논문지
    • /
    • 제14권6호
    • /
    • pp.71-84
    • /
    • 2013
  • 컴퓨터 시스템 운용 간에 발생하는 많은 정보들이 기록되는 로그데이터는 컴퓨터 시스템 운용 점검, 프로세스의 최적화, 사용자 최적화 맞춤형 제공 등 다방면으로 활용되고 있다. 본 논문에서는 다양한 종류의 로그데이터들 중에서 은행에서 발생하는 대용량의 로그데이터를 처리하기 위한 클라우드 환경 하에서의 MongoDB 기반 비정형 로그 처리시스템을 제안한다. 은행업무간 발생하는 대부분의 로그데이터는 고객의 업무처리 프로세스 간에 발생하며, 고객 업무 프로세스 처리에 따른 로그데이터를 수집, 저장, 분류, 분석하기 위해서는 별도로 로그데이터를 처리하는 시스템을 구축해야만 한다. 하지만 기존 컴퓨팅환경 하에서는 폭발적으로 증가하는 대용량 비정형 로그데이터 처리를 위한 유연한 스토리지 확장성 기능, 저장된 비정형 로그데이터를 분류, 분석 처리할 수 있는 기능을 구현하기가 매우 어렵다. 이에 따라 본 논문에서는 클라우드 컴퓨팅 기술을 도입하여 기존 컴퓨팅 인프라 환경의 분석 도구 및 관리체계에서 처리하기 어려웠던 비정형 로그데이터를 처리하기 위한 클라우드 환경기반의 로그데이터 처리시스템을 제안하고 구현하였다. 제안한 본 시스템은 IaaS(Infrastructure as a Service) 클라우드 환경을 도입하여 컴퓨팅 자원의 유연한 확장성을 제공하며 실제로, 로그데이터가 장기간 축적되거나 급격하게 증가하는 상황에서 스토리지, 메모리 등의 자원을 신속성 있고 유연하게 확장을 할 수 있는 기능을 포함한다. 또한, 축적된 비정형 로그데이터의 실시간 분석이 요구되어질 때 기존의 분석도구의 처리한계를 극복하기 위해 본 시스템은 하둡 (Hadoop) 기반의 분석모듈을 도입함으로써 대용량의 로그데이터를 빠르고 신뢰성 있게 병렬 분산 처리할 수 있는 기능을 제공한다. 게다가, HDFS(Hadoop Distributed File System)을 도입함으로써 축적된 로그데이터를 블록단위로 복제본을 생성하여 저장관리하기 때문에 본 시스템은 시스템 장애와 같은 상황에서 시스템이 멈추지 않고 작동할 수 있는 자동복구 기능을 제공한다. 마지막으로, 본 시스템은 NoSQL 기반의 MongoDB를 이용하여 분산 데이터베이스를 구축함으로써 효율적으로 비정형로그데이터를 처리하는 기능을 제공한다. MySQL과 같은 관계형 데이터베이스는 복잡한 스키마 구조를 가지고 있기 때문에 비정형 로그데이터를 처리하기에 적합하지 않은 구조를 가지고 있다. 또한, 관계형 데이터베이스의 엄격한 스키마 구조는 장기간 데이터가 축적되거나, 데이터가 급격하게 증가할 때 저장된 데이터를 분할하여 여러 노드에 분산시키는 노드 확장이 어렵다는 문제점을 가지고 있다. NoSQL은 관계형 데이터베이스에서 제공하는 복잡한 연산을 지원하지는 않지만 데이터가 빠르게 증가할 때 노드 분산을 통한 데이터베이스 확장이 매우 용이하며 비정형 데이터를 처리하는데 매우 적합한 구조를 가지고 있는 비관계형 데이터베이스이다. NoSQL의 데이터 모델은 주로 키-값(Key-Value), 컬럼지향(Column-oriented), 문서지향(Document-Oriented)형태로 구분되며, 제안한 시스템은 스키마 구조가 자유로운 문서지향(Document-Oriented) 데이터 모델의 대표 격인 MongoDB를 도입하였다. 본 시스템에 MongoDB를 도입한 이유는 유연한 스키마 구조에 따른 비정형 로그데이터 처리의 용이성뿐만 아니라, 급격한 데이터 증가에 따른 유연한 노드 확장, 스토리지 확장을 자동적으로 수행하는 오토샤딩 (AutoSharding) 기능을 제공하기 때문이다. 본 논문에서 제안하는 시스템은 크게 로그 수집기 모듈, 로그 그래프생성 모듈, MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈로 구성되어져 있다. 로그 수집기 모듈은 각 은행에서 고객의 업무 프로세스 시작부터 종료 시점까지 발생하는 로그데이터가 클라우드 서버로 전송될 때 로그데이터 종류에 따라 데이터를 수집하고 분류하여 MongoDB 모듈과 MySQL 모듈로 분배하는 기능을 수행한다. 로그 그래프생성 모듈은 수집된 로그데이터를 분석시점, 분석종류에 따라 MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈에 의해서 분석되어진 결과를 사용자에게 웹 인터페이스 형태로 제공하는 역할을 한다. 실시간적 로그데이터분석이 필요한 로그데이터는 MySQL 모듈로 저장이 되어 로그 그래프생성 모듈을 통하여 실시간 로그데이터 정보를 제공한다. 실시간 분석이 아닌 단위시간당 누적된 로그데이터의 경우 MongoDB 모듈에 저장이 되고, 다양한 분석사항에 따라 사용자에게 그래프화해서 제공된다. MongoDB 모듈에 누적된 로그데이터는 Hadoop기반 분석모듈을 통해서 병렬 분산 처리 작업이 수행된다. 성능 평가를 위하여 로그데이터 삽입, 쿼리 성능에 대해서 MySQL만을 적용한 로그데이터 처리시스템과 제안한 시스템을 비교 평가하였으며 그 성능의 우수성을 검증하였다. 또한, MongoDB의 청크 크기별 로그데이터 삽입 성능평가를 통해 최적화된 청크 크기를 확인하였다.

이동 객체 경로 탐색을 위한 시공간 클러스터링 기법 (A Spatio-Temporal Clustering Technique for the Moving Object Path Search)

  • 이기영;강홍구;윤재관;한기준
    • 한국공간정보시스템학회 논문지
    • /
    • 제7권3호
    • /
    • pp.67-81
    • /
    • 2005
  • 최근 들어 지리 정보 시스템이 발전함에 따라 경로 검색, 주변 정보 검색, 응급 서비스 등을 제공하는 위치 기반 서비스, 텔레매틱스 등의 새로운 응용 서비스 개발에 대한 관심과 연구가 증대되고 있다. 위치 기반 서비스 및 텔레매틱스에서 사용되는 시공간 데이타베이스에서의 사용자의 검색은 시간 축을 현재의 시간으로 고정하고 공간 및 비공간 속성을 검색하기 때문에 시간 축에 대한 검색 범위가 넓을 경우에는 이를 효율적으로 처리하기 어렵다. 이를 해결하기 위하여 이동 객체의 위치 데이타를 요약하는 기법인 스냅샷이 소개되었다. 그러나, 이러한 스냅샷 기법은 저장해야 되는 총간 영역이 넓을 경우 저장 공간이 많이 필요하며 검색에 자주 사용되지 않는 불필요한 영역까지 스냅샷을 생성하므로 저장 공간 및 메모리를 많이 사용하게 된다. 이에 본 논문에서는 기존의 스냅샷 기법의 단점을 극복하기 위하여 이전에 공간 클러스터링을 위해 사용되던 2차원의 공간 해시 알고리즘을 시공간으로 확장한 해시-기반 시공간 클러스터링 알고리즘(H-STCA)과 과거 위치 데이타로부터 이동 객체 경로 탐색을 위한 지식을 추출하기 위해 H-STCA 알고리즘에 근거한 지식 추출 알고리즘을 제안한다. 그리고, 대용량의 이동 객체 데이터에 대한 검색 시간, 저장 구조 생성 시간, 최적 경로 탐색 시간 등에서 H-STCA를 사용한 스냅샷 클러스터링 방법, 기존의 시공간 인덱스 방법, 스냅샷 방법과의 성능평가에 대하여 설명한다. 성능평가 결과로 H-STCA를 사용한 스냅샷 클러스터링 방법은 기존의 시공간 인덱스 방법이나 스냅샷 방법 보다 이동 객체의 개수가 증가하면 할수록 성능 향상이 더욱 큰 것으로 나타났다.

  • PDF