• 제목/요약/키워드: 로그 연산

검색결과 111건 처리시간 0.028초

비공유 공간 데이터베이스 클러스터에서 최신버전의 클러스터 로그를 이용한 회복기법 (Recovery Method Using Recently Version Based Cluster Log in Shared-Nothing Spatial Database Cluster)

  • 장일국;장용일;박순영;배해영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2004년도 춘계학술발표대회
    • /
    • pp.31-34
    • /
    • 2004
  • 회복기법은 비공유 공간 데이터베이스 클러스터에서 고가용성을 위해 매우 중요하게 고려되고 있다. 일반적으로 데이터베이스 클러스터의 회복기법은 노드의 오류가 발생한 경우 로컬 로그와는 별도로 클러스터 로그를 생성하며, 이를 기반으로 해당 노드에서의 회복과정을 수행한다. 그러나, 기존의 기법은 하나의 레코드를 위해 다수의 갱신정보를 유지함으로써 클러스터 로그의 크기가 증가되고, 전송비용이 증가된다. 이는 회복노드에서 하나의 레코드에 대해 여러 번의 불필요한 연산을 실행하여 회복시간이 증가되고, 전체적인 시스템의 부하를 증가시키는 문제를 발생시킨다. 본 논문에서는 비공유 공간 데이터베이스 클러스터에서 최신버전의 클러스터 로그를 이용한 회복기법을 제안한다. 제안기법에서의 최신버전의 클러스터 로그는 레코드의 변경사항과 실제 데이터를 가리키는 포인터 정보로 구성되고, 하나의 갱신정보를 유지함으로써 클러스터 로그의 크기가 감소하며, 전송비용이 감소한다. 회복노드에서는 하나의 레코드에 대해 한번의 갱신연산만 실행하므로 빠른 회복이 가능하며, 시스템의 가용성을 향상시킨다.

  • PDF

HOT 데이터 블록 병합 지연을 이용한 효율적인 플래시 메모리 로그 버퍼 관리 기법 (An Efficient Log Buffer Management Scheme of Flash Memory Through Delay of Merging Hot Data Blocks)

  • 김학철;박용훈;윤종현;서동민;송석일;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제10권1호
    • /
    • pp.68-77
    • /
    • 2010
  • 본 논문에서는 데이터의 접근성에 따른 병합 가치를 고려한 새로운 로그 버퍼 관리 기법을 제안한다. 제안하는 기법은 로그 블록의 병합 가치를 평가하여 빈번하게 갱신이 발생하지 않는 데이터에 대해서 데이터 블록과의 병합연산을 수행한다. 또한 빈번하게 갱신되는 데이터에 대해 데이터 블록과의 병합을 최대한 지연한다. 이를 통해 불필요한 데이터 블록의 병합 연산을 방지하여 플래시 메모리의 소거 연산 횟수를 크게 감소시켰고, 공간 활용을 극대화 하였다. 마지막으로, 로그 버퍼 관리 기법의 대표적인 기법인 BAST와 FAST와의 성능 비교를 통해 본 논문에서 제안하는 기법의 우수성을 증명하였다. 성능평가 결과 제안하는 기법이 BAST와 FAST에 비해 소거연산 측면에서 평균 25%와 65%의 성능 향상이 있었다.

플래시 메모리 기반의 DBMS를 위한 동적 블록 할당에 기반한 효율적인 로깅 방법 (An Efficient Logging Scheme based on Dynamic Block Allocation for Flash Memory-based DBMS)

  • 하지훈;이기용;김명호
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제36권5호
    • /
    • pp.374-385
    • /
    • 2009
  • 플래시 메모리는 비휘발성이면서도 작고 가벼우며, 전력 소모가 적고 충격에 강하다는 장점 등으로 인해 휴대 기기를 포함한 다양한 기기의 저장매체로 사용되고 있다. 그러나 플래시 메모리는 하드디스크와는 달리 제자리 갱신이 불가능하고, 읽기 연산에 비해 쓰기 및 지우기 연산이 매우 느리기 때문에, 기존의 하드 디스크를 기반으로 설계된 데이터베이스 시스템은 플래시 메모리 상에서 최적의 성능을 내기 어렵다. 플래시 메모리 상에서 데이터베이스의 성능을 극대화하기 위해, 어떤 데이터에 변경이 발생하면 원래 위치의 데이터를 덮어쓰는 대신, 해당 데이터의 변경 사항에 대한 로그만을 다른 위치에 기록하는 방식들이 제안되었다. 본 논문에서는 플래시 메모리 기반의 데이터베이스 시스템을 위한 효율적인 로깅 방법을 제안한다. 제안하는 방법은 기존 방법들과 달리, 로그만을 저장하는 로그 블록들을 별도로 두고 데이터의 변경에 따라 발생하는 로그를 로그 블록들에 고르게 분포시킨다. 이를 통해 제안하는 방법은 페이지 쓰기 및 블록 지우기 연산의 횟수를 크게 감소시킬 수 있다. 합성 데이터와 TPC-C 벤치마크 데이터를 사용한 실험을 통해, 제안하는 방법은 기존의 방법에 비해 좋은 성능을 나타냄을 보였다.

웹 로그 데이터의 OLAP 연산을 위한 희박성 분석 (Web Log Data Sparsity Analysis for OLAP)

  • 김지현;용환승
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 가을 학술발표논문집 Vol.28 No.2 (1)
    • /
    • pp.58-60
    • /
    • 2001
  • 하루에도 수십 수백 메가 바이트까지 증가하는 웹 로그 데이터를 이용하여 실시간에 다차원분석을 가능하게 하기 위해서는 OLAP의 적용이 필요하다. 하지만 OLAP을 적용하는데 있어서 빠른 응답시간을 얻기 위해 사전처리(Precomputation)를 수행 할 시 심각한 데이터의 희박성으로 인해 데이터 폭발 현상이 발생된다. 본 논문에서는 실제 웹 로그 데이터를 사용하여 OLAP적용 시 희박성을 일으키는 원인들을 밝히고, 2, 3 차원에서의 희박성 형태를 분석함으로써 웹 로그 데이터의 희박성 처리 방식 및 성능평가에 기반이 되게 한다.

  • PDF

인메모리 관계형 데이터베이스 시스템을 이용한 대용량 텍스트 로그 데이터의 패턴 매칭 방법 (A Pattern Matching Method of Large-Size Text Log Data using In-Memory Relational Database System)

  • 한혁;최재용;진성일
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 춘계학술발표대회
    • /
    • pp.837-840
    • /
    • 2017
  • 각종 사이버 범죄가 증가함에 따라 실시간 모니터링을 통한 사전 탐지 기술뿐만 아니라, 사후 원인 분석을 통한 사고 재발 방지 기술의 중요성이 증가하고 있다. 사후 분석은 시스템에서 생산된 다양한 유형의 대용량 로그를 기반으로 분석가가 보안 위협 과정을 규명하는 것으로 이를 지원하는 다양한 상용 및 오픈 소스 SW 존재하나, 대부분 단일 분석가 PC에서 운용되는 파일 기반 SW로 대용량 데이터에 대한 분석 성능 저하, 다수 분석가 간의 데이터 공유 불가, 통계 연관 분석 한계 및 대화형 점진적 내용 분석 불가 등의 문제점을 해결하지 못하고 있다. 이러한 문제점을 해결하기 위하여 고성능 인메모리 관계형 데이터베이스 시스템을 로그 스토리지로 활용하는 대용량 로그 분석 SW 개발하였다. 특히, 기 확보된 공격자 프로파일을 활용하여 공격의 유무를 확인하는 텍스트 패턴 매칭 연산은 전통적인 관계형 데이터베이스 시스템의 FTS(Full-Text Search) 기능 활용이 가능하나, 대용량 전용 색인 생성에 따른 비현실적인 DB 구축 소요 시간과 최소 3배 이상의 DB 용량 증가로 인한 시스템 리소스 추가 요구 등의 단점이 있다. 본 논문에서는 인메모리 관계형 데이터베이스 시스템 기반 효율적인 텍스트 패턴 매칭 연산을 위하여, 고성능의 대용량 로그 DB 적재 방법과 새로운 유형의 패턴 매칭 방법을 제안하였다.

NAND 플래시 메모리를 위한 로그 기반의 B-트리 (Log-Structured B-Tree for NAND Flash Memory)

  • 김보경;주영도;이동호
    • 정보처리학회논문지D
    • /
    • 제15D권6호
    • /
    • pp.755-766
    • /
    • 2008
  • 최근 NAND 플래시 메모리는 하드 디스크에 비해 작고, 속도가 빠르며, 저 전력 소모 등의 장점을 가지고 있어 차세대 저장 매체로 각광받고 있다. 그러나 쓰기-전-소거 구조, 비대칭 연산 속도 및 단위와 같은 독특한 특징으로 인하여, 디스크 기반의 시스템이나 응용을 NAND 플래시 메모리 상에 직접 구현시 심각한 성능저하를 초래할 수 있다. 특히 NAND 플래시 메모리 상에 B-트리를 구현할 경우, 레코드의 잦은 삽입, 삭제 및 재구성에 의한 많은 양의 중첩 쓰기가 발생할 수 있으며, 이로 인하여 급격한 성능 저하가 발생할 수 있다. 이러한 성능 저하를 피하기 위해 ${\mu}$-트리가 제안되었으나, 잦은 노드 분할 및 트리 높이의 빠른 신장 등의 문제점을 가지고 있다. 본 논문에서는 갱신 연산을 위해 특정 단말 노드에 해당하는 로그 노드를 할당하고, 해당 로그 노드에 있는 변경된 데이터를 한 번의 쓰기 연산으로 저장하는 로그 기반의 B-트리(LSB-트리)를 제안한다. LSB-트리는 부모 노드의 변경을 늦추어 추가적인 쓰기 연산의 횟수를 줄일 수 있다는 장점을 가지고 있다. 또한 키 값에 따라 데이터를 순차적으로 삽입할 때, 로그 노드를 새로운 단말 노드로 교환함으로써 추가적인 쓰기 연산의 횟수를 줄일 수 있다. 마지막으로, 다양한 비교 실험을 통하여 ${\mu}$-트리와 비교함으로써 LSB-트리의 우수성을 보인다.

NAND 플래시 파일 시스템을 위한 효율적인 복구 기법 (An Efficient Recovering Method for A NAND Flash File System)

  • 이승환;이태훈;정기동
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2007년도 가을 학술발표논문집 Vol.34 No.2 (B)
    • /
    • pp.383-387
    • /
    • 2007
  • 본 논문은 NAND 플래시 메모리를 기반으로 한 임베디드 시스템에서 예기치 않은 오류에 대해 데이터 일관성 지원하는 파일 시스템을 제안 한다. 플래시 메모리는 하드디스크에 비해 작고, 내구성, 저 전력, 읽기속도 등 많은 부분에서 장점을 지니고 있어 임베디드 기기에 유리하다. 하지만 제자리 덮어쓰기가 되지 않고 추가적인 연산을 통해 지움 연산을 해야 하는 단점이 있다. 본 논문에서는 이미지 로그를 사용하여 시스템의 비정상적인 종료를 판단하고 플래시 메모리의 외부 갱신 쓰기 특징을 이용하여 파일 연산 전후 메타데이터의 타입을 다르게 하여 추가적인 로그 쓰기 연산 없이 파일 연산 중 오류를 판단하고 이전의 데이터로 복구론 할 수 있는 파일 시스템을 제안 한다. 또한 빠른 마운트를 지원 하는 파일 시스템에 복구 기법을 추가하고 마운트 시간을 실험 하였다. 실험 결과 정상적인 종료 시 YAFFS에 비해 $76%{\sim}85%$ 마운트 시간을 감소 시켰고 비정상 적인 종료로 인해 오류 복구를 해야 할 때 마운트 시간은 YAFFS에 비해 $40%{\sim}60%$감소 시켰다. 그리고 파일에 대한 연산 시간도 YAFFS 와 차이가 없었다.

  • PDF

NAND 플래시 파일 시스템의 빠른 복구를 위한 로그 구조 설계 (Design of a Log Structure for Fast Recovery of a File System on NAND Flash Memory)

  • 김태훈;이주경;정기동
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 가을 학술발표논문집 Vol.32 No.2 (1)
    • /
    • pp.784-786
    • /
    • 2005
  • 본 논문에서는 기존의 플래시 파일 시스템과 차별되는 빠른 복구를 위한 로그 구조를 제안한다. 로그와 메타데이터를 플래시 메모리의 특정 영역에 기록하고, 오류가 발생하게 되면 복구단계에서 이 영역만을 스캔하기 때문에 파일 시스템의 오버헤드를 줄인다. 그리고 로깅연산은 트랜잭션으로 관리되어 다른 연산에 간섭받지 않고 독립적으로 수행이 되므로 동시성을 높이고 로깅에 따른 오버헤드가 크지 않다. 따라서 로깅과 복구에 필요한 시간을 최소화하여 신뢰성 있는 파일 시스템 구성이 가능하다.

  • PDF

애널로그 및 디지탈계측의 기초개념과 응용(I)

  • 고명삼
    • 기계저널
    • /
    • 제25권2호
    • /
    • pp.130-136
    • /
    • 1985
  • 확정적 계측신호에 극한시키며 현장 혹은 연구실에 종사하고 있는 기계기술자에게 필요로 하는 애널로그계측과 디지틀계측의 특성과 계측시스템의 구성, 연산증폭기(Op. Amp)의 원리 및 응용, 측정신호의 선형화, 마이크로 프로세서의 원리 A/D, D/A 변환기의 원리 및 응용, 자료처리시 스템, 센서의 원리 및 응용, 디지틀계측시스템의 최근동향등 메카트로닉스시대에서 요청되는 계 측공학의 주요과제에 대하여 기술한다.

  • PDF

플래시 메모리 GC (가비지 콜렉션) 오버헤드를 줄이기 위한 블록 링크드 리스트 기법 (Block Linked List Scheme to Reduce GC (Garbage Collection) Overhead in Flash Memory)

  • 구소현;김성수;정태선
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2014년도 추계학술발표대회
    • /
    • pp.70-72
    • /
    • 2014
  • 플래시 메모리는 소형 저장 장치뿐만 아니라 대용량 저장장치까지 응용되고 있다. 하지만 기존의 하드디스크 (HDD)와 다르게 플래시 메모리는 읽기, 쓰기, 소거 연산의 속도가 다르고 쓰기 전 지우기(erase before write)라는 특성 때문에 FTL의 한 메커니즘인 GC (Garbage Collection)를 수행할 때 많은 오버헤드가 발생한다. 이에 이 논문은 DRAM의 공간을 효율적으로 활용하고 유효한 페이지 복사와 소거 연산의 횟수를 줄여 전체적인 플래시 메모리 GC 오버헤드를 줄이기 위한 블록 링크드 리스트 기법을 제안한다. 블록 링크드 리스트 기법은 같은 LBN에 해당하는 데이터를 로그 블록에 적고 해당 로그 블록들을 링크드 리스트로 관리해 소거 연산을 미룰 수 있다. 링크드 리스트들에 관한 정보는 DRAM에 테이블 형태로 적는다. 이때 테이블에는 블록 주소들이 적히므로 페이지 단위로 링크드 리스트를 관리하는 다른 기법에 비해 DRAM의 공간을 효율적으로 활용하게 된다.