• 제목/요약/키워드: 메모리 확장

검색결과 365건 처리시간 0.028초

클라우드 환경에서 가상 머신의 효율적인 호스트 메모리 사용을 위한 메모리 사상 기법 (Memory-mapped I/O Implication of Virtual Machine in Cloud System)

  • 송내영;최찬호;엄현상;염헌영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2012년도 추계학술발표대회
    • /
    • pp.264-267
    • /
    • 2012
  • 늘어가는 자원의 사용과 데이터의 양에 따라 클라우드 시스템의 사용이 대두되고 있는 가운데, 클라우드 환경에서 가상 머신을 효율적으로 사용하는 방법에 대한 많은 기법이 제시되고 있다. 이 중 하나가 호스트 머신 메모리 사용의 오버커밋먼트를 방지하는 것인데 가상 머신들끼리 되도록 같은 파일을 메모리 사상해서 사용하자는 것이다. 이 때 사용한 mmap() 함수는 스토리지 스택을 사용하지 않고 I/O를 할 수 있는 등의 장점을 가지고 있지만 확장성이 떨어진다는 단점이 있다. 본 논문에서는 가상머신들이 mmap()을 사용해서 호스트 메모리를 접근할 때 발생하는 문제점을 짚어보고 이것을 해결할 수 있도록 새로운 mmap() I/O path를 제안한다. 개선된 mmap() I/O path는 수행시간을 40% 가량 향상 시켰다.

PPFP(Push and Pop Frequent Pattern Mining): 빅데이터 패턴 분석을 위한 새로운 빈발 패턴 마이닝 방법 (PPFP(Push and Pop Frequent Pattern Mining): A Novel Frequent Pattern Mining Method for Bigdata Frequent Pattern Mining)

  • 이정훈;민연아
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제5권12호
    • /
    • pp.623-634
    • /
    • 2016
  • 현존하는 빈발 패턴 마이닝 방법은 대부분 시간 효율성을 목표로 하고, 물리적 메모리 사용에 매우 의존적이다. 하지만 빅데이터 시대가 도래함에 따라 실제 세상의 데이터베이스는 급속도로 증가하고 있으며, 그에 따라 기존의 방법으로 현실적인 거대한 양의 데이터를 마이닝하기에 물리적 메모리 공간이 부족한 실정이다. 이러한 문제를 해결하기 위해, 빈발 패턴 마이닝의 메모리 의존성을 줄이기 위한 보조저장장치 기반의 연구들이 진행되었으나, 메모리 기반의 방법들에 비해 처리 시간이 너무 많이 소비된다는 한계가 있었다. 따라서 확장성을 가지며, 기존의 디스크 기반의 방법들에 비해 시간효율성을 높인 새로운 빈발 패턴 마이닝이 필요하게 되었다. 본 논문에서는 빅데이터로부터 빈도 아이템 집합들을 마이닝하기 위해 메모리와 디스크를 함께 사용하는 스택 기반의 새로운 접근법인 PPFP 알고리즘을 제안하였다. PPFP는 빈발 패턴 마이닝 접근법 중 가장 인기 있고 효율적인 접근법 중 하나인 FP-growth를 기반으로 하고 있다. PPFP 마이닝 방법은 다음과 같이 두 단계로 진행된다. (1) IFP-tree 구축: FP-tree를 생성한 후, 새로운 인덱스 번호 부여 방법으로 FP-tree의 각 노드에 인덱스 번호를 부여하고, 이 인덱스 번호가 부여된 FP-tree(IFP-tree)를 테이블로 변환하여(IFP-table) 디스크에 저장한다. (2) PPFP 알고리즘을 이용한 빈발 패턴 마이닝: 스택 기반의 PUSH-POP 방식으로 패턴을 확장시켜 나가며 빈발 패턴을 마이닝한다. 이러한 방식을 통해 메모리 기반의 방법에 비해 반복적으로 많은 시간이 소모되는 연산에 매우 적은 양의 메모리를 활용하여 확장성과 함께 시간효율성 또한 향상시킬 수 있었다. 그리고 기존의 연구 방법들과 비교 실험을 통해 새로운 알고리즘의 성능을 증명하였다.

동적 순환 메모리 할당 기법을 이용한 메모리 누수 검출 (Memory Leak Detection Using Adaptive Cyclic Memory Allocation)

  • 임우섭;한환수;이상원
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제37권10호
    • /
    • pp.760-767
    • /
    • 2010
  • 메모리 누수 검출을 위한 많은 도구들이 존재한다. 하자만 큰 시간적, 공간적 오버헤드로 인해 규모가 큰 제품의 개발자들은 사용을 꺼리게 된다. 이에 우리는 개발자들이 자신이 개발한 모듈만을 대상으로 유닛 테스트 시에 메모리 누수를 검출할 수 있는 기법을 고안하였다. 우리는 고정 크기 순환적 메모리 할당 기법을 우리의 목적에 맞게 확장함으로써 이것을 달성하였으며 우리의 기법을 평가하기 위해서, 간단한 데이터베이스 관리 시스템을 구현하여 그 중 일부 모듈을 대상으로 테스트 하였다. 실험 결과 우리 기법은 유닛 테스트 시에 적은 시간적, 공간적 오버헤드와 거짓 검출을 가졌다.

데이터 스트림 처리를 위한 윈도우 메모리 재배치의 비용 분석 (Cost Analysis of Window Memory Relocation for Data Stream Processing)

  • 이상돈
    • 한국콘텐츠학회논문지
    • /
    • 제8권4호
    • /
    • pp.48-54
    • /
    • 2008
  • 본 논문에서는 데이터 스트림 환경에서 윈도우 기반 연산자를 대상으로 메모리와 연산 비용의 상대적인 이해득실 관계를 분석한다. 이를 위하여 기본적인 연산자 네트워크 구성 요소를 식별하고, 윈도우 메모리의 재배치를 통한 메모리 소요량의 감소 효과와, 이로 인한 추가적인 연산 비용의 규모를 산정하는 비용 모델을 수립한다. 이러한 비용 모델을 통해 윈도우 메모리의 재배치의 효용성을 확인하고, 이러한 접근 방법을 데이터 스트림 질의의 실행 계획 개선을 위해 효과적으로 활용할 수 있는 방법을 모색한다. 이를 통해 데이터 스트림 환경에서 질의 처리 및 최적화의 적용 영역을 확장시키고, 윈도우 메모리 재배치를 통한 질의최적화를 위한 비용 산정 모델의 토대를 제공한다.

컨테이너 기반의 가상머신 시스템에서 메모리 자원 아이솔레이션을 위한 동적 메모리 사용량 측정 기법 (Dynamic Memory Measurement Scheme to Support Memory Resource Isolation for Container-based Virtual Machines)

  • 김효진;노삼혁
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2007년도 한국컴퓨터종합학술대회논문집 Vol.34 No.1 (B)
    • /
    • pp.333-338
    • /
    • 2007
  • 시스템 가상머신 환경은 높은 하드웨어 효율성과 높은 보안을 요구하는 시스템에서 그 사용이 점차 늘어나고 있다. 최근 많이 알려진 하이퍼바이저 가상머신 시스템은 높은 아이솔레이션과 보안성을 보장하나 각 게스트 운영체제 별로 운영체제 이미지를 가지기 때문에 하드웨어 효율성이 떨어지는 반면, 컨테이너 기반 가상머신 시스템은 운영체제 이미지의 공유로 인하여 높은 자원 효율성과 확장성을 가진다. 그러나 메모리 자원의 아이솔레이션에 대하여 취약점을 갖는 문제점을 안고 있다. 본 논문에서는 컨테이너 기반 가상머신 시스템에서 동적으로 각 가상머신별로 메모리 사용량 증가에 따른 페이지 히트율-곡선(Hit-Ratio-Curve)을 측정하였다. 이 곡선을 관찰해 보면 각 가상머신의 메모리 필요량을 알 수 있으며 이를 기반으로 메모리 자원을 할당하게 될 경우 효과적으로 메모리 자원의 아이솔레이션을 제공할 수 있게 된다. 본 논문에서는 대표적인 컨테이너 기반 가상머신인 리눅스 VServer가 적용되어 있는 리눅스 2.6.17 커널에 직접 구현하였으며, Lmbench 및 리눅스 커널 컴파일 등을 통하여 오버헤드를 측정하였고 $1.6{\sim}7.2%$의 적은 오버헤드로 이를 측정할 수 있음을 확인하였다.

  • PDF

다중 가상 주소 공간을 지원하는 운영체제 프로세스 (Multiple Virtual Address Spaces for the Operating System Process)

  • 김익순;김선자;김채규
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2012년도 추계학술발표대회
    • /
    • pp.68-71
    • /
    • 2012
  • 본 논문은 운영 체제(Operating System)에서 수행되는 프로세스(Process)의 가상 주소 공간(Virtual Address Space)을 기존의 단일 가상 주소 공간에서 다중 가상 주소 공간으로 확장시켜서, 하나의 프로세스가 기존보다 더욱 넓은 가상 메모리 영역을 쉽게 사용할 수 있도록 해주는 방안을 제안한다. 최근 컴퓨팅 기기들은 비약적으로 증가한 메모리를 쉽게 사용할 수 있는 수단이 필요하다. 최근 PAE(Physical Address Extension)를 지원하는 32 비트 프로세서나 32 비트 명령어를 같이 지원하는 64비트 프로세서들은 프로세스의 가상 주소 크기보다 더욱 큰 용량의 메모리를 사용할 수 있어서, 한 프로세스가 장착된 메모리의 일부분 밖에 사용할 수 없는 일이 발생한다. 이를 해결하기 위해서 64비트 프로세서의 경우 64-비트 명령어를 사용하지만 이는 프로그램의 명령어 크기나 포인터 변수 크기의 증가로 메모리 사용량을 크게 늘릴 수 있어서 서버 컴퓨터나 데스크탑 PC 와 같이 충분한 양의 메모리를 장착한 시스템에서만 효과적이다. 본 논문에서 제안하는 다중 주소 공간을 지원하는 프로세스는 모바일 및 임베디드 기기와 같이 상대적으로 제한된 용량의 메모리를 지원하는 시스템에 유용할 것으로 기대한다.

$k$-NN으로 확장된 한국어 단위화 (Expanded Korean Chunking by $k$-NN)

  • 박성배;장병탁;김영택
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 가을 학술발표논문집 Vol.27 No.2 (2)
    • /
    • pp.182-184
    • /
    • 2000
  • 대부분의 자연언어처리에서 단위화는 구문 분석 이전의 매우 기본적인 처리 단계로, 텍스트 문장을 문법적으로 서로 관련된 단위로 분할하는 것이다. 따라서, 단위화를 이용하면 구문 분석이나 의미 분석 등에서 메모리와 시간을 효율적으로 줄일 수 있다. 일반적으로 통찰에 의한 규칙을 사용해서도 비교적 높은 단위화 성능을 얻을 수 있지만, 본 논문에서는 기계 학습 기법인 k-NN을 사용하여 보다 정확한 단위화를 구현한다. 인터넷 홈페이지에서 얻은 1,273 문장을 대상으로 학습한 결과, k-NN으로 단위화를 확장했을 때에 확장하지 않았을 때보다 2.3%의 정확도 증가를 보였다.

  • PDF

확장 명령어 32비트 마이크로 프로세서에 관한 연구 (A Study on Extendable Instruction Set Computer 32 bit Microprocessor)

  • 조건영
    • 전자공학회논문지D
    • /
    • 제36D권5호
    • /
    • pp.11-20
    • /
    • 1999
  • 마이크로 프로세서의 동작 속도가 빨라지면서 메모리의 데이터 전송 폭이 시스템 성능을 제한하는 중요 인자가 되고 있다. 또한 CPU와 메모리 및 입출력회로가 하나의 반도체에 집적되는 실장 제어용 마이크로 프로세서의 가격을 낮추기 위해서 메모리 크기를 줄이는 것이 중요하다. 본 논문에서는 코드 밀도가 높은 32 비트 마이크로 프로세서 구조로 가칭 확장 명령어 세트 컴퓨터(Extendable Instruction Set Computer: EISC)를 제안한다. 32 비트 EISC는 16개의 범용 레지스타를 가지며, 16 비트 고정 길이 명령어, 짧은 오프셋 인덱스 어드래싱과 짧은 상수 오퍼랜드 명령어를 가지며, 확장 레지스타와 확장 프래그를 사용하여 오프셋 및 상수 오퍼랜드를 확장할 수 있다. 32비트 EISC는 FPGA로 구현하여 1.8432MHz에서 모든 기능이 정상적으로 동작하는 것을 확이하였고, 크로스 어셈블러와 크로스 C/C++ 컴파일러 및 명령어 시뮬레이터를 설계하고 동작을 검증하였다. 제안한 EISC의 코드 밀도는 기존 RISC의 140-220%, 기존 CISC의 120-140%로 현격하게 높은 장점을 가진다. 따라서 데이터 전송 폭을 적게 요구하므로 차세대 컴퓨터 구조로 적합하고, 프로그램 메모리 크기가 작아지므로 실장 제어용 마이크로 프로세서에 적합하기 때문에 폭 넓은 활용이 기대된다.

  • PDF

다중접근을 허용하는 3차원 메모리 시스템 (A 3D Memory System Allowing Multi-Access)

  • 이형
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제32권9호
    • /
    • pp.457-464
    • /
    • 2005
  • 본 논문에서는 임의의 좌표를 기준으로 17가지 접근방식을 지원하는 3차원 메모리 시스템을 제안한다. 제안하는 메모리 시스템은 메모리 모듈 할당 함수와 주소 할당 함수를 토대로 선 접근방식 13가지, 사각형 접근방식 3가지, 육면체 접근방식 1가지 등 모두 17가지 접근방식을 제공한다. 즉, 임의의 좌표에서 임의의 간격을 갖고 17가지 접근방식 중 어떠한 접근방식 내에서도 다수개의 데이타에 동시접근하는 기능을 제공한다. 이를 위해 제안하는 메모리 시스템은 메모리 모듈 선택 회로, 읽기/쓰기를 위한 데이타 라우팅 회로, 주소 계산 및 라우팅 회로들로 구성된다. 본 논문에서 제안하는 메모리 시스템은 응용 프로그램에 따라 쉽게 확장될 수 있으며, 메모리 시스템에 저장된 데이타를 개발자와 프로그래머가 논리적인 3차원 배열로 간주하여 처리할 수 있도록 데이타의 하드웨어 독립성을 지원한다 또한 제안한 메모리 시스템은 다양한 접근방식 내의 다수개의 데이타에 동시접근 할 수 있기 때문에 볼륨 렌더링이나 볼륨 클리핑 등과 같은 다양한 3차원 응용 분야 및 다중해상도를 지원하는 프레임 버퍼를 위한 시스템 구조의 메모리 시스템으로써 적합하다.

캐시 일관성 유지를 위한 전용 버스 시스템 (A Dedicated Bus System for Cache Coherence)

  • 천희식;김우완
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1998년도 가을 학술발표논문집 Vol.25 No.2 (3)
    • /
    • pp.30-32
    • /
    • 1998
  • 멀티프로세서 시스템을 설계할 경우에는 공유메모리 구조와 메시지 전달방법의 두 가지의 패러다임을 바탕으로 하게 된다. 데이터 분할과 동적 부하 분산 문제를 단순화시틸 수 있으며 확장성을 용이하게 지원하는 장점을 가지고 있는 공유메모리 구조의 멀티프로세서 시스템에서 각 프로세서가 자신의 전용 캐시를 가지는 경우에는 메인 메모리와 이러한 전용 캐시내에 존재하는 데이터사본간에 일관성 문제가 발생한다. 본 논문에서는 일관성 유지를 위해 제안되어 있는 여러 알고리즘 중 처리 노드와 고대역 저지연 인터커넥션 네트워크로 구성되는 공유메모리 구조의 멀티프로세서 프로토타입인 DASH 프로토콜을 지원하기 위한 전용 버스 시스템을 완전 개방형인 IEEE Futurebus+ 스탠다드에 준비하여 설계한 다음, 이 시스템이 DASH 프로토콜을 지원하려 캐시의 일관성을 유지하기 위해 필요한 각종 행동과 기존의 범용 버스 시스템이 수행하는 행동의 병렬 처리를 지원할 수 있음을 시뮬레이션으로 증명한다.

  • PDF