• Title/Summary/Keyword: 메모리 확장

Search Result 365, Processing Time 0.032 seconds

Memory-mapped I/O Implication of Virtual Machine in Cloud System (클라우드 환경에서 가상 머신의 효율적인 호스트 메모리 사용을 위한 메모리 사상 기법)

  • Song, Nae Young;Choe, Chan-Ho;Eom, Hyeonsang;Yeom, Heon Young
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2012.11a
    • /
    • pp.264-267
    • /
    • 2012
  • 늘어가는 자원의 사용과 데이터의 양에 따라 클라우드 시스템의 사용이 대두되고 있는 가운데, 클라우드 환경에서 가상 머신을 효율적으로 사용하는 방법에 대한 많은 기법이 제시되고 있다. 이 중 하나가 호스트 머신 메모리 사용의 오버커밋먼트를 방지하는 것인데 가상 머신들끼리 되도록 같은 파일을 메모리 사상해서 사용하자는 것이다. 이 때 사용한 mmap() 함수는 스토리지 스택을 사용하지 않고 I/O를 할 수 있는 등의 장점을 가지고 있지만 확장성이 떨어진다는 단점이 있다. 본 논문에서는 가상머신들이 mmap()을 사용해서 호스트 메모리를 접근할 때 발생하는 문제점을 짚어보고 이것을 해결할 수 있도록 새로운 mmap() I/O path를 제안한다. 개선된 mmap() I/O path는 수행시간을 40% 가량 향상 시켰다.

PPFP(Push and Pop Frequent Pattern Mining): A Novel Frequent Pattern Mining Method for Bigdata Frequent Pattern Mining (PPFP(Push and Pop Frequent Pattern Mining): 빅데이터 패턴 분석을 위한 새로운 빈발 패턴 마이닝 방법)

  • Lee, Jung-Hun;Min, Youn-A
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.5 no.12
    • /
    • pp.623-634
    • /
    • 2016
  • Most of existing frequent pattern mining methods address time efficiency and greatly rely on the primary memory. However, in the era of big data, the size of real-world databases to mined is exponentially increasing, and hence the primary memory is not sufficient enough to mine for frequent patterns from large real-world data sets. To solve this problem, there are some researches for frequent pattern mining method based on disk, but the processing time compared to the memory based methods took very time consuming. There are some researches to improve scalability of frequent pattern mining, but their processes are very time consuming compare to the memory based methods. In this paper, we present PPFP as a novel disk-based approach for mining frequent itemset from big data; and hence we reduced the main memory size bottleneck. PPFP algorithm is based on FP-growth method which is one of the most popular and efficient frequent pattern mining approaches. The mining with PPFP consists of two setps. (1) Constructing an IFP-tree: After construct FP-tree, we assign index number for each node in FP-tree with novel index numbering method, and then insert the indexed FP-tree (IFP-tree) into disk as IFP-table. (2) Mining frequent patterns with PPFP: Mine frequent patterns by expending patterns using stack based PUSH-POP method (PPFP method). Through this new approach, by using a very small amount of memory for recursive and time consuming operation in mining process, we improved the scalability and time efficiency of the frequent pattern mining. And the reported test results demonstrate them.

Memory Leak Detection Using Adaptive Cyclic Memory Allocation (동적 순환 메모리 할당 기법을 이용한 메모리 누수 검출)

  • Lim, Woo-Sup;Han, Hwan-Soo;Lee, Sang-Won
    • Journal of KIISE:Software and Applications
    • /
    • v.37 no.10
    • /
    • pp.760-767
    • /
    • 2010
  • There are many memory leak detection tools. However, programmers, who develop very large programs, tend to avoid testing their programs with memory leak detection tools since these tools require runtime and space overheads. Thus, we present a memory leak detection technique which enables programmers to test their modules in their unit test phase with low overheads. To achieve this goal, we extend the existing cyclic memory allocation technique and evaluate our memory leak detection technique on a tiny DBMS. In our experiments, we find our tool has reasonably low runtime and space overheads and it reports only a small number of false positives.

Cost Analysis of Window Memory Relocation for Data Stream Processing (데이터 스트림 처리를 위한 윈도우 메모리 재배치의 비용 분석)

  • Lee, Sang-Don
    • The Journal of the Korea Contents Association
    • /
    • v.8 no.4
    • /
    • pp.48-54
    • /
    • 2008
  • This paper analyzes cost tradeoffs between memory usage and computation for window-based operators in data stream environments. It identifies generic operator network constructs, and sets up a cost model for the estimation of the expected memory reduction and the computation overheads when window memory relocations are applied to each operator network construct. This cost model helps to identify the utility of window memory relocations. It also helps to apply window memory relocation to improve a query execution plan to save memory usage. The proposed approach contributes to expand the scope of query processing and optimization in data stream environments. It also provides a basis to develop a cost estimation model for the query optimization using window memory relocations.

Dynamic Memory Measurement Scheme to Support Memory Resource Isolation for Container-based Virtual Machines (컨테이너 기반의 가상머신 시스템에서 메모리 자원 아이솔레이션을 위한 동적 메모리 사용량 측정 기법)

  • Kim, Hyo-Jin;Noh, Sam-H.
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2007.06b
    • /
    • pp.333-338
    • /
    • 2007
  • 시스템 가상머신 환경은 높은 하드웨어 효율성과 높은 보안을 요구하는 시스템에서 그 사용이 점차 늘어나고 있다. 최근 많이 알려진 하이퍼바이저 가상머신 시스템은 높은 아이솔레이션과 보안성을 보장하나 각 게스트 운영체제 별로 운영체제 이미지를 가지기 때문에 하드웨어 효율성이 떨어지는 반면, 컨테이너 기반 가상머신 시스템은 운영체제 이미지의 공유로 인하여 높은 자원 효율성과 확장성을 가진다. 그러나 메모리 자원의 아이솔레이션에 대하여 취약점을 갖는 문제점을 안고 있다. 본 논문에서는 컨테이너 기반 가상머신 시스템에서 동적으로 각 가상머신별로 메모리 사용량 증가에 따른 페이지 히트율-곡선(Hit-Ratio-Curve)을 측정하였다. 이 곡선을 관찰해 보면 각 가상머신의 메모리 필요량을 알 수 있으며 이를 기반으로 메모리 자원을 할당하게 될 경우 효과적으로 메모리 자원의 아이솔레이션을 제공할 수 있게 된다. 본 논문에서는 대표적인 컨테이너 기반 가상머신인 리눅스 VServer가 적용되어 있는 리눅스 2.6.17 커널에 직접 구현하였으며, Lmbench 및 리눅스 커널 컴파일 등을 통하여 오버헤드를 측정하였고 $1.6{\sim}7.2%$의 적은 오버헤드로 이를 측정할 수 있음을 확인하였다.

  • PDF

Multiple Virtual Address Spaces for the Operating System Process (다중 가상 주소 공간을 지원하는 운영체제 프로세스)

  • Kim, Ik-Soon;Kim, Sunja;Kim, Chae-Kyu
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2012.11a
    • /
    • pp.68-71
    • /
    • 2012
  • 본 논문은 운영 체제(Operating System)에서 수행되는 프로세스(Process)의 가상 주소 공간(Virtual Address Space)을 기존의 단일 가상 주소 공간에서 다중 가상 주소 공간으로 확장시켜서, 하나의 프로세스가 기존보다 더욱 넓은 가상 메모리 영역을 쉽게 사용할 수 있도록 해주는 방안을 제안한다. 최근 컴퓨팅 기기들은 비약적으로 증가한 메모리를 쉽게 사용할 수 있는 수단이 필요하다. 최근 PAE(Physical Address Extension)를 지원하는 32 비트 프로세서나 32 비트 명령어를 같이 지원하는 64비트 프로세서들은 프로세스의 가상 주소 크기보다 더욱 큰 용량의 메모리를 사용할 수 있어서, 한 프로세스가 장착된 메모리의 일부분 밖에 사용할 수 없는 일이 발생한다. 이를 해결하기 위해서 64비트 프로세서의 경우 64-비트 명령어를 사용하지만 이는 프로그램의 명령어 크기나 포인터 변수 크기의 증가로 메모리 사용량을 크게 늘릴 수 있어서 서버 컴퓨터나 데스크탑 PC 와 같이 충분한 양의 메모리를 장착한 시스템에서만 효과적이다. 본 논문에서 제안하는 다중 주소 공간을 지원하는 프로세스는 모바일 및 임베디드 기기와 같이 상대적으로 제한된 용량의 메모리를 지원하는 시스템에 유용할 것으로 기대한다.

Expanded Korean Chunking by $k$-NN ($k$-NN으로 확장된 한국어 단위화)

  • 박성배;장병탁;김영택
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.10b
    • /
    • pp.182-184
    • /
    • 2000
  • 대부분의 자연언어처리에서 단위화는 구문 분석 이전의 매우 기본적인 처리 단계로, 텍스트 문장을 문법적으로 서로 관련된 단위로 분할하는 것이다. 따라서, 단위화를 이용하면 구문 분석이나 의미 분석 등에서 메모리와 시간을 효율적으로 줄일 수 있다. 일반적으로 통찰에 의한 규칙을 사용해서도 비교적 높은 단위화 성능을 얻을 수 있지만, 본 논문에서는 기계 학습 기법인 k-NN을 사용하여 보다 정확한 단위화를 구현한다. 인터넷 홈페이지에서 얻은 1,273 문장을 대상으로 학습한 결과, k-NN으로 단위화를 확장했을 때에 확장하지 않았을 때보다 2.3%의 정확도 증가를 보였다.

  • PDF

A Study on Extendable Instruction Set Computer 32 bit Microprocessor (확장 명령어 32비트 마이크로 프로세서에 관한 연구)

  • 조건영
    • Journal of the Korean Institute of Telematics and Electronics D
    • /
    • v.36D no.5
    • /
    • pp.11-20
    • /
    • 1999
  • The data transfer width between the mocroprocessor and the memory comes to a critical part that limits system performance since the data transfer width has been as it was while the performance of a microprocessor is getting higher due to its continuous development in speed. And it is important that the memory should be in small size for the reduction of embedded microprocessor's price which is integrated on a single chip with the memory and IO circuit. In this paper, a mocroprocessor tentatively named as Extendable Instruction Set Computer(EISC) is proposed as the high code density 32 bit mocroprocessor architecture. The 32 bit EISC has 16 general purpose registers and 16 bit fixed length instruction which has the short length offset and small immediate operand. By using and extend register and extend flag, the offset and immediate operand could be extended. The proposed 32 bit EISC is implemented with an FPGA and all of its functions have been tested and verified at 1.8432MHz. And the cross assembler, the cross C/C++ compiler and the instruction simulator of the 32 bit EISC shows 140-220% and 120-140% higher code density than RISC and CISC respectively, which is much higher than any other traditional architectures. As a consequence, the EISC is suitable for the next generation computer architecture since it requires less data transfer width compared to any other ones. And its lower memory requirement will embedded microprocessor more useful.

  • PDF

A 3D Memory System Allowing Multi-Access (다중접근을 허용하는 3차원 메모리 시스템)

  • 이형
    • Journal of KIISE:Computer Systems and Theory
    • /
    • v.32 no.9
    • /
    • pp.457-464
    • /
    • 2005
  • In this paper a 3D memory system that allows 17 access types at an arbitrary position is introduced. The proposed memory system is based on two main functions: memory module assignment function and address assignment function. Based on them, the memory system supports 17 access types: 13 Lines, 3 Rectangles, and 1 Hexahedron. That is, the memory system allows simultaneous access to multiple data in any access types at an arbitrary position with a constant interval. In order to allow 17 access types the memory system consists of memory module selection circuitry, data routing circuitry for READ/WRITE, and address calculation/routing circuitry In the point of view of a developer and a programmer, the memory system proposed in this paper supports easy hardware extension according to the applications and both of them to deal with it as a logical three-dimensional away In addition, multiple data in various across types can be simultaneously accessed with a constant interval. Therefore, the memory system is suitable for building systems related to ,3D applications (e.g. volume rendering and volume clipping) and a frame buffer for multi-resolution.

A Dedicated Bus System for Cache Coherence (캐시 일관성 유지를 위한 전용 버스 시스템)

  • 천희식;김우완
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1998.10a
    • /
    • pp.30-32
    • /
    • 1998
  • 멀티프로세서 시스템을 설계할 경우에는 공유메모리 구조와 메시지 전달방법의 두 가지의 패러다임을 바탕으로 하게 된다. 데이터 분할과 동적 부하 분산 문제를 단순화시틸 수 있으며 확장성을 용이하게 지원하는 장점을 가지고 있는 공유메모리 구조의 멀티프로세서 시스템에서 각 프로세서가 자신의 전용 캐시를 가지는 경우에는 메인 메모리와 이러한 전용 캐시내에 존재하는 데이터사본간에 일관성 문제가 발생한다. 본 논문에서는 일관성 유지를 위해 제안되어 있는 여러 알고리즘 중 처리 노드와 고대역 저지연 인터커넥션 네트워크로 구성되는 공유메모리 구조의 멀티프로세서 프로토타입인 DASH 프로토콜을 지원하기 위한 전용 버스 시스템을 완전 개방형인 IEEE Futurebus+ 스탠다드에 준비하여 설계한 다음, 이 시스템이 DASH 프로토콜을 지원하려 캐시의 일관성을 유지하기 위해 필요한 각종 행동과 기존의 범용 버스 시스템이 수행하는 행동의 병렬 처리를 지원할 수 있음을 시뮬레이션으로 증명한다.

  • PDF