• 제목/요약/키워드: 작은 파일

검색결과 158건 처리시간 0.026초

하둡 프레임워크 기반 분산시스템 내의 작은 파일들을 효율적으로 처리하기 위한 방법의 설계 (The Design of Method for Efficient Processing of Small Files in the Distributed System based on Hadoop Framework)

  • 김승현;김영근;김원중
    • 한국전자통신학회논문지
    • /
    • 제10권10호
    • /
    • pp.1115-1122
    • /
    • 2015
  • 하둡 프레임워크는 매우 큰 크기의 파일을 처리하기에 적합하도록 설계되었다. 반면 작은 크기의 파일을 처리할 경우, 분산 시스템의 자원 낭비와 분석 성능 저하가 발생하며 이는 작은 파일의 개수가 많을수록 현저하게 나타난다. 이 문제는 파일의 크기가 작기 때문에 발생하므로, 연관성 있는 작은 파일들의 병합을 통해 해결할 수 있다. 그러나 기존의 작은 파일 병합 방법들은 부차적인 한계점을 지니고 있다. 따라서 본 연구는 기존의 병합 방법의 문제점에 대하여 살펴보고, 작은 파일들의 효율적 처리를 위한 병합 방법을 설계하였다.

디렉토리 지역성을 활용한 작은 파일들의 모아 쓰기 기법 (Co-Writing Multiple Files Based on Directory Locality for High Performance of Small File Writes)

  • 이경재;안우현;오재원
    • 정보처리학회논문지A
    • /
    • 제15A권5호
    • /
    • pp.275-286
    • /
    • 2008
  • Fast File System(FFS)은 디스크의 고성능 대역폭을 활용하여 대용량 파일의 여러 블록들을 한 번에 저장함으로써 파일 쓰기 성능을 향상시키고 있다. 하지만, FFS는 파일 단위로 데이터를 저장하기 때문에 작은 파일 쓰기 성능은 디스크 대역폭보다 디스크 회전 및 탐색 시간에 크게 영향을 받는다. 본 논문은 FFS에서 작은 파일 쓰기의 성능 향상을 위해 여러 개의 작은 파일들을 한꺼번에 모아서 저장하는 모아 쓰기(Co-Writing) 기법을 제안하며, 이 기법을 FFS에 적용한 CW-FFS를 구현하였다. CW-FFS의 모아 쓰기 기법은 대역폭을 활용하여 디렉토리 지역성을 가지는 작은 파일들을 모아서 연속적인 디스크 위치에 한 번의 디스크 쓰기로 저장한다. 모아 쓰기 기법은 각 파일 단위로 발생하는 디스크 회전 및 탐색 동작들을 한 번으로 감소시키기 때문에 파일 쓰기가 많은 응용 프로그램에서 작은 파일 쓰기 성능을 개선시킨다. 또한 모아 쓰기 기법이 동일 디렉토리에 포함되는 파일들 간의 디스크 공간 지역성의 저하를 야기하지 않도록 효율적인 파일 할당 방식도 함께 제안한다. CW-FFS는 성능 검증을 위해 OpenBSD 운영체제 커널에서 구현되었으며, postmark 벤치마크를 통한 성능 측정 결과는 기존 FFS 파일 시스템보다 작은 파일 쓰기 성능이 속도 측면에서 $5{\sim}35%$까지 개선되었음을 보여준다.

면적치환비가 작은 샌드파일 설치지반에서의 복합지반효과 (Composite Ground Effects on Small Area Replacement Ratio of Sand Piles)

  • 천병식;여유현
    • 한국지반환경공학회 논문집
    • /
    • 제2권3호
    • /
    • pp.57-69
    • /
    • 2001
  • 샌드파일 공법은 연약지반 개량을 위해 널리 사용되는 방법중의 하나이다. 샌드파일 설치에 의해 얻고자 하는 주된 목적은 압밀촉진에 있으나 이와 더불어 복합지반효과를 지니게 된다. 본 연구에서는 상대적으로 면적 치환비가 작은 연직배수재로서 적용된 샌드파일 설치지반에서의 복합지반효과를 파악하고자 하였다. 이를 위하여 원지반과 샌드파일의 지내력 확인을 위한 평판재하시험을 실시하였으며, 성토체와 지반과의 상호거동을 확인하기 위하여 토압계를 설치하여 계측관리를 실시하였다. 분석결과 면적치환비가 작은 샌드파일 설치지반에서 복합지반을 고려한 지지력은 원지반의 지지력과 비교하여 매우 작은 증가효과를 보였다. 그러나 원지반과 비교한 샌드파일 설치위치에서의 지지력 증가는 약 60% 로 나타났다. 이와 같이 샌드파일의 강성증대에 의한 파일설치 위치에서의 지지력 증대는 재하하중 작용에 의한 압밀진행 과정중 압밀특성 변화의 요인으로 작용하게 될 것이다. 따라서 샌드파일 강성증대에 따른 복합지반효과는 샌드파일 설치지반에서 압밀침하량이 감소하는 요인으로 평가될 수 있는 것으로 판단된다.

  • PDF

웹 서버 작업부하 감소를 위한 캐시 정책 (Cache Policies for WWW Sewers to Reduce Workload)

  • 임재현
    • 인터넷정보학회논문지
    • /
    • 제5권6호
    • /
    • pp.103-110
    • /
    • 2004
  • 본 논문에서는 웹 서버 성능에 있어 캐싱 정책의 영향을 분석하고 연구하였다. 새롭게 제안한 파일 타입 기반 캐싱 정책은 캐시안의 크고 작은 파일간에 균형 잡힌 결과를 갖도록 지원하며, 뿐만 아니라 작은 파일과 큰 파일에 대한 요청에 훌륭한 성능을 나타낸다. 본 논문에서는 파일 타입 기반 캐싱이 적중률과 바이트적중률 모두 다 좋은 결과를 나타냄을 보인다.

  • PDF

자바 클래스 파일 최적화 (Java Class File Optimization)

  • 홍경표;이야리;오세만
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 봄 학술발표논문집 Vol.28 No.1 (A)
    • /
    • pp.55-57
    • /
    • 2001
  • 자바언어는 이질적인 네트워크 환경에서 프로그램 개발이 적합하도록 설계된 언어이다. 자바언어의 특징은 소프트웨어를 쉽게 개발하는데 유용한 것은 사실이지만, 성능상 제약이 따르게 된다. 즉 자바는 클래스 파일이 이동하여 JVM 환경에서 인터프리팅 되는 시스템이므로, 클래스 파일이 이동하며 실행되는 동안의 성능의 저하 없이 자바의 특징을 이용하려면 복잡한 최적화와 실행 시스템이 요구된다. 본 논문은 네트워크 상에서 동적으로 다운로드 되는 클래스 파일의 최적화에 있다. 클래스 파일이 인터프리팅 되는 시스템이 보다 적은 네트워크 로드를 가지고 실행할 수 있도록 하며, 효율적인 실행 속도를 보이도록 하는 것이다. 여기서는 Class Field Optimizer는 내부적으로 Bytecode Optimizer와 ClassGen을 이용하여 실행시간을 개선하고 전체 클래스 파일의 크기를 줄이게 된다. Bytecode Optimizer는 peephole 최적화를 수행하고, bytecode 의존적 최적화, 그리고 전역최적화를 행하게 된다. ClassGen은 클래스 파일의 포맷에 따라 bytecode를 분석하고 본래의 클래스 파일보다 작은 크기의 클래스 파일을 생성하게 된다. 최적화된 클래스 파일은 부분적으로 클래스 파일의 최적화를 가져와 전체 클래스 파일의 크기를 줄이고, 인터프리터를 통하여 실행될 때 수행 속도면에서 좀더 빠른 실행 속도를 가지게 된다.

소프트웨어 RAID 파일 시스템에 작은 쓰기와 참조 횟수를 고려한 캐쉬 교체 정책 (Cache Replacement Policies Considering Small-Writes and Reference Counts for Software RAID Systems)

  • 김종훈;노삼혁;원유헌
    • 한국정보처리학회논문지
    • /
    • 제4권11호
    • /
    • pp.2849-2860
    • /
    • 1997
  • 본 논문에서는 소프트웨어 RAID 파일 시스템에서 효율적인 캐쉬 교체 정책들을 제안한다. 그리고 이와 기존의 캐쉬 교체 정책을 소프트웨어 RAID 파일 시스템에 적용한 정책들과의 성능을 다양한 환경에서 비교한다. 실험을 통해 우선 소프트웨어 RAID 파일 시스템에서 작은 쓰기 동작은 성능을 크게 저하시키는 요소임을 확인한다. 이러한 작은 쓰기 동작을 줄이는 캐쉬 교체 정책들을 제안한다. 이러한 교체 정책들에 대한 성능 비교는 트레이스 기반 시뮬레이션에 의해 수행된다. 실험 결과를 통해 본 논문에서 제안한 교체 정책들이 기존의 정책들 비해 효율적인 성능을 나타냄을 확인한다.

  • PDF

Directory, mode 및 file을 디스크의 인접한 공간에 저장하는 파일 시스템 (File system which store directory, mode, file adjacently in disk)

  • 조준우;황주영;김경호;임승호;박규호
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 가을 학술발표논문집 Vol.29 No.2 (1)
    • /
    • pp.427-429
    • /
    • 2002
  • 현재의 디스크 시스템 성능의 병목이 되는 부분은 disk 헤드의 느린 이동 속도이다. 일단 원하는 데이터가 있는 곳으로 헤드가 이동하고 나면, data는 초당 수십 MB의 속도로 memory에 전송될 수 있다. 만약에 작은 크기의 파일들이 디스크의 물리적인 block에 산재해 있다면, 이 파일들의 위치로 헤드가 이동하는 데에 많은 시간이 걸릴 것이다. 일반적으로 한 디렉토리 안에 들어있는 파일들은 비슷한 시간에 읽혀질 가능성이 크므로 이 파일들을 디스크의 인접한 block어 할당해 준다면 파일에 헤드가 접근하는 데 걸리는 시간을 크게 줄일 수 있을 것이다. 또 UNIX 계열의 OS가 파일을 관리하기 위해 사용하는 inode도 한 디렉토리 안의 파일을 가리키는 것들을 모두 인접하게 위치시킨다면 이 mode들을 찾기 위해 disk의 헤드가 움직이는 횟수를 줄일 수 있을 것이다. 이 두 가지 방법을 Linux OS를 platform으로 하여 구현하였다. 실험 결과 이러한 방법을 사용한 파일 시스템은 이전의 파일 시스템에 비해서 최고 44%까지 더 높은 성능을 보임을 알 수 있었다.

  • PDF

적은 메모리 사용량을 가진 센서노드용 대용량 낸드 플래시 파일 시스템의 설계 (Design of a High-capacity NAND Flash based File System for Sensor Node with very small Memory Footprint)

  • 한경훈;이기혁;송준영;한형진;최원철;한지연;손기락
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2007년도 가을 학술발표논문집 Vol.34 No.2 (C)
    • /
    • pp.140-145
    • /
    • 2007
  • 최근에 에너지의 효율성이 좋고 대용량화가 쉬운 낸드 플래시가 센서 노드를 위한 차세대 저장소로 각광을 받고 있다. 현재 대부분의 센서 노드용 파일 시스템은 노어 플래시 기반으로 개발되어 있으며 낸드 플래시에 적용할 수 있는 파일 시스템은 거의 존재하지 않는다. 대용량 낸드 플래시 메모리의 특성을 고려한 새로운 파월 시스템의 구축이 요구되지만, 센서 노드는 오직 4-10 KByte의 매우 작은 크기의 메모리를 지원하므로 효율성이 뛰어난 파일 시스템을 구축하는 것은 매우 어렵다. 본 논문은 1 Kbit의 매우 작은 크기의 EEPROM을 부착하여 이러한 메모리 한계를 극복하였으며 자원의 효율성, 대용량의 지원 및 신뢰성을 고려한 새로운 파일 시스템의 설계에 대하여 논한다. 위치를 유지해야 하는 데이터의 위치저장을 위하여 EEPROM을 사용하며 장기간 데이터를 수집할 때 페이지의 갱신을 최소화 할 수 있는 로그 리스트 기반의 페이지 처리 방법에 대해 제안한다. 이는 획기적으로 페이지 갱신 횟수를 줄임으로써 에너지를 절약하고 보다 긴 시간동안 데이터의 수집을 용이하게 만들며 센서 노드의 수명을 증가시킨다.

  • PDF

대용량 파일 시스템을 위한 메타데이터 구조 설계 (Metadata Structure Design for Very Large File Systems)

  • 김신우;이용규;김경배
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 가을 학술발표논문집 Vol.27 No.2 (3)
    • /
    • pp.59-61
    • /
    • 2000
  • 멀티미디어 데이터의 크기가 커짐에 따라, 파일 시스템에 대량의 데이터를 저장하는 것이 필요하다. 기존의 파일 시스템이 대용량의 데이터를 저장하는 면에서 우수한 성과를 얻기 어려움에 따라, SAN(Storage Area Network)을 이용한 새로운 파일 시스템이 최근에 연구되고 있다. SAN을 이용한 파일 시스템인 GFS는 기존 파일시스템들에 비해 대량의 데이터를 저장할 수 있도록 설계되었지만, inode와 빈 공간의 관리가 효율적이지 못하였다. 본 논문에서는 이러한 문제점을 해결하기 위해서 GFS의 inode 구조, 데이터 블록 할당 기법, 그리고 빈 공간 관리 기법에 중점을 두어 메타데이터 구조를 개선한다. 그 결과 데이터 블록 접근 시간을 줄이는 새로운 inode 구조를 설계하고, 큰 파일에는 연속된 블록으로 된 익스텐트로 할당하고 작은 파일에는 블록들로 할당하는 새로운 데이터 할당 기법을 제시한다. 또한, 빈 공간을 신속히 할당 회수할 수 있도록 빈 익스텐트들과 블록들의 주소를 저장하여 두는 독창적인 빈 공간 지갑을 사용한다. 성능 분석 결과 이러한 개선 방안들이 기존의 다른 시스템들보다 효율적임을 알 수 있다.

  • PDF

대용량 데이터 색인에 적합한 역파일의 구현 (Implementation of the Inverted File for Indexing Large-volume Data)

  • 임성채
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2008년도 추계학술발표대회
    • /
    • pp.909-912
    • /
    • 2008
  • 대용량 문서에 대한 키워드 검색을 위해 역파일(inverted-file) 색인 기법이 널리 쓰이고 있다. 역파일 색인 기법을 구현함에 있어 고려되어야 할 점은 키워드 검색 처리 시에 디스크 사용을 최소로 할 수 있는 방법이다. 크기가 작은 역파일이라면 디스크 I/O 사용도 작고 필요시 역파일을 메모리에 적재하여 둠으로써 디스크 사용을 크게 줄일 수 있다. 하지만, 웹 검색이나 규모가 큰 도서관 시스템에서와 같이 색인 데이터 크기가 매우 큰 경우 역파일을 읽는 디스크 비용이 급격히 증가할 수 있다. 본 논문에서는 매우 큰 크기의 역파일을 사용하는 검색 환경에서 디스크 사용을 최소로 할 수 있는 역파일 구조를 제안한다. 제안된 구조는 질의 처리 과정을 고려해 계층 구조로 설계되며 실제 상용 시스템에 적용되어 안정성 및 성능을 입증했다.