• The Journal of the Korea institute of electronic communication sciences
• /
• v.10 no.10
• /
• pp.1115-1122
• /
• 2015

Hadoop framework was designed to be suitable for processing very large files. On the other hand, when processing the Small Files, it waste the resource of a distributed system, and occur performance degradation. It is shown noticeable the more the Small Files. This problem is caused by the Small Files, it can be solved through the merging of associated Small Files. But a way of merging of Small Files has some limited point. in this paper, examines existing limit of merging method, design merging method Small Files for effective process.

• The KIPS Transactions:PartA
• /
• v.15A no.5
• /
• pp.275-286
• /
• 2008

Fast File System(FFS) utilizes large disk bandwidth to improve the write performance of large files. One way to improve the performance is to write multiple blocks of a large file at a single disk I/O through the disk bandwidth. However, rather than disk bandwidth, the performance of small file writes is limited by disk access times significantly impacted by disk movements such as disk seek and rotation because FFS writes each of small files at a single disk write. We propose CW-FFS (Co-Writing Fast File System) to improve the write performance of small files by minimizing the disk movements that are needed to write small files to disks. Its key technique called co-writing scheme is to dynamically collect multiple small files named by a given directory and then write them at a single disk I/O to contiguous disk locations. Co-writing several small files at a single disk I/O reduces multiple disk movements that are needed for small file writes to one single disk movement, thus increasing the overall write performance of write-intensive applications. Furthermore, a file allocation scheme is introduced to prevent co-writing scheme from having a negative impact on disk spatial locality of small files named by a given directory. The measurement of our technique implemented in the OpenBSD 4.0 shows that CW-FFS increases the performance of small file writes over FFS in the range from 5 to 35% in the Postmark benchmark.

• Journal of the Korean GEO-environmental Society
• /
• v.2 no.3
• /
• pp.57-69
• /
• 2001

Sand pile is widely used as a ground improvement method. Although the primary purpose of constructing sand pile is accelerating consolidation, composite ground effect also can be gained by constructing sand pile. This study was accomplished to understand composite ground effect on the ground improved by sand piles which were applied as vertical drainage material when area replacement ratio was small relatively. For determining bearing capacities of origin ground and sand piles and analysing interaction between embankment and origin ground, bearing tests and earth pressure monitoring are performed. From the results, it turned out that the contribution of sand pile as a load bearing mechanism is not substantial. However, the bearing capacity of sand pile was increased to sixty percentages when compared with origin ground. The increasement of bearing capacity could be caused the change of consolidation characteristics during the process of consolidation by overburden load. Therefore, the composite ground effects depending on stiffness increasement of sand pile would be estimated as a factor decreasing consolidation settlement.

• Journal of Internet Computing and Services
• /
• v.5 no.6
• /
• pp.103-110
• /
• 2004

In this paper we study and analyze the influence of caching strategies on the performance of WWW servers, We propose a new strategy called file type based caching that aims to obtain a well-balanced mixture between large and small files in the cache, and moreover, it provides good performance for both small and large file as expected, By using the type based caching good results are obtained for both the hit rate and the byte hit rate.

• Proceedings of the Korean Information Science Society Conference
• /
• 2001.04a
• /
• pp.55-57
• /
• 2001

자바언어는 이질적인 네트워크 환경에서 프로그램 개발이 적합하도록 설계된 언어이다. 자바언어의 특징은 소프트웨어를 쉽게 개발하는데 유용한 것은 사실이지만, 성능상 제약이 따르게 된다. 즉 자바는 클래스 파일이 이동하여 JVM 환경에서 인터프리팅 되는 시스템이므로, 클래스 파일이 이동하며 실행되는 동안의 성능의 저하 없이 자바의 특징을 이용하려면 복잡한 최적화와 실행 시스템이 요구된다. 본 논문은 네트워크 상에서 동적으로 다운로드 되는 클래스 파일의 최적화에 있다. 클래스 파일이 인터프리팅 되는 시스템이 보다 적은 네트워크 로드를 가지고 실행할 수 있도록 하며, 효율적인 실행 속도를 보이도록 하는 것이다. 여기서는 Class Field Optimizer는 내부적으로 Bytecode Optimizer와 ClassGen을 이용하여 실행시간을 개선하고 전체 클래스 파일의 크기를 줄이게 된다. Bytecode Optimizer는 peephole 최적화를 수행하고, bytecode 의존적 최적화, 그리고 전역최적화를 행하게 된다. ClassGen은 클래스 파일의 포맷에 따라 bytecode를 분석하고 본래의 클래스 파일보다 작은 크기의 클래스 파일을 생성하게 된다. 최적화된 클래스 파일은 부분적으로 클래스 파일의 최적화를 가져와 전체 클래스 파일의 크기를 줄이고, 인터프리터를 통하여 실행될 때 수행 속도면에서 좀더 빠른 실행 속도를 가지게 된다.

• The Transactions of the Korea Information Processing Society
• /
• v.4 no.11
• /
• pp.2849-2860
• /
• 1997

In this paper, we present efficient cache replacement policies for the software RAID file system. The performance of this policies is compared to two other policies previously proposed for conventional file systems and adapted for the software RAID file system. As in hardware RAID systems, we found small-writes to be the performance bottleneck in software RAID file systems. To tackle this small-write problem, we propose cache replacement policies. Using trace driven simulations we show that the proposed policies improve performance in the aspect of the average response time and the average system busy time.

• Proceedings of the Korean Information Science Society Conference
• /
• 2002.10c
• /
• pp.427-429
• /
• 2002

현재의 디스크 시스템 성능의 병목이 되는 부분은 disk 헤드의 느린 이동 속도이다. 일단 원하는 데이터가 있는 곳으로 헤드가 이동하고 나면, data는 초당 수십 MB의 속도로 memory에 전송될 수 있다. 만약에 작은 크기의 파일들이 디스크의 물리적인 block에 산재해 있다면, 이 파일들의 위치로 헤드가 이동하는 데에 많은 시간이 걸릴 것이다. 일반적으로 한 디렉토리 안에 들어있는 파일들은 비슷한 시간에 읽혀질 가능성이 크므로 이 파일들을 디스크의 인접한 block어 할당해 준다면 파일에 헤드가 접근하는 데 걸리는 시간을 크게 줄일 수 있을 것이다. 또 UNIX 계열의 OS가 파일을 관리하기 위해 사용하는 inode도 한 디렉토리 안의 파일을 가리키는 것들을 모두 인접하게 위치시킨다면 이 mode들을 찾기 위해 disk의 헤드가 움직이는 횟수를 줄일 수 있을 것이다. 이 두 가지 방법을 Linux OS를 platform으로 하여 구현하였다. 실험 결과 이러한 방법을 사용한 파일 시스템은 이전의 파일 시스템에 비해서 최고 44%까지 더 높은 성능을 보임을 알 수 있었다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2007.10c
• /
• pp.140-145
• /
• 2007

최근에 에너지의 효율성이 좋고 대용량화가 쉬운 낸드 플래시가 센서 노드를 위한 차세대 저장소로 각광을 받고 있다. 현재 대부분의 센서 노드용 파일 시스템은 노어 플래시 기반으로 개발되어 있으며 낸드 플래시에 적용할 수 있는 파일 시스템은 거의 존재하지 않는다. 대용량 낸드 플래시 메모리의 특성을 고려한 새로운 파월 시스템의 구축이 요구되지만, 센서 노드는 오직 4-10 KByte의 매우 작은 크기의 메모리를 지원하므로 효율성이 뛰어난 파일 시스템을 구축하는 것은 매우 어렵다. 본 논문은 1 Kbit의 매우 작은 크기의 EEPROM을 부착하여 이러한 메모리 한계를 극복하였으며 자원의 효율성, 대용량의 지원 및 신뢰성을 고려한 새로운 파일 시스템의 설계에 대하여 논한다. 위치를 유지해야 하는 데이터의 위치저장을 위하여 EEPROM을 사용하며 장기간 데이터를 수집할 때 페이지의 갱신을 최소화 할 수 있는 로그 리스트 기반의 페이지 처리 방법에 대해 제안한다. 이는 획기적으로 페이지 갱신 횟수를 줄임으로써 에너지를 절약하고 보다 긴 시간동안 데이터의 수집을 용이하게 만들며 센서 노드의 수명을 증가시킨다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2000.10c
• /
• pp.59-61
• /
• 2000

멀티미디어 데이터의 크기가 커짐에 따라, 파일 시스템에 대량의 데이터를 저장하는 것이 필요하다. 기존의 파일 시스템이 대용량의 데이터를 저장하는 면에서 우수한 성과를 얻기 어려움에 따라, SAN(Storage Area Network)을 이용한 새로운 파일 시스템이 최근에 연구되고 있다. SAN을 이용한 파일 시스템인 GFS는 기존 파일시스템들에 비해 대량의 데이터를 저장할 수 있도록 설계되었지만, inode와 빈 공간의 관리가 효율적이지 못하였다. 본 논문에서는 이러한 문제점을 해결하기 위해서 GFS의 inode 구조, 데이터 블록 할당 기법, 그리고 빈 공간 관리 기법에 중점을 두어 메타데이터 구조를 개선한다. 그 결과 데이터 블록 접근 시간을 줄이는 새로운 inode 구조를 설계하고, 큰 파일에는 연속된 블록으로 된 익스텐트로 할당하고 작은 파일에는 블록들로 할당하는 새로운 데이터 할당 기법을 제시한다. 또한, 빈 공간을 신속히 할당 회수할 수 있도록 빈 익스텐트들과 블록들의 주소를 저장하여 두는 독창적인 빈 공간 지갑을 사용한다. 성능 분석 결과 이러한 개선 방안들이 기존의 다른 시스템들보다 효율적임을 알 수 있다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2008.11a
• /
• pp.909-912
• /
• 2008

대용량 문서에 대한 키워드 검색을 위해 역파일(inverted-file) 색인 기법이 널리 쓰이고 있다. 역파일 색인 기법을 구현함에 있어 고려되어야 할 점은 키워드 검색 처리 시에 디스크 사용을 최소로 할 수 있는 방법이다. 크기가 작은 역파일이라면 디스크 I/O 사용도 작고 필요시 역파일을 메모리에 적재하여 둠으로써 디스크 사용을 크게 줄일 수 있다. 하지만, 웹 검색이나 규모가 큰 도서관 시스템에서와 같이 색인 데이터 크기가 매우 큰 경우 역파일을 읽는 디스크 비용이 급격히 증가할 수 있다. 본 논문에서는 매우 큰 크기의 역파일을 사용하는 검색 환경에서 디스크 사용을 최소로 할 수 있는 역파일 구조를 제안한다. 제안된 구조는 질의 처리 과정을 고려해 계층 구조로 설계되며 실제 상용 시스템에 적용되어 안정성 및 성능을 입증했다.