• 한국전자통신학회논문지
• /
• 제10권10호
• /
• pp.1115-1122
• /
• 2015

하둡 프레임워크는 매우 큰 크기의 파일을 처리하기에 적합하도록 설계되었다. 반면 작은 크기의 파일을 처리할 경우, 분산 시스템의 자원 낭비와 분석 성능 저하가 발생하며 이는 작은 파일의 개수가 많을수록 현저하게 나타난다. 이 문제는 파일의 크기가 작기 때문에 발생하므로, 연관성 있는 작은 파일들의 병합을 통해 해결할 수 있다. 그러나 기존의 작은 파일 병합 방법들은 부차적인 한계점을 지니고 있다. 따라서 본 연구는 기존의 병합 방법의 문제점에 대하여 살펴보고, 작은 파일들의 효율적 처리를 위한 병합 방법을 설계하였다.

• 정보처리학회논문지A
• /
• 제15A권5호
• /
• pp.275-286
• /
• 2008

Fast File System(FFS)은 디스크의 고성능 대역폭을 활용하여 대용량 파일의 여러 블록들을 한 번에 저장함으로써 파일 쓰기 성능을 향상시키고 있다. 하지만, FFS는 파일 단위로 데이터를 저장하기 때문에 작은 파일 쓰기 성능은 디스크 대역폭보다 디스크 회전 및 탐색 시간에 크게 영향을 받는다. 본 논문은 FFS에서 작은 파일 쓰기의 성능 향상을 위해 여러 개의 작은 파일들을 한꺼번에 모아서 저장하는 모아 쓰기(Co-Writing) 기법을 제안하며, 이 기법을 FFS에 적용한 CW-FFS를 구현하였다. CW-FFS의 모아 쓰기 기법은 대역폭을 활용하여 디렉토리 지역성을 가지는 작은 파일들을 모아서 연속적인 디스크 위치에 한 번의 디스크 쓰기로 저장한다. 모아 쓰기 기법은 각 파일 단위로 발생하는 디스크 회전 및 탐색 동작들을 한 번으로 감소시키기 때문에 파일 쓰기가 많은 응용 프로그램에서 작은 파일 쓰기 성능을 개선시킨다. 또한 모아 쓰기 기법이 동일 디렉토리에 포함되는 파일들 간의 디스크 공간 지역성의 저하를 야기하지 않도록 효율적인 파일 할당 방식도 함께 제안한다. CW-FFS는 성능 검증을 위해 OpenBSD 운영체제 커널에서 구현되었으며, postmark 벤치마크를 통한 성능 측정 결과는 기존 FFS 파일 시스템보다 작은 파일 쓰기 성능이 속도 측면에서 $5{\sim}35%$까지 개선되었음을 보여준다.

• 한국콘텐츠학회논문지
• /
• 제14권11호
• /
• pp.28-38
• /
• 2014

본 논문에서는 소형 파일을 효율적으로 접근하기 위한 분산 캐시 관리 기법을 제안한다. 제안하는 기법은 다수의 소형 파일을 병합하여 청크에 저장함으로써, 네임 노드에서 관리해야 할 메타데이터 수를 감소시킨다. 또한, 클라이언트와 데이터 노드의 캐시를 사용하여 요청된 파일들의 정보를 유지함으로써 소형 파일 접근 비용을 줄인다. 이때, 클라이언트의 캐시에는 사용자가 요청한 소형 파일과 메타데이터가 유지되며, 각 데이터 노드의 캐시에는 여러 사용자들이 빈번하게 요청했던 소형 파일을 유지한다. 성능 평가를 통해 제안하는 분산 캐시 관리 기법이 기존 기법에 비해 소형 파일 접근 비용을 크게 감소시킴을 보인다.

• 한국멀티미디어학회논문지
• /
• 제18권9호
• /
• pp.1098-1104
• /
• 2015

With the widespread use of smartphones and IoT (Internet of Things), data are being generated on a large scale, and there is increased for the analysis of such data. Hence, distributed processing systems have gained much attention. Hadoop, which is a distributed processing system, saves the metadata of stored files in name nodes; in this case, the main problems are as follows: the memory becomes insufficient; load occurs because of massive small files; scheduling and file processing time increases because of the increased number of small files. In this paper, we propose a solution to address the increase in processing time because of massive small files, and thus improve the processing performance, using the Reuse JVM method provided by Hadoop. Through environment setting, the Reuse JVM method modifies the JVM produced conventionally for every task, so that multiple tasks are reused sequentially in one JVM. As a final outcome, the Reuse JVM method showed the best processing performance when used together with CombineFileInputFormat.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제13권1호
• /
• pp.222-236
• /
• 2019

Wireless content caching in small cell networks has recently been considered as a promising way to alleviate the congestion of the backhaul in emerging heterogenous cellular network. However, how to select files which are cached in SBSs and how to make SBSs work together is an important issue for cooperative cache research for the propose of reducing file download time. In this paper, a Cooperative-Greedy strategy (CGS) among cache-enabled small base stations (SBSs) in small cell network is proposed, in order to minimize the download time of files. This problem is formulated as a Chinese restaurant game.Using this game model, we can configure file caching schemes based on file popularity and the spectrum resources allocated to several adjacent SBSs. Both the existence and uniquencess of a Nash equilibrium are proved. In the theoretical analysis section, SBSs cooperate with each other in order to cache popular files as many as possible near UEs. Simulation results show that the CGS scheme outperforms other schemes in terms of the file-download time.

• International Journal of Computer Science & Network Security
• /
• 제21권7호
• /
• pp.359-364
• /
• 2021

In recent years Hadoop usage has been increasing day by day. The need of development of the technology and its specified outcomes are eagerly waiting across globe to adopt speedy access of data. Need of computers and its dependency is increasing day by day. Big data is exponentially growing as the entire world is working in online mode. Large amount of data has been produced which is very difficult to handle and process within a short time. In present situation industries are widely using the Hadoop framework to store, process and produce at the specified time with huge amount of data that has been put on the server. Processing of this huge amount of data having small files & its storage optimization is a big problem. HDFS, Sequence files, HAR, NHAR various techniques have been already proposed. In this paper we have discussed about various existing techniques which are developed for accessing and storing small files efficiently. Out of the various techniques we have specifically tried to implement the HDFS- HAR, NHAR techniques.

• 품질경영학회지
• /
• 제28권3호
• /
• pp.104-113
• /
• 2000

In this paper, we present a useful system to manage the quality documents, using the concept of hypertext in HANGUEL wordprocessor, In order to develop this system, we classify all manuals, procedures and forms into files. A relationship chart of these files is constructed and files are hyperlinked according to this chart. We apply this quality document management system using hyper- text to a small precision manufacturing firm by analyzing its all kinds of quality documents. We confirm that this system effectively reduces the handling time of quality documents and supports revising task of quality documents with consistency.

• Restorative Dentistry and Endodontics
• /
• 제43권2호
• /
• pp.25.1-25.10
• /
• 2018

Objectives: To evaluate the mechanical properties and metallurgical characteristics of the M3 Rotary and M3 Pro Gold files (United Dental). Materials and Methods: One hundred and sixty new M3 Rotary and M3 Pro Gold files (sizes 20/0.04 and 25/0.04) were used. Torque and angle of rotation at failure (n = 20) were measured according to ISO 3630-1. Cyclic fatigue resistance was tested by measuring the number of cycles to failure in an artificial stainless steel canal ($60^{\circ}$ angle of curvature and a 5-mm radius). The metallurgical characteristics were investigated by differential scanning calorimetry. Data were analyzed using analysis of variance and the Student-Newman-Keuls test. Results: Comparing the same size of the 2 different instruments, cyclic fatigue resistance was significantly higher in the M3 Pro Gold files than in the M3 Rotary files (p < 0.001). No significant difference was observed between the files in the maximum torque load, while a significantly higher angular rotation to fracture was observed for M3 Pro Gold (p < 0.05). In the DSC analysis, the M3 Pro Gold files showed one prominent peak on the heating curve and 2 prominent peaks on the cooling curve. In contrast, the M3 Rotary files showed 1 small peak on the heating curve and 1 small peak on the cooling curve. Conclusions: The M3 Pro Gold files showed greater flexibility and angular rotation than the M3 Rotary files, without decrement of their torque resistance. The superior flexibility of M3 Pro Gold files can be attributed to their martensite phase.

• 한국정보통신학회논문지
• /
• 제9권8호
• /
• pp.1669-1675
• /
• 2005

최근 들어 무선 단말장치의 소형화 및 파일크기의 대형화 추세로 소형 무선 단말에서 대형 파일처리의 문제점이 대두되고 있다. 또한 파일서버나 웹 서버에 수많은 파일의 집중화로 인한 과부하가 문제점으로 쟁점화 되고 있다. 그리고 데이터 처리가 단일 파일단위를 기반으로 함에 따라 보안상 여러 취약점을 지닌다. 본 논문에서는 이러한 문제점 해결을 위한 새로운 방안으로 그물망 위상의 P2P를 활용한 파일 분리 분산 방안을 제안하였다. 파일을 그물망 구조의 P2P를 활용하여 분리 분산시킴으로써 소형 단말에 적합한 파일을 생성할 수 있고, 파일이 특정 서버에 집중화되지 않음에 따라 과부하를 예방하고, 한 파일이 여러 피어에 분산됨에 따라 보안상 취약점을 완화할 수 있다.

• 정보과학회 논문지
• /
• 제45권1호
• /
• pp.9-14
• /
• 2018

tar는 여러 개의 파일들을 묶어 하나의 파일로 만들어주는 리눅스 명령어이다. 크기가 작은 여러 파일들을 하나의 파일로 만들면, 파일 압축 및 전송 시에 좋은 효율을 갖는다. 하지만, tar는 타겟 파일들의 크기가 작을수록 성능이 떨어지는 문제점이 있다. 본 논문에서는 이 성능 하락이 tar가 파일들의 데이터를 읽어오는 데에서 발생함을 보이고, 플래시 변환 계층 리매핑 기법을 통해 이 문제를 해결하여 qtar (quick tar)를 구현하였다. I/O 성능은 I/O 요청의 크기가 1 MB보다 작아질 경우 그 크기에 비례하여 떨어지게 되는데, tar의 경우 파일들의 데이터를 한 파일 단위로 읽어 각 파일의 크기가 작을수록 안 좋은 성능을 갖게 된다. 그러나, qtar의 경우 리매핑 기법을 활용하여 파일들의 데이터를 항상 최대 I/O 크기로 읽어 각 파일의 크기와 관계없이 좋은 성능을 갖는다. 실험 결과, qtar가 tar에 비해 최대 3.4배 빠르게 동작하는 것을 확인하였다.