• 한국항행학회논문지
• /
• 제18권4호
• /
• pp.401-408
• /
• 2014

하둡(Hadoop)은 맵리듀스(MapReduce) 분산처리 프로그래밍 모델과 HDFS(Hadoop distributed file system) 분산 파일시스템으로 구성된다. 하둡은 빅데이터 처리에 적합한 프레임워크로서, 대량의 스몰파일 처리에 문제점이 있다. 하둡에서 대량의 스몰파일 처리는 하나의 파일마다 매퍼가 생성되며, 파일의 메타정보를 저장하기 위해 많은 메모리가 필요한 문제점이 있다. 본 논문은 하둡 플랫폼에서 다양한 방법으로 대량의 스몰파일 처리방법을 비교 검토하였다. 일반 압축은 데이터의 크기와 상관없이 하나의 매퍼로 처리해야 하기 때문에, 하둡 처리 포맷으로 적절하지 않다. 시퀀스 와 하둡 아카이브 파일의 처리는 스몰파일을 압축 및 병합을 통해 네임노드의 메모리 문제가 제거되었다. 하둡 아카이브 파일은 스몰파일의 병합시간이 시퀀스 파일보다 빠른 속도를 보였다. CombineFileInputFormat 클래스를 이용한 처리는 병합과정이 필요 없으며, 빅데이터 처리방법과 유사한 속도를 보였다.

• 대한전자공학회논문지
• /
• 제27권2호
• /
• pp.118-125
• /
• 1990

분산 컴퓨터 시스템에서 정보 화일을 효율적으로 관리, 운용하기 위한 화일 할당 문제의 최적해를 구하는 화일 할당 알고리듬을 제안한다. 컴퓨터 노드(site)가 많은 경우 화일 할당에 많은 시간이 소요되므로 선 할당(preassignment)을 수행하여 문제의 규모를 축소하고 계산시간을 개선한다. 할당이 진행중인 상태의 표시치(representative value)를 정확하게 나타내기 위해 기대값을 이용한 평가치 계산기법을 제안하고 빠른 시간에 최적 할당이 이루어지도록 후보 노드(candidate node)에 대한 선택기준(selection criteria)을 설정한다. 선택기준에 의해 각 노드의 화일 할당 여부를 결정하고 최종 평가치가 할당 상태의 전체 비용을 나타낸다. 제안한 알고리듬은 다항식 시간(polynomial time)알고리듬이며 여러 예제에 실현한 결과 할당 소요시간이 개선되고 기존의 할당 알고리듬과 비교하여 최적해를 구하는데 있어 우수함을 나타냈다.

• 대한임베디드공학회논문지
• /
• 제14권5호
• /
• pp.249-258
• /
• 2019

In the cyber-physical system, big data collected from numerous sensors and IoT devices is transferred to the Cloud for processing and analysis. When transferring data to the Cloud, merging data into one single file is more efficient than using the data in the form of split files. However, current merging and splitting operations are performed at the user-level and require many I / O requests to memory and storage devices, which is very inefficient and time-consuming. To solve this problem, this paper proposes kernel-level partitioning and combining operations. At the kernel level, splitting and merging files can be done with very little overhead by modifying the file system metadata. We have designed the proposed algorithm in detail and implemented it in the Linux Ext4 file system. In our experiments with the real Cloud storage system, our technique has achieved a transfer time of up to only 17% compared to the case of transferring split files. It also confirmed that the time required can be reduced by up to 0.5% compared to the existing user-level method.

• 한국정보과학회논문지:컴퓨팅의 실제 및 레터
• /
• 제15권2호
• /
• pp.98-113
• /
• 2009

낸드 플래시 메모리는 하드디스크 드라이브와 물리적 특성이 다르기 때문에, 기존 하드디스크 드라이브를 위한 파일 시스템을 낸드 플래시 메모리에서 그대로 사용할 수 없다. 이 문제를 해결하기 위해 낸드 플래시 메모리 전용 파일 시스템이 개발되었으나 파일의 메타 정보를 파일 데이타와 분리하여 저장하는 구조 때문에, 파일이 쓰여질 때마다 파일의 메타 정보가 저장된 페이지를 갱신하는 오버헤드가 존재한다. 또한, 파일 시스템이나 파일 자체의 메타 정보가 저장된 페이지가 손실되었을 때, 파일 시스템이 실패하게 되는 안정성의 문제가 있다. 본 논문에서는 이와 같은 효율성 문제와 안정성 문제를 해결하기 위해 자기 서술 페이지(Self-Description Page) 기법과 메모리 상의 코어 파일 시스템(In Memory Core File System) 기법을 제안한다. 이 기법을 적용하여 새롭게 개발한 SDFS(Self-Description File System)에서는 낸드 플래시 메모리 내의 일부 페이지들이 실패하더라도 파일 시스템을 안전하게 복구할 수 있으며, YAFFS2보다 쓰기와 읽기 성능을 각각 평균 36%, 15% 향상시켰고, 마운트 시간을 최대 1/20까지 단축시켰다.

• Journal of Information Technology Applications and Management
• /
• 제11권2호
• /
• pp.29-43
• /
• 2004

As the development of an information technique, gradually, mobile device is going to be miniaturized and operates at high speed. By such the requirements, the devices using a flash memory as a storage media are increasing. The flash memory consumes low power, is a small size, and has a fast access time like the main memory. But the flash memory must erase for recording and the erase cycle is limited. JFFS is a representative filesystem which reflects the characteristics of the flash memory. JFFS to be consisted of LSF structure, writes new data to the flash memory in sequential, which is not related to a file size. Mounting a filesystem or an error recovery is achieved through the sequential approach. Therefore, the mounting delay time is happened according to the file system size. This paper proposes a MJFFS to use a multi-checkpoint information to manage a mass flash file system efficiently. A MJFFS, which improves JFFS, divides a flash memory into the block for suitable to the block device, and stores file information of a checkpoint structure at fixed interval. Therefore mounting and error recovery processing reduce efficiently a number of filesystem access by collecting a smaller checkpoint information than capacity of actual files. A MJFFS will be suitable to a mobile device owing to accomplish fast mounting and error recovery using advantage of log foundation filesystem and overcoming defect of JFFS.

• Journal of Communications and Networks
• /
• 제15권2호
• /
• pp.228-239
• /
• 2013

Peer-to-peer (P2P) systems have proved the most effective and popular file sharing applications in recent years. Previous studies mainly focused on equal service and differentiated service strategies when peers have no initial data before their downloads. For an upload-constrained P2P file sharing system, we model both the equal service process and the differentiated service process when the initial data distribution of peers satisfies some special conditions. Moreover, we show how to minimize the time required to distribute the file to any number of peers. The proposed fluid-based models can reveal the intrinsic relations among the initial data amount, the peer set size, and the minimum last finish time. The closed-form expressions derived from the extended models can closely approximate chunk-based models and systems, especially for relatively large files. As an application of the extended models, we show how to provide differentiated service efficiently to multiple peer sets. Since no limits are imposed on the upload bandwidth of peers or the size of each peer set, we believe that our analytic process and the results achieved can provide not only fundamental insights into bandwidth allocation and data scheduling but also a helpful reference for both improving system performance and building an effective incentive mechanism for P2P file sharing systems.

• 한국콘텐츠학회논문지
• /
• 제8권11호
• /
• pp.57-64
• /
• 2008

데이터 그리드는 대용량의 데이터 어플리케이션 처리를 위해 지리적으로 분산되어 있는 저장 자원을 제공한다. 대용량을 처리해야 하는 데이터 그리드 환경에서는 기존 웹 캐싱 정책이나 가상 메모리 캐쉬 교체 정책과는 다른 파일 교체 정책이 필요하다. LRU(Least Recently Used)나 LCB-K(Least Cost Beneficial based on K), EBR(Economic-based cache replacement), LVCT(Least Value-based on Caching Time) 같은 기존의 파일 교체 전략은 파일 교체를 위해 추가적인 자원이 필요하거나 미래를 예측해야한다. 본 논문은 이를 해결하기 위해 파일의 크기에 기반하여 파일 교체를 수행하는 SBR-k(Sized-based replacement-k)을 제안한다. 제안된 정책은 불확실한 미래 예측의 부담을 줄이고, 요청된 파일에 대응되는 교체 파일의 개수가 적게 하이 위해 파일 크기를 고려하였다. 성능평가 결과 캐쉬 크기가 작은 경우에 적중률이 비슷하나 캐쉬 크기가 크면 본 논문에서 제시한 정책이 우수함을 보였다.

• 한국멀티미디어학회논문지
• /
• 제11권5호
• /
• pp.651-660
• /
• 2008

플래시 메모리는 비휘발성, 저전력, 빠른 입출력, 충격에 강함 등과 같은 많은 장점으로 임베디드 시스템에 많이 사용되고 있다. 그렇지만 제자리 덮어쓰기가 불가능하고 블록의 지움 횟수 제약이 있으며, 지움 연산을 페이지 단위로 해야 한다는 단점이 있다. 이러한 제약을 극복하기 위해 YAFFS와 RFFS와 같은 NAND플래시 파일 시스템이 제안되었다. YAFFS는 마운트 과정에서 필요한 데이터들을 얻기 위해 전체 플래시 메모리를 읽어야 하기에 마운트 시간이 느려진다. 따라서 빠른 마운트를 위해 필요한 모든 블록의 정보와 메타 데이터를 관리하는 RFFS 파일시스템이 제안되었다. 하지만 메타 데이터를 관리하기 위한 연산으로 인하여 파일시스템에 부담을 증가 시킨다. 본 논문에서는 위와 같은 문제점 해결을 위하여 최소한의 메타데이터를 이용하여 빠른 부팅 및 복구를 제공 할 수 있는 NAND 플래시 파일 시스템을 제안한다. 그리고 실험을 통해 마운트 및 복구 성능 향상과 시스템에 부하가 없음을 보인다.

• 한국정보과학회논문지:시스템및이론
• /
• 제32권6호
• /
• pp.279-287
• /
• 2005

파일 무결성 검사는 시스템 자원의 안정성 여부를 판단할 수 있는 가장 확실한 방법이지만, 관리자의 경험과 능력에 따라 검사 시간과 효과에 많은 차이가 있을 수 있다. 따라서 가능한 빠른 대웅을 필요로 하는 침입 복구 및 대웅 시스템에 바로 사용하기에는 적합하지 않으며, 또한 손상 자원의 복구에 필요한 자원의 상태 정보는 수집 가능하지만 침입을 차단하기 위해 필요한 침입 행위 주체에 대한 정보는 수집할 수 없다. 본 논문에서는 위의 두 가지 문제를 해결하기 위해 시스템 호출 감시와 파일 무결성 검사를 연동하여 실시간으로 파일의 무결성을 검사하는 rtIntegrit을 제안한다. rtIntegrit은 Syswatcher라는 시스템 호출 검사 도구를 사용하여 요청된 행위를 항상 감시한다. 만약 지정된 파일에 이상 동작이 나타나면 이의 변화에 대하여 실시간으로 무결성 검사를 수행하도록 하고, 해당 관련된 프로세스의 정보를 수집하고 보고함으로서 침입 차단에 활용하게 한다. 또한 IDMEF 형식의 표준으로 감사 자료를 생성하여, 침입 대웅 및 복구 시스템들과 쉽게 연계할 수 있다.

• Restorative Dentistry and Endodontics
• /
• 제37권2호
• /
• pp.79-83
• /
• 2012

Objectives: The purpose of this study was to evaluate the relation between intentionally induced internal stress and cyclic fatigue failure of .06 taper ProFile. Materials and Methods: Length 25 mm, .06 taper ProFile (Dentsply Maillefer), and size 20, 25, 30, 35 and 40 were used in this study. To give the internal stress, the rotary NiTi files were put into the .02 taper, Endo-Training-Bloc (Dentsply Maillefer) until auto-stop by torque controlled motor. Rotary NiTi files were grouped by the number of induced internal stress and randomly distributed among one control group and three experimental groups (n = 10, Stress 0 [control], Stress 1, Stress 2 and Stress 3). For cyclic fatigue measurement, time for separation of the rotary NiTi files was recorded. The fractured surfaces were observed by field emission scanning electron microscope (FE-SEM, SU-70, Hitachi). The time for separation was statistically analyzed using two-way ANOVA and post-hoc Scheffe test at 95% level. Results: In .06 taper ProFile size 20, 25, 30, 35 and 40, there were statistically significant difference on time for separation between control group and the other groups (p < 0.05). Conclusion: In the limitation of this study, cyclic fatigue failure of .06 taper ProFile is influenced by internal stress accumulated in the files.