• Title/Summary/Keyword: 특성정보 파일

Search Result 551, Processing Time 0.028 seconds

A Study on Parallel I/O Technology in Filesystem for AI (AI를 위한 파일시스템 병렬 I/O 기술 연구)

  • Yoon, Junweon;Hong, Taeyeong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2022.11a
    • /
    • pp.49-51
    • /
    • 2022
  • 대규모 데이터를 처리하기 위해 머신러닝, 딥러닝과 같은 AI 활용 연구가 일반화되면서 시스템 환경 또한 병렬처리 연산에 강화된 가속기 기반의 이기종 아키텍처로 확산되고 있다. CPU 기반의 계산 환경과 달리 상대적으로 성능이 낮은 수천 개의 산술연산장치(ALU)를 활용해 쓰레드 방식으로 연산을 수행하며, I/O의 특성 또한 대규모의 데이터들이 수많은 연산장치에 전달되기 위한 Small I/O, High-throughput 처리 성능이 애플리케이션에 큰 영향을 끼친다. 본 논문에서는 병렬 컴퓨팅 환경에 AI 애플리케이션이 접목되면서 요구되는 스토리지, 파일시스템의 환경을 분석하고 나아가 성능 검증을 통해 I/O 특성을 파악하고자 한다.

A Recovery Technique of PDF File in the Unit of Page (PDF 파일의 페이지단위 복구 기법)

  • Jang, Jeewon;Bang, Seung Gyu;Han, Jaehyeok;Lee, Sang Jin
    • KIPS Transactions on Computer and Communication Systems
    • /
    • v.6 no.1
    • /
    • pp.25-30
    • /
    • 2017
  • The influence of the data deletion method which is one of anti-forensic techniques is substantial in terms of forensic analysis compared to its simplicity of the act. In academic world, recovery techniques on deleted files have been continuously studied in response to the data deletion method and representatively, the file system-based file recovery technique and file format based recovery technique exist. If there's metadata of deleted file in file system, the file can be easily recovered by using it, but if there's no metadata, the file is recovered by using the signature-based carving technique or the file format based recovery technique has to be applied. At this time, in the file format based recovery technique, the file structure analysis and possible recovery technique should be provided. This paper proposes the page recovery technique on deleted PDF file based on the structural characteristics of PDF file. This technique uses the tag value of page object which constitutes one page of PDF file. Object is extracted by utilizing each tag value as a kind of signature and by analyzing extracted object, the metadata of PDF file is recombined and then it's reconfigured page by page. Recovering by page means that even if deleted PDF file is damaged, even some pages consisting of PDF file can be recovered. Generally, if the file system based file is not recoverable, deleted file is recovered by applying the signature based carving technique. The technique which we proposed in this paper can recover PDF files that are damaged. In the digital forensic perspective, it can be utilized to recover more data than previously.

Design and Implementation of the Flash File System that Maintains Metadata in Non-Volatile RAM (메타데이타를 비휘발성 램에 유지하는 플래시 파일시스템의 설계 및 구현)

  • Doh, In-Hwan;Choi, Jong-Moo;Lee, Dong-Hee;Noh, Sam-H.
    • Journal of KIISE:Computer Systems and Theory
    • /
    • v.35 no.2
    • /
    • pp.94-101
    • /
    • 2008
  • Non-volatile RAM (NVRAM) is a form of next-generation memory that has both characteristics of nonvolatility and byte addressability each of which can be found in nonvolatile storage and RAM, respectively. The advent of NVRAM may possibly bring about drastic changes to the system software landscape. When NVRAM is efficiently exploited in the system software layer, we expect that the system performance can be significantly improved. In this regards, we attempt to develop a new Flash file system, named MiNVFS (Metadata in NVram File System). MiNVFS maintains all the metadata in NVRAM, while storing all file data in Flash memory. In this paper, we present quantitative experimental results that show how much performance gains can be possible by exploiting NVRAM. Compared to YAFFS, a typical Flash file system, we show that MiNVFS requires only minimal time for mounting. MiNVFS outperforms YAFFS by an average of around 400% in terms of the total execution time for the realistic workloads that we considered.

대화방식(對話方式)의 특징(特徵)을 가진 SDI 시스팀의 성능(性能)

  • Saskova, V.;Kosik, J.
    • Journal of Information Management
    • /
    • v.8 no.5
    • /
    • pp.130-140
    • /
    • 1975
  • 이용자(利用者) 중심(中心)의 대화방식(對話方式) 시스팀을 개발(開發)하고 시험(試驗)하였다. 2년(年)동안 280개의 프로파일로 CA - Condensates 데이터 베이스내에서 정보(情報)를 검색(檢索)해 보았다. 그 시스팀의 작업능률(作業能率)을 사용(使用)한 데이터 베이스와 하드웨어의 구조(構造), 소프트웨어 패키지, 이용자(利用者)의 수(數), 그리고 정보(情報)센터에서 제공(提供)한 보조(補助)에 따라 평가(評價)하였다. 대화식(對話式) 검색방법(檢索方法)이나 이용자(利用者)의 요구(要求)를 양화(量化)하는 것, 그리고 여러가지 분야별(分野別)로 검색(檢索)하는 방법(方法) 등 이용자(利用者)의 요구(要求)를 보다 충실(充實)하게 만족(滿足)시킬 수 있는 여러가지 방법(方法)들을 논의(論議)하였다. 모든 정보(情報)시스팀의 목적(目的)은 적시(適時)에 올바른 정(情)보를 적자(適者)에게 제공(提供)하는 것이라고 잘 알려져 있다. 다시 말해서, 정보(情報)시스팀의 주요목적(主要目的)은 이용자(利用者)의 요구(要求)를 충족(充足)시켜 주는 것이다. 이러한 관념(觀念)의 변화(變化)는 정보처리(情報處理)에 큰 변화(變化)를 가져와 정보(情報)시스팀의 적응성(適應性)을 증가(增加)시키기 위해 여러 가지 새로운 방법(方法)들이 개발(開發)되었다. 정보(情報)시스팀들 사이의 상호작용(相互作用), 사람과 컴퓨터와의 대화(對話), 그리고 컴퓨터의 조력(助力)으로 이용자(利用者)의 프로파일을 작성(作成)하는 것 등은 이용자(利用者)의 요구(要求)를 존중(尊重)하고, 필요(必要)한 정보(情報)를 쉽게 찾기 위해서 고안(考案)된 것이다. 한편, 우리들은 이용자(利用者)의 특성(特性)이나 배경(背景), 그리고 문헌(文獻)에 대한 그의 습성(習性) 등에 대해서 얼마나 모르고 있는가를 깨닫게 된다. 상기(上記)의 내용(內容)을 요약(要略)하면, 근대정보(近代情報) 시스팀은 다음의 필요조건(必要條件)을 만족(滿足)해야 한다. 1) 이용자(利用者)의 요구(要求)에 호응(呼應)하기 위해서 적합(適合)한 일련(一連)의 정보(情報)를 제공(提供)해야 한다. 2) 이용자(利用者)와의 관계(關系)에서 시스팀은 적극적(積極的)이어야 한다. 즉, 프로파일 검색공식(檢索公式)에서 유발(誘發)되는 잘못을 지시(指示)하고 지적(指適)할 수 있어 야 한다. 나아가서 컴퓨터의 조력(助力)으로 프로파일을 작성(作成)하고 쉽게 수정(修正)할 수 있는 바람직하다. 우리들은 상기(上記)한 필수조건(必須條件)에 일치(一致)하도록 노력(努力) 하고 Bratislava에 위치(位置)하고 있는 슬로박 과학원(科學院)의 무기화학연구소(無機化學硏究所)와 화학공업경제연구소(化學工業經濟硏究所)가 공동(共同)으로 개발(開發)한 시스팀이 상기(上記)의 특수성(特殊性) 최소(最少)한 몇가지 도입(導入)하였다. 시스팀은 CACS라는 작업명하(作業名下)에서 운영(運營)되었다. 대략 15개월동안 280여개의 프로파일로 CA- Condensates 데이터베이스에서 정보(情報)를 검색(檢索)하여 이용자(利用者)들에게 최신정보(最新情報) 주지사업(周知事業)을 해 보았다. 우리들은 시스팀의 작업능률(作業能率)을 평가(評價)하고 이용자(利用者)의 요구(要求)를 만족(滿足)시키는 최선(最善)의 방법(方法)을 모색(摸索)하였다. 우선 이용자(利用者)와 시스팀사이를 밀접(密接)하게 연결(連結)하는데 중점(重點)을 두었다. 작업능률(作業能率Z)을 분석(分折)해 보고 우리들은 효율(效率)에 영향(影響)을 주는 인자(因子)는 다음의 4가지 주요분류(主要分類)에 속한다는 결론(結論)을 얻었다. (1) 검색(檢索)하는 데이터 베이스 (2) 情報시스팀, 소프트웨어 패키지 그리고 하드웨어 구조(構造) (3) 이용자(利用者)의 특성(特性)과 그의 요구(要求) (4) 정보(情報)센터가 이용자(利用者)에게 제공(提供)하는 보조(補助)

  • PDF

Assessment of the Efficiency of Garbage Collection for the MiNV File System (메타데이타를 비휘발성 램에 유지하는 플래시 파일시스템에서 가비지 컬렉션 수행에 대한 효율성 평가)

  • Doh, In-Hwan;Choi, Jong-Moo;Lee, Dong-Hee;Noh, Sam-H.
    • Journal of KIISE:Computing Practices and Letters
    • /
    • v.14 no.2
    • /
    • pp.241-245
    • /
    • 2008
  • Non-volatile RAM (NVRAM) has both characteristics of nonvolatility and byte addressability. In order to efficiently exploit this NVRAM in the file system layer, we proposed the MiNV (Metadata in NVram) file system in our previous research. MiNV file system maintains all the metadata in NVRAM while storing file data in NAND Flash memory. In this paper, we experimentally analyze the efficiency for the execution of garbage collection in the MiNV file system. Also, we quantify the file system performance gains obtained from efficient garbage collection. Experimental results show that garbage collection on the MiNV file system executes more efficiently that on YAFFS even though these file systems adopt exactly the same garbage collection policy. Specifically, the MiNV file system invokes the aggressive garbage collection mechanism less frequently than YAFFS. Additionally, the MiNV file system postpones the first execution of the aggressive garbage collection mechanism in our experiments. From the experiments, we verify that the efficiency of garbage collection leads to performance improvements of the MiNV file system.

Design of a High-capacity NAND Flash based File System for Sensor Node with very small Memory Footprint (적은 메모리 사용량을 가진 센서노드용 대용량 낸드 플래시 파일 시스템의 설계)

  • Han, Kyoung-Hoon;Lee, Ki-Hyuk;Song, Jun-Young;Han, Hyung-Jin;Choi, Won-Chul;Han, Ji-Yean;Sohn, Ki-Rack
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2007.10c
    • /
    • pp.140-145
    • /
    • 2007
  • 최근에 에너지의 효율성이 좋고 대용량화가 쉬운 낸드 플래시가 센서 노드를 위한 차세대 저장소로 각광을 받고 있다. 현재 대부분의 센서 노드용 파일 시스템은 노어 플래시 기반으로 개발되어 있으며 낸드 플래시에 적용할 수 있는 파일 시스템은 거의 존재하지 않는다. 대용량 낸드 플래시 메모리의 특성을 고려한 새로운 파월 시스템의 구축이 요구되지만, 센서 노드는 오직 4-10 KByte의 매우 작은 크기의 메모리를 지원하므로 효율성이 뛰어난 파일 시스템을 구축하는 것은 매우 어렵다. 본 논문은 1 Kbit의 매우 작은 크기의 EEPROM을 부착하여 이러한 메모리 한계를 극복하였으며 자원의 효율성, 대용량의 지원 및 신뢰성을 고려한 새로운 파일 시스템의 설계에 대하여 논한다. 위치를 유지해야 하는 데이터의 위치저장을 위하여 EEPROM을 사용하며 장기간 데이터를 수집할 때 페이지의 갱신을 최소화 할 수 있는 로그 리스트 기반의 페이지 처리 방법에 대해 제안한다. 이는 획기적으로 페이지 갱신 횟수를 줄임으로써 에너지를 절약하고 보다 긴 시간동안 데이터의 수집을 용이하게 만들며 센서 노드의 수명을 증가시킨다.

  • PDF

A Distributed File Service for Wearable Computing Environment (웨어러블 컴퓨팅을 위한 분산 파일 서비스)

  • Shin, Jong-Hwa;Lee, Woo-Joong;Park, Chan-Ik;Cho, Il-Yeon;Han, Dong-Won
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2005.07a
    • /
    • pp.754-756
    • /
    • 2005
  • 이동통신 기술과, 반도체 기술의 발전으로 인해 기존의 컴퓨팅 패러다임이 데스크 탑에서 PDA, 스마트 폰 등의 모바일 환경으로, 그리고 입는 컴퓨터로의 이동이 급격하게 진행되고 있다. 또한 유비쿼터스 컴퓨팅 개념이 도입되고 발전하면서 입는 컴퓨터는 사용자와 편재된 컴퓨팅 환경의 인터페이스로써 중요성이 부각되고 있다. 그러나 웨어러블 컴퓨팅 환경에서의 사용자 간, 또는 주변 컴퓨팅 환경과의 데이터 공유와 관련된 연구는 활발히 진행되고 있지 못하다. 따라서, 본 논문에서는 웨어러블 컴퓨팅 환경의 Distributed, Dynamic, Heterogeneous한 특성에 대한 기존의 분산 파일 시스템/서비스가 가진 한계점을 제시하고, 웨어러블 컴퓨팅 환경에서 자유로운 데이터 공유를 실현하기 위한 분산 파일 서비스를 제시하였다. 마지막으로, 본 논문에서는 웨어러블 컴퓨팅에서의 제한적인 입출력 환경을 극복하기 위한 상황 인지 분산 파일 시스템/서비스와 관련된 연구들을 소개하고, 기존의 연구들이 가지는 한계점을 극복하기 위한 분산 파일 서비스 구성 기법을 제시하였다.

  • PDF

A Study to Improve Recovery Ratio of Deleted File Using the Parsing Algorithm of the HFS + Journal File (HFS+ 저널 파일 파싱 알고리즘을 이용한 삭제된 파일 복구 기법 향상 방안)

  • Bang, Seung Gyu;Jeon, Sang Jun;Kim, Do Hyun;Lee, Sang Jin
    • KIPS Transactions on Computer and Communication Systems
    • /
    • v.5 no.12
    • /
    • pp.463-470
    • /
    • 2016
  • With the growing demand for MAC-based system, the need for digital forensic techniques of these system has been increasing. In the digital forensic analysis process, sometimes analysts have recovered the deleted files when they prove the allegations if system user try to remove the evidence deliberately. Research and analysis that recover the deleted files from a file system constantly been made and HFS+ that is a file system of MAC-based system also has been researched. Carving techniques primarily has been used to recover the deleted file from HFS+ a file system because metadata of folder or file overwrite metadata of a deleted file when file is deleted from a file system on HFS+ characteristic. But if the file content is saved by separated state in a file system, Carving techniques also can't recover the whole or a part of the deleted file. In this paper we describe technique the deleted file recovery technique using HFS+ file system a journal. This technique that is suggested by existing research and analysis result is the technique that recover the deleted file by metadata that is maintained in a journal on HFS+ file system. but this technique excludes specific files and this problem needs to be reformed. In this paper we suggest algorithm that analysis a journal of HFS+ file system in detail. And we demonstrate that the deleted file cat be recovered from the extracted metadata by this algorithm without the excluded file.

The Prevention Technique of Wiping File Recovery on NAND Flash Memory Using Block Permutation (낸드 플래시 메모리상에서 블록 치환을 이용한 와이핑 파일 복구 방지 기법)

  • Lee, Sang-Ho;Shin, Myung-Sub;Park, Dong-Joo
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2012.06c
    • /
    • pp.72-74
    • /
    • 2012
  • 최근 스마트폰, 태블릿이 보편화되고 플래시 메모리가 모바일기기의 저장장치로 많이 사용되면서 저장되는 데이터에 대한 보안성도 높아지고 있다. 모바일 기기를 사용하는 사용자 입장에서 더 이상 필요치 않은 목적으로 데이터를 삭제하고 유출을 막기 위해 파일 와이핑 기법을 사용한다. 하지만 일반적인 와이핑 기법은 하드디스크 특성을 바탕으로 수행되기 때문에 플래시 메모리를 사용할 경우 플래시 메모리 특성으로 인해 와이핑 이후 기존정보가 존재하기 때문에 복구가 가능하다. 최근 플래시 메모리 데이터의 보안성을 요구하는 기법이 연구된바 있지만 불필요한 오버헤드 및 기법 적용이 제한적이라는 문제가 있다. 본 논문에서는 다양한 FTL에 적용이 가능한 플래시 메모리상의 저장된 데이터에 대한 와이핑 수행이후 복구 방지 기법을 제안한다. 이 기법은 임의 값을 이용한 블록 치환 알고리즘을 통해 테이블을 생성하고 테이블을 이용해서 플래시 메모리를 블록 단위로 치환을 하여 수행한다.

A Design of Profile Based Generational Garbage Collector in Java (자바에서 프로파일에 기초한 세대기반 가비지 콜렉터 설계)

  • 김일부호;오세만
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1999.10a
    • /
    • pp.388-390
    • /
    • 1999
  • 자바는 자동 메로리 회수(garbage collection) 방식을 채택한 범용 프로그래밍 언어로 자바 가상머신(JVM)이 설치된 다양한 플랫폼에서 사용되어 지고 있다. 현재 자바에서 사용되는 가비지 콜렉터는 휴지(pause) 시간이 상당히 길어 짧은 응답시간을 요구하는 서버 및 실시간 응용 프로그램에는 적합하지 않은 표시-압축 기법을 사용한다. 이를 보완하기 위해 자바 HotSpotTM 성능 엔진에서 세대기반(generational) 복사 기법에 기반을 둔 혼성(hybrid) 가비지 콜렉터를 사용하고 있으나, 상당히 큰 오버헤드를 보이고 있어 다양한 응용 프로그램의 특성을 수용하기에는 개선의 여지가 많다. 본 논문에서는 세대기반 기법을 기반으로, 자바와 자바 가상머신이 가진 특성들과 실행시간 객체의 타입 및 스택 정보를 이용하는 가비지 콜렉터를 설계한다. 또한, 힙 프로파일 분석기를 구현하고, 이를 통해 응용 프로그램에 적합한 메모리 구조를 분석하고, 가비지 콜렉터에 적용할 수 있도록 한다.

  • PDF