• 제목/요약/키워드: File splitting

검색결과 10건 처리시간 0.024초

사이버 물리 시스템에서 효율적인 파일 전송을 위한 커널 레벨 분할 및 결합 연산의 설계와 구현 (Design and Implementation of Kernel-Level Split and Merge Operations for Efficient File Transfer in Cyber-Physical System)

  • 박현찬;장준희;이준석
    • 대한임베디드공학회논문지
    • /
    • 제14권5호
    • /
    • pp.249-258
    • /
    • 2019
  • In the cyber-physical system, big data collected from numerous sensors and IoT devices is transferred to the Cloud for processing and analysis. When transferring data to the Cloud, merging data into one single file is more efficient than using the data in the form of split files. However, current merging and splitting operations are performed at the user-level and require many I / O requests to memory and storage devices, which is very inefficient and time-consuming. To solve this problem, this paper proposes kernel-level partitioning and combining operations. At the kernel level, splitting and merging files can be done with very little overhead by modifying the file system metadata. We have designed the proposed algorithm in detail and implemented it in the Linux Ext4 file system. In our experiments with the real Cloud storage system, our technique has achieved a transfer time of up to only 17% compared to the case of transferring split files. It also confirmed that the time required can be reduced by up to 0.5% compared to the existing user-level method.

그물망 위상의 P2P 네트워크를 활용한 파일 분리 분산 방안 (The File Splitting Distribution Scheme Using the P2P Networks with The Mesh topology)

  • 이명훈;박정수;김진홍;조인준
    • 한국정보통신학회논문지
    • /
    • 제9권8호
    • /
    • pp.1669-1675
    • /
    • 2005
  • 최근 들어 무선 단말장치의 소형화 및 파일크기의 대형화 추세로 소형 무선 단말에서 대형 파일처리의 문제점이 대두되고 있다. 또한 파일서버나 웹 서버에 수많은 파일의 집중화로 인한 과부하가 문제점으로 쟁점화 되고 있다. 그리고 데이터 처리가 단일 파일단위를 기반으로 함에 따라 보안상 여러 취약점을 지닌다. 본 논문에서는 이러한 문제점 해결을 위한 새로운 방안으로 그물망 위상의 P2P를 활용한 파일 분리 분산 방안을 제안하였다. 파일을 그물망 구조의 P2P를 활용하여 분리 분산시킴으로써 소형 단말에 적합한 파일을 생성할 수 있고, 파일이 특정 서버에 집중화되지 않음에 따라 과부하를 예방하고, 한 파일이 여러 피어에 분산됨에 따라 보안상 취약점을 완화할 수 있다.

모델 분할을 이용한 컨셉 프린터의 가공시간 단축 (Reduction of processing time for concept printer with model splitting)

  • 이인탁;김호찬;권민형;이석;이석희
    • 한국정밀공학회:학술대회논문집
    • /
    • 한국정밀공학회 1997년도 추계학술대회 논문집
    • /
    • pp.105-108
    • /
    • 1997
  • To reduce design period, demands for rapid prototyping system is increasing. Among the rapid prototyping system, as a concept modeler, 3D Printer appears before the footlights. In spite of short production time and convenience, 3D Printer causes post processing problem. And that is too slow to adapt to the demand of workshop. In this research, we developed a system for reducing build time and roughness using splitting operation. Also, propose BFS(B-rep For STL) data structure to maintain model data, split STL model and implement Euler Operation for input and output.

  • PDF

SSD 기반 서버급 스토리지를 위한 지역성 기반 청킹 정책을 이용한 데이터 중복 제거 기법 (Data Deduplication Method using Locality-based Chunking policy for SSD-based Server Storages)

  • 이승규;김주경;김덕환
    • 전자공학회논문지
    • /
    • 제50권2호
    • /
    • pp.143-151
    • /
    • 2013
  • 낸드 플래시 기반 SSD(Solid State Drive)는 빠른 입출력 성능, 저전력 등의 장점을 가지고 있어, 타블릿, 데스크탑 PC, 스마트폰, 서버 등의 저장장치로 널리 사용되고 있다. 하지만 SSD는 쓰기 횟수에 따라서 마모도가 증가하는 단점이 있다. SSD의 수명을 향상시키기 위해 다양한 데이터 중복제거 기법이 도입되었으나, 일반적인 고정 크기 분할방식은 데이터의 지역성을 고려하지 않고 청크크기를 할당함으로써, 불필요한 청킹 및 해시값 생성을 수행하는 문제점이 있으며, 가변 크기 분할방식은 중복제거를 위해 바이트 단위로 비교하여 과도한 연산량을 유발한다. 본 논문에서는 SSD 기반 서버급 스토리지에서 쓰기 요청된 데이터의 지역성에 기반한 적응형 청킹 정책을 제안한다. 제안한 방법은 중복데이터가 가지는 응용프로그램 및 파일 이름 기반 지역성에 따라 청크 크기를 4KB 또는 64KB로 적응적으로 분할하여, 청킹 및 해시값 생성에 따른 오버헤드를 감소시키고, 중복 쓰기를 방지한다. 실험결과, 제안하는 기법이 기존의 가변 크기 분할 및 4KB의 고정 크기 분할을 이용한 중복제거기법보다 SSD의 쓰기 성능이 향상되고 전력 소모 및 연산시간을 감소시킬 수 있음을 보여준다.

순환도메인을 기반으로 하는 PR-화일의 구현 및 성능 평가 (The Implementation Performance Evaluation of PR-File Based on Circular ar Domain)

  • 김흥기;황부현
    • 한국정보처리학회논문지
    • /
    • 제3권1호
    • /
    • pp.63-76
    • /
    • 1996
  • 본 논문에서 우리는 공간객체를 취급하는 새로운 동적 공간색인구조인 PR-화 일과 계층별 공간국부성 측도인 변형된 계층분산을 제안한다. 다차원 검색공간이 순환 도메 인을 갖는다는 가정하에서, PR-화일은 공간적으로 이웃하는 객체들을 결집시키기 위해 변형된 계층분산을 이용한다. PR-화일의 삽입과 분할 알고리즘은 객체의 분포 형태에 관계없이 낮은 계층분산값을갖는 색인을 유지시킨다. 실험 결과에 의하면, PR-화일은 낮은 계층분산값을 갖는 색인을 사용함으로써 객체의 검색시 적중율을 높이며, 버켓의 용량이 커질수록 버켓 이용율을 향상시키는 특성을 보인다.

  • PDF

분산 P2P 시스템을 활용한 안전한 파일 분산 방안 (Secure file distribution method using distribution P2P system)

  • 김진홍;김선영;이윤진;조인준
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2005년도 추계종합학술대회
    • /
    • pp.545-548
    • /
    • 2005
  • 최근 들어 클라이언트/서버 컴퓨팅 환경에서 서버의 과도한 부하 문제를 해결하고자 P2P 컴퓨팅 환경이 대두되고 있다. 현재 실용화 되어 운영중인 P2P 컴퓨팅 환경은 주로 파일 출판자/송신자/수신자의 실명기반 혹은 익명기반의 P2P 시스템으로 전개되고 있다. 하지만, 어떤 환경에서건 현재의 파일 보호는 파일 단위 기반의 보안기술이 적용됨에 따라 첫째, 적의 공격목표가 특정 단일 호스트라는 취약점을 지니게 되고, 둘째, 취득된 파일에 대해 Brute Force 공격이 용이하고, 셋째, DOS공격 목표를 명료하게 하는 등의 문제점을 지니고 있다. 본 논문에서는 이러한 문제점 해결책으로 파일을 블록단위로 분리하고 각 블록을 피어들에게 안전하게 분산시켜 이를 활용하는 분산 P2P 파일분리 시스템을 새롭게 제안하였다. 제안 시스템은 파일이 블록 단위로 인코딩되어 각 피어로 분산됨에 따라 상기의 3가지 문제점을 해결할 뿐만 아니라 파일 활용의 효율성을 증진시키는 부대 효과를 얻을 수 있다.

  • PDF

제안 인코딩 블록을 구조적 P2P 모델에 적용한 GNUnet 성능 개선방안 (The Study on improve method of GNUnet for structured P2P Model of encording block)

  • 이명훈;박병연;조인준
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2005년도 추계종합학술대회
    • /
    • pp.75-81
    • /
    • 2005
  • GNUnet은 모든 피어에게 익명성(출판자, 저장자, 요구자) 지원방법을 제안한 대표적인 P2P 시스템이다. GNUnet은 익명성 제공을 위하여 파일을 1 Kbyte 블록 단위로 분리하여 인코딩하였고, 인코딩된 정보를 주변 피어에게 분산시키는 방법으 ㄹ채택하였다. 그러나, 대용량화 되는 멀티미디어 파일을 1 Kbyte의 크기로 분리하는 것은 추가적인 블록의 생성을 의미한다. GNUnet에서 제안하고 있는 파일 분리 방법을 분석한 결과 피어들의 검색을 위하여 제공하는 R블록, I블록등이 원본 파일의 4%에 해당되는 저장공간을 추가적으로 요구하고, 분리된 블록을 전송하기 위하여 추가적은 네트워크 트래픽이 발생하였다. 본 논문에서는 이러한 문제점 해결을 위한 새로운 인코딩과 라우팅 방안을 제안하였다. 제안 인코딩 방법은 블록을 생성할 때 발생하는 추가적인 블록을 기존의 4%에서 1%이내으로 최소화 하였고, 분리된 블록을 분산할 때 발생하는 네트워크 트래픽 최소화를 위한 구조적 위상 방법을 채택하였다. 결론적으로 저장공간의 낭비 및 네트워크 트래픽을 최소화할 수 있다.

  • PDF

고준위폐기물 심층처분시스템에 대한 프로세스 기반 종합성능평가 체계(APro)의 사용자 친화적 모델링 인터페이스 개발 (Development of User-friendly Modeling Interface for Process-based Total System Performance Assessment Framework (APro) for Geological Disposal System of High-level Radioactive Waste)

  • 김정우;이재원;조동건
    • 방사성폐기물학회지
    • /
    • 제17권2호
    • /
    • pp.227-234
    • /
    • 2019
  • 국내 고준위 방사성폐기물 심층처분시스템에 대한 프로세스 기반의 종합성능평가체계(APro) 개발을 위하여 사용자 편의성이 향상된 모델링 인터페이스를 구축하였다. APro의 모델링 인터페이스는 프로그래밍 언어인 MATLAB을 이용하여 구축되었고, 다중물리현상 모사가 가능한 COMSOL과 지화학반응 계산이 가능한 PHREEQC를 계산 엔진으로 활용하여 연산자분리 방식을 적용하였다. APro는 모델링 영역을 기존의 정형화된 처분시스템으로 제한함으로써 모델의 자유도는 낮지만, 사용자 편의성을 향상시켰다. 처분시스템에서 고려되는 주요 현상들을 모듈화하였고, 이를 "Default process"와 다수의 "Alternative process"로 구분하여 사용자가 선택할 수 있도록 함으로써 모델의 유연성을 높였다. APro는 크게 입력자료 부분과 계산실행 부분으로 구성된다. 기본 입력자료는 하나의 EXCEL 파일에 일정한 포맷으로 정리되고, 계산실행 부분은 MATLAB을 이용하여 코딩되었다. 최종적인 전체 계산 결과는 독립적인 COMSOL 파일 형태로 생성되도록 하여 COMSOL을 이용한 계산 결과의 후처리가 가능하도록 하였다.

최근접 이웃 결정방법 알고리즘을 이용한 도로교통안전표지판 영상인식의 구현 (A Study on the Implement of Image Recognition the Road Traffic Safety Information Board using Nearest Neighborhood Decision Making Algorithm)

  • 정진용;김동현;이소행
    • 경영과정보연구
    • /
    • 제4권
    • /
    • pp.257-284
    • /
    • 2000
  • According as the drivers increase who have their cars, the comprehensive studies on the automobile for the traffic safety have been raised as the important problems. Visual Recognition System for radio-controled driving is a part of the sensor processor of Unmanned Autonomous Vehicle System. When a driver drives his car on an unknown highway or general road, it produces a model from the successively inputted road traffic information. The suggested Recognition System of the Road Traffic Safety Information Board is to recognize and distinguish automatically a Road Traffic Safety Information Board as one of road traffic information. The whole processes of Recognition System of the Road Traffic Safety Information Board suggested in this study are as follows. We took the photographs of Road Traffic Safety Information Board with a digital camera in order to get an image and normalize bitmap image file with a size of $200{\times}200$ byte with Photo Shop 5.0. The existing True Color is made up the color data of sixteen million kinds. We changed it with 256 Color, because it has large capacity, and spend much time on calculating. We have practiced works of 30 times with erosion and dilation algorithm to remove unnecessary images. We drawing out original image with the Region Splitting Technique as a kind of segmentation. We made three kinds of grouping(Attention Information Board, Prohibit Information Board, and Introduction Information Board) by RYB( Red, Yellow, Blue) color segmentation. We minimized the image size of board, direction, and the influence of rounding. We also minimized the Influence according to position. and the brightness of light and darkness with Eigen Vector and Eigen Value. The data sampling this feature value appeared after building the learning Code Book Database. The suggested Recognition System of the Road Traffic Safety Information Board firstly distinguished three kinds of groups in the database of learning Code Book, and suggested in order to recognize after comparing and judging the board want to recognize within the same group with Nearest Neighborhood Decision Making.

  • PDF

클라우드 컴퓨팅을 이용한 유시티 비디오 빅데이터 분석 (An Analysis of Big Video Data with Cloud Computing in Ubiquitous City)

  • 이학건;윤창호;박종원;이용우
    • 인터넷정보학회논문지
    • /
    • 제15권3호
    • /
    • pp.45-52
    • /
    • 2014
  • 유비쿼터스 시티(유시티)에서는 수많은 비디오 카메라들이 설치된다. 이렇게 설치된 많은 카메라로부터 대용량의 비디오 데이터가 실시간으로 끊임없이 발생하고 유시티의 관리 시스템으로 전달된다. 유시티의 다양한 서비스들을 뒷받침하기 위해서는 이러한 비디오 데이터를 저장하고, 이렇게 저장된 대용량의 비디오 데이터를 분석할 수 있는 방법과 관리 시스템이 요구된다. 그래서, 이 논문에서는 클라우드 컴퓨팅을 기반으로 한 유시티 비디오 관리 시스템을 제안한다. 또한, 근래 주목받고 있는 데이터 병렬처리 프레임워크인 Hadoop MapReduce를 이용하여 이러한 빅데이터 비디오를 분석하는 방법을 제안하고, 이에 따른 우리의 성능 평가를 소개한다.