• 제목/요약/키워드: I/O data

검색결과 1,266건 처리시간 0.03초

집합 I/O와 부분군 기법의 성능 분석 (An Analysis of the Performance of Collective I/Os and the Subgroup Method)

  • 차광호;조혜영;김성호
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2007년도 추계 종합학술대회 논문집
    • /
    • pp.513-516
    • /
    • 2007
  • 많은 과학 분야 응용 어플리케이션들이 대규모 데이터 처리를 수행하면서, 병렬 I/O의 중요성이 급속도로 부각되고 있다. 특히 집합 I/O는 병렬 I/O의 중요한 개념 중 하나이며, 응용 프로그래머들이 쉽게 대용량 데이터를 취급할 수 있도록 해주고 있다. 본 연구에서는 원래의 집합 I/O들과 집합 I/O를 효과적으로 쓰기 위한 방법 중 하나인 부분군 기법의 성능을 측정하고 분석하였다. 실험 결과를 통하여 두 종류의 부분군 기법이 서로 다른 성능을 보임을 확인하였다. 집합 쓰기의 경우 부분군 기법은 성능저하를 나타냈으나 집합 읽기의 경우 적은 데이터를 사용하는 경우 우수한 성능을 보여 주고 있음을 확인하였다.

  • PDF

다중 큐 SSD 기반 I/O 가상화 프레임워크의 성능 향상 기법 (Improving Performance of I/O Virtualization Framework based on Multi-queue SSD)

  • 김태용;강동현;엄영익
    • 정보과학회 논문지
    • /
    • 제43권1호
    • /
    • pp.27-33
    • /
    • 2016
  • 오늘날 가상화 기술은 가장 유용하게 사용되는 컴퓨팅 기술 중 하나이며 모든 컴퓨팅 환경에서 널리 활용되고 있다. 그러나 가상화 환경의 I/O 계층들은 호스트 머신의 I/O 동작 방식을 인지하지 못하도록 설계되어 있기 때문에 I/O 확장성 문제는 여전히 해결해야 할 문제로 남아 있다. 특히, 다중 큐 SSD가 보조 기억 장치로 사용될 경우, 증가한 잠금 경쟁과 제한된 I/O 병렬화 문제로 가상 머신은 다중 큐 SSD의 공인된 성능을 활용하지 못하는 문제가 발생한다. 이러한 성능 문제를 해결하기 위해 본 논문에서는 가상 CPU마다 전용 큐와 I/O 스레드를 할당하는 새로운 기법을 제안한다. 제안 기법은 성능 저하의 주요한 원인 중 하나인 잠금 경쟁을 효율적으로 분산시키고 또 다른 원인인 Virtio-blk-data-plane의 병렬화 문제를 해소한다. 제안 기법을 평가한 결과 최신 QEMU 보다 IOPS가 최대 155% 향상되는 것을 확인하였다.

CPC: A File I/O Cache Management Policy for Compute-Bound Workloads

  • Bahn, Hyokyung
    • International journal of advanced smart convergence
    • /
    • 제11권2호
    • /
    • pp.1-6
    • /
    • 2022
  • With the emergence of the new era of the 4th industrial revolution, compute-bound workloads with large memory footprint like big data processing increase dramatically. Even in such compute-bound workloads, however, we observe bulky I/Os while loading big data from storage to memory. Although file I/O cache plays a role of accelerating the performance of storage I/O, we found out that the cache hit rate in such environments is not improved even though we increase the file I/O cache capacity because of some special I/O references generated by compute-bound workloads. To cope with this situation, we propose a new file I/O cache management policy that improves the cache hit rate for compute-bound workloads significantly. Trace-driven simulations by replaying file I/O reference logs of compute-bound workloads show that the proposed cache management policy improves the cache hit rate compared to the well-acknowledged CLOCK algorithm by a large margin.

연속적 I/O와 클러스터 인덱싱 구조를 이용한 이미지 데이타 검색 연구 (A study on searching image by cluster indexing and sequential I/O)

  • 김진옥;황대준
    • 정보처리학회논문지D
    • /
    • 제9D권5호
    • /
    • pp.779-788
    • /
    • 2002
  • 이미지, 비디오, 오디오와 같은 멀티미디어 데이터들은 텍스트기반의 데이터에 비하여 대용량이고 비정형적인 특성때문에 검색이 어렵다. 또한 멀티미디어 데이터의 특징은 행렬이나 벡터의 형태로 표현되기 때문에 완전일치 검색이 아닌 유사 검색을 수행하여 원하는 이미지와 유사한 이미지를 검색해야 한다. 본 논문에서는 멀티미디어 데이터 검색에 클러스터링과 인덱싱 기법을 같이 적용하여 유사한 이미지는 인접 디스크에 클러스터하고 이 클러스터에 접근하는 인덱스를 구축함으로써 이미지 근처의 클러스터를 찾아 빠른 검색 결과를 제공하는 유사 검색방법을 제시한다. 본 논문에서는 트리 유사 구조의 인덱스 대신 해싱 방법을 이용하며 검색시 I/O 시간을 줄이기 위해 오브젝트를 가진 클러스터 위치를 찾는데 한번의 I/O를 사용하고 이 클러스터를 읽기 위해 연속적인 파일 I/O를 사용하여 클러스터를 찾는 비용을 최소화한다. 클러스터 인덱싱 접근은 클러스터링을 생성하는 알고리즘과 해싱 기법의 인덱싱을 이용함으로써 고차원 데이터가 갖는 차원의 문제를 해결하며 클러스터링 또는 인덱싱 만을 이용하는 내용기반의 이미지 검색보다 효율적인 검색 적합성을 보인다.

산업용 6관절 로봇의 원격제어를 위한 실시간 병렬데이터통신 인터페이스 (Development of Realtime Parallel Data Communication Interface for Remote Control of 6-DOF Industrial Robot)

  • 최명환;이우원
    • 산업기술연구
    • /
    • 제21권A호
    • /
    • pp.97-103
    • /
    • 2001
  • This paper presents the development of the I/O Interface for the real time parallel data communication between controller of a six-axis industrial robot(CRS-A460) and an external computer. The proposed I/O Interface consists of the hardware I/O interface and the software that is downloaded to the robot controller and executed by the controller operating system. The constitution of the digital I/O Port for CRS-A460 robot controller and the digital I/O board for IBM-PC are presented as well as the Process Control Program of the robot controller. The developed protocol for the parallel data communication is described. The data communication is tested, and the performance is analysed. In particular, it is shown that the real-time constraint of the robot controller process is satisfied.

  • PDF

I-E-O 모형에 근거한 의학교육 종단자료 구축을 위한 모형 설계 (Design of a Model to Structure Longitudinal Data for Medical Education Based on the I-E-O Model)

  • 정한나;이이레;김혜원;안신기
    • 의학교육논단
    • /
    • 제24권2호
    • /
    • pp.156-171
    • /
    • 2022
  • The purpose of this study was to establish a model for constructing longitudinal data for medical school, and to structure cohort and longitudinal data using data from Yonsei University College of Medicine (YUCM) according to the established input-environment-output (I-E-O) model. The study was conducted according to the following procedure. First, the data that YUCM has collected was reviewed through data analysis and interviews with the person in charge of each questionnaire. Second, the opinions of experts on the validity of the I-E-O model were collected through the first expert consultation, and as a result, a model was established for each stage of medical education based on the I-E-O model. Finally, in order to further materialize and refine the previously established model for each stage of medical education, secondary expert consultation was conducted. As a result, the survey areas and time period for collecting longitudinal data were organized according to the model for each stage of medical education, and an example of the YUCM cohort constructed according to the established model for each stage of medical education was presented. The results derived from this study constitute a basic step toward building data from universities in longitudinal form, and if longitudinal data are actually constructed through this method, they could be used as an important basis for determining major policies or reorganizing the curricula of universities. These research results have implications in terms of the management and utilization of existing survey data, the composition of cohorts, and longitudinal studies for many medical schools that are conducting surveys in various areas targeting students, such as lecture evaluation and satisfaction surveys.

Design and Implementation of I/O Performance Benchmarking Framework for Linux Container

  • Oh, Gijun;Son, Suho;Yang, Junseok;Ahn, Sungyong
    • International Journal of Internet, Broadcasting and Communication
    • /
    • 제13권1호
    • /
    • pp.180-186
    • /
    • 2021
  • In cloud computing service it is important to share the system resource among multiple instances according to user requirements. In particular, the issue of efficiently distributing I/O resources across multiple instances is paid attention due to the rise of emerging data-centric technologies such as big data and deep learning. However, it is difficult to evaluate the I/O resource distribution of a Linux container, which is one of the core technologies of cloud computing, since conventional I/O benchmarks does not support features related to container management. In this paper, we propose a new I/O performance benchmarking framework that can easily evaluate the resource distribution of Linux containers using existing I/O benchmarks by supporting container-related features and integrated user interface. According to the performance evaluation result with trace-replay benchmark, the proposed benchmark framework has induced negligible performance overhead while providing convenience in evaluating the I/O performance of multiple Linux containers.

SSD 기반 스토리지 시스템에서 중복률과 입출력 성능 향상을 위한 데이터 중복제거 및 재활용 기법 (Data De-duplication and Recycling Technique in SSD-based Storage System for Increasing De-duplication Rate and I/O Performance)

  • 김주경;이승규;김덕환
    • 전자공학회논문지
    • /
    • 제49권12호
    • /
    • pp.149-155
    • /
    • 2012
  • SSD(Solid State Disk)는 다수의 NAND 플래시 메모리로 구성되었으며 내부에 고성능 컨트롤러와 캐시 버퍼를 포함한 스토리지 장치이다. NAND 플래시 메모리는 제자리 덮어쓰기가 안되기 때문에 파일시스템에서 유효페이지가 갱신 및 삭제시 무효페이지로 전환되어 완전히 삭제하기 위해서는 가비지 컬렉션 과정을 거쳐야한다. 하지만 가비지 컬렉션은 지연시간이 긴 Erase 연산을 포함하기 때문에 SSD의 I/O 성능을 감소시키고 마모도를 증가시키는 문제가 된다. 본 논문에서는 입력데이터에 대하여 유효데이터와 무효데이터에서 중복검사를 실행하는 기법을 제안한다. 먼저 유효데이터에 대한 중복제거 과정을 거치고 그 다음에 무효데이터 재활용 과정을 거침으로써 중복률을 향상시켰다. 이를 통하여 SSD의 쓰기 횟수와 가비지 컬렉션 횟수를 감소시켜 마모도와 I/O 성능이 개선되었다. 실험결과 제안한 기법은 유효데이터 중복제거와 무효데이터 재활용을 둘다 하지 않는 일반적인 경우에 비해서 가비지 컬렉션 횟수가 최대 20% 감소하고 I/O 지연시간이 9% 감소하였다.

CTR 코드를 사용한 I/O 핀 수를 감소 시킬 수 있는 인터페이스 회로 (An I/O Interface Circuit Using CTR Code to Reduce Number of I/O Pins)

  • 김준배;권오경
    • 전자공학회논문지D
    • /
    • 제36D권1호
    • /
    • pp.47-56
    • /
    • 1999
  • 반도체 칩의 집적도가 급격히 향상됨에 따라 칩의 I/O 수가 증ㅇ가하여 패키지의 크기가 커질 뿐 아니라 칩 자체의 가격보다 패키지의 가격이 높아지고 있는 실정이다. 따라서 집적도의 증가에 의한 I/O 수으이 증가를 억제할 수있는 방법이 요구되고 있다. 본 논문에서는 CTR(Constant-Transition-Rate) 코드 심벌 펄스의 상승 예지와 하강 예지의 위치에 따라 각각 2비트 씩의 디지털 데이터를 엔코딩함으로써 I/O 핀 수를 50% 감소 시킬 수 있는 I/O 인터페이스 회로를 제안한다. 제안한 CTR 코드의 한 심벌은 4비트 데이터를 포함하고 있어 기존의 인터페이스 회로와 비교하여 심벌 속도가 절반으로 감소되고, 엔코딩 신호의 단위 시간당 천이 수가 일정하며, 천이 위치가 넓게 분산되어 동시 스위칭 잡음(Simultaneous Switehing Noise, SSN)이 작아진다. 채널 엔코더는 논리 회로만으로 구현하고, 채널 디코더는 오버샘플링(oversampling) 기법을 이용하여 신호를 복원하는 입출력 회로를 설계하였다. 설계한 회로는 0.6${\mu}m$ CMOS SPICE 파라미터를 이용하여 시뮬레이션함으로써 동작을 검증하였으며, 동작 속도는 200 Mbps/pin 이상이 됨을 확인 하였다. 제안한 방식을 Altera사의 FPGA를 이용하여 구성하였으며, 구성한 회로는 핀 당 22.5 Mbps로 데이터를 전송함을 실험적으로 검증하였다.

  • PDF

병렬 시스템 환경하에서 비정형 응용 프로그램을 위한 입출력 시스템의 설계 및 구현 (Design and Implementation of An I/O System for Irregular Application under Parallel System Environments)

  • 노재춘;박성순;알록샤우드리;권오영
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제26권11호
    • /
    • pp.1318-1332
    • /
    • 1999
  • 본 논문에서는 입출력 응용을 위해 collective I/O 기법을 기반으로 한 실행시간 시스템의 설계, 구현 그리고 그 성능평가를 기술한다. 여기서는 모든 프로세서가 동시에 I/O 요구에 따라 스케쥴링하며 I/O를 수행하는 collective I/O 방안과 프로세서들이 여러 그룹으로 묶이어, 다음 그룹이 데이터를 재배열하는 통신을 수행하는 동안 오직 한 그룹만이 동시에 I/O를 수행하는 pipelined collective I/O 등의 두 가지 설계방안을 살펴본다. Pipelined collective I/O의 전체 과정은 I/O 노드 충돌을 동적으로 줄이기 위해 파이프라인된다. 이상의 설계 부분에서는 동적으로 충돌 관리를 위한 지원을 제공한다. 본 논문에서는 다른 노드의 메모리 영역에 이미 존재하는 데이터를 재 사용하여 I/O 비용을 줄이기 위해 collective I/O 방안에서의 소프트웨어 캐슁 방안과 두 가지 모형에서의 chunking과 온라인 압축방안을 기술한다. 그리고 이상에서 기술한 방안들이 입출력을 위해 높은 성능을 보임을 기술하는데, 이 성능결과는 Intel Paragon과 ASCI/Red teraflops 기계 상에서 실험한 것이다. 그 결과 응용 레벨에서의 bandwidth는 peak point가 55%까지 측정되었다.Abstract In this paper we present the design, implementation and evaluation of a runtime system based on collective I/O techniques for irregular applications. We present two designs, namely, "Collective I/O" and "Pipelined Collective I/O". In the first scheme, all processors participate in the I/O simultaneously, making scheduling of I/O requests simpler but creating a possibility of contention at the I/O nodes. In the second approach, processors are grouped into several groups, so that only one group performs I/O simultaneously, while the next group performs communication to rearrange data, and this entire process is pipelined to reduce I/O node contention dynamically. In other words, the design provides support for dynamic contention management. Then we present a software caching method using collective I/O to reduce I/O cost by reusing data already present in the memory of other nodes. Finally, chunking and on-line compression mechanisms are included in both models. We demonstrate that we can obtain significantly high-performance for I/O above what has been possible so far. The performance results are presented on an Intel Paragon and on the ASCI/Red teraflops machine. Application level I/O bandwidth up to 55% of the peak is observed.he peak is observed.