• 제목/요약/키워드: Large Size data Processing

검색결과 246건 처리시간 0.026초

The Dilemma of Parameterizing Propagation Time in Blockchain P2P Network

  • Rahmadika, Sandi;Noh, Siwan;Lee, Kyeongmo;Kweka, Bruno Joachim;Rhee, Kyung-Hyune
    • Journal of Information Processing Systems
    • /
    • 제16권3호
    • /
    • pp.699-717
    • /
    • 2020
  • Propagation time on permissionless blockchain plays a significant role in terms of stability and performance in the decentralized systems. A large number of activities are disseminated to the whole nodes in the decentralized peer-to-peer network, thus causing propagation delay. The stability of the system is our concern in the first place. The propagation delay opens up opportunities for attackers to apply their protocol. Either by accelerating or decelerating the propagation time directly without proper calculation, it brings numerous negative impacts to the entire blockchain system. In this paper, we thoroughly review and elaborate on several parameters related to the propagation time in such a system. We describe our findings in terms of data communication, transaction propagation, and the possibility of an interference attack that caused an extra propagation time. Furthermore, we present the influence of block size, consensus, and blockchain scalability, including the relation of parameters. In the last session, we remark several points associated with the propagation time and use cases to avoid dilemmas in the light of the experiments and literary works.

안드로이드 플랫폼 기반의 임상 바이오신호 처리를 위한 모바일 헬스 시스템 (m-Health System for Processing of Clinical Biosignals based Android Platform)

  • 서정희;박흥복
    • 한국컴퓨터정보학회논문지
    • /
    • 제17권7호
    • /
    • pp.97-106
    • /
    • 2012
  • 모바일 장치에서의바이오신호데이터의 관리는 용량이많은 실시간멀티미디어 데이터의전송이나 저장 장치에서 많은 문제점을야기시킨다. 따라서 본 논문은신속한 의료 서비스를 제공하기 위해서 모바일을 이용한 임상 데이터 처리 시스템인 m-Health 시스템을 제안한다. 이 시스템은 지역의 IP 네트워크 상의 헬스 시스템을 구축하여 원격의 여러 바이오 센싱으로 부터 출력을 조합하고, 다양한 바이오 센서에서의 전자적인 데이터 통합 처리를 수행하였다. m-Health 시스템은 다양한 바이오신호들을 측정 및 모니터링하고 원거리에 위치한 병원의 데이터 서버로 전송한다. 환자 및 가족, 의료진 모두가 언제 어디서나 사용할 수 있는 안드로이드 기반의 모바일 애플리케이션으로 의료 관련자는 병원의 데이터 서버에서 환자 데이터를 접근하여 환자 또는 사용자에게 의료 진단 및 처방을 피드백 한다. 그리고 환자 관찰을 위한 비디오 스트림은 스케일러블 트랜스코딩 기법을 이용하여 네트워크 트래픽에 알맞은 데이터 크기를 결정하고 비디오 스트림을 전송함으로서 모바일 시스템과 네트워크의 부하를 줄일 수 있다.

데이터 재사용을 이용한 프랙탈 영상압축을 위한 효율적인 일차원 VLSI 어레이 (Efficient One-dimensional VLSI array using the Data reuse for Fractal Image Compression)

  • 이희진;이수진;우종호
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2001년도 춘계종합학술대회
    • /
    • pp.265-268
    • /
    • 2001
  • 본 논문에서는 프랙탈 영상압축 알고리즘의 고속처리를 위한 효율적인 일차원 VLSI 어레이를 설계한다 프랙탈 영상압축 알고리즘은 영상을 정의역블럭과 치역블럭을 나누고, 블럭간의 자기유사성을 비교하여 데이터를 압축시킨다. 이때 정의역블럭은 치역블럭의 두배크기로 인접한 정의역블럭과 50% 중첩시켜 분할한다. 인접한 두 정의역 블럭의 픽셀들이 중첩되므로, 이 픽셀들을 재사용하여 데이터의 입력수를 줄이고 처리속도를 향상시킬수 있다. 이 결과 최소한의 레지스터와 MUX, DEMUX의 추가만으로 약 25%의 처리속도 향상을 얻을 수 있다.

  • PDF

Algorithmic GPGPU Memory Optimization

  • Jang, Byunghyun;Choi, Minsu;Kim, Kyung Ki
    • JSTS:Journal of Semiconductor Technology and Science
    • /
    • 제14권4호
    • /
    • pp.391-406
    • /
    • 2014
  • The performance of General-Purpose computation on Graphics Processing Units (GPGPU) is heavily dependent on the memory access behavior. This sensitivity is due to a combination of the underlying Massively Parallel Processing (MPP) execution model present on GPUs and the lack of architectural support to handle irregular memory access patterns. Application performance can be significantly improved by applying memory-access-pattern-aware optimizations that can exploit knowledge of the characteristics of each access pattern. In this paper, we present an algorithmic methodology to semi-automatically find the best mapping of memory accesses present in serial loop nest to underlying data-parallel architectures based on a comprehensive static memory access pattern analysis. To that end we present a simple, yet powerful, mathematical model that captures all memory access pattern information present in serial data-parallel loop nests. We then show how this model is used in practice to select the most appropriate memory space for data and to search for an appropriate thread mapping and work group size from a large design space. To evaluate the effectiveness of our methodology, we report on execution speedup using selected benchmark kernels that cover a wide range of memory access patterns commonly found in GPGPU workloads. Our experimental results are reported using the industry standard heterogeneous programming language, OpenCL, targeting the NVIDIA GT200 architecture.

CUDA 프레임워크 상에서 스카이라인 질의처리 알고리즘 최적화 (Optimizing Skyline Query Processing Algorithms on CUDA Framework)

  • 민준;한환수;이상원
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제37권5호
    • /
    • pp.275-284
    • /
    • 2010
  • GPU는 대용량 데이터 처리를 위해 특화된 멀티 코어 기반의 스트림 프로세서로서 빠른 데이터 처리 속도 및 높은 메모리 대역 동의 장점을 가지며, CPU에 비해 가격이 저렴하다. 최근 이러한 GPU의 특성용 활용하여 범용 컴퓨팅 분야에 활용하고자 하는 시도가 계속되고 있다. 엔비디아에서 발표한 범용 병렬 컴퓨팅 아키텍처인 쿠다(CUDA) 프로그래밍 모델의 경우 프로그래머가 GPU 상에서 동작하는 범용 어플리케이션을 보다 손쉽게 개발할 수 있도록 지원한다. 본 논문에서는 쿠다 프로그래밍 모델을 이용하여 기본적인 중첩-반복 스카이라인 알고리즘을 병렬화시킨다. 그리고 스카이라인 알고리즘의 특성을 고려하여 GPU 자원용 효율적으로 사용할 수 있도록 GPU의 메모리 및 명령어 처리율에 중점을 두고 단계적인 최적화를 진행한다. 최적화 단계에 따라 각각 다른 성능 개선이 나타나는 것을 확인하였으며, 그 결과 기본 병렬 중첩-반복 알고리즘에 비해 평균 80%의 성능이 향상됨을 확인하였다.

맵리듀스 잡을 사용한 해시 ID 매핑 테이블 기반 대량 RDF 데이터 변환 방법 (Conversion of Large RDF Data using Hash-based ID Mapping Tables with MapReduce Jobs)

  • 김인아;이규철
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2021년도 추계학술대회
    • /
    • pp.236-239
    • /
    • 2021
  • AI 기술의 성장과 함께 지식 그래프의 크기는 지속적으로 확장되고 있다. 지식 그래프는 주로 트리플이 연결된 RDF로 표현되며, 많은 RDF 저장소들이 RDF 데이터를 압축된 형태의 ID로 변환한다. 그러나 RDF 데이터의 크기가 특정 기준 이상으로 클 경우, 테이블 탐색으로 인한 높은 처리 시간과 메모리 오버헤드가 발생한다. 본 논문에서는 해시 ID 매핑 테이블 기반 RDF 변환을 분산 병렬 프레임워크인 맵리듀스에서 처리하는 방법을 제안한다. 제안한 방법은 RDF 데이터를 정수 기반 ID로 압축 변환하면서, 처리 시간을 단축하고 메모리 오버헤드를 개선한다. 본 논문의 실험 결과, 약 23GB의 LUBM 데이터에 제시한 방법을 적용했을 때, 크기는 약 3.8배 가량 줄어들었으며 약 106초의 변환 시간이 소모되었다.

  • PDF

개발과 유지보수 프로젝트의 이상적인 팀 규모 (An Ideal Team Size in Development and Maintenance Project)

  • 이상운;박중양;박재흥
    • 정보처리학회논문지D
    • /
    • 제10D권1호
    • /
    • pp.77-84
    • /
    • 2003
  • 팀의 규모에 관한 연구 결과 전문가들은 일반적으로 업무를 수행하는데 규모가 작은 팀이 큰 팀 보다 좋다는데 동의하고 있다. 또한, 항상 최소한의 실질적인 팀 규모를 구성하는데 목표로 하고 있다. 그러나 "작은"이 얼마를 의미하는지가 문제가 된다. 본 논문에서는 프로젝트 인도율과 인도속도와 같은 생산성 측도를 도입하여 이상적인 팀 규모를 결정하였다 300개 프로젝트를 대상으로 데이터 집합을 2개의 서브 그룹인 개발 프로젝트와 유지보수 프로젝트로 분류하였다. 실험결과 가장 성공적인 프로젝트는 최대 5명으로 수행하는 경우였으나, 본 논문은 실제 개발 된 프로젝트들을 대상으로 생산성-기반 이론을 접목시켜 이상적인 팀 규모를 판단하는 지침을 제공한다. 지침을 제공한다.

블록 중심 그래프 처리 시스템의 부하 분산을 위한 동적 블록 재배치 기법 (Dynamic Block Reassignment for Load Balancing of Block Centric Graph Processing Systems)

  • 김예원;배민호;오상윤
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제7권5호
    • /
    • pp.177-188
    • /
    • 2018
  • 최근 웹, 소셜 네트워크 서비스, 모바일, 사물인터넷 등의 ICT 기술의 발전으로 인해 처리 및 분석이 필요한 그래프 데이터의 규모가 급속하게 증가하였다. 이러한 대규모 그래프 데이터는 단일 기기에서의 처리가 어렵기 때문에 여러 기기에 나누어 분산/병렬 처리하는 것이 필요하다. 기존 그래프 처리 알고리즘들은 단일 메모리 환경을 기반으로 연구되어 분산/병렬 처리환경에 적용되기 힘들다. 이에 대규모 그래프의 보다 효과적인 분산/병렬 처리를 위해 정점 중심 방식의 그래프 처리 시스템들과, 정점 중심 방식의 단점을 보완한 블록 중심 방식의 그래프 처리 시스템들이 등장하였다. 이러한 시스템들은 초기 그래프 분할 상태가 전체 처리 성능에 상당한 영향을 미친다. 한 번에 최적의 상태로 그래프를 분할하는 것은 매우 어려운 문제이므로, 그래프 처리 시간에 점진적으로 그래프 분할 상태를 개선하는 여러 로드 밸런싱 기법들이 연구되었다. 그러나 기존 기법들은 대부분 정점 중심 그래프 처리 시스템을 대상으로 하여 블록 중심 그래프 처리 시스템에 적용이 어렵다. 본 논문에서는 블록 중심 그래프 처리 시스템을 대상으로 적용 가능한 로드 밸런싱 기법을 제안한다. 제안 기법은 동적으로 블록을 재배치하여 점진적으로 그래프 분할 상태를 개선시키며, 해를 찾아나가는 과정에서 지역 최적해를 벗어나기 위한 블록 분할 전략을 함께 제시한다.

메모리 크기에 효율적인 적분영상 하드웨어 설계 연구 (A Study of Integral Image Hardware Design for Memory Size Efficiency)

  • 이수현;정용진
    • 전자공학회논문지
    • /
    • 제51권9호
    • /
    • pp.75-81
    • /
    • 2014
  • 적분영상은 입력영상의 픽셀 값을 기준좌표부터 순차적으로 누적하여 만든 영상으로, Haar-like features와 같은 네모난 박스 모양의 필터 연산을 효율적으로 처리하기 위하여 사용된다. 그러나 적분영상은 입력영상보다 3배 이상 많은 메모리를 소모하기 때문에, 메모리 자원이 제한적인 하드웨어 설계 환경에서는 사용이 어렵다. 본 논문에서는 효율적인 메모리 사용을 위한 적분영상 하드웨어 설계 방법을 제안한다. 해당 방법은 적분영상 이외에 세로적분영상과 가로적분영상을 생성하고, 입력영상을 재사용 하는 방법을 사용한다. 그리고 박스 필터의 크기에 따라 modulo 연산을 적용하여 적분영상의 데이터 크기를 줄이는 방법을 함께 적용하였다. 적분 영상 데이터를 읽기 위해 나누어진 영상 데이터를 다시 덧셈해야하는 연산 오버헤드가 발생하지만, 4개의 데이터를 단순히 더하는 연산이므로 병렬처리가 가능한 하드웨어 환경에서는 큰 영향을 미치지 않는다. Xilinx사의 Virtex5-LX330T를 대상으로 실험한 결과 $640{\times}480$ 크기의 8bit gray-scale 입력영상에서 최대 $32{\times}32$ 크기의 필터사용을 기준으로 50%의 적분영상 메모리를 감소시킬 수 있다.

실시간 공정데이터 기반의 스마트 롤포밍에 관한 연구 (Smart Roll Forming Based on Real-Time Process Data)

  • 손재환;조동현;김철홍
    • 한국기계가공학회지
    • /
    • 제17권5호
    • /
    • pp.45-51
    • /
    • 2018
  • Roll forming refers to the production of long plate-molded products, such as panels, pipes, tubes, channels, and frames, by continuously causing the bending deformation to thin plates using rotating rolls. As the roll forming method has advantages in terms of mass production because of its excellent productivity, the size of the roll forming industry has been continuously increasing and the roll forming method is increasingly being used in diverse industrial fields as a very important processing method. Furthermore, as the roll forming method mainly depends on the continuous bending deformation of the plate materials, the time and the cost of the heterogeneous materials developed in the process are relatively large when considered from the viewpoint of plastic working because many processes are continuously implemented. The existing studies on roll forming manufacturing have reported the loss of large amounts of time and materials when the raw materials or product types were changed; further, they have stated that the use of this method can hardly guarantee the uniformity of the formed shapes and the consistency in terms of size and cannot detect all the defects occurring during the mass production and related to the dimensions. Therefore, in this research, a real-time process data-based smart roll forming method that can be applied to multiple products was studied. As a result, a roll forming system was implemented that remembers and automatically sets the changes in the finely adjusted values of the supplied quantities of individual heterogeneous materials so that the equipment setting changing time for heterogeneous material replacements or changes in the products being produced can be shortened. It also secures the uniformity of the products so that more competitive and precise slide-rail products can be mass-produced with improvements in the quality, price, and productivity of the products.