• 제목/요약/키워드: data pre-processing

검색결과 801건 처리시간 0.028초

MapReduce 작업처리시간 단축을 위한 선 정렬 기반 태스크 스케줄링 기법 (Pre-arrangement Based Task Scheduling Scheme for Reducing MapReduce Job Processing Time)

  • 박정효;김준상;김창현;이원주;전창호
    • 한국컴퓨터정보학회논문지
    • /
    • 제18권11호
    • /
    • pp.23-30
    • /
    • 2013
  • 본 논문에서는 MapReduce 작업처리시간을 줄일 수 있는 선 정렬 기반 태스크 스케줄링 기법을 제안한다. 태스크와 그 태스크가 처리할 데이터가 동일 노드에 존재하지 않으면 해당 태스크는 다른 노드로부터 데이터를 전송받아 처리한다. 이때 전송시간으로 인해 MapReduce의 작업처리시간이 증가하는 문제점이 발생한다. 이러한 문제점을 해결하기 위해 본 논문에서는 두 단계로 태스크를 스케줄링한다. 첫 번째 단계에서는 데이터 지역성이 높은 순으로 태스크를 노드 리스트에 정렬한다. 두 번째 단계에서는 데이터의 위치정보를 이용하여 태스크들이 데이터 지역성을 높일 수 있도록 교환하여 스케줄링한다. 본 논문에서는 제안한 스케줄링 기법의 성능평가를 위해 소규모 Hadoop 클러스터를 구현하여 실험하였다. 제안한 기법을 적용하였을 때 작업처리시간이 약 18% 감소하였으며 데이터가 저장된 노드에 할당되지 않은 태스크 수는 약 25% 감소하였다.

아동의 전자게임 활동이 시각적 병행처리에 미치는 영향 (The Effects of Playing Video Games on Children's Visual Parallel Processing)

  • 김숙현;최경숙
    • 아동학회지
    • /
    • 제20권3호
    • /
    • pp.231-244
    • /
    • 1999
  • This study examined the effects of short and long term playing of video gamer on children's visual parallel processing. All of the 64 fourth grade subjects were above average in IQ. They were classified into high and low video game users. Instruments were a visual parallel processing task consisting of imagery integration items, computers, and the arcade video game, Pac-Man. Subjects were pre-tested with a visual parallel processing task. After one week, the experimental group played video games for 15 minutes, but the control group didn't play. Immediately following this, all children were post-tested by the same task used on the pretest. The data was analyzed by ANCOVA and repeated measures ANOVA. The results showed that relaying short-term video games improved visual parallel processing and that long term experience with video games also affected visual parallel processing. there were no differences between high and low users in visual parallel processing after playing short term video games.

  • PDF

공간 데이터 웨어하우스에서 공간 데이터의 개념계층기반 사전집계 색인 기법 (Pre-aggregation Index Method Based on the Spatial Hierarchy in the Spatial Data Warehouse)

  • 전병윤;이동욱;유병섭;김경배;배해영
    • 한국멀티미디어학회논문지
    • /
    • 제9권11호
    • /
    • pp.1421-1434
    • /
    • 2006
  • 공간 데이터 웨어하우스는 SOLAP(Spatial On-Line Analytical Processing)을 이용하여 의사 결정에 필요한 분석 정보를 제공한다. SOLAP은 대용량 데이터를 분석하기 때문에 사전집계를 이용하여 분석비용을 줄이기 위한 많은 연구가 진행되었다. 기존 기법들은 고정크기노드를 갖는 색인을 이용하여 개념계층을 지원하였다. 따라서 산개분포 영역에는 빈 공간이 많이 발생하며, 밀집분포 영역에는 개념계층을 지원할 수 없다. 본 논문은 공간 데이터의 개념계층기반으로 사전집계 색인의 동적 구성 기법을 제안한다. 제안 기법은 트리구조를 이용하여 개념계층의 레벨을 트리의 레벨과 같도록 지원한다. 하나의 노드는 데이터가 적을 경우 엔트리를 분할하여 서로 다른 부모 엔트리를 가질 수 있으며, 데이터가 많을 경우 노드의 연결리스트를 이용하여 같은 레벨에 순차적으로 저장한다. 따라서 데이터가 산개된 분포의 노드에 대해서 저장 공간의 낭비를 최소화하며, 데이터가 밀집한 영역의 노드에 대해서도 노드의 연결리스트로 노드가 분할되지 않으므로 개념계층을 지원할 수 있다. 성능평가를 통하여 색인 구축 시간이 다른 기법과 비슷하고, 색인의 저장 공간이 감소하며, 집계정보의 검색 성능이 다른 기법에 비해 우수한 것을 보인다.

  • PDF

4차원 산포된 자료 선형 보간의 가시화 -자료 값을 고려한 사면체 분할법에 의한- (Visualization of 4-Dimensional Scattered Data Linear Interpolation Based on Data Dependent Tetrahedrization)

  • 이건
    • 한국정보처리학회논문지
    • /
    • 제3권6호
    • /
    • pp.1553-1567
    • /
    • 1996
  • 표면 보간법을 응용하는 분야에는 모델링 자연현상 가시화 등을 비롯하여 여러 가지를 들 수 있다. 사면체 분할법은 사차원적 표면 형성을 위한 전 처리 단계 중의 하나이다. 사차원 공간상에서 피스와이즈(piecewise) 선형보간법의 질은 삼차원에서 의 자료 점의 분포에 영향을 받을 뿐 아니라 자료 값에도 영향을 받는다. 자료 값을 고려한 사면체 분할법이 추정의 질을 개선시킬 있음을 사차원 공간의 가시화를 통하 여 보여준다. 본 논문에서는 Delaunay 사면분할법의 구 기준(Sphere criterion)과 자 료 의존형 사면체 분할법 중의 하나인 최소 제공제곱 근사기준(least squares fitting criterion)을 논의하였다. 본 논문은 또한 새로운 자료 값을 고려한 기준인 gradient difference와 jump in normal direction derivative들을 논의하였다.

  • PDF

건축구조해석을 위한 선후처리 프로그램의 개발 (Developing A Pre-and Post-Procellor for Building Analysis)

  • 이정재
    • 한국농공학회지
    • /
    • 제36권2호
    • /
    • pp.31-43
    • /
    • 1994
  • General concepts and overall procedures of interactive graphical user interface, a preand post- processor, for building analysis are introduced. Attention is forcused on the data structures and the modeling operators which can ensure the intergrity of its database should have. An example of model building process is presented to illustrate its capability, its facilities for modifying, and for processing.

  • PDF

바이코히어런스 분석 기법을 이용한 마취 단계별 뇌파의 특성 분석 (EEG Signal Characteristic Analysis for Monitoring of Anesthesia Depth Using Bicoherence Analysis Method)

  • 박준모;박종덕;전계록;허영
    • 대한전기학회논문지:시스템및제어부문D
    • /
    • 제55권1호
    • /
    • pp.35-41
    • /
    • 2006
  • Although reachers have studied for a long time, they don't make criteria for anesthesia depth. anesthetists can't make a prediction about patient's reaction. Therefor, patients have potential risk such as poisonous side effect late-awake, early-awake and strain reaction. EEG are received from twenty-five patients who agreed to investigate themselves during operation with Enflurane-anesthesis in progress of anesthesia. EEG are divided pre-anesthesia, before incision of skin, operation 1, operation 2, awaking, post-anesthesia by anesthesia progress step. EEG is applied pre-processing, base line correct, linear detrend to get more reliable data. EEG data are handled by electronic processing and the EEG data are calculated by bicoherence. During pre-anesthesia and post anesthesia, appearance rate of bicoherence value is observed strong appearance rate in high frequency range($15\~30Hz$). During the anesthesia of patient, a strong appearance rate is revealed the low frequency area(0~10Hz). After bicoherence is calculated by percentage of a appearance rate, that is, Bicpara$\#$1, Bicpara$\#$2, Bicpara$\#$3 and Bicpara$\#$4 parameter are extracted. In result of bicoherence analysis, Bicpara$\#$2 and Bicpara#4 are considered that the best parameter showed progress of anesthesia effectively. And each separated bicoherence are calculated by average bicoherence's numerical value, divide by 2 area, appear by each BicHz$\#$1, BicHz$\#$2, and observed BicHz$\#$1/BicHz$\#$2's change. In result of bicoherence analysis, BicHz$\#$1, BicHz$\#$2 and BicHz$\#$1/BicHz$\#$2 are considered that the best parameter showed progress of anesthesia effectively. In conclusion, I confirmed the anesthesia progress phase, concluded to usefulness of parameter on bispectrum and bicoherence analysis and evaluated the depth of anesthesia. In the future, it is going to use for doctor's diagnosis and apply to protect an medical accident owing to anesthesia.

학습된 신경망 설계를 위한 가중치의 비트-레벨 어레이 구조 표현과 최적화 방법 (Bit-level Array Structure Representation of Weight and Optimization Method to Design Pre-Trained Neural Network)

  • 임국찬;곽우영;이현수
    • 대한전자공학회논문지SD
    • /
    • 제39권9호
    • /
    • pp.37-44
    • /
    • 2002
  • 학습된 신경망(Pre-trained neural network)은 고정된 가중치(weight)를 갖는다. 이 논문에서는 이러한 특성을 이용하여 신경망의 효과적인 디지털 하드웨어의 설계방법을 제안한다. 이를 위해 신경망의 PEs(Processing Elements)연산은 행렬-벡터 곱셈으로 표하고 고정된 가중치와 입력 데이터의 관계를 비트-레벨 어레이(array) 구조로 표현하여, 노드 소거와 가중치 비트 패턴에 따른 공유 노드 설정을 통한 최적화로 연산에 필요한 노드를 최소화한다. FPGA 시뮬레이션 결과, 완전한 정확성에 기반한 하드웨어를 설계하는 경우, 하드웨어 비용을 상당부분 줄였고 동작 주파수가 높다는 것을 확인하였다. 또한, 제안한 설계방법은 한정된 공간 내에서 많은 수의 PEs 구현이 가능함으로, 큰 신경망 모델에 대한 온-칩(on-chip) 구현이 가능하다.

ENHANCEMENT AND SMOOTHING OF HYPERSPECTAL REMOTE SENSING DATA BY ADVANCED SCALE-SPACE FILTERING

  • Konstantinos, Karantzalos;Demetre, Argialas
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2006년도 Proceedings of ISRS 2006 PORSEC Volume II
    • /
    • pp.736-739
    • /
    • 2006
  • While hyperspectral data are very rich in information, their processing poses several challenges such as computational requirements, noise removal and relevant information extraction. In this paper, the application of advanced scale-space filtering to selected hyperspectral bands was investigated. In particular, a pre-processing tool, consisting of anisotropic diffusion and morphological leveling filtering, has been developed, aiming to an edge-preserving smoothing and simplification of hyperspectral data, procedures which are of fundamental importance during feature extraction and object detection. Two scale space parameters define the extent of image smoothing (anisotropic diffusion iterations) and image simplification (scale of morphological levelings). Experimental results demonstrated the effectiveness of the developed scale space filtering for the enhancement and smoothing of hyperspectral remote sensing data and their advantage against watershed over-segmentation problems and edge detection.

  • PDF

High Rate Denial-of-Service Attack Detection System for Cloud Environment Using Flume and Spark

  • Gutierrez, Janitza Punto;Lee, Kilhung
    • Journal of Information Processing Systems
    • /
    • 제17권4호
    • /
    • pp.675-689
    • /
    • 2021
  • Nowadays, cloud computing is being adopted for more organizations. However, since cloud computing has a virtualized, volatile, scalable and multi-tenancy distributed nature, it is challenging task to perform attack detection in the cloud following conventional processes. This work proposes a solution which aims to collect web server logs by using Flume and filter them through Spark Streaming in order to only consider suspicious data or data related to denial-of-service attacks and reduce the data that will be stored in Hadoop Distributed File System for posterior analysis with the frequent pattern (FP)-Growth algorithm. With the proposed system, we can address some of the difficulties in security for cloud environment, facilitating the data collection, reducing detection time and consequently enabling an almost real-time attack detection.

드론 스트리밍 영상 이미지 분석을 통한 실시간 산불 탐지 시스템 (Forest Fire Detection System using Drone Streaming Images)

  • Yoosin Kim
    • 한국항행학회논문지
    • /
    • 제27권5호
    • /
    • pp.685-689
    • /
    • 2023
  • The proposed system in the study aims to detect forest fires in real-time stream data received from the drone-camera. Recently, the number of wildfires has been increasing, and also the large scaled wildfires are frequent more and more. In order to prevent forest fire damage, many experiments using the drone camera and vision analysis are actively conducted, however there were many challenges, such as network speed, pre-processing, and model performance, to detect forest fires from real-time streaming data of the flying drone. Therefore, this study applied image data processing works to capture five good image frames for vision analysis from whole streaming data and then developed the object detection model based on YOLO_v2. As the result, the classification model performance of forest fire images reached upto 93% of accuracy, and the field test for the model verification detected the forest fire with about 70% accuracy.