• 제목/요약/키워드: Data Processing

검색결과 16,567건 처리시간 0.05초

XML 스트림 데이타에 대한 적응력 있는 질의 처리 시스템 (An Adaptive Query Processing System for XML Stream Data)

  • 김영현;강현철
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제33권3호
    • /
    • pp.327-341
    • /
    • 2006
  • 센서 네트워크, 모니터링, SDI (selective dissemination of information) 등과 같이 스트림 데이타를 생성하는 응용의 증가로 스트림 데이타에 대한 질의 처리를 효율적으로 지원하기 위한 연구가 활발히 수행되고 있다. 특히 SDI와 같은 웹 환경의 응용은 XML 스트림에 대한 질의 처리를 필요로 하는데, XML은 웹 환경에서 데이타 교환의 표준이므로 이에 대한 연구는 아주 중요하다. 그러나 현재까지 제시된 XML 스트림 질의 처리 시스템들은 정적인 질의 계획을 사용하기 때문에 동적으로 변하는 스트림 데이타에 대해 적응력 있게 대처하지 못하는 문제가 있다. 반면 관계 데이타 스트림에 대한 질의 처리 시스템들은 질의 연산자 라우팅 기법을 통해 동적인 질의 계획을 사용함으로써 적응력 있는 질의 처리를 지원한다. 본 논문에서는 관계 데이타 모델을 사용하는 시스템의 적응력 있는 질의 처리 모델을 적용하여XML 스트림에 대한 적응력 있는 질의 처리를 수행할 수 있는 시스템을 제안한다. 그리고 기존의 XML을 기반으로 하는 대표적인 시스템인 YFilter와 본 논문이 제안하는 시스템의 성능을 비교, 평가하여 본 논문이 제안하는 시스템의 효율성을 보인다.

Practical Guide to NMR-based Metabolomics - III : NMR Spectrum Processing and Multivariate Analysis

  • Jung, Young-Sang
    • 한국자기공명학회논문지
    • /
    • 제22권3호
    • /
    • pp.46-53
    • /
    • 2018
  • NMR-based metabolomics needs various knowledge to elucidate metabolic perturbation such as NMR experiments, NMR spectrum processing, raw data processing, metabolite identification, statistical analysis, and metabolic pathway analysis regarding technical aspects. Among them, some concepts of raw data processing and multivariate analysis are not easy to understand but are important to correctly interpret metabolic profile. This article introduces NMR spectrum processing, raw data processing, and multivariate analysis.

DISSECTION TECHNIQUE FOR EFFICIENT JOIN OPERATION ON SEMI-STRUCTURED DOCUMENT STREAM

  • Seo, Dong-Hyeok;Lee, Dong-Gyu;Ryu, Keun-Ho
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2007년도 Proceedings of ISRS 2007
    • /
    • pp.11-13
    • /
    • 2007
  • There has been much interest in stream query processing. Various index techniques and advanced join techniques have been proposed to efficiently process data stream queries. Previous proposals support rapid and advanced response to the data stream queries. However, the amount of data stream is increasing and the data stream query processing needs more speedup than before. In this paper, we proposed novel query processing techniques for large number of incoming documents stream. We proposed Dissection Technique for efficient query processing in the data stream environment. We focused on the dissection technique in join query processing. Our technique shows efficient operation performance comparing with the other proposal in the data stream. Proposed technique is applied to the sensor network system and XML database.

  • PDF

Design an Indexing Structure System Based on Apache Hadoop in Wireless Sensor Network

  • Keo, Kongkea;Chung, Yeongjee
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 춘계학술발표대회
    • /
    • pp.45-48
    • /
    • 2013
  • In this paper, we proposed an Indexing Structure System (ISS) based on Apache Hadoop in Wireless Sensor Network (WSN). Nowadays sensors data continuously keep growing that need to control. Data constantly update in order to provide the newest information to users. While data keep growing, data retrieving and storing are face some challenges. So by using the ISS, we can maximize processing quality and minimize data retrieving time. In order to design ISS, Indexing Types have to be defined depend on each sensor type. After identifying, each sensor goes through the Indexing Structure Processing (ISP) in order to be indexed. After ISP, indexed data are streaming and storing in Hadoop Distributed File System (HDFS) across a number of separate machines. Indexed data are split and run by MapReduce tasks. Data are sorted and grouped depend on sensor data object categories. Thus, while users send the requests, all the queries will be filter from sensor data object and managing the task by MapReduce processing framework.

대용량 데이터의 분산 처리를 위한 클라우드 컴퓨팅 환경 최적화 및 성능평가 (Optimization and Performance Analysis of Cloud Computing Platform for Distributed Processing of Big Data)

  • 홍승태;신영성;장재우
    • Spatial Information Research
    • /
    • 제19권4호
    • /
    • pp.55-71
    • /
    • 2011
  • 최근 IT 분야에서 인터넷을 기반으로 IT 자원들을 서비스 형태로 제공하는 클라우드 컴퓨팅에 대한 관심이 증대되고 있으며, 이에 따라 대규모 데이터를 수많은 서버들에 분산 저장하고 관리하기 위한 분산 데이터 처리 기법에 대한 연구가 활발히 진행되고 있다. 한편 GIS 기술의 성장과 더불어 급격히 증가하고 있는 공간 데이터를 효율적으로 활용하기 위해서는, 클라우드 컴퓨팅을 이용한 대용량 공간데이터의 분산 처리가 필수적이다. 이를 위해 본 논문에서는 대표적인 분산 데이터 처리 기법에 대해 살펴보고, 분산 데이터 처리 기법 성능 개선을 위한 최적화 요구사항을 분석한다. 마지막으로 Hadoop 기반 클러스터를 구축하고 이를 통해서 분산 데이터 처리 기법의 성능 최적화에 대한 성능평가를 수행한다.

Onco. Flash Processing 적용에 따른 핵의학 영상의 유용성 평가 (Usefulness in Evaluation of NM Image which It Follows in Onco. Flash Processing Application)

  • 김정수;김병진;김진의;우재룡;김현주;신희원
    • 핵의학기술
    • /
    • 제12권1호
    • /
    • pp.13-18
    • /
    • 2008
  • 목적: 다양한 algorism에 의한 영상처리기법은 핵의학 영상을 결정짓는 중요한 부분을 차지하고 있다. 이에 새로운 영상처리기법인 SIEMENS (made by pixon)사의 Onco. flash processing reconstruction을 적용하여 기존의 영상처리기법을 이용한 영상과 비교 분석함으로써 그 임상적 유용성을 평가한다. 대상 및 방법: 1) Scan speed의 차이에 의한 whole body bone scan을 시행하고, raw data와 processing data의 imaeg quality를 비교 분석하여 상대 평가한다. 2) Bone static scan을 acquisition count를 달리하여 시행하고, raw data와 processing data의 image quality를 비교 분석하여 상대 평가한다. 3) 4 quadrant - bar phantom을 이용하여 raw data와 processing data와의 육안적 평가를 통한 image quality를 확인한다. 4) LSF을 통한 raw data와 processing data의 FWHM을 구하여 해상력 평가를 확인한다. 결과: 1) Whole body bone scan을 시행하여 본원 핵의학 판독의의 blinding test한 결과 scan speed 20 cm/min의 raw data와 30 cm/min의 processing data에는 임상 판독에 영향을 미칠 수준의 image quality 저하가 없었으나, 40 cm/min processing data는 영상 판독과 진단에 오류의 가능성을 배제 할 수 없는 image quality의 향상을 볼 수 없었다. 2) Bone static scan의 경우 200 kcts processing data는 200 kcts raw data보다 확실한 image quality의 향상을 가져왔으며 400 kcts raw data와 비교한 본원 핵의학 판독의 blinding test 결과 판독과 진단에 무리가 없을 수준의 유사한 image quality를 보였다. 3) 4 quadrant - bar phantom을 이용하여 raw data와 processing data와의 육안적 평가는 processing을 통한 image quality의 향상을 확인할 수 있었다. 4) LSF을 통한 raw data와 processing data의 FWHM 평가 결과, resolution의 뚜렷한 증가나 감소의 확인은 할 수 없었다. 이는 noise level의 감소와 high S/N ratio 때문이라 판단된다. 결론: 기존의 영상과 비교 분석하여 평가한 결과 Onco. flash processing reconstruction을 적용한 경우 일정 수준까지 뚜렷한 image quality의 향상을 보였으며, 이는 장비 가동률의 상승과 환자 대기일수의 단축 그리고 저선량 검사에 따른 방사선 피폭에 대한 적극적 방어의 관점에서 현재 임상 핵의학에 충분한 유용성과 타당성이 있을 것으로 사료된다.

  • PDF

삼차원 재구성을 위한 Data-Flow 기반의 프레임워크 (A data-flow oriented framework for video-based 3D reconstruction)

  • 김희관
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2009년도 춘계학술발표대회
    • /
    • pp.71-74
    • /
    • 2009
  • The data-flow paradigm has been employed in various application areas. It is particularly useful where large data-streams must be processed, for example in video and audio processing, or for scientific visualization. A video-based 3D reconstruction system should process multiple synchronized video streams. The system exhibits many properties that can be targeted using a data-flow approach that is naturally divided into a sequence of processing tasks. In this paper we introduce our concept to apply the data-flow approach to a multi-video 3D reconstruction system.

빅데이터 처리율 향상을 위한 인-메모리 기반 하이브리드 빅데이터 처리 기법 연구 (Study of In-Memory based Hybrid Big Data Processing Scheme for Improve the Big Data Processing Rate)

  • 이협건;김영운;김기영
    • 한국정보전자통신기술학회논문지
    • /
    • 제12권2호
    • /
    • pp.127-134
    • /
    • 2019
  • IT기술의 발달로 인해 생성되는 데이터의 양은 매년 기하급수적으로 증가하고 있으며, 이에 대한 대안으로 분산시스템과 인-메모리 기반 빅데이터 처리 기법의 연구가 활발히 이루어지고 있다. 기존 빅데이터 처리 기법들의 처리 성능은 노드의 수와 메모리 용량이 증가될수록 보다 빠르게 빅데이터 처리한다. 그러나 노드의 수의 증가는 빅데이터 인프라 환경에서 장애발생 빈도가 높아지며, 인프라 관리 포인트 및 인프라 운영비용도 증가된다. 또한 메모리 용량의 증가는 노드 구성에 대한 인프라 비용이 증가된다. 이에 본 논문에서는 빅데이터 처리율 향상을 위한 인-메모리 기반 하이브리드 빅데이터 처리 기법을 제안한다. 제안하는 기법은 분산시스템 처리기법에 Combiner 단계를 추가하고, 그 단계에서 인-메모리 기반 처리 기술을 적용하여 기존 분산시스템 기반 빅데이터 처리기법에 비해 빅데이터 처리시간을 약 22% 감소시켰다. 향후, 제안하는 기법의 실질적인 검증을 위해 더 많은 노드로 구성된 빅데이터 인프라 환경에서의 현실적 성능평가가 필요하다.

빅데이터 환경에서 스트림 질의 처리를 위한 인메모리 기반 점진적 처리 기법 (In-Memory Based Incremental Processing Method for Stream Query Processing in Big Data Environments)

  • 복경수;육미선;노연우;한지은;김연우;임종태;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제16권2호
    • /
    • pp.163-173
    • /
    • 2016
  • 최근 대용량의 스트림 데이터를 분산 처리하기 위한 연구들이 진행되고 있다. 본 논문에서는 빅데이터 환경에서 실시간 스트림 데이터의 점진적 처리 기법을 제안한다. 제안하는 기법은 처음 스트림 데이터가 입력되면 임시 큐에 데이터를 저장하고 마스터 노드에 저장되어 데이터와 비교과정을 통해 마스터 노드에 동일한 데이터가 있는 경우 마스터 노드에서 가지고 있는 노드의 정보를 이용하여 해당 노드의 메모리에서 기존 처리 결과를 재사용한다. 기존 처리 결과가 없다면 처리하고 처리 결과를 메모리에 저장한다. 분산 환경에서 점진적인 스트리밍 데이터 처리를 위해 노드의 작업 지연을 계산하여 노드의 부하를 파악하고 처리 시간 계산을 통해 각 노드의 성능을 고려한 잡 스케쥴링 기법을 제안한다. 제안하는 기법의 우수성을 보이기 위해 기존 기법과의 질의 수행 시간 비교를 위한 성능평가를 수행한다.

시간제약이 있는 정보처리시스템의 성능분석 모형 (A Model for Performance Analysis of the Information Processing System with Time Constraint)

  • 허선;주국선;정석윤;윤주덕
    • 대한산업공학회지
    • /
    • 제36권2호
    • /
    • pp.138-145
    • /
    • 2010
  • In this paper, we consider the information processing system, which organizes the collected data to meaningful information when the number of data collected from multiple sources reaches to a predetermined number, and performs any action by processing the collected data, or transmits to other devices or systems. We derive an analytical model to calculate the time until it takes to process information after starting to collect data. Therefore, in order to complete the processing data within certain time constraints, we develop some design criteria to control various parameters of the information processing system. Also, we analyze the discrete time model for packet switching networks considering data with no particular arrival nor drop pattern. We analyze the relationship between the number of required packets and average information processing time through numerical examples. By this, we show that the proposed model is able to design the system to be suitable for user's requirements being complementary the quality of information and the information processing time in the system with time constraints.