• 제목/요약/키워드: DATA PRE-PROCESSING

검색결과 821건 처리시간 0.038초

H.264 코덱에서 동영상 성능개선 연구 (Study on Performance Improvement of Video in the H.264 Codec)

  • 봉정식;전준현
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2005년도 학술대회 논문집 정보 및 제어부문
    • /
    • pp.532-535
    • /
    • 2005
  • These days, many image processing techniques have been studied for effective image compression. Among those, 2D image filtering is widely used for 2D image processing. The 2D image filtering can be implemented by performing ID linear filtering separately in the direction of horizontal and vertical. Efficiency of image compression depends on what filtering method is used. Generally, circular convolution is widely used in the 2D image filtering for image processing. However it doesn't consider correlations at the region of image boundary, therefore filtering can not be performed effectively. To solve this problem. I proposed new convolution technique using Symmetric-Mirroring convolution, satisfying the 'alias-free' and 'error-free' requirement in the reconstructed image. This method could provide more effective performance than former compression methods. Because it used very high correlative data when performed at the boundary region. In this paper, pre-processing filtering in H.264 codec was adopted to analyze efficiency of proposed filtering technique, and the simulator developed by Matlab language was used to examine the performance of the proposed method.

  • PDF

시스템 결함원인분석을 위한 데이터 로그 전처리 기법 연구 (A Study on Data Pre-filtering Methods for Fault Diagnosis)

  • 이양지;김덕영;황민순;정영수
    • 한국CDE학회논문집
    • /
    • 제17권2호
    • /
    • pp.97-110
    • /
    • 2012
  • High performance sensors and modern data logging technology with real-time telemetry facilitate system fault diagnosis in a very precise manner. Fault detection, isolation and identification in fault diagnosis systems are typical steps to analyze the root cause of failures. This systematic failure analysis provides not only useful clues to rectify the abnormal behaviors of a system, but also key information to redesign the current system for retrofit. The main barriers to effective failure analysis are: (i) the gathered data (event) logs are too large in general, and further (ii) they usually contain noise and redundant data that make precise analysis difficult. This paper therefore applies suitable pre-processing techniques to data reduction and feature extraction, and then converts the reduced data log into a new format of event sequence information. Finally the event sequence information is decoded to investigate the correlation between specific event patterns and various system faults. The efficiency of the developed pre-filtering procedure is examined with a terminal box data log of a marine diesel engine.

특허문서의 IPC 분류를 위한 데이터 변환 및 통합 (Pre-processing for IPC Classification of Patent Documents)

  • 박수현;김진
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 추계학술발표대회
    • /
    • pp.367-368
    • /
    • 2023
  • 4차 산업혁명으로 다양한 기술과 아이디어가 생겨나고 있고, 이를 보호하기 위한 특허는 그 등록 건수가 매년 증가하는 추세이다. 그러나 현재 특허문서를 분류하는 과정을 수동으로 진행하고 있기에 이를 자동으로 진행할 수 있는 분류기를 생성할 필요를 느꼈고, 본 논문에서는 특허문서를 분류기에 적용할 데이터의 전처리 과정 중 데이터 변환과 통합 과정을 다루었다.

클러스터링 해쉬 테이블을 이용한 다차원 선박 USN 스트림 데이터의 효율적인 처리 (Efficient Processing of Multidimensional Vessel USN Stream Data using Clustering Hash Table)

  • 송병호;오일환;이성로
    • 대한전자공학회논문지SP
    • /
    • 제47권6호
    • /
    • pp.137-145
    • /
    • 2010
  • 디지털 선박에서는 선박 내의 각종 센서로부터 측정된 디지털 데이터에 대한 정확하고 에너지 효율적인 관리가 필요하다. 그러나, 센서 네트워크에서 대용량 스트림 데이터를 제한된 네트워크, 전력, 프로세서를 이용하여 모든 센서 데이터를 전송하고 분석하는 것은 어렵고 효율적이지 못하다. 그러므로, 연속적으로 입력되는 데이터를 사전에 분류하여 특성에 따라 선택적으로 데이터를 처리하는 데이터 분류 기법이 요구된다. 본 논문에서는 디지털 선박 내에 다수 개의 센서(온도, 습도, 조도, 음성 센서)를 배치하고 효율적인 입력 스트림 처리를 위해서 슬라이딩 윈도우 기반으로 다중 Support Vector Machine(SVM) 알고리즘을 이용하여 사전 분류(pre-clustering)한 후 요약된 정보를 해쉬 테이블로 관리하는 효율적인 처리 기법을 제안한다. 해쉬테이블을 이용하여 다차원 스트림 데이터의 저장될 레코드 순서를 빠르게 찾아 저장 및 검색함으로서 처리 속도가 향상되고 메모리에 해쉬 테이블 만을 유지하면 되므로 메모리 사용량이 감소한다. 35,912개의 데이터 집합을 사용하여 실험한 결과 제안 기법의 정확도와 처리 성능이 향상되었다.

Application of Digital Signal Analysis Technique to Enhance the Quality of Tracer Gas Measurements in IAQ Model Tests

  • Lee, Hee-Kwan;Awbi, Hazim B.
    • Journal of Korean Society for Atmospheric Environment
    • /
    • 제23권E2호
    • /
    • pp.66-73
    • /
    • 2007
  • The introduction of tracer gas techniques to ventilation studies in indoor environments provides valuable information that used to be unattainable from conventional testing environments. Data acquisition systems (DASs) containing analogue-to-digital (A/D) converters are usually used to function the key role that records signals to storage in digital format. In the testing process, there exist a number of components in the measuring equipment which may produce system-based inference to the monitored results. These unwanted fluctuations may cause significant error in data analysis, especially when non-linear algorithms are involved. In this study, a pre-processor is developed and applied to separate the unwanted fluctuations (noise or interference) in raw measurements and to reduce the uncertainty in the measurement. Moving average, notch filter, FIR (Finite Impulse Response) filters, and IIR (Infinite Impulse Response) filters are designed and applied to collect the desired information from the raw measurements. Tracer gas concentrations are monitored during leakage and ventilation tests in the model test room. The signal analysis functions are introduced to carry out the digital signal processing (DSP) work. Overall the FIR filters process the $CO_2$ measurement properly for ventilation rate and mean age of air calculations. It is found that, the Kaiser filter was the most applicable digital filter for pre-processing the tracer gas measurements. Although the IIR filters help to reduce the random noise in the data, they cause considerable changes to the filtered data, which is not desirable.

빅데이터 및 고성능컴퓨팅 프레임워크를 활용한 유전체 데이터 전처리 과정의 병렬화 (Parallelization of Genome Sequence Data Pre-Processing on Big Data and HPC Framework)

  • 변은규;곽재혁;문지협
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제8권10호
    • /
    • pp.231-238
    • /
    • 2019
  • 차세대 염기 서열 분석법이 생성한 유전체 원시 데이터를 기존의 방식대로 하나의 서버에서 분석하기 위해서는 데이터 크기에 따라 수십 시간이 필요할 수 있다. 그러나 응급 환자의 진단처럼 수 시간 내에 결과를 알아야 하는 상황이 존재하기 때문에 단일 유전체 분석의 성능을 향상시킬 필요가 있다. 본 연구에서는 빅데이터 기술의 병렬화 기법과 고속의 네트워크로 연결되고 병렬파일시스템을 공유하는 고성능컴퓨팅 클러스터를 적극적으로 활용하여 분석 시간을 크게 단축시킬 수 있는 유전체 데이터 분석의 전처리 프로세스의 병렬화 방법을 제안한다. 분석 데이터의 신뢰성을 위해 기존의 검증된 분석 도구 및 알고리즘을 새로운 환경에 맞게 병렬화 하는 전략을 선택하였다. 프로세스의 병렬화, 데이터의 분배 및 병렬 병합 기법을 개발하였고 실험을 통해 성능 향상을 확인하였다.

Development Technique for Dynamic Node Management of Visual Modeler

  • Yoon, C.R.;Kim, K.O.
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2003년도 Proceedings of ACRS 2003 ISRS
    • /
    • pp.1131-1133
    • /
    • 2003
  • Spatial image processing software requires various user interactions to make a plan, prepare necessary data such as images, vectors, ancillary data and user-defined data, execute functions according to pre-defined procedures, analyze and store the results. In this manner, overall processes are controlled by user interactions. In this paper, we propose visual modeler which has the automated spatial image processing technique to minimize user interactions and re -use repeatable procedure. The proposed visual modeler is designed to use inter-operable components proposed by OpenGIS consortium as well as conventional COM components.

  • PDF

전자기장의 분광 에너지에 기반한 MT 및 GDS 자료의 전처리 기법 연구 (Pre-screening technique for MT and GDS data processing based on the spectral power of Electromagnetic field)

  • 양준모;권병두
    • 한국지구물리탐사학회:학술대회논문집
    • /
    • 한국지구물리탐사학회 2006년도 공동학술대회 논문집
    • /
    • pp.253-258
    • /
    • 2006
  • 한반도는 고도의 산업화와 도시화로 인해 깨끗한 MT 및 GDS 자료를 획득하기 매우 어렵다. 이러한 환경에서는 적당한 신호 대 잡음비를 가지는 자료를 선별하는 전처리 과정이 필수적이다. 본 연구에서는 전자기장의 분광에너지에 기반한 자동 전처리 과정(RMP)을 한반도의 현실적인 상황을 고려하여 수정하였고, 이를 한반도 내륙에서 획득된 총 7 측점의 MT 자료에 적용하였다. 전반적으로, RMP 기법은 주기 10초 대역 부근에서 주파수에 따른 전기비저항과 위상의 연결성을 상당히 향상시켰다. 또한 RMP 기법에 의한 결과는 수작업으로 편집된 기존의 처리 결과와도 거의 유사였고, 특히 전기 비저항의 연결성면에서 그 우수성이 확인되었다.

  • PDF

An Automatic Inspection of the Surface Outlook of High Speed Moving Plate by Using One Dimensional CCD Camera

  • Hyun, Lim-Sung;Suck, Boo-Kwang
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 2001년도 ICCAS
    • /
    • pp.118.5-118
    • /
    • 2001
  • This paper describes an image processing method for inspecting the surface outlook of high speed moving plates. Noise free image and a new real time processing methods are required to inspect the surface outlook of the high speed moving plates in real time. It is difficult to get a noise free image due to a signal noise, a light noise and background image in typical industrial factory. Thus, pre-processing techniques should be required to get a good image and produce so many time steps to proceed the image data. The objective of this research is to get image on the surface of the moving plates with a speed of 1m/sec and to detect some defaults on the surface image. So, the pre-processing techniques ...

  • PDF

Contact image sensor를 위한 고속 영상 처리 보드 구현 (An implementation of the high speed image processing board for contact image sensor)

  • 강현인;주용완;백광렬
    • 제어로봇시스템학회논문지
    • /
    • 제5권6호
    • /
    • pp.691-697
    • /
    • 1999
  • This paper describes the implementation of a high speed image processing board. This image processing board is consist of a image acquisition part and a image processing part. The image acquistion part is digitizing the image input data from CIS and save it to the dual port RAM. By putting on the dual port memory between two parts, during acquistion of image, the image processing part can be effectively processing of large-volume image data. Most of all image preprocessing part are integrated in a large-scaled FPGA. We arwe using ADSP-2181 of the Analog Device Inc., LTD. for a image processing part, and using the available all memory of DSP for the large-volume image data. Especially, using of IDMA exchanges the data with the external microprocessor or the external PC, and can watch the result of image processing and acquired image. Finally, we show that an implemented image processing board used for the simulation of image retreval by the one of the typical application.

  • PDF