• 제목/요약/키워드: data pre-processing

검색결과 800건 처리시간 0.029초

특허문서의 IPC 분류를 위한 데이터 변환 및 통합 (Pre-processing for IPC Classification of Patent Documents)

  • 박수현;김진
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 추계학술발표대회
    • /
    • pp.367-368
    • /
    • 2023
  • 4차 산업혁명으로 다양한 기술과 아이디어가 생겨나고 있고, 이를 보호하기 위한 특허는 그 등록 건수가 매년 증가하는 추세이다. 그러나 현재 특허문서를 분류하는 과정을 수동으로 진행하고 있기에 이를 자동으로 진행할 수 있는 분류기를 생성할 필요를 느꼈고, 본 논문에서는 특허문서를 분류기에 적용할 데이터의 전처리 과정 중 데이터 변환과 통합 과정을 다루었다.

클러스터링 해쉬 테이블을 이용한 다차원 선박 USN 스트림 데이터의 효율적인 처리 (Efficient Processing of Multidimensional Vessel USN Stream Data using Clustering Hash Table)

  • 송병호;오일환;이성로
    • 대한전자공학회논문지SP
    • /
    • 제47권6호
    • /
    • pp.137-145
    • /
    • 2010
  • 디지털 선박에서는 선박 내의 각종 센서로부터 측정된 디지털 데이터에 대한 정확하고 에너지 효율적인 관리가 필요하다. 그러나, 센서 네트워크에서 대용량 스트림 데이터를 제한된 네트워크, 전력, 프로세서를 이용하여 모든 센서 데이터를 전송하고 분석하는 것은 어렵고 효율적이지 못하다. 그러므로, 연속적으로 입력되는 데이터를 사전에 분류하여 특성에 따라 선택적으로 데이터를 처리하는 데이터 분류 기법이 요구된다. 본 논문에서는 디지털 선박 내에 다수 개의 센서(온도, 습도, 조도, 음성 센서)를 배치하고 효율적인 입력 스트림 처리를 위해서 슬라이딩 윈도우 기반으로 다중 Support Vector Machine(SVM) 알고리즘을 이용하여 사전 분류(pre-clustering)한 후 요약된 정보를 해쉬 테이블로 관리하는 효율적인 처리 기법을 제안한다. 해쉬테이블을 이용하여 다차원 스트림 데이터의 저장될 레코드 순서를 빠르게 찾아 저장 및 검색함으로서 처리 속도가 향상되고 메모리에 해쉬 테이블 만을 유지하면 되므로 메모리 사용량이 감소한다. 35,912개의 데이터 집합을 사용하여 실험한 결과 제안 기법의 정확도와 처리 성능이 향상되었다.

Application of Digital Signal Analysis Technique to Enhance the Quality of Tracer Gas Measurements in IAQ Model Tests

  • Lee, Hee-Kwan;Awbi, Hazim B.
    • Journal of Korean Society for Atmospheric Environment
    • /
    • 제23권E2호
    • /
    • pp.66-73
    • /
    • 2007
  • The introduction of tracer gas techniques to ventilation studies in indoor environments provides valuable information that used to be unattainable from conventional testing environments. Data acquisition systems (DASs) containing analogue-to-digital (A/D) converters are usually used to function the key role that records signals to storage in digital format. In the testing process, there exist a number of components in the measuring equipment which may produce system-based inference to the monitored results. These unwanted fluctuations may cause significant error in data analysis, especially when non-linear algorithms are involved. In this study, a pre-processor is developed and applied to separate the unwanted fluctuations (noise or interference) in raw measurements and to reduce the uncertainty in the measurement. Moving average, notch filter, FIR (Finite Impulse Response) filters, and IIR (Infinite Impulse Response) filters are designed and applied to collect the desired information from the raw measurements. Tracer gas concentrations are monitored during leakage and ventilation tests in the model test room. The signal analysis functions are introduced to carry out the digital signal processing (DSP) work. Overall the FIR filters process the $CO_2$ measurement properly for ventilation rate and mean age of air calculations. It is found that, the Kaiser filter was the most applicable digital filter for pre-processing the tracer gas measurements. Although the IIR filters help to reduce the random noise in the data, they cause considerable changes to the filtered data, which is not desirable.

빅데이터 및 고성능컴퓨팅 프레임워크를 활용한 유전체 데이터 전처리 과정의 병렬화 (Parallelization of Genome Sequence Data Pre-Processing on Big Data and HPC Framework)

  • 변은규;곽재혁;문지협
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제8권10호
    • /
    • pp.231-238
    • /
    • 2019
  • 차세대 염기 서열 분석법이 생성한 유전체 원시 데이터를 기존의 방식대로 하나의 서버에서 분석하기 위해서는 데이터 크기에 따라 수십 시간이 필요할 수 있다. 그러나 응급 환자의 진단처럼 수 시간 내에 결과를 알아야 하는 상황이 존재하기 때문에 단일 유전체 분석의 성능을 향상시킬 필요가 있다. 본 연구에서는 빅데이터 기술의 병렬화 기법과 고속의 네트워크로 연결되고 병렬파일시스템을 공유하는 고성능컴퓨팅 클러스터를 적극적으로 활용하여 분석 시간을 크게 단축시킬 수 있는 유전체 데이터 분석의 전처리 프로세스의 병렬화 방법을 제안한다. 분석 데이터의 신뢰성을 위해 기존의 검증된 분석 도구 및 알고리즘을 새로운 환경에 맞게 병렬화 하는 전략을 선택하였다. 프로세스의 병렬화, 데이터의 분배 및 병렬 병합 기법을 개발하였고 실험을 통해 성능 향상을 확인하였다.

Development Technique for Dynamic Node Management of Visual Modeler

  • Yoon, C.R.;Kim, K.O.
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2003년도 Proceedings of ACRS 2003 ISRS
    • /
    • pp.1131-1133
    • /
    • 2003
  • Spatial image processing software requires various user interactions to make a plan, prepare necessary data such as images, vectors, ancillary data and user-defined data, execute functions according to pre-defined procedures, analyze and store the results. In this manner, overall processes are controlled by user interactions. In this paper, we propose visual modeler which has the automated spatial image processing technique to minimize user interactions and re -use repeatable procedure. The proposed visual modeler is designed to use inter-operable components proposed by OpenGIS consortium as well as conventional COM components.

  • PDF

전자기장의 분광 에너지에 기반한 MT 및 GDS 자료의 전처리 기법 연구 (Pre-screening technique for MT and GDS data processing based on the spectral power of Electromagnetic field)

  • 양준모;권병두
    • 한국지구물리탐사학회:학술대회논문집
    • /
    • 한국지구물리탐사학회 2006년도 공동학술대회 논문집
    • /
    • pp.253-258
    • /
    • 2006
  • 한반도는 고도의 산업화와 도시화로 인해 깨끗한 MT 및 GDS 자료를 획득하기 매우 어렵다. 이러한 환경에서는 적당한 신호 대 잡음비를 가지는 자료를 선별하는 전처리 과정이 필수적이다. 본 연구에서는 전자기장의 분광에너지에 기반한 자동 전처리 과정(RMP)을 한반도의 현실적인 상황을 고려하여 수정하였고, 이를 한반도 내륙에서 획득된 총 7 측점의 MT 자료에 적용하였다. 전반적으로, RMP 기법은 주기 10초 대역 부근에서 주파수에 따른 전기비저항과 위상의 연결성을 상당히 향상시켰다. 또한 RMP 기법에 의한 결과는 수작업으로 편집된 기존의 처리 결과와도 거의 유사였고, 특히 전기 비저항의 연결성면에서 그 우수성이 확인되었다.

  • PDF

An Automatic Inspection of the Surface Outlook of High Speed Moving Plate by Using One Dimensional CCD Camera

  • Hyun, Lim-Sung;Suck, Boo-Kwang
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 2001년도 ICCAS
    • /
    • pp.118.5-118
    • /
    • 2001
  • This paper describes an image processing method for inspecting the surface outlook of high speed moving plates. Noise free image and a new real time processing methods are required to inspect the surface outlook of the high speed moving plates in real time. It is difficult to get a noise free image due to a signal noise, a light noise and background image in typical industrial factory. Thus, pre-processing techniques should be required to get a good image and produce so many time steps to proceed the image data. The objective of this research is to get image on the surface of the moving plates with a speed of 1m/sec and to detect some defaults on the surface image. So, the pre-processing techniques ...

  • PDF

Contact image sensor를 위한 고속 영상 처리 보드 구현 (An implementation of the high speed image processing board for contact image sensor)

  • 강현인;주용완;백광렬
    • 제어로봇시스템학회논문지
    • /
    • 제5권6호
    • /
    • pp.691-697
    • /
    • 1999
  • This paper describes the implementation of a high speed image processing board. This image processing board is consist of a image acquisition part and a image processing part. The image acquistion part is digitizing the image input data from CIS and save it to the dual port RAM. By putting on the dual port memory between two parts, during acquistion of image, the image processing part can be effectively processing of large-volume image data. Most of all image preprocessing part are integrated in a large-scaled FPGA. We arwe using ADSP-2181 of the Analog Device Inc., LTD. for a image processing part, and using the available all memory of DSP for the large-volume image data. Especially, using of IDMA exchanges the data with the external microprocessor or the external PC, and can watch the result of image processing and acquired image. Finally, we show that an implemented image processing board used for the simulation of image retreval by the one of the typical application.

  • PDF

Absolute Atmospheric Correction Procedure for the EO-1 Hyperion Data Using MODTRAN Code

  • Kim, Sun-Hwa;Kang, Sung-Jin;Chi, Jun-Hwa;Lee, Kyu-Sung
    • 대한원격탐사학회지
    • /
    • 제23권1호
    • /
    • pp.7-14
    • /
    • 2007
  • Atmospheric correction is one of critical procedures to extract quantitative information related to biophysical variables from hyperspectral imagery. Most atmospheric correction algorithms developed for hyperspectral data have been based upon atmospheric radiative transfer (RT) codes, such as MODTRAN. Because of the difficulty in acquisition of atmospheric data at the time of image capture, the complexity of RT model, and large volume of hyperspectral data, atmospheric correction can be very difficult and time-consuming processing. In this study, we attempted to develop an efficient method for the atmospheric correction of EO-1 Hyperion data. This method uses the pre-calculated look-up-table (LUT) for fast and simple processing. The pre-calculated LUT was generated by successive running of MODTRAN model with several input parameters related to solar and sensor geometry, radiometric specification of sensor, and atmospheric condition. Atmospheric water vapour contents image was generated directly from a few absorption bands of Hyperion data themselves and used one of input parameters. This new atmospheric correction method was tested on the Hyperion data acquired on June 3, 2001 over Seoul area. Reflectance spectra of several known targets corresponded with the typical pattern of spectral reflectance on the atmospherically corrected Hyperion image, although further improvement to reduce sensor noise is necessary.

지진에 의한 측지학적 지각변동 분석을 위한 GNSS 자료 전처리 연구 (A Study on GNSS Data Pre-processing for Analyzing Geodetic Effects on Crustal Deformation due to the Earthquake)

  • 손동효;김두식;박관동
    • 대한공간정보학회지
    • /
    • 제23권1호
    • /
    • pp.47-54
    • /
    • 2015
  • 이 논문에서는 지진에 의한 지각변동 분석에서 측지학적 요소만을 구분하고자 하는 목적으로 GNSS 자료를 전처리하는 전략을 연구하였다. 이를 위해 GNSS 자료처리 결과의 해석에 앞서 GNSS 좌표 시계열에서 나타나는 위신호들을 검출하고 제거하였다. GNSS 관측소는 한반도가 포함된 큰 지각판 위에 위치하므로 판의 운동으로 인한 속도가 좌표 시계열에 포함된다. 그리고 일부 관측소 주변에 위치한 나무들은 계절에 따라 성장변화가 일어나기 때문에 계절적 신호특성이 GNSS 좌표 시계열에 반영된다. 따라서 오일러축에 의한 지각판 운동효과를 정확히 제거하기 위해 축의 위치와 각속도를 한반도 지각판에 맞게 새롭게 추정하였고 이에 대한 검증을 수행하였다. 그리고 1년 주기로 나타나는 계절변동 신호를 추정해 각 관측소의 좌표시계열에 반영하였다. 두 효과를 제거함으로써 지진에 의한 영향을 측지학적으로 분석할 수 있다. 이를 이용해 2011년 동일본 대지진에 의한 지각변위 예비 분석을 수행하였다.