• 제목/요약/키워드: Data Pre-processing

검색결과 806건 처리시간 0.029초

INTRODUCTION OF COMS IDACS SYSTEM FOR METEOROLOGCIAL AND OCDAN MISSION

  • Lim, Hyun-Su;Park, Durk-Jong;Koo, In-Hoi;Kang, Chi-Ho
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2006년도 Proceedings of ISRS 2006 PORSEC Volume I
    • /
    • pp.67-70
    • /
    • 2006
  • KARI is developing Image Data Acquisition and Control System (IDACS) for pre-processing meteorological and ocean data acquired on geostationary orbit. This paper describes the functions and architecture of IDACS and gives its operation policy including backup operation to overcome limitation of single-configured antenna system. The COMS IDACS provides the capability to receive the raw sensor data and disseminate processed MI data to users via a satellite. From the processed image data, users can produce a set of meteorological and ocean products for a wide range of applications. Most of IDACS subsystems are being developed by Korean technologies and experience acquired from previous projects. In case of COMS geometric correction software module, as it is closely dependent on the characteristics of imagers and spacecraft bus system, it is being co-developed with overseas prime contractor who develops spacecraft bus system.

  • PDF

전력연구원 지진관측자료의 사전자료처리 기법 및 효과적인 활용에 관한 고찰 (Review on Pre-processing of Earthquake Data from KEPRI Seismic Monitoring System)

  • 연관희;박동희;최원학;장천중
    • 한국지진공학회논문집
    • /
    • 제6권2호
    • /
    • pp.39-50
    • /
    • 2002
  • 본 논문에서는 국내의 지진자료를 이용하여 지진특성을 추정하기 전에 적용할 수 있는 사전자료처리기법을 종합적으로 검토하였다. 사전처리 기법으로는 계기보정, 센서검교정상태 확인, 윈도우에 의한 스펙트럼 왜곡 최소화, non-causal ringing에 의한 초동 왜곡 보정 기법을 분석하였으며, 자료 선택시 주파수 영역의 S/N비 확인 및 포화된 자료의 사용가능성 여부를 제시하였다.

FPGA를 이용한 레이더 신호처리 설계 (Radar Signal Processor Design Using FPGA)

  • 하창훈;권보준;이만규
    • 한국군사과학기술학회지
    • /
    • 제20권4호
    • /
    • pp.482-490
    • /
    • 2017
  • The radar signal processing procedure is divided into the pre-processing such as frequency down converting, down sampling, pulse compression, and etc, and the post-processing such as doppler filtering, extracting target information, detecting, tracking, and etc. The former is generally designed using FPGA because the procedure is relatively simple even though there are large amounts of ADC data to organize very quickly. On the other hand, in general, the latter is parallel processed by multiple DSPs because of complexity, flexibility and real-time processing. This paper presents the radar signal processor design using FPGA which includes not only the pre-processing but also the post-processing such as doppler filtering, bore-sight error, NCI(Non-Coherent Integration), CFAR(Constant False Alarm Rate) and etc.

특허문서의 IPC 분류기 생성을 위한 데이터 전처리 (Data Pre-processing for Create IPC Classifiers for Patent Documents)

  • 박수현;김진
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2024년도 춘계학술발표대회
    • /
    • pp.542-543
    • /
    • 2024
  • 특허심사절차는 짧지 않은 과정으로 이루어져 있는데, 현재 모든 절차가 사람이 직접 관여하여 진행되고 있다. 특허심사절차의 효율적 시간 분배를 위해, 특허문서 분류 과정의 자동화 처리 필요성을 느끼게 되었다. 따라서, 본 논문에서는 해당 분류기 생성을 위한 데이터의 전처리 과정을 다루었다.

Detection of Subsurface Defects in Metal Materials Using Infrared Thermography; Image Processing and Finite Element Modeling

  • Ranjit, Shrestha;Kim, Won Tae
    • 비파괴검사학회지
    • /
    • 제34권2호
    • /
    • pp.128-134
    • /
    • 2014
  • Infrared thermography is an emerging approach to non-contact, non-intrusive, and non-destructive inspection of various solid materials such as metals, composites, and semiconductors for industrial and research interests. In this study, data processing was applied to infrared thermography measurements to detect defects in metals that were widely used in industrial fields. When analyzing experimental data from infrared thermographic testing, raw images were often not appropriate. Thus, various data analysis methods were used at the pre-processing and processing levels in data processing programs for quantitative analysis of defect detection and characterization; these increased the infrared non-destructive testing capabilities since subtle defects signature became apparent. A 3D finite element simulation was performed to verify and analyze the data obtained from both the experiment and the image processing techniques.

비정형 텍스트 데이터 정제를 위한 불용어 코퍼스의 활용에 관한 연구 (A Study on the Use of Stopword Corpus for Cleansing Unstructured Text Data)

  • 이원조
    • 문화기술의 융합
    • /
    • 제8권6호
    • /
    • pp.891-897
    • /
    • 2022
  • 빅데이터 분석에서 원시 텍스트 데이터는 대부분 다양한 비정형 데이터 형태로 존재하기 때문에 휴리스틱 전처리 정제와 컴퓨터를 이용한 후처리 정제과정을 거쳐야 분석이 가능한 정형 데이터 형태가 된다. 따라서 본 연구에서는 텍스트 데이터 분석 기법의 하나인 R 프로그램의 워드클라우드를 적용하기 위해서 수집된 원시 데이터 전처리를 통해 불필요한 요소들을 정제하고 후처리 과정에서 불용어를 제거한다. 그리고 단어들의 출현 빈도수를 계산하고 출현빈도가 높은 단어들을 핵심 이슈들로 표현해 주는 워드클라우드 분석의 사례 연구를 하였다. 이번 연구는 R의워드클라우드 기법으로 기존의 불용어 처리 방법인 "내포된 불용어 소스코드" 방법의 문제점을 개선하기 위하여 "일반적인 불용어 코퍼스"와 "사용자 정의 불용어 코퍼스"의 활용 방안을 제안하고 사례 분석을 통해서 제안된 "비정형 데이터 정제과정 모델"의 장단점을 비교 검증하여 제시하고 "제안된 외부 코퍼스 정제기법"을 이용한 워드클라우드 시각화 분석의 실무적용에 대한 효용성을 제시한다.

OOP 개념에 기초한 유동해석용 전처리 프로그램 개발 (Development of a Pre-Processing Program for Flow Analysis Based on the Object-Oriented Programming Concept)

  • 명현국;안종기
    • 대한기계학회논문집B
    • /
    • 제32권1호
    • /
    • pp.70-77
    • /
    • 2008
  • A pre-processing program based on the OOP(object-oriented programming) concept has been developed. The program consists of the input of a 2D or 3D flow problem to a CFD program by means of an user-friendly interface and the subsequent transformation of this input into a form suitable for the solver(PowerCFD) using unstructured cell-centered method. User-friendly GUI(graphic user interface) has been built on the base of MFC(Microsoft Foundation Class). The program is organized as modules by classes based on VTK(Visualization ToolKit)-library, and these classes are made to function through inheritance and cooperation which is an important and valuable concept of object-oriented programming. The major functions of this program are introduced and demonstrated, which include mesh generation, boundary settings, solver settings, generation of grid connectivity and geometric data etc.

빅데이터의 효과적인 처리 및 활용을 위한 클라이언트-서버 모델 설계 (Design of Client-Server Model For Effective Processing and Utilization of Bigdata)

  • 박대서;김화종
    • 지능정보연구
    • /
    • 제22권4호
    • /
    • pp.109-122
    • /
    • 2016
  • 최근 빅데이터 분석은 기업과 전문가뿐만 아니라 개인이나 비전문가들도 큰 관심을 갖는 분야로 발전하였다. 그에 따라 현재 공개된 데이터 또는 직접 수집한 이터를 분석하여 마케팅, 사회적 문제 해결 등에 활용되고 있다. 국내에서도 다양한 기업들과 개인이 빅데이터 분석에 도전하고 있지만 빅데이터 공개의 제한과 수집의 어려움으로 분석 초기 단계에서부터 어려움을 겪고 있다. 본 논문에서는 빅데이터 공유를 방해하는 개인정보, 빅트래픽 등의 요소들에 대한 기존 연구와 사례들을 살펴보고 정책기반의 해결책이 아닌 시스템을 통해서 빅데이터 공유 제한 문제를 해결 할 수 있는 클라이언트-서버 모델을 이용해 빅데이터를 공개 및 사용 할 때 발생하는 문제점들을 해소하고 공유와 분석 활성화를 도울 수 있는 방안에 대해 기술한다. 클라이언트-서버 모델은 SPARK를 활용해 빠른 분석과 사용자 요청을 처리하며 Server Agent와 Client Agent로 구분해 데이터 제공자가 데이터를 공개할 때 서버 측의 프로세스와 데이터 사용자가 데이터를 사용하기 위한 클라이언트 측의 프로세스로 구분하여 설명한다. 특히, 빅데이터 공유, 분산 빅데이터 처리, 빅트래픽 문제에 초점을 맞추어 클라이언트-서버 모델의 세부 모듈을 구성하고 각 모듈의 설계 방법에 대해 제시하고자 한다. 클라이언트-서버 모델을 통해서 빅데이터 공유문제를 해결하고 자유로운 공유 환경을 구성하여 안전하게 빅데이터를 공개하고 쉽게 빅데이터를 찾는 이상적인 공유 서비스를 제공할 수 있다.

딥러닝 기반 사전학습 언어모델에 대한 이해와 현황 (A Survey on Deep Learning-based Pre-Trained Language Models)

  • 박상언
    • 한국빅데이터학회지
    • /
    • 제7권2호
    • /
    • pp.11-29
    • /
    • 2022
  • 사전학습 언어모델은 자연어 처리 작업에서 가장 중요하고 많이 활용되는 도구로, 대량의 말뭉치를 대상으로 사전학습이 되어있어 적은 수의 데이터를 이용한 미세조정학습으로도 높은 성능을 기대할 수 있으며, 사전학습된 토크나이저과 딥러닝 모형 등 구현에 필요한 요소들이 함께 배포되기 때문에 자연어 처리 작업에 소요되는 비용과 기간을 크게 단축시켰다. 트랜스포머 변형 모형은 이와 같은 장점을 제공하는 사전학습 언어모델 중에서 최근 가장 많이 사용되고 있는 모형으로, 번역을 비롯하여 문서 요약, 챗봇과 같은 질의 응답, 자연스러운 문장의 생성 및 문서의 분류 등 다양한 자연어 처리 작업에 활용되고 있으며 컴퓨터 비전 분야와 오디오 관련 분야 등 다른 분야에서도 활발하게 활용되고 있다. 본 논문은 연구자들이 보다 쉽게 사전학습 언어모델에 대해 이해하고 자연어 처리 작업에 활용할 수 있도록 하기 위해, 언어모델과 사전학습 언어모델의 정의로부터 시작하여 사전학습 언어모델의 발전과정과 다양한 트랜스포머 변형 모형에 대해 조사하고 정리하였다.

불용어 시소러스를 이용한 비정형 텍스트 데이터 후처리 방법론에 관한 연구 (A Study on Unstructured text data Post-processing Methodology using Stopword Thesaurus)

  • 이원조
    • 문화기술의 융합
    • /
    • 제9권6호
    • /
    • pp.935-940
    • /
    • 2023
  • 인공지능과 빅데이터 분석을 위해 웹 스크래핑으로 수집된 대부분의 텍스트 데이터들은 일반적으로 대용량이고 비정형이기 때문에 빅데이터 분석을 위해서는 정제과정이 요구된다. 그 과정은 휴리스틱 전처리 정제단계와 후처리 머시인 정제단계를 통해서 분석이 가능한 정형 데이터가 된다. 따라서 본 연구에서는 후처리 머시인 정제과정에서 한국어 딕셔너리와 불용어 딕셔너리를 이용하여 워드크라우드 분석을 위한 빈도분석을 위해 어휘들을 추출하게 되는데 이 과정에서 제거되지 않은 불용어를 효율적으로 제거하기 위한 "사용자 정의 불용어 시소러스" 적용에 대한 방법론을 제안하고 R의 워드클라우드 기법으로 기존의 "불용어 딕셔너리" 방법의 문제점을 보완하기 위해 제안된 "사용자 정의 불용어 시소러스" 기법을 이용한 사례분석을 통해서 제안된 정제방법의 장단점을 비교 검증하여 제시하고 제안된 방법론의 실무적용에 대한 효용성을 제안한다.