• 제목/요약/키워드: data pre-processing

검색결과 805건 처리시간 0.033초

A low-cost compensated approximate multiplier for Bfloat16 data processing on convolutional neural network inference

  • Kim, HyunJin
    • ETRI Journal
    • /
    • 제43권4호
    • /
    • pp.684-693
    • /
    • 2021
  • This paper presents a low-cost two-stage approximate multiplier for bfloat16 (brain floating-point) data processing. For cost-efficient approximate multiplication, the first stage implements Mitchell's algorithm that performs the approximate multiplication using only two adders. The second stage adopts the exact multiplication to compensate for the error from the first stage by multiplying error terms and adding its truncated result to the final output. In our design, the low-cost multiplications in both stages can reduce hardware costs significantly and provide low relative errors by compensating for the error from the first stage. We apply our approximate multiplier to the convolutional neural network (CNN) inferences, which shows small accuracy drops with well-known pre-trained models for the ImageNet database. Therefore, our design allows low-cost CNN inference systems with high test accuracy.

마이크로컴퓨터를 이용한 FFT 분석기의 설계 및 제작 (Design and Construction of a FFT Analyzer Using a Microcomputer)

  • 이현태;김중규;이상배
    • 대한전자공학회논문지
    • /
    • 제23권6호
    • /
    • pp.944-949
    • /
    • 1986
  • By improving the ability of arithmatic processing with an arithmatic processor in a microcomputer and realizing the data input system for real time analysis, an FFT analyzer that is usable within the range of audio frequency is designed and constructed. The input signal passes through a gain programmable pre-amplifier and anti-aliasing lowpass filter into an analogditital converter to be converted into digital form. The converted input data is processed by an Apple II microcomputer. The results of the processing are displayed using a microcomputer display unit and can be copied on a printer or stored in a floppy disk.

  • PDF

사전학습 모델을 활용한 효과적인 Http Payload 이상 탐지 방법 (Effective Payload-based Anomaly Detection Method Using Pre-trained Model)

  • 이웅기;김원철
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 추계학술발표대회
    • /
    • pp.228-230
    • /
    • 2022
  • 딥러닝 기반의 인공지능 기술이 발달함에 따라 이상 탐지 방법에도 딥러닝이 적용되었다. 네트워크 트래픽으로부터 요약 및 집계된 Feature 를 학습하는 방법과 Packet 자체를 학습하는 등의 방법이 있었다. 그러나 모두 정보의 제한적으로 사용한다는 단점이 있었다. 본 연구에서는 Http Request에 대한 사전학습 기반의 효과적인 이상 탐지 방법을 제안한다. 사전학습에 고려되는 토큰화 방법, Padding 방법, Feature 결합 방법, Feature 선택 방법과 전이학습 시 Numerical 정보를 추가하는 방법을 소개하고 각 실험을 통해 최적의 방법을 제안한다.

Development of LiDAR Simulator for Backpack-mounted Mobile Indoor Mapping System

  • Chung, Minkyung;Kim, Changjae;Choi, Kanghyeok;Chung, DongKi;Kim, Yongil
    • 한국측량학회지
    • /
    • 제35권2호
    • /
    • pp.91-102
    • /
    • 2017
  • Backpack-mounted mapping system is firstly introduced for flexible movement in indoor spaces where satellite-based localization is not available. With the achieved advances in miniaturization and weight reduction, use of LiDAR (Light Detection and Ranging) sensors in mobile platforms has been increasing, and indeed, they have provided high-precision information on indoor environments and their surroundings. Previous research on the development of backpack-mounted mapping systems, has concentrated mostly on the improvement of data processing methods or algorithms, whereas practical system components have been determined empirically. Thus, in the present study, a simulator for a LiDAR sensor (Velodyne VLP-16), was developed for comparison of the effects of diverse conditions on the backpack system and its operation. The simulated data was analyzed by visual inspection and comparison of the data sets' statistics, which differed according to the LiDAR arrangement and moving speed. Also, the data was used as input to a point-cloud registration algorithm, ICP (Iterative Closest Point), to validate its applicability as pre-analysis data. In fact, the results indicated centimeter-level accuracy, thus demonstrating the potentials of simulation data to be utilized as a tool for performance comparison of pointdata processing methods.

해양위성센터 구축 현황 및 GOCI 자료배포시스템 소개 (Establishment Status of the Korea Ocean Satellite Center and GOCI-Data Distribution System)

  • 양찬수;배상수;한희정;조성익;안유환
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2009년도 춘계학술대회 논문집
    • /
    • pp.367-370
    • /
    • 2009
  • 한국해양연구원에서는 2009년 발사 예정인 통신해양기상위성(COMS: Communication, Ocean and Meteorological Satellite)의 해색센서인 정지궤도 해양위성(GOCI: Geostationary Ocean Color Imager) 데이터의 수신, 처리, 배포를 위한 해양위성센터(KOSC: Korea Ocean Satellite Center)를 구축하고 있다. 2005년 "해양위성센터 구축사업"의 시작으로, 전파 수신 환경 등의 조건을 고려하여, 안산에 위치한 한국해양연구원 본원으로 해양위성센터의 위치를 최종 확정하여 구축을 진행하고 있다. 2009년 3월 현재 수신시스템(GDAS: GOCI Data Aquisition System), 자료전처리시스템(IMPS: Image Pre-processing System), 자료처리시스템(GDPS: GOCI Data Processing System), 자료관리 시스템(DMS: Data Management System), 통합감시제어시스템(TMC: Total Management & Controlling System), 기관간 자료교환시스템(EDES: External Data Exchange System) 등이 구축 완료되었고, 위성자료 배포시스템(DDS: Data Distribution System)을 구축하고 있다. 고용량 데이터의 원활한 전송을 위한 데이터센터를 비롯하여 사용자관점에서의 시스템 구축을 추진하고 있으며, 위성 발사 후 사용자 등록을 시작할 계획이다.

  • PDF

Implementation of CNN-based Masking Algorithm for Post Processing of Aerial Image

  • CHOI, Eunsoo;QUAN, Zhixuan;JUNG, Sangwoo
    • 한국인공지능학회지
    • /
    • 제9권2호
    • /
    • pp.7-14
    • /
    • 2021
  • Purpose: To solve urban problems, empirical research is being actively conducted to implement a smart city based on various ICT technologies, and digital twin technology is needed to effectively implement a smart city. A digital twin is essential for the realization of a smart city. A digital twin is a virtual environment that intuitively visualizes multidimensional data in the real world based on 3D. Digital twin is implemented on the premise of the convergence of GIS and BIM, and in particular, a lot of time is invested in data pre-processing and labeling in the data construction process. In digital twin, data quality is prioritized for consistency with reality, but there is a limit to data inspection with the naked eye. Therefore, in order to improve the required time and quality of digital twin construction, it was attempted to detect a building using Mask R-CNN, a deep learning-based masking algorithm for aerial images. If the results of this study are advanced and used to build digital twin data, it is thought that a high-quality smart city can be realized.

우주센터 발사통제시스템의 추적연동정보 처리기능 구현 (Implementation of Slaving Data Processing Function for Mission Control System in Space Center)

  • 최용태;나성웅
    • 한국산업정보학회논문지
    • /
    • 제19권3호
    • /
    • pp.31-39
    • /
    • 2014
  • 나로호 발사임무에서 추적장비에서 취득된 실시간 정보는 발사통제시스템의 처리를 거쳐서 비행안전 및 비행상태 감시 관련 운용자에 공급되어진다. 또한, 처리된 발사체의 위치정보는 각 추적 장비들의 추적 실패 시 재추적 시도를 위한 추적연동정보로 공급됨과 동시에 비행안전 감시의 목적으로 사용되어진다. 본 논문에서는 추적임무 수행에 가장 중요한 역할을 수행하는 추적연동정보 처리기능의 설계를 제안하였다. 가용한 모든 발사체 위치정보를 수집, 처리후 최적 위치정보를 선정하고 처리 과정에서 발생된 시간 지연 성분을 보상하여 각 추적시스템으로 분배한다. 추적연동정보의 처리의 정확성을 위하여 표준시각에서 추출한 25 ms 주기의 타임틱 신호를 기준으로 모든 처리 모듈의 동작이 동기화 된다. 제안한 방법의 정확도를 검증하기 위하여 레이더를 통해 수신한 위치정보와의 비교를 수행하였으며 그 오차는 평균 0.01도 이하로 나타났다.

고속 해상 객체 분류를 위한 양자화 적용 기반 CNN 딥러닝 모델 성능 비교 분석 (Comparative Analysis of CNN Deep Learning Model Performance Based on Quantification Application for High-Speed Marine Object Classification)

  • 이성주;이효찬;송현학;전호석;임태호
    • 인터넷정보학회논문지
    • /
    • 제22권2호
    • /
    • pp.59-68
    • /
    • 2021
  • 최근 급속도로 성장하고 있는 인공지능 기술이 자율운항선박과 같은 해상 환경에서도 적용되기 시작하면서 디지털 영상에 특화된 CNN 기반의 모델을 적용하는 관련 연구가 활발히 진행되고 있다. 이러한 해상 서비스의 경우 인적 과실을 줄이기 위해 충돌 위험이 있는 부유물을 감지하거나 선박 내부의 화재 등 여러 가지 기술이 접목되기에 실시간 처리가 매우 중요하다. 그러나 기능이 추가될수록 프로세서의 제품 가격이 증가하는 문제가 존재해 소형 선박의 선주들에게는 비용적인 측면에서 부담이 된다. 또한 대형 선박의 경우 자율운항선박의 시스템을 감안할 때, 연산 속도의 성능 향상을 위해 복잡도가 높은 딥러닝 모델의 성능을 개선하는 방법이 필요하다. 따라서 본 논문에서는 딥러닝 모델에 경량화 기법을 적용해 정확도를 유지하면서 고속으로 처리할 수 있는 방법에 대해 제안한다. 먼저 해상 부유물 검출에 적합한 영상 전처리를 진행하여 효율적으로 CNN 기반 신경망 모델 입력에 영상 데이터가 전달될 수 있도록 하였다. 또한, 신경망 모델의 알고리즘 경량화 기법 중 하나인 학습 후 파라미터 양자화 기법을 적용하여 모델의 메모리 용량을 줄이면서 추론 부분의 처리 속도를 증가시켰다. 양자화 기법이 적용된 모델을 저전력 임베디드 보드에 적용시켜 정확도와 처리 속도를 사용하는 임베디드 성능을 고려하여 설계하는 방법을 제안한다. 제안하는 방법 중 정확도 손실이 제일 최소화되는 모델을 활용해 저전력 임베디드 보드에 비교하여 기존보다 최대 4~5배 처리 속도를 개선할 수 있었다.

상용 데이타 마이닝 도구를 사용한 정량적 연관규칙 마이닝 (Mining Quantitative Association Rules using Commercial Data Mining Tools)

  • 강공미;문양세;최훈영;김진호
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제35권2호
    • /
    • pp.97-111
    • /
    • 2008
  • 상용 데이타 마이닝 도구에서는 기본적으로 이진 속성에 대한 연관규칙 마이닝만을 지원한다. 그러나, 일반적인 트랜잭션 데이타베이스는 이진 속성 뿐 아니라 정량적 속성을 포함한다. 이에 따라, 본 논문에서는 상용 데이타 마이닝 도구를 사용하여 정량적 연관규칙을 마이닝하는 체계적인 접근법을 제안한다. 이를 위해, 우선 상용 데이타 마이닝 도구를 사용하여 정량적 연관규칙을 찾아내기 위한 전체적인 프레임워크를 제안한다. 제안한 프레임워크는 정량적 속성을 이진 속성으로 변환하는 전처리 과정과 마이닝된 이진 연관규칙을 다시 정량적 연관규칙으로 변환하는 후처리 과정으로 구성된다. 다음으로, 전처리 과정을 위한 구간 분할의 개념을 제시하고, 기존의 평균 및 중앙치 기반 양분할 기법과 동일 너비 및 동일 깊이 기반 다분할 기법을 구간 분할의 개념으로 정형적으로 재정의한다. 그런데, 이들 기존 분할 기법은 속성 값의 분포를 고려하지 않은 문제점이 있다. 본 논문에서는 이를 해결하기 위하여 표준편차 최소화 기법을 제안한다. 표준편차 최소화 기법은 이웃한 속성 값의 표준편차 변화가 작다면 동일한 구간에 포함시키고, 표준편차 변화가 크다면 다른 구간으로 분할하는 매우 직관적인 분할 기법이다. 또한, 후처리 과정으로는 이진 연관규칙들을 통합하고 이를 다시 정량적 연관규칙으로 변환하는 방법을 제안한다. 마지막으로, 다양한 실험을 통하여 제안한 프레임워크가 바르게 동작함을 보이고, 표준편차 최소화 기법이 다른 기법에 비하여 우수함을 입증한다. 이 같은 결과를 볼 때, 제안한 프레임워크는 일반 사용자가 상용 데이타 마아닝 도구를 사용하여 정량적 연간규칙을 쉽게 마이닝 할 수 있는 매우 실용적인 접근법이라 생각한다.

PBFiltering: 무선 센서 네트워크에서 우선순위 기반 상향식 필터링을 이용한 에너지 효율적인 스카이라인 질의 처리 기법 (PBFiltering: An Energy Efficient Skyline Query Processing Method using Priority-based Bottom-up Filtering in Wireless Sensor Networks)

  • 성동욱;박준호;김학신;박형순;노규종;여명호;유재수
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제36권6호
    • /
    • pp.476-485
    • /
    • 2009
  • 센서 네트워크에서 병합 질의를 효율적으로 처리하기 위한 다양한 인-네트워크 질의 처리 기법들이 제안되었다. 스카이라인 질의는 일반적인 병합 질의와 달리 다차원 데이터에 대한 총괄적인 비교를 요구한다. 따라서, 부분적인 데이터만을 이용할 수 있는 인-네트워크 방식으로 처리하기 어렵다. 스카이라인 질의를 에너지 효율적으로 처리하기 위해서 불필요한 데이터의 전송을 제거하는 것이 중요하다. 기존에 제안된 스카이라인 처리 기법은 전체 네트워크에 필터를 배포함으로써 불필요한 데이터 전송을 차단한다. 하지만 많은 긍정 오류(False Positive) 발생에 따른 불필요한 데이터 전송과 필터 배포시 발생하는 에너지 소모로 인해 네트워크의 수명이 단축된다. 본 논문에서는 필터 배포에 따른 에너지 소모를 줄이기 위한 방법으로 상향식 필터 설정을 통한 스카이라인 질의 처리 기법과 필터링 성능을 향상시키는 PBFiltering 기법을 제안한다. 제안하는 기법은 필터를 미리 배포하지 않고 하위 노드로부터 기지국으로 데이터를 수집하는 과정에서 스카이라인 필터 테이블(SFT)을 만들고 필터링을 수행한다. 그리고 여기서 제안하는 우선순위 맵을 이용한 선 필터링(Pre-filtering) 기법을 통해 필터링 효율을 증가시킨다. 제안하는 알고리즘의 우수성을 보이기 위해 기존에 제안된 MFTAC 기법과의 시뮬레이션을 통해 비교 평가하였다. 그 결과 기존 기법에 비해 다수의 긍정 오류의 발생을 감소시키고, 네트워크 수명이 연장됨을 보였다.