• 제목/요약/키워드: Encoder Model

검색결과 354건 처리시간 0.023초

좌표 해시 인코더를 활용한 토지피복 분류 모델 (Land Cover Classifier Using Coordinate Hash Encoder)

  • 윤용선;권동재
    • 대한원격탐사학회지
    • /
    • 제39권6_3호
    • /
    • pp.1771-1777
    • /
    • 2023
  • 최근 딥러닝의 발전으로 의미론적 분할을 통한 토지피복 분류 방법들이 제안되고 있다. 그러나 기존의 딥러닝 기반 모델들은 영상 정보만을 이용하기 때문에 시공간적 일관성을 담보할 수 없는 한계점이 있다. 이에 본 연구에서는 좌표 정보를 활용한 토지피복 분류 모델을 제안한다. 먼저 암시적 신경 표현 기법인 다중해상도 해시 인코더를 위경도 좌표계로 확장한 좌표 해시 인코더를 통해 좌표의 특징을 추출하였다. 다음으로 추출된 좌표 특징을 다양한 단계의 U-net 디코더와 결합하는 아키텍처를 제안하였다. 실험 결과, 제안 방법이 약 32% 향상된 분류 정확도를 보였고, 시공간적 일관성이 향상됨을 확인하였다.

SystemC 방법론을 적용한 JPEG Encoder 설계 (Design of a JPEG Encoder Using SystemC Methodology)

  • 오세준;조원경
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2001년도 하계종합학술대회 논문집(2)
    • /
    • pp.313-316
    • /
    • 2001
  • In this paper we present the design of a JPEG Encoder using SystemC Methodology Our methodology supports the efficient mapping of C/C++ functional descriptions directly into hardware. The use of C/C++ to model al1 parts of the system provides great flexibility and enables faster simulation compared to existing methodologies. The designer can estimate system performance and verify functional correctness of the designs using commonly available software compilers. A design flow in SystemC begins with an untimed description in C++, using a library of new data types useful for modeling hardware. The description can be compiled and simulated for functional correctness. Then, the design may be refined by adding interface specification and timing information, and again the timed description can be compiled with a standard C++ compiler, simulated, and debugged.

  • PDF

Korean automatic spacing using pretrained transformer encoder and analysis

  • Hwang, Taewook;Jung, Sangkeun;Roh, Yoon-Hyung
    • ETRI Journal
    • /
    • 제43권6호
    • /
    • pp.1049-1057
    • /
    • 2021
  • Automatic spacing in Korean is used to correct spacing units in a given input sentence. The demand for automatic spacing has been increasing owing to frequent incorrect spacing in recent media, such as the Internet and mobile networks. Therefore, herein, we propose a transformer encoder that reads a sentence bidirectionally and can be pretrained using an out-of-task corpus. Notably, our model exhibited the highest character accuracy (98.42%) among the existing automatic spacing models for Korean. We experimentally validated the effectiveness of bidirectional encoding and pretraining for automatic spacing in Korean. Moreover, we conclude that pretraining is more important than fine-tuning and data size.

Musical Genre Classification Based on Deep Residual Auto-Encoder and Support Vector Machine

  • Xue Han;Wenzhuo Chen;Changjian Zhou
    • Journal of Information Processing Systems
    • /
    • 제20권1호
    • /
    • pp.13-23
    • /
    • 2024
  • Music brings pleasure and relaxation to people. Therefore, it is necessary to classify musical genres based on scenes. Identifying favorite musical genres from massive music data is a time-consuming and laborious task. Recent studies have suggested that machine learning algorithms are effective in distinguishing between various musical genres. However, meeting the actual requirements in terms of accuracy or timeliness is challenging. In this study, a hybrid machine learning model that combines a deep residual auto-encoder (DRAE) and support vector machine (SVM) for musical genre recognition was proposed. Eight manually extracted features from the Mel-frequency cepstral coefficients (MFCC) were employed in the preprocessing stage as the hybrid music data source. During the training stage, DRAE was employed to extract feature maps, which were then used as input for the SVM classifier. The experimental results indicated that this method achieved a 91.54% F1-score and 91.58% top-1 accuracy, outperforming existing approaches. This novel approach leverages deep architecture and conventional machine learning algorithms and provides a new horizon for musical genre classification tasks.

고효율 엔트로피 부호화를 위한 ICMEP 알고리즘 설계 (Design of the ICMEP Algorithm for the Highly Efficient Entropy Encoding)

  • 이선근;임순자;김환용
    • 대한전자공학회논문지SD
    • /
    • 제41권4호
    • /
    • pp.75-82
    • /
    • 2004
  • 압축 과정 중에 빠른 처리율을 보여주는 렘펠-짚 알고리즘의 결합에 의하여 채널 전송율은 증가한다. 영상정보의 압축 과정동안 처리율을 향상시키기 위하여 ICMEP 알고리즘을 제안하였으며 HDTV에 적용시켜 엔트로피 부호화기를 설계하였으며 이를 검증하였다. ICMEP 엔트로피 암호기는 top-down 방식을 이용하여 설계하였으며 VHDL을 이용하여 회로 합성 및 모의실험을 수행하였다. 모의실험 결과, 구현된 ICHEP 엔트로피 부호화기는 메모리 포화방지 및 압축률 증가로 인하여 전체적인 시스템 효율이 향상됨을 확인하였다.

Time-Series Forecasting Based on Multi-Layer Attention Architecture

  • Na Wang;Xianglian Zhao
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제18권1호
    • /
    • pp.1-14
    • /
    • 2024
  • Time-series forecasting is extensively used in the actual world. Recent research has shown that Transformers with a self-attention mechanism at their core exhibit better performance when dealing with such problems. However, most of the existing Transformer models used for time series prediction use the traditional encoder-decoder architecture, which is complex and leads to low model processing efficiency, thus limiting the ability to mine deep time dependencies by increasing model depth. Secondly, the secondary computational complexity of the self-attention mechanism also increases computational overhead and reduces processing efficiency. To address these issues, the paper designs an efficient multi-layer attention-based time-series forecasting model. This model has the following characteristics: (i) It abandons the traditional encoder-decoder based Transformer architecture and constructs a time series prediction model based on multi-layer attention mechanism, improving the model's ability to mine deep time dependencies. (ii) A cross attention module based on cross attention mechanism was designed to enhance information exchange between historical and predictive sequences. (iii) Applying a recently proposed sparse attention mechanism to our model reduces computational overhead and improves processing efficiency. Experiments on multiple datasets have shown that our model can significantly increase the performance of current advanced Transformer methods in time series forecasting, including LogTrans, Reformer, and Informer.

적층 콘볼루션 오토엔코더를 활용한 악성코드 탐지 기법 (Technique for Malicious Code Detection using Stacked Convolution AutoEncoder)

  • 최현웅;허준영
    • 한국인터넷방송통신학회논문지
    • /
    • 제20권2호
    • /
    • pp.39-44
    • /
    • 2020
  • 악성코드는 탐지 프로그램을 피해 기기들에게 피해를 유발한다. 기존의 악성코드 탐지 기법으로 이러한 새로운 악성코드를 탐지하는데 어려움을 겪는 이유는 서명 기반의 탐지 기법을 사용하기 때문이다. 이 기법은 기존 악성코드들은 효과적으로 탐지하지만, 새로운 악성코드에 대해서는 탐지가 어렵다. 이러한 문제점을 인식하여, 휴리스틱 기법을 추가적으로 사용한다. 이 논문에서는 딥러닝을 활용하여 악성코드를 탐지하는 기술에 대해 소개하여 새로운 악성코드를 탐지하는 기술에 대해서 제안한다. 또한, 악성코드를 탐지한다는 것은, 기기에서 실행 가능한 파일의 개수는 무수히 많으므로, 지도학습 방식(Supervisor Learning)으로는 분명한 한계가 존재한다. 그렇기 때문에, 준지도 학습으로 알려진 SCAE(Stacked Convolution AutoEncoder)를 활용한다, 파일들의 바이트 정보들을 추출하여, 이미지화를 진행하고, 이 이미지들을 학습을 시켜, 학습 시키지 않은 10,869개의 악성코드, 3,442개의 비악성코드를 모델에 추론한 결과 정확도를 98.84%을 달성하였다.

오토 인코더 기반의 단일 클래스 이상 탐지 모델을 통한 네트워크 침입 탐지 (Network Intrusion Detection with One Class Anomaly Detection Model based on Auto Encoder.)

  • 민병준;유지훈;김상수;신동일;신동규
    • 인터넷정보학회논문지
    • /
    • 제22권1호
    • /
    • pp.13-22
    • /
    • 2021
  • 최근 네트워크 환경에 대한 공격이 급속도로 고도화 및 지능화 되고 있기에, 기존의 시그니처 기반 침입탐지 시스템은 한계점이 명확해지고 있다. 지능형 지속 위협(Adavanced Persistent Threat; APT)과 같은 새로운 공격에 대해서 시그니처 패턴은 일반화 성능이 떨어지는 문제가 존재한다. 이러한 문제를 해결하기 위해 기계학습 기반의 침입 탐지 시스템에 대한 연구가 활발히 진행되고 있다. 하지만 실제 네트워크 환경에서 공격 샘플은 정상 샘플에 비해서 매우 적게 수집되어 클래스 불균형(Class Imbalance) 문제를 겪게 된다. 이러한 데이터로 지도 학습 기반의 이상 탐지 모델을 학습시킬 경우 정상 샘플에 편향된 결과를 가지게 된다. 본 논문에서는 이러한 불균형 문제를 해결하기 위해서 오토 인코더(Auto Encoder; AE)를 활용해 One-Class Anomaly Detection 을 수행하여 이를 극복한다. 실험은 NSL-KDD 데이터 셋을 통해 진행되었으며, 제안한 방법의 성능 평가를 위해 지도 학습된 모델들과 성능을 비교한다.

VAE(Variational AutoEncoder) 기반 머신러닝 모델을 활용한 체중 라이프로그 이상탐지에 관한 연구 (Study on Lifelog Anomaly Detection using VAE-based Machine Learning Model)

  • 김지용;박민서
    • 문화기술의 융합
    • /
    • 제8권4호
    • /
    • pp.91-98
    • /
    • 2022
  • 웨어러블 기기를 통해 지속적으로 수집되는 라이프로그 데이터는 많은 이상값을 포함할 수 있으므로 데이터품질을 향상시키기 위해서는 이상값을 찾아 제거하는 것이 필요하다. 일반적으로 이상치의 개수가 정상 데이터의 개수보다 적기 때문에 클래스 불균형 문제가 발생한다. 이러한 불균형 문제를 해결하기 위해 Variational AutoEncoder를 outlier에 적용하는 방법을 제안한다. 제안된 방법으로 이상치 데이터를 전처리한 후, 다수의 머신러닝 모델(분류)을 통해 검증한다. 체중 데이터를 이용한 검증 결과, 모든 분류 모델에서 성능이 향상됨을 확인하였다. 실험 결과를 바탕으로 라이프로그 체중 데이터 분석 시 본 연구에서 제안한 이상치 처리 방법을 이용하여 데이터를 전처리한 후 성능이 가장 좋은 LightGBM 모델을 적용할 것을 제안한다.

합성곱 신경망과 인코더-디코더 모델들을 이용한 익형의 유체력 계수와 유동장 예측 (Prediction of aerodynamic force coefficients and flow fields of airfoils using CNN and Encoder-Decoder models)

  • 서장훈;윤현식;김민일
    • 한국가시화정보학회지
    • /
    • 제20권3호
    • /
    • pp.94-101
    • /
    • 2022
  • The evaluation of the drag and lift as the aerodynamic performance of airfoils is essential. In addition, the analysis of the velocity and pressure fields is needed to support the physical mechanism of the force coefficients of the airfoil. Thus, the present study aims at establishing two different deep learning models to predict force coefficients and flow fields of the airfoil. One is the convolutional neural network (CNN) model to predict drag and lift coefficients of airfoil. Another is the Encoder-Decoder (ED) model to predict pressure distribution and velocity vector field. The images of airfoil section are applied as the input data of both models. Thus, the computational fluid dynamics (CFD) is adopted to form the dataset to training and test of both CNN models. The models are established by the convergence performance for the various hyperparameters. The prediction capability of the established CNN model and ED model is evaluated for the various NACA sections by comparing the true results obtained by the CFD, resulting in the high accurate prediction. It is noted that the predicted results near the leading edge, where the velocity has sharp gradient, reveal relatively lower accuracies. Therefore, the more and high resolved dataset are required to improve the highly nonlinear flow fields.