• 제목/요약/키워드: deep learning encoder

검색결과 146건 처리시간 0.025초

Aspect-based Sentiment Analysis of Product Reviews using Multi-agent Deep Reinforcement Learning

  • M. Sivakumar;Srinivasulu Reddy Uyyala
    • Asia pacific journal of information systems
    • /
    • 제32권2호
    • /
    • pp.226-248
    • /
    • 2022
  • The existing model for sentiment analysis of product reviews learned from past data and new data was labeled based on training. But new data was never used by the existing system for making a decision. The proposed Aspect-based multi-agent Deep Reinforcement learning Sentiment Analysis (ADRSA) model learned from its very first data without the help of any training dataset and labeled a sentence with aspect category and sentiment polarity. It keeps on learning from the new data and updates its knowledge for improving its intelligence. The decision of the proposed system changed over time based on the new data. So, the accuracy of the sentiment analysis using deep reinforcement learning was improved over supervised learning and unsupervised learning methods. Hence, the sentiments of premium customers on a particular site can be explored to other customers effectively. A dynamic environment with a strong knowledge base can help the system to remember the sentences and usage State Action Reward State Action (SARSA) algorithm with Bidirectional Encoder Representations from Transformers (BERT) model improved the performance of the proposed system in terms of accuracy when compared to the state of art methods.

제조업 전력량 예측 정확성 향상을 위한 Double Encoder-Decoder 모델 (Double Encoder-Decoder Model for Improving the Accuracy of the Electricity Consumption Prediction in Manufacturing)

  • 조영창;고병길;성종훈;조영식
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제9권12호
    • /
    • pp.419-430
    • /
    • 2020
  • 본 연구는 기존 전력량 예측 모델의 구조를 변경하여 모델의 예측 능력을 향상 시킬 수 있는 방법에 관하여 연구하였다. 전기에 대한 수요는 그 어느 때보다 증가하고 있다. 산업 부문에서는 그 어느 부문 보다 전기 소모량이 많음으로, 더욱 정확한 공장 지역의 전력량 소모 예측 모델이 잉여 에너지 생산을 줄이기 위해 주목을 받고 있다. 우리는 2개의 개별 encoder와 한개의 decoder를 사용하여, 장기와 단기 데이터를 모두 사용하는 double encoder-decoder 모델을 제안한다. 우리는 제안된 모델을 세홍(주)의 생산 구역에서 2019년 1월 1일부터 2019년 6월 30일 까지 모집된 전력 소모량 데이터에서 평가 하였다. double encoder-decoder 모델은 기존의 encoder-decoder 모델을 사용했을 때와 비교하여 약 10 %의 평균 절대 비율 오차의 감소를 기록 하였다. 본 결과는 제안한 모델이 encoder-decoder 모델에 비해 생산 지역의 전력 사용량의 예측을 더 정확하게 하는 모델임을 보여준다.

도로 노면 파손 인식을 위한 Multi-scale 학습 방식의 암호화 형식 의미론적 분할 알고리즘 (Encoder Type Semantic Segmentation Algorithm Using Multi-scale Learning Type for Road Surface Damage Recognition)

  • 심승보;송영은
    • 한국ITS학회 논문지
    • /
    • 제19권2호
    • /
    • pp.89-103
    • /
    • 2020
  • 고령화 사회에 접어들면서 거동이 어려운 장애인과 고령자의 개인 교통수단에 대한 수요가 증가하고 있다. 실제로 2017년 기준 전국 전동보장구 보급수는 9만여 대로 지속해서 증가하는 추세다. 하지만 장애인 및 고령자의 판단 능력과 조정 능력은 정상인보다 상대적으로 차이가 있는 관계로 주행 중 사고 발생의 가능성이 크다. 다양한 사고의 원인 중 하나는 도로 노면상태의 불균형으로 인해 개인 이동 수단 조향 제어의 간섭이다. 본 논문에서는 이 같은 사고를 예방하고자 도로 노면 상태를 고속으로 인지할 수 있는 암호화 형식 의미론적 분할 알고리즘을 소개한다. 이를 위하여 도로 노면 파손이 포함된 1,500여 장의 학습용 데이터와 150여 장의 테스트용 데이터를 새롭게 구성하였다. 그리고 이를 활용하여 기존의 Encoder와 Decoder 단계로 구성된 Auto-encoder 방식과 달리 Encoder 단계로 이루어진 심층 신경망을 제안하였다. 이 심층 신경망은 기존의 방식과 비교했을 때 평균 정확도(Mean Accuracy)는 4.45% 증가하였고 파라미터는 59.2% 감소하였으며 연산 속도는 11.9% 향상되었다. 이 같은 고속 알고리즘을 활용하여 안전한 개인 이동 수단이 확대 적용되길 기대한다.

멀티 모달 지도 대조 학습을 이용한 농작물 병해 진단 예측 방법 (Multimodal Supervised Contrastive Learning for Crop Disease Diagnosis)

  • 이현석;여도엽;함규성;오강한
    • 대한임베디드공학회논문지
    • /
    • 제18권6호
    • /
    • pp.285-292
    • /
    • 2023
  • With the wide spread of smart farms and the advancements in IoT technology, it is easy to obtain additional data in addition to crop images. Consequently, deep learning-based crop disease diagnosis research utilizing multimodal data has become important. This study proposes a crop disease diagnosis method using multimodal supervised contrastive learning by expanding upon the multimodal self-supervised learning. RandAugment method was used to augment crop image and time series of environment data. These augmented data passed through encoder and projection head for each modality, yielding low-dimensional features. Subsequently, the proposed multimodal supervised contrastive loss helped features from the same class get closer while pushing apart those from different classes. Following this, the pretrained model was fine-tuned for crop disease diagnosis. The visualization of t-SNE result and comparative assessments of crop disease diagnosis performance substantiate that the proposed method has superior performance than multimodal self-supervised learning.

Network Intrusion Detection Using Transformer and BiGRU-DNN in Edge Computing

  • Huijuan Sun
    • Journal of Information Processing Systems
    • /
    • 제20권4호
    • /
    • pp.458-476
    • /
    • 2024
  • To address the issue of class imbalance in network traffic data, which affects the network intrusion detection performance, a combined framework using transformers is proposed. First, Tomek Links, SMOTE, and WGAN are used to preprocess the data to solve the class-imbalance problem. Second, the transformer is used to encode traffic data to extract the correlation between network traffic. Finally, a hybrid deep learning network model combining a bidirectional gated current unit and deep neural network is proposed, which is used to extract long-dependence features. A DNN is used to extract deep level features, and softmax is used to complete classification. Experiments were conducted on the NSLKDD, UNSWNB15, and CICIDS2017 datasets, and the detection accuracy rates of the proposed model were 99.72%, 84.86%, and 99.89% on three datasets, respectively. Compared with other relatively new deep-learning network models, it effectively improved the intrusion detection performance, thereby improving the communication security of network data.

자율주행 차량을 위한 멀티 레이블 차선 검출 딥러닝 알고리즘 (Multi-label Lane Detection Algorithm for Autonomous Vehicle Using Deep Learning)

  • 박채송;이경수
    • 자동차안전학회지
    • /
    • 제16권1호
    • /
    • pp.29-34
    • /
    • 2024
  • This paper presents a multi-label lane detection method for autonomous vehicles based on deep learning. The proposed algorithm can detect two types of lanes: center lane and normal lane. The algorithm uses a convolution neural network with an encoder-decoder architecture to extract features from input images and produce a multi-label heatmap for predicting lane's label. This architecture has the potential to detect more diverse types of lanes in that it can add the number of labels by extending the heatmap's dimension. The proposed algorithm was tested on an OpenLane dataset and achieved 85 Frames Per Second (FPS) in end to-end inference time. The results demonstrate the usability and computational efficiency of the proposed algorithm for the lane detection in autonomous vehicles.

Hybrid model-based and deep learning-based metal artifact reduction method in dental cone-beam computed tomography

  • Jin Hur;Yeong-Gil Shin;Ho Lee
    • Nuclear Engineering and Technology
    • /
    • 제55권8호
    • /
    • pp.2854-2863
    • /
    • 2023
  • Objective: To present a hybrid approach that incorporates a constrained beam-hardening estimator (CBHE) and deep learning (DL)-based post-refinement for metal artifact reduction in dental cone-beam computed tomography (CBCT). Methods: Constrained beam-hardening estimator (CBHE) is derived from a polychromatic X-ray attenuation model with respect to X-ray transmission length, which calculates associated parameters numerically. Deep-learning-based post-refinement with an artifact disentanglement network (ADN) is performed to mitigate the remaining dark shading regions around a metal. Artifact disentanglement network (ADN) supports an unsupervised learning approach, in which no paired CBCT images are required. The network consists of an encoder that separates artifacts and content and a decoder for the content. Additionally, ADN with data normalization replaces metal regions with values from bone or soft tissue regions. Finally, the metal regions obtained from the CBHE are blended into reconstructed images. The proposed approach is systematically assessed using a dental phantom with two types of metal objects for qualitative and quantitative comparisons. Results: The proposed hybrid scheme provides improved image quality in areas surrounding the metal while preserving native structures. Conclusion: This study may significantly improve the detection of areas of interest in many dentomaxillofacial applications.

비지도학습 오토 엔코더를 활용한 네트워크 이상 검출 기술 (Network Anomaly Detection Technologies Using Unsupervised Learning AutoEncoders)

  • 강구홍
    • 정보보호학회논문지
    • /
    • 제30권4호
    • /
    • pp.617-629
    • /
    • 2020
  • 인터넷 컴퓨팅 환경의 변화, 새로운 서비스 출현, 그리고 지능화되어 가는 해커들의 다양한 공격으로 인한 규칙 기반 침입탐지시스템의 한계점을 극복하기 위해 기계학습 및 딥러닝 기술을 활용한 네트워크 이상 검출(NAD: Network Anomaly Detection)에 대한 관심이 집중되고 있다. NAD를 위한 대부분의 기존 기계학습 및 딥러닝 기술은 '정상'과 '공격'으로 레이블링된 훈련용 데이터 셋을 학습하는 지도학습 방법을 사용한다. 본 논문에서는 공격의 징후가 없는 일상의 네트워크에서 수집할 수 있는 레이블링이 필요 없는 데이터 셋을 이용하는 비지도학습 오토 엔코더(AE: AutoEncoder)를 활용한 NAD 적용 가능성을 제시한다. AE 성능을 검증하기 위해 NSL-KDD 훈련 및 시험 데이터 셋을 사용해 정확도, 정밀도, 재현율, f1-점수, 그리고 ROC AUC (Receiver Operating Characteristic Area Under Curve) 값을 보인다. 특히 이들 성능지표를 대상으로 AE의 층수, 규제 강도, 그리고 디노이징 효과 등을 분석하여 레퍼런스 모델을 제시하였다. AE의 훈련 데이터 셋에 대한 재생오류 82-th 백분위수를 기준 값으로 KDDTest+와 KDDTest-21 시험 데이터 셋에 대해 90.4%와 89% f1-점수를 각각 보였다.

비프로파일링 기반 전력 분석의 성능 향상을 위한 오토인코더 기반 잡음 제거 기술 (Improving Non-Profiled Side-Channel Analysis Using Auto-Encoder Based Noise Reduction Preprocessing)

  • 권동근;진성현;김희석;홍석희
    • 정보보호학회논문지
    • /
    • 제29권3호
    • /
    • pp.491-501
    • /
    • 2019
  • 최근 보안 디바이스의 물리적 취약성을 찾을 수 있는 부채널 분석 분야에서 딥러닝을 활용한 연구가 활발히 진행되고 있다. 하지만, 최신 딥러닝 기반 부채널 분석 기술 연구는 템플릿 공격 등과 같은 프로파일링 기반 부채널 분석 환경에서 파형을 옳게 분류하기 위한 연구에 집중되어 있다. 본 논문에서는 이전 연구들과 다르게 딥러닝을 신호 전처리 기법으로 활용하여 차분 전력 분석, 상관 전력 분석 등과 같은 논프로파일링 기반 부채널 분석의 성능을 고도화할 수 있는 방법을 제안한다. 제안기법은 오토인코더를 부채널 분석 환경에 적합하게 변경하여 부채널 정보의 노이즈를 제거하는 전처리 기법으로, 기존 노이즈 제거 오토인코더는 임의로 추가한 노이즈에 대한 학습을 하였다면 제안하는 기법은 노이즈가 제거된 라벨을 사용하여 실제 데이터의 노이즈를 학습한다. 제안기법은 논프로파일링 환경에서 수행 가능한 전처리 기법이며 하나의 뉴런 네트워크의 학습만을 통해 수행할 수 있다. 본 논문에서는 실험을 통해 제안기법의 노이즈 제거 성능을 입증하였으며, 주성분분석 및 선형판별분석과 같은 기존 전처리 기법들과 비교하여 우수하다는 것을 보인다.

A Deep Learning-Based Rate Control for HEVC Intra Coding

  • Marzuki, Ismail;Sim, Donggyu
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2019년도 추계학술대회
    • /
    • pp.180-181
    • /
    • 2019
  • This paper proposes a rate control algorithm for intra coding frame in HEVC encoder using a deep learning approach. The proposed algorithm is designed for CTU level bit allocation in intra frame by considering visual features spatially and temporally. Our features are generated using visual geometry group (VGG-16) with deep convolutional layers, then it is used for bit allocation per each CTU within an intra frame. According to our experiments, the proposed algorithm can achieve -2.04% Luma component BD-rate gain with minimal bit accuracy loss against the HM-16.20 rate control model.

  • PDF