• 제목/요약/키워드: attention mechanism

검색결과 794건 처리시간 0.021초

Attention 기법을 적용한 LSTM-s2s 모델 기반 댐유입량 예측 연구 (Prediction of dam inflow based on LSTM-s2s model using luong attention)

  • 이종혁;최수연;김연주
    • 한국수자원학회논문집
    • /
    • 제55권7호
    • /
    • pp.495-504
    • /
    • 2022
  • 최근 인공지능의 발전으로 시계열 자료 분석에 효과적인 Long Short-Term Memory (LSTM) 모델이 댐유입량 예측의 정확도를 높이는 데 활용되고 있다. 본 연구에서는 그 중 LSTM의 성능을 더욱 향상할 수 있는 Sequence-to-Sequence (s2s) 구조에 Attention 기법을 LSTM 모델에 첨가하여 소양강댐 유역의 유입량을 예측하였다. 분석 데이터는 2013년부터 2020년까지의 유입량 시자료와 종관기상관측기온 및 강수량 자료를 학습, 검증, 평가로 나누어 훈련한 후, 모델의 성능 평가를 진행하였다. 분석 결과, LSTM-s2s 모델보다 attention까지 첨가한 모델이 일반적으로 더 좋은 성능을 보였으며, attention 첨가 모델이 첨두값도 더 잘 예측하는 모습을 보였다. 그리고 두 모델 모두 첨두값 발생 동안 유량 패턴을 잘 반영하였지만 세밀한 시간 단위 변화량에는 어려움이 있었다. 이를 통해 시간 단위 예측의 어려움에도 불구하고, LSTM-s2s에 attention까지 첨가한 모델이 기존 LSTM-s2s의 예측 성능을 향상할 수 있음을 알 수 있었다.

E2GSM: Energy Effective Gear-Shifting Mechanism in Cloud Storage System

  • You, Xindong;Han, GuangJie;Zhu, Chuan;Dong, Chi;Shen, Jian
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제10권10호
    • /
    • pp.4681-4702
    • /
    • 2016
  • Recently, Massive energy consumption in Cloud Storage System has attracted great attention both in industry and research community. However, most of the solutions utilize single method to reduce the energy consumption only in one aspect. This paper proposed an energy effective gear-shifting mechanism (E2GSM) in Cloud Storage System to save energy consumption from multi-aspects. E2GSM is established on data classification mechanism and data replication management strategy. Data is classified according to its properties and then be placed into the corresponding zones through the data classification mechanism. Data replication management strategies determine the minimum replica number through a mathematical model and make decision on replica placement. Based on the above data classification mechanism and replica management strategies, the energy effective gear-shifting mechanism (E2GSM) can automatically gear-shifting among the nodes. Mathematical analytical model certificates our proposed E2GSM is energy effective. Simulation experiments based on Gridsim show that the proposed gear-shifting mechanism is cost effective. Compared to the other energy-saved mechanism, our E2GSM can save energy consumption substantially at the slight expense of performance loss while meeting the QoS of user.

딥러닝 기반의 Semantic Segmentation을 위한 DeepLabv3+에서 강조 기법에 관한 연구 (A Study on Attention Mechanism in DeepLabv3+ for Deep Learning-based Semantic Segmentation)

  • 신석용;이상훈;한현호
    • 한국융합학회논문지
    • /
    • 제12권10호
    • /
    • pp.55-61
    • /
    • 2021
  • 본 논문에서는 정밀한 semantic segmentation을 위해 강조 기법을 활용한 DeepLabv3+ 기반의 인코더-디코더 모델을 제안하였다. DeepLabv3+는 딥러닝 기반 semantic segmentation 방법이며 자율주행 자동차, 적외선 이미지 분석 등의 응용 분야에서 주로 사용된다. 기존 DeepLabv3+는 디코더 부분에서 인코더의 중간 특징맵 활용이 적어 복원 과정에서 손실이 발생한다. 이러한 복원 손실은 분할 정확도를 감소시키는 문제를 초래한다. 따라서 제안하는 방법은 하나의 중간 특징맵을 추가로 활용하여 복원 손실을 최소화하였다. 또한, 추가 중간 특징맵을 효과적으로 활용하기 위해 작은 크기의 특징맵부터 계층적으로 융합하였다. 마지막으로, 디코더에 강조 기법을 적용하여 디코더의 중간 특징맵 융합 능력을 극대화하였다. 본 논문은 거리 영상 분할연구에 공통으로 사용되는 Cityscapes 데이터셋에서 제안하는 방법을 평가하였다. 실험 결과는 제안하는 방법이 기존 DeepLabv3+와 비교하여 향상된 분할 결과를 보였다. 이를 통해 제안하는 방법은 높은 정확도가 필요한 응용 분야에서 활용될 수 있다.

AMT용 새로운 변속자동 메커니즘 설계 및 해석 (Design and Analysis of a New Shift Automation Mechanism for Automated Manual Transmission)

  • 김정윤;김기대
    • 산업경영시스템학회지
    • /
    • 제34권4호
    • /
    • pp.66-71
    • /
    • 2011
  • This article proposes a novel shift automation mechanism for an automated manual transmission (AMT). The development of an automated manual transmission is currently being paid considerable attention by vehicle manufacturers, with the prospects of combining the comfort of an automatic transmission and the high efficiency of a manual transmission. In order to automate the shift mechanism of a manual transmission, the proposed shift automation mechanism consists of two electric motors, cross shaped pinion gears, rack type shift rails, and a ball splined hollow shaft. First we describe the shift mechanism and operating principles of a manual transmission to investigate important design criteria for the shift automation device. And a new shift automation mechanism is described with its structure, elements, and operating principles in detail. Using a conventional manual transmission, we develop a full three-dimensional CAD model of an AMT which includes main components of the manual transmission and the designed shift automation mechanism. Finally we investigate the operating performances and feasibility of the designed AMT by a dynamic analysis.

스킵 포인팅 모델 기반 포인터 네트워크 (Pointer Networks based on Skip Pointing Model)

  • 박천음;이창기
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제22권12호
    • /
    • pp.625-631
    • /
    • 2016
  • 포인터 네트워크는 어텐션 메커니즘(Attention mechanism)을 기반으로 입력열에 대응되는 위치를 결과 리스트로 출력하는 모델이다. 포인터 네트워크를 수행할 때 입력열의 크기를 N이라고 하면, 각 입력에 대한 어텐션(attention)을 계산하기 때문에 시간복잡도는 $O(N^2)$이 되어 디코딩 시간이 길어진다. 이에 따라, 본 논문에서는 포인터 네트워크의 디코딩 시간을 줄이기 위하여 디코딩 시에 필요한 입력 정보만을 확인하는 스킵 포인팅 모델 기반 포인터 네트워크를 제안한다. 본 논문에서 제안한 방법을 이용하여 대명사 상호참조해결에 대한 실험을 수행한 결과, 일반 포인터 네트워크에 비하여 문장당 처리 시간이 약 1.15배 빠른 속도와, MUC F1 값이 약 2.17% 향상된 83.60%의 성능을 보였다.

Self-Attention을 적용한 문장 임베딩으로부터 이미지 생성 연구 (A Study on Image Generation from Sentence Embedding Applying Self-Attention)

  • 유경호;노주현;홍택은;김형주;김판구
    • 스마트미디어저널
    • /
    • 제10권1호
    • /
    • pp.63-69
    • /
    • 2021
  • 사람이 어떤 문장을 보고 그 문장에 대해 이해하는 것은 문장 안에서 주요한 단어를 이미지로 연상시켜 그 문장에 대해 이해한다. 이러한 연상과정을 컴퓨터가 할 수 있도록 하는 것을 text-to-image라고 한다. 기존 딥 러닝 기반 text-to-image 모델은 Convolutional Neural Network(CNN)-Long Short Term Memory(LSTM), bi-directional LSTM을 사용하여 텍스트의 특징을 추출하고, GAN에 입력으로 하여 이미지를 생성한다. 기존 text-to-image 모델은 텍스트 특징 추출에서 기본적인 임베딩을 사용하였으며, 여러 모듈을 사용하여 이미지를 생성하므로 학습 시간이 오래 걸린다. 따라서 본 연구에서는 자연어 처리분야에서 성능 향상을 보인 어텐션 메커니즘(Attention Mechanism)을 문장 임베딩에 사용하여 특징을 추출하고, 추출된 특징을 GAN에 입력하여 이미지를 생성하는 방법을 제안한다. 실험 결과 기존 연구에서 사용되는 모델보다 inception score가 높았으며 육안으로 판단하였을 때 입력된 문장에서 특징을 잘 표현하는 이미지를 생성하였다. 또한, 긴 문장이 입력되었을 때에도 문장을 잘 표현하는 이미지를 생성하였다.

Deep learning-based post-disaster building inspection with channel-wise attention and semi-supervised learning

  • Wen Tang;Tarutal Ghosh Mondal;Rih-Teng Wu;Abhishek Subedi;Mohammad R. Jahanshahi
    • Smart Structures and Systems
    • /
    • 제31권4호
    • /
    • pp.365-381
    • /
    • 2023
  • The existing vision-based techniques for inspection and condition assessment of civil infrastructure are mostly manual and consequently time-consuming, expensive, subjective, and risky. As a viable alternative, researchers in the past resorted to deep learning-based autonomous damage detection algorithms for expedited post-disaster reconnaissance of structures. Although a number of automatic damage detection algorithms have been proposed, the scarcity of labeled training data remains a major concern. To address this issue, this study proposed a semi-supervised learning (SSL) framework based on consistency regularization and cross-supervision. Image data from post-earthquake reconnaissance, that contains cracks, spalling, and exposed rebars are used to evaluate the proposed solution. Experiments are carried out under different data partition protocols, and it is shown that the proposed SSL method can make use of unlabeled images to enhance the segmentation performance when limited amount of ground truth labels are provided. This study also proposes DeepLab-AASPP and modified versions of U-Net++ based on channel-wise attention mechanism to better segment the components and damage areas from images of reinforced concrete buildings. The channel-wise attention mechanism can effectively improve the performance of the network by dynamically scaling the feature maps so that the networks can focus on more informative feature maps in the concatenation layer. The proposed DeepLab-AASPP achieves the best performance on component segmentation and damage state segmentation tasks with mIoU scores of 0.9850 and 0.7032, respectively. For crack, spalling, and rebar segmentation tasks, modified U-Net++ obtains the best performance with Igou scores (excluding the background pixels) of 0.5449, 0.9375, and 0.5018, respectively. The proposed architectures win the second place in IC-SHM2021 competition in all five tasks of Project 2.

어텐션 기법 및 의료 영상에의 적용에 관한 최신 동향 (The Latest Trends in Attention Mechanisms and Their Application in Medical Imaging)

  • 신형섭;이정룡;어태준;전요한;김세원;황도식
    • 대한영상의학회지
    • /
    • 제81권6호
    • /
    • pp.1305-1333
    • /
    • 2020
  • 딥러닝 기술은 빅데이터 및 컴퓨팅 파워를 기반으로 최근 영상의학 분야의 연구에서 괄목할만한 성과를 이루어 내고 있다. 하지만 성능 향상을 위해 딥러닝 네트워크가 깊어질수록 그 내부의 계산 과정을 해석하기 어려워졌는데, 이는 환자의 생명과 직결되는 의료분야의 의사결정 과정에서는 매우 심각한 문제이다. 이를 해결하기 위해 "설명 가능한 인공지능 기술"이 연구되고 있으며, 그중 하나로 개발된 것이 바로 어텐션(attention) 기법이다. 본 종설에서는 이미 학습이 완료된 네트워크를 분석하기 위한 Post-hoc attention과, 네트워크 성능의 추가적인 향상을 위한 Trainable attention 두 종류의 기법에 대해 각각의 방법 및 의료 영상 연구에 적용된 사례, 그리고 향후 전망 등에 대해 자세히 다루고자 한다.

Real Scene Text Image Super-Resolution Based on Multi-Scale and Attention Fusion

  • Xinhua Lu;Haihai Wei;Li Ma;Qingji Xue;Yonghui Fu
    • Journal of Information Processing Systems
    • /
    • 제19권4호
    • /
    • pp.427-438
    • /
    • 2023
  • Plenty of works have indicated that single image super-resolution (SISR) models relying on synthetic datasets are difficult to be applied to real scene text image super-resolution (STISR) for its more complex degradation. The up-to-date dataset for realistic STISR is called TextZoom, while the current methods trained on this dataset have not considered the effect of multi-scale features of text images. In this paper, a multi-scale and attention fusion model for realistic STISR is proposed. The multi-scale learning mechanism is introduced to acquire sophisticated feature representations of text images; The spatial and channel attentions are introduced to capture the local information and inter-channel interaction information of text images; At last, this paper designs a multi-scale residual attention module by skillfully fusing multi-scale learning and attention mechanisms. The experiments on TextZoom demonstrate that the model proposed increases scene text recognition's (ASTER) average recognition accuracy by 1.2% compared to text super-resolution network.

Toxicological Mechanism of Endocrine Disrupting Chemicals: Is Estrogen Receptor Involved?

  • Jeung, Eui-Bae;Choi, Kyung-Chul
    • Toxicological Research
    • /
    • 제26권4호
    • /
    • pp.237-243
    • /
    • 2010
  • Endocrine disrupting chemicals (EDCs) have been shown to interfere with physiological systems, i.e., adversely affecting hormone balance (endocrine system), or disrupting normal function, in the female and male reproductive organs. Although endocrine disruption is a global concern for human health, its impact and significance and the screening strategy for detecting these synthetic or man-made chemicals are not clearly understood in female and male reproductive functions. Thus, in this review, we summarize the interference of environmental EDCs on reproductive development and function, and toxicological mechanism(s) of EDCs in in vitro and in vivo models of male and female reproductive system. In addition, this review highlights the effect of exposure to multiple EDCs on reproductive functions, and brings attention to their toxicological mechanism(s) through estrogen receptors.