• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.05a
• /
• pp.630-632
• /
• 2023

어텐션 메커니즘은 딥 뉴럴네트워크에 결합하여 언어 생성 모델에서 성능을 개선하였고, 이러한 성공은 다양한 신호처리 분야에 응용 및 확장되고 있다. 특정 입력 신호 부분에 선택적으로 집중함으로써, 어텐션 모델은 음성 인식, 이미지와 비디오 처리, 그리고 생체인식 등의 분야에서 더 높은 성능을 보여주고 있다. 어텐션 기반 모델은 심전도 신호를 이용한 개인식별 및 부정맥검출, 뇌파도 신호를 이용한 발작유형분류 및 수면 단계 분류, 근전도 신호를 이용한 제스처 인식 등에 사용되고 있다. 어텐션 메커니즘은 딥 뉴럴네트워크의 해석 가능성과 설명 가능성을 향상시키기 위해 사용되기도 한다. 신호 처리 분야에서의 어텐션 모델 연구는 지속적으로 진행 중이며, 다른 분야에서의 잠재력 탐구에 대한 관심이 높아지고 있다. 따라서 본 논문은 어텐션 메카니즘을 이용한 생체신호처리 연구 동향 분석을 수행한다.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.15 no.4
• /
• pp.943-950
• /
• 2011

In this paper, we presented an attention measurement method in 2D and 3D image/video to be applied for image and video retargeting and compressive processing. 2D attention is derived from the three main components, intensity, color, and orientation, while depth information is added for 3D attention. A rarity-based attention method is presented to obtain more interested region or objects. Displaced depth information is matched to attention probability in distorted stereo images and finally a stereo distortion predictor is designed by integrating low-level HVS responses. As results, more efficient attention scheme is developed from the conventional methods and performance is proved by applying for video retargeting.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.546-551
• /
• 2023

일반적으로 딥러닝 모델은 모든 라벨에 데이터 수가 균형을 이룰 때 가장 좋은 성능을 보인다. 그러나 현실에서는 특정라벨에 대한 데이터가 부족한 경우가 많으며 이로 인해 불균형 데이터 문제가 발생한다. 이에 대한 해결책으로 오버샘플링과 가중치 손실과 같은 데이터 불균형 기법이 연구되었지만 이러한 기법들은 데이터가 적은 라벨의 성능을 개선하는 동시에 데이터가 많은 라벨의 성능을 저하시키는 부작용을 가지고 있다. 본 논문에서는 이 문제를 완화시키고자 어텐션 기반의 앙상블 기법을 제안한다. 어텐션 기반의 앙상블은 데이터 불균형 기법을 적용한 모델과 적용하지 않은 모델의 출력 값을 가중 평균하여 최종 예측을 수행한다. 이때 가중치는 어텐션 메커니즘을 통해 동적으로 조절된다. 그로므로 어텐션 기반의 앙상블 모델은 입력 데이터 특성에 따라 가중치를 조절할 수가 있다. 실험은 에세이 자동 평가 데이터를 대상으로 수행하였다. 실험 결과로는 제안한 모델이 데이터 불균형 기법의 부작용을 완화하고 성능이 개선되었다.

• Annual Conference on Human and Language Technology
• /
• 2019.10a
• /
• pp.175-180
• /
• 2019

관계 추출은 문서에서 존재하는 트리플(주어, 관계어, 목적어)형식에 해당하는 단어를 추출하는 작업을 뜻한다. 본 논문에서는 멀티헤드 셀프 어텐션을 이용하여 트리플 중 주어나 목적어를 찾는 구조를 제안한다. 한국어 위키피디아와 DBpedia의 관계어를 단어 임베딩을 통해 벡터를 생성하고 입력한다. 초록과 관계어의 어텐션 이후 멀티 헤드 셀프 어텐선 구조를 통해 초록 중 관계어와 관련 있는 단어들의 가중치가 높아 진다. 멀티헤드 셀프 어텐션 과정을 반복하여 주요 단어들의 가중치가 계속해서 높아진다. 이를 입력으로 하여 정답이 될 단어의 시작과 끝을 선택한다. 제안 방법으로 직접 구축한 한국어 관계 추출 데이터셋을 대상으로 F1 0.7981의 성능을 보였다. 제안 방법은 관계어와 같이 단순한 정보만을 이용하고도 초록에서 적절한 정답 단어를 추출할 수 있음을 확인하였다. 관계어의 범위를 확장함으로서 나아가 육하원칙(5W1H)과 같은 이벤트의 추출에도 활용할 수 있을 것이다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2019.10a
• /
• pp.844-847
• /
• 2019

주가 예측은 상업적인 매력 때문에 많은 이목이 끌리는 분야이지만, 주가의 불확실성과 변동성 때문에 주가 예측은 어려운 작업이다. 최근에는 주가 예측 모델에 어텐션 메커니즘을 사용하여 주가 예측에 많은 인자들이 사용되어 생기는 성능 하락 문제를 해결하여 좋은 성능을 보여주는 연구가 존재한다. 본 연구에서는 그 모델 중 하나인 Dual-Stage Attention-Based Recurrent Neural Network(DARNN)의 어텐션 메커니즘을 변경해가며 어떤 어텐션 메커니즘이 주가 예측에 적합한지를 알아본다. KOSPI100 지수의 예측실험을 통해 location 스코어함수를 사용한 어텐션 메커니즘이 가장 뛰어난 성능을 보여주는 것을 확인하였고, 이는 기존의 스코어함수를 사용한 DARNN에 비해 약 10% 향상된 성능으로 스코어 함수가 모델의 중요한 영향을 끼치는 것을 확인하였다.

• Journal of the Institute of Convergence Signal Processing
• /
• v.23 no.1
• /
• pp.8-14
• /
• 2022

With the development of deep learning, super-resolution (SR) methods have tried to use deep learning mechanism, instead of using simple interpolation. SR methods using deep learning is generally based on convolutional neural networks (CNN), but recently, SR researches using attention mechanism have been actively conducted. In this paper, we propose an approach of improving SR performance using one of the attention mechanisms, non-local sparse attention (NLSA). Through experiments, we confirmed that the performance of the existing SR models, IMDN, CARN, and OISR-LF-s can be improved by using NLSA.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2021.06a
• /
• pp.28-31
• /
• 2021

전세계적으로 우울증은 정신 건강 질환으로써 문제가 되고 있으며, 이를 해결하기 위해 일상생활에서의 우울증 탐지에 대한 연구가 진행되고 있다. 따라서 본 논문에서는 일상생활에 밀접하게 연관되어 있는 AI 스피커를 사용한 어텐션 메커니즘(Attention Mechanism) 기반 멀티모달 우울증 감지 시스템을 제안한다. 제안된 방법은 AI 스피커로부터 수집할 수 있는 음성 및 텍스트 데이터를 수집하고 CNN(Convolutional Neural Network)과 BiLSTM(Bidirectional Long Short-Term Memory Network)를 통해 각 데이터에서의 학습을 진행한다. 학습과정에서 Self-Attention 을 적용하여 특징 벡터에 추가적인 가중치를 부여하는 어텐션 메커니즘을 사용한다. 최종적으로 음성 및 텍스트 데이터에서 어텐션 가중치가 추가된 특징들을 합하여 SoftMax 를 통해 우울증 점수를 예측한다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.108-111
• /
• 2020

한국어 의존 파싱은 전이 기반 방식과 그래프 기반 방식의 두 갈래로 연구되어 왔으며 현재 가장 높은 성능을 보이고 있는 그래프 기반 파서인 Biaffine 어텐션 모델은 입력 시퀀스를 다층의 LSTM을 통해 인코딩 한 후 각각 별도의 MLP를 적용하여 의존소와 지배소에 대한 표상을 얻고 이를 Biaffine 어텐션을 통해 모든 의존소에 대한 지배소의 점수를 얻는 모델이다. 위의 Biaffine 어텐션 모델은 별도의 High-Order 정보를 활용하지 않는 first-order 파싱 모델이며 학습과정에서 어떠한 트리 관련 손실을 얻지 않는다. 본 연구에서는 같은 부모를 공유하는 형제 노드에 대한 점수를 모델링하고 정답 트리에 대한 조건부 확률을 모델링 하는 Second-Order TreeCRF 모델을 한국어 의존 파싱에 적용하여 실험 결과를 보인다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.11a
• /
• pp.11-13
• /
• 2023

의미론적 분할(Semantic Segmentation)은 이미지 내의 객체 및 배경을 픽셀 단위로 분류하는 작업으로 정밀한 탐지가 요구되는 분야에서 활발히 연구되고 있다. 기존 어텐션 기법은 의미론적 분할의 다운샘플링(Downsampling) 과정에서 발생하는 정보손실을 완화하기 위해 널리 사용됐지만 고정된 Convolution 필터의 형태 때문에 객체의 형태에 따라 유동적으로 대응하지 못했다. 본 논문에서는 이를 보완하고자 Deformable Convolution과 셀프어텐션(Self-attention) 구조기반 어텐션 모듈을 사용한 의미론적 분할 모델을 제안한다.

• Journal of the Institute of Convergence Signal Processing
• /
• v.22 no.4
• /
• pp.156-163
• /
• 2021

Attention mechanisms have been used in deep learning-based computer vision systems, including single image super-resolution (SISR) networks. However, existing SISR networks with attention mechanism focused on real image super-resolution, so it is hard to know whether they are available for CG or VR images. In this paper, we attempt to apply a recent attention module, called balanced attention mechanism (BAM) module, to 12 state-of-the-art SISR networks, and then check whether the BAM module can achieve performance improvement in CG or VR image super-resolution. In our experiments, it has been confirmed that the performance improvement in CG or VR image super-resolution is limited and depends on data characteristics, size, and network type.