• Annual Conference on Human and Language Technology
• /
• 2019.10a
• /
• pp.175-180
• /
• 2019

관계 추출은 문서에서 존재하는 트리플(주어, 관계어, 목적어)형식에 해당하는 단어를 추출하는 작업을 뜻한다. 본 논문에서는 멀티헤드 셀프 어텐션을 이용하여 트리플 중 주어나 목적어를 찾는 구조를 제안한다. 한국어 위키피디아와 DBpedia의 관계어를 단어 임베딩을 통해 벡터를 생성하고 입력한다. 초록과 관계어의 어텐션 이후 멀티 헤드 셀프 어텐선 구조를 통해 초록 중 관계어와 관련 있는 단어들의 가중치가 높아 진다. 멀티헤드 셀프 어텐션 과정을 반복하여 주요 단어들의 가중치가 계속해서 높아진다. 이를 입력으로 하여 정답이 될 단어의 시작과 끝을 선택한다. 제안 방법으로 직접 구축한 한국어 관계 추출 데이터셋을 대상으로 F1 0.7981의 성능을 보였다. 제안 방법은 관계어와 같이 단순한 정보만을 이용하고도 초록에서 적절한 정답 단어를 추출할 수 있음을 확인하였다. 관계어의 범위를 확장함으로서 나아가 육하원칙(5W1H)과 같은 이벤트의 추출에도 활용할 수 있을 것이다.

• Annual Conference on Human and Language Technology
• /
• 2018.10a
• /
• pp.682-684
• /
• 2018

구문 분석은 문장을 구성하는 단어들 간의 관계를 알아내 문장의 구조를 분석하는 작업이다. 구문 분석은 구구조 분석과 의존 구문 분석으로 나누어지는데 한국어처럼 어순이 자유로운 언어는 의존 구문 분석이 적합하다. 최근 구문 분석은 심층 신경망을 적용한 방식이 중점적으로 연구되고 있으며, 포인터 네트워크를 사용하는 모델이 가장 좋은 성능을 보였다. 그러나 포인터 네트워크만으로 구문적인 정보를 학습하기에는 한계가 있다. 본 논문에서는 멀티헤드 어텐션을 함께 사용하여 포인터 네트워크만을 사용 했을 때보다 높은 성능(UAS 92.85%, LAS 90.65%)을 보였다.

• Annual Conference on Human and Language Technology
• /
• 2019.10a
• /
• pp.546-548
• /
• 2019

구문 분석은 문장을 구성하는 어절들 사이의 관계를 파악하여 문장의 구조를 이해하는 기술이다. 구문 분석은 구구조 분석과 의존 구문 분석으로 나누어진다. 한국어처럼 어순이 자유로운 언어에는 의존 구문 분석이 더 적합하다. 의존 구문 분석은 문장을 구성하고 있는 어절 간의 의존 관계를 분석하는 작업으로, 각 어절의 지배소를 찾아내어 의존 관계를 분석한다. 본 논문에서는 멀티헤드 어텐션과 포인터 네트워크를 이용한 음절 단위 의존 구문 분석기를 제안하며 UAS 92.16%, LAS 89.71%의 성능을 보였다.

• Annual Conference on Human and Language Technology
• /
• 2018.10a
• /
• pp.8-12
• /
• 2018

구문 분석이란 문장을 단어, 어절, 구 등의 구성 성분으로 분해하고 각각의 구조적 정보를 분석하여 문장의 구조를 알아내는 작업을 말한다. 최근 의존 구문 분석은 심층 신경망을 이용하는 방법이 활발히 연구되고 있다. 특히 포인터 네트워크를 사용하는 방법은 다른 심층 신경망보다 높은 성능을 보이고 있다. 그러나 포인터 네트워크의 사용만으로 의존 관계와 의존 관계명을 예측하는 것은 한계가 존재한다. 본 논문에서는 최근 사용하는 단어 표상 방법 별로 비교 실험을 진행하고 의존 구문 분석에서 GloVe의 성능이 가장 좋음을 보인다. 또한 언어 모델을 통한 단어 표상 방법인 ELMo와 멀티헤드 어텐션을 사용하여 포인터 네트워크만을 사용 했을 때보다 높은 성능(UAS 92.85%, LAS 90.65%)을 보였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.314-317
• /
• 2021

하이라이트 영상은 원본 영상의 중요한 장면들을 짧은 시간 안에 감상할 수 있게 도와준다. 특히나 경기 시간 긴 축구나 야구 그리고 e-스포츠의 시청자들에게 있어, 하이라이트 영상의 효용성은 더욱 증가한다. 하이라이트 영상 추출의 자동화로 방송사나 온라인 플랫폼은 비용 절감과 시간 절약의 이점을 얻을 수 있다. 따라서 본 논문에서는 스포츠 영상에서 자동으로 하이라이트 구간을 추출하는 모델을 제안한다. 제안하는 모델은 멀티 헤드 어텐션 매커니즘과 LSTM 네트워크의 결합으로 구성된다. 해당 매커니즘의 여러 헤드를 통해 어텐션을 다양한 관점에서 진행한다. 이로 인해 영상의 전체적인 맥락과 장면 간의 유기적 관계를 다양한 관점에서 파악할 수 있다. 또한 오디오와 이미지 정보를 함께 이용하여 모델을 학습한다. 학습한 모델의 평가는 e-스포츠 경기 영상을 이용하여 평가한다.

• Journal of IKEEE
• /
• v.28 no.1
• /
• pp.53-64
• /
• 2024

With the advancement of NLP(Natural Language Processing) models, conversational AI such as ChatGPT is becoming increasingly popular. To enhance processing speed and reduce power consumption, it is important to implement the Transformer algorithm, which forms the basis of the latest natural language processing models, in hardware. In particular, the multi-head attention and feed-forward network, which analyze the relationships between different words in a sentence through matrix multiplication, are the most computationally intensive core algorithms in the Transformer. In this paper, we propose a new variable systolic array based on the number of input words to enhance matrix multiplication speed. Quantization maintains Transformer accuracy, boosting memory efficiency and speed. For evaluation purposes, this paper verifies the clock cycles required in multi-head attention and feed-forward network and compares the performance with other multipliers.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.113-116
• /
• 2021

일반적으로 딥러닝 기반의 객체 검출(Object Detection)기법은 합성곱 신경망(Convolutional Neural Network, CNN)을 통해 입력된 영상의 특징(Feature)을 추출하여 이를 통해 객체 검출을 수행한다. 최근 자연어 처리 분야에서 획기적인 성능을 보인 트랜스포머(Transformer)가 영상 분류, 객체 검출과 같은 컴퓨터 비전 작업을 수행하는데 있어 경쟁력이 있음이 드러나고 있다. 본 논문에서는 YOLOv4-CSP의 CSP 블록을 개선한 one-stage 방식의 객체 검출 네트워크를 제안한다. 개선된 CSP 블록은 트랜스포머(Transformer)의 멀티 헤드 어텐션(Multi-Head Attention)과 CSP 형태의 공간 피라미드 풀링(Spatial Pyramid Pooling, SPP) 연산을 기반으로 네트워크의 Backbone과 Neck에서의 feature 학습을 돕는다. 본 실험은 MSCOCO test-dev2017 데이터 셋으로 평가하였으며 제안하는 네트워크는 YOLOv4-CSP의 경량화 모델인 YOLOv4s-mish에 대하여 평균 정밀도(Average Precision, AP)기준 2.7% 향상된 검출 정확도를 보인다.

• The Journal of the Acoustical Society of Korea
• /
• v.41 no.3
• /
• pp.359-366
• /
• 2022

In this paper, we present the Korean menu-ordering Sentence Text-to-Speech (TTS) system using conformer-based FastSpeech2. Conformer is the convolution-augmented transformer, which was originally proposed in Speech Recognition. Combining two different structures, the Conformer extracts better local and global features. It comprises two half Feed Forward module at the front and the end, sandwiching the Multi-Head Self-Attention module and Convolution module. We introduce the Conformer in Korean TTS, as we know it works well in Korean Speech Recognition. For comparison between transformer-based TTS model and Conformer-based one, we train FastSpeech2 and Conformer-based FastSpeech2. We collected a phoneme-balanced data set and used this for training our models. This corpus comprises not only general conversation, but also menu-ordering conversation consisting mainly of loanwords. This data set is the solution to the current Korean TTS model's degradation in loanwords. As a result of generating a synthesized sound using ParallelWave Gan, the Conformer-based FastSpeech2 achieved superior performance of MOS 4.04. We confirm that the model performance improved when the same structure was changed from transformer to Conformer in the Korean TTS.