• Title/Summary/Keyword: 인코더/디코더

Search Result 88, Processing Time 0.026 seconds

Out-of-Scope Intent Detection Method using T5-based Sentence Embedding and Temperature Scaling (T5-기반 문장임베딩과 템퍼러처 스케일링 기법을 사용한 범위 외 의도 탐지 기법)

  • Myunghoon Lee;Eunyoung Song;Hyunyoung Lee;Jihui Im
    • Annual Conference on Human and Language Technology
    • /
    • 2022.10a
    • /
    • pp.521-525
    • /
    • 2022
  • 사용자와 상호작용하는 대화시스템에서 사용자의 의도를 이해하기 위한 의도 분류는 중요한 역할을 한다. 하지만, 실제 대화시스템에서는 범위 내의 의도를 가진 발화 뿐만 아니라 범위 외의 의도를 가진 발화에 대한 인식도 중요하다. 본 논문에서는 기존에 사용되던 인코더 기반의 모델이 아닌 인코더-디코더 구조를 가지는 T5 모델을 활용하여 의도 분류 실험을 진행하였다. 또한, (K+1)-way 의도 탐지 방식이 아닌 Kway의 방식에 템퍼러처 스케일링 기법을 적용하여 범위 외 의도 발화 데이터 구축과 재학습이 필요 없는 확장성 있는 범위 외 의도 탐지 방법을 제안하였다. 범위 내 의도 분류 실험 결과 인코더-디코더 구조의 T5 모델이 인코더 구조의 모델에 비해 높은 성능을 보이며, 흔히 생성 태스크에서 활용되던 모델의 분류 태스크로의 확장 가능성을 확인하였다. 또한, 범위 외 의도 탐지 실험 결과에서는 T5 모델이 인코더 구조의 모델인 RoBERTa 보다 범위 외 탐지 재현율이 14.2%p 이상의 높은 성능을 기록하여 인코더-디코더 구조를 활용한 모델이 인코더 구조를 활용한 모델보다 범위 외 의도 탐지에 강건함을 확인하였다.

  • PDF

Comparative Analysis of Language Model Performance in News Domain Summarization (언어 모델의 뉴스 도메인 요약 성능 비교 분석)

  • Sangwon Ryu;Yunsu Kim;Gary Geunbae Lee
    • Annual Conference on Human and Language Technology
    • /
    • 2023.10a
    • /
    • pp.131-136
    • /
    • 2023
  • 본 논문에서는 기존의 요약 태스크에서 주로 사용하는 인코더-디코더 모델과 디코더 기반의 언어 모델의 성능을 비교한다. 요약 태스크를 평가하는 주요한 평가 지표인 ROUGE 점수의 경우, 정답 요약문과 모델이 생성한 요약문 간의 겹치는 단어를 기준으로 평가한다. 따라서, 추상적인 요약문을 생성하는 언어 모델의 경우 인코더-디코더 모델에 비해 낮은 ROUGE 점수가 측정되는 경향이 있다. 또한, 최근 연구에서 정답 요약문 자체의 낮은 품질에 대한 문제가 되었고, 이는 곧 ROUGE 점수로 모델이 생성하는 요약문을 평가하는 것에 대한 신뢰도 저하로 이어진다. 따라서, 본 논문에서는 언어 모델의 요약 성능을 보다 다양한 관점에서 평가하여 언어 모델이 기존의 인코더-디코더 모델보다 좋은 요약문을 생성한다는 것을 보인다.

  • PDF

Implementation of Audio Encoder and Decoder Using MPEG-2 AAC (MPEE-2 AAC 오디오 인코더 및 디코도 구현)

  • Hong J. W;Jang D. Y;Kim J. W.
    • Proceedings of the Acoustical Society of Korea Conference
    • /
    • autumn
    • /
    • pp.217-222
    • /
    • 1999
  • 본 논문에서는 멀티채널 오디오 부호화 방식인 MPEG-2 AAC(Advanced Audio Coding) 국제 표준을 수용한 AAC 인코더 및 디코더의 실시간 구현에 대해 기술한다. 범용 DSP 인 TMS320C6701 DSP를 이용한 하드웨어 플랫폼과 이 플랫폼에서 실시간으로 동작되는 인코더와 디코더 소프트웨어를 설계, 개발(MASIC 시스템)하였다. 구현한 MASIC 시스템은 오디오 입력 장치, 출력 장치, 인코더 보드, 그리고 디코더 보드로 구성되어 있으며, 개인용 컴퓨터의 PCI 슬롯을 이용하여 인코더의 경우 최대 6채널의 오디오를, 디코더의 경우 8채널의 오디오를 실시간 동작으로 처리할 수 있다. 인코더 및 디코더의 실시간 처리를 위한 소프트웨어 최적화 기술 및 인코더와 디코더의 연동시험에 대해서도 기술하며, 개인용 컴퓨터에서 실시간으로 수행되는 스테레오 AAC 디코더 소프트웨어의 개발 결과를 기술한다.

  • PDF

Change Detection in Satellite Images Using Encoder-Decoder CNN (인코더-디코더 구조의 CNN을 이용한 위성 영상에서의 변화탐지)

  • Park, Won-Hui;Jin, Dongkwon;Kim, Chang-Su
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2020.11a
    • /
    • pp.15-17
    • /
    • 2020
  • 본 논문에서는 Convolutional Neural Network(CNN)를 이용한 위성 영상 변화탐지 알고리즘을 제안한다. 우선 EfficientNet 기반의 대칭 인코더-디코더 구조의 변화탐지 네트워크를 구성한다. 그리고 디코더 단에 ASPP 모듈을 추가하여 넓은 수용영역을 갖는 특징 정보를 통해 변화지도(change map)를 복원한다. 실험 결과를 통해 검출 성능 및 연산 효율성이 기존 기법보다 우수함을 보인다.

  • PDF

Implementation of JPEG Encoder and Decoder with SystemC (SystemC를 이용한 JPEG 인코더/디코더의 구현)

  • You, Myoung-Keun;Song, Gi-Yong
    • Proceedings of the Korea Institute of Convergence Signal Processing
    • /
    • 2006.06a
    • /
    • pp.89-92
    • /
    • 2006
  • 본 논문에서는 SystemC를 이용하여 데이터를 압축하는 JPEG의 인코더와 디코더 구현에 대하여 기술한다. SystemC는 SoC의 설계생산성을 높이기 위해 high-level abstraction에 기반하여 시스템을 모델링하고 명시하는 시스템 수준 설계 언어이고, JPEG은 DCT와 Huffman 코드를 이용하여 정지영상 정보를 압축하는 알고리즘이다. 설계된 JPEG 인코더와 디코더 모듈의 동작을 검증하기 위하여 인코더 모듈에 $16{\times}16$ 크기의 픽셀 RGB 데이터를 입력하고, 디코더 모듈에 인코더 모듈의 출력을 입력으로 연결하여 최종 출력되는 데이터를 비교 및 분석하여 확인하였다.

  • PDF

Improved Semantic Segmentation in Multi-modal Network Using Encoder-Decoder Feature Fusion (인코더-디코더 사이의 특징 융합을 통한 멀티 모달 네트워크의 의미론적 분할 성능 향상)

  • Sohn, Chan-Young;Ho, Yo-Sung
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2018.11a
    • /
    • pp.81-83
    • /
    • 2018
  • Fully Convolutional Network(FCN)은 기존의 방법보다 뛰어난 성능을 보였지만, FCN은 RGB 정보만을 사용하기 때문에 세밀한 예측이 필요한 장면에서는 다소 부족한 성능을 보였다. 이를 해결하기 위해 인코더-디코더 구조를 이용하여 RGB와 깊이의 멀티 모달을 활용하기 위한 FuseNet이 제안되었다. 하지만, FuseNet에서는 RGB와 깊이 브랜치 사이의 융합은 있지만, 인코더와 디코더 사이의 특징 지도를 융합하지 않는다. 본 논문에서는 FCN의 디코더 부분의 업샘플링 과정에서 이전 계층의 결과와 2배 업샘플링한 결과를 융합하는 스킵 레이어를 적용하여 FuseNet의 모달리티를 잘 활용하여 성능을 개선했다. 본 실험에서는 NYUDv2와 SUNRGBD 데이터 셋을 사용했으며, 전체 정확도는 각각 77%, 65%이고, 평균 IoU는 47.4%, 26.9%, 평균 정확도는 67.7%, 41%의 성능을 보였다.

  • PDF

Implementation of Encoder/Decoder to Support SNN Model in an IoT Integrated Development Environment based on Neuromorphic Architecture (뉴로모픽 구조 기반 IoT 통합 개발환경에서 SNN 모델을 지원하기 위한 인코더/디코더 구현)

  • Kim, Hoinam;Yun, Young-Sun
    • Journal of Software Assessment and Valuation
    • /
    • v.17 no.2
    • /
    • pp.47-57
    • /
    • 2021
  • Neuromorphic technology is proposed to complement the shortcomings of existing artificial intelligence technology by mimicking the human brain structure and computational process with hardware. NA-IDE has also been proposed for developing neuromorphic hardware-based IoT applications. To implement an SNN model in NA-IDE, commonly used input data must be transformed for use in the SNN model. In this paper, we implemented a neural coding method encoder component that converts image data into a spike train signal and uses it as an SNN input. The decoder component is implemented to convert the output back to image data when the SNN model generates a spike train signal. If the decoder component uses the same parameters as the encoding process, it can generate static data similar to the original data. It can be used in fields such as image-to-image and speech-to-speech to transform and regenerate input data using the proposed encoder and decoder.

Multi Sentence Summarization Method using Similarity Clustering of Word Embedding (워드 임베딩의 유사도 클러스터링을 통한 다중 문장 요약 생성 기법)

  • Lee, Pil-Won;Song, Jin-su;Shin, Yong-Tae
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2021.05a
    • /
    • pp.290-292
    • /
    • 2021
  • 최근 인코더-디코더 구조의 자연어 처리모델이 활발하게 연구가 이루어지고 있다. 인코더-디코더기반의 언어모델은 특히 본문의 내용을 새로운 문장으로 요약하는 추상(Abstractive) 요약 분야에서 널리 사용된다. 그러나 기존의 언어모델은 단일 문서 및 문장을 전제로 설계되었기 때문에 기존의 언어모델에 다중 문장을 요약을 적용하기 어렵고 주제가 다양한 여러 문장을 요약하면 요약의 성능이 떨어지는 문제가 있다. 따라서 본 논문에서는 다중 문장으로 대표적이고 상품 리뷰를 워드 임베딩의 유사도를 기준으로 클러스터를 구성하여 관련성이 높은 문장 별로 인공 신경망 기반 언어모델을 통해 요약을 수행한다. 제안하는 모델의 성능을 평가하기 위해 전체 문장과 요약 문장의 유사도를 측정하여 요약문이 원문의 정보를 얼마나 포함하는지 실험한다. 실험 결과 기존의 RNN 기반의 요약 모델보다 뛰어난 성능의 요약을 수행했다.

A Method for Extracting Persona Triples in Dialogue (발화 내 페르소나 트리플 추출 방법 연구)

  • Yoonna Jang;Kisu Yang;Yuna Hur;Heuiseok Lim
    • Annual Conference on Human and Language Technology
    • /
    • 2023.10a
    • /
    • pp.726-729
    • /
    • 2023
  • 본 논문에서는 대화 중 발화에서 페르소나 트리플을 추출하는 방법을 연구한다. 발화 문장과 그에 해당하는 트리플 쌍을 활용하여 발화 문장 혹은 페르소나 문장이 주어졌을 때 그로부터 페르소나 트리플을 추출하도록 모델을 멀티 태스크 러닝 방식으로 학습시킨다. 모델은 인코더-디코더 구조를 갖는 사전학습 언어모델 BART [1]와 T5 [2]를 활용하며 relation 추출과 tail 추출의 두 가지 태스크를 각각 인코더, 디코더 위에 head를 추가하여 학습한다. Relation 추출은 분류로, tail 추출은 생성 문제로 접근하도록 하여 최종적으로 head, relation, tail의 구조를 갖는 페르소나 트리플을 추출하도록 한다. 실험에서는 BART와 T5를 활용하여 각 태스크에 대해 다른 학습 가중치를 두어 훈련시켰고, 두 모델 모두 relation과 tail을 추출하는 태스크 정확도에 있어서 90% 이상의 높은 점수를 보임을 확인했다.

  • PDF

Implementation of Spread Spectrum FTS Encoder/Decoder (대역확산방식 FTS 인코더/디코더 구현)

  • Lim, You-Chol;Ma, Keun-Soo;Kim, Myung-Hwan;Lee, Jae-Deuk
    • Aerospace Engineering and Technology
    • /
    • v.8 no.1
    • /
    • pp.179-186
    • /
    • 2009
  • This paper describes the design and implementation for spread spectrum FTS encoder and decoder. The FTS command format is defined by 64 bit encrypted packet that contains all required information relayed between the ground and the vehicle. Encryption is accomplished using the Tripple-DES encryption algorithm in block encryption form. The proposed FTS encoder and decoder is using the Convolution Encoding and Viterbi Decoding for forward error correction. The Spread Spectrum Modulation is done using a PN code, which is 256 bit gold code. The simulation result shows that the designed FTS decoder is compatible with the designed FTS encoder.

  • PDF