• 제목/요약/키워드: 인코더/디코더

검색결과 88건 처리시간 0.028초

T5-기반 문장임베딩과 템퍼러처 스케일링 기법을 사용한 범위 외 의도 탐지 기법 (Out-of-Scope Intent Detection Method using T5-based Sentence Embedding and Temperature Scaling)

  • 이명훈;송은영;이현영;임지희
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.521-525
    • /
    • 2022
  • 사용자와 상호작용하는 대화시스템에서 사용자의 의도를 이해하기 위한 의도 분류는 중요한 역할을 한다. 하지만, 실제 대화시스템에서는 범위 내의 의도를 가진 발화 뿐만 아니라 범위 외의 의도를 가진 발화에 대한 인식도 중요하다. 본 논문에서는 기존에 사용되던 인코더 기반의 모델이 아닌 인코더-디코더 구조를 가지는 T5 모델을 활용하여 의도 분류 실험을 진행하였다. 또한, (K+1)-way 의도 탐지 방식이 아닌 Kway의 방식에 템퍼러처 스케일링 기법을 적용하여 범위 외 의도 발화 데이터 구축과 재학습이 필요 없는 확장성 있는 범위 외 의도 탐지 방법을 제안하였다. 범위 내 의도 분류 실험 결과 인코더-디코더 구조의 T5 모델이 인코더 구조의 모델에 비해 높은 성능을 보이며, 흔히 생성 태스크에서 활용되던 모델의 분류 태스크로의 확장 가능성을 확인하였다. 또한, 범위 외 의도 탐지 실험 결과에서는 T5 모델이 인코더 구조의 모델인 RoBERTa 보다 범위 외 탐지 재현율이 14.2%p 이상의 높은 성능을 기록하여 인코더-디코더 구조를 활용한 모델이 인코더 구조를 활용한 모델보다 범위 외 의도 탐지에 강건함을 확인하였다.

  • PDF

언어 모델의 뉴스 도메인 요약 성능 비교 분석 (Comparative Analysis of Language Model Performance in News Domain Summarization)

  • 류상원;김윤수;이근배
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.131-136
    • /
    • 2023
  • 본 논문에서는 기존의 요약 태스크에서 주로 사용하는 인코더-디코더 모델과 디코더 기반의 언어 모델의 성능을 비교한다. 요약 태스크를 평가하는 주요한 평가 지표인 ROUGE 점수의 경우, 정답 요약문과 모델이 생성한 요약문 간의 겹치는 단어를 기준으로 평가한다. 따라서, 추상적인 요약문을 생성하는 언어 모델의 경우 인코더-디코더 모델에 비해 낮은 ROUGE 점수가 측정되는 경향이 있다. 또한, 최근 연구에서 정답 요약문 자체의 낮은 품질에 대한 문제가 되었고, 이는 곧 ROUGE 점수로 모델이 생성하는 요약문을 평가하는 것에 대한 신뢰도 저하로 이어진다. 따라서, 본 논문에서는 언어 모델의 요약 성능을 보다 다양한 관점에서 평가하여 언어 모델이 기존의 인코더-디코더 모델보다 좋은 요약문을 생성한다는 것을 보인다.

  • PDF

MPEE-2 AAC 오디오 인코더 및 디코도 구현 (Implementation of Audio Encoder and Decoder Using MPEG-2 AAC)

  • 홍진우;장대영;김진웅
    • 한국음향학회:학술대회논문집
    • /
    • 한국음향학회 1999년도 학술발표대회 논문집 제18권 2호
    • /
    • pp.217-222
    • /
    • 1999
  • 본 논문에서는 멀티채널 오디오 부호화 방식인 MPEG-2 AAC(Advanced Audio Coding) 국제 표준을 수용한 AAC 인코더 및 디코더의 실시간 구현에 대해 기술한다. 범용 DSP 인 TMS320C6701 DSP를 이용한 하드웨어 플랫폼과 이 플랫폼에서 실시간으로 동작되는 인코더와 디코더 소프트웨어를 설계, 개발(MASIC 시스템)하였다. 구현한 MASIC 시스템은 오디오 입력 장치, 출력 장치, 인코더 보드, 그리고 디코더 보드로 구성되어 있으며, 개인용 컴퓨터의 PCI 슬롯을 이용하여 인코더의 경우 최대 6채널의 오디오를, 디코더의 경우 8채널의 오디오를 실시간 동작으로 처리할 수 있다. 인코더 및 디코더의 실시간 처리를 위한 소프트웨어 최적화 기술 및 인코더와 디코더의 연동시험에 대해서도 기술하며, 개인용 컴퓨터에서 실시간으로 수행되는 스테레오 AAC 디코더 소프트웨어의 개발 결과를 기술한다.

  • PDF

인코더-디코더 구조의 CNN을 이용한 위성 영상에서의 변화탐지 (Change Detection in Satellite Images Using Encoder-Decoder CNN)

  • 박원희;진동권;김창수
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2020년도 추계학술대회
    • /
    • pp.15-17
    • /
    • 2020
  • 본 논문에서는 Convolutional Neural Network(CNN)를 이용한 위성 영상 변화탐지 알고리즘을 제안한다. 우선 EfficientNet 기반의 대칭 인코더-디코더 구조의 변화탐지 네트워크를 구성한다. 그리고 디코더 단에 ASPP 모듈을 추가하여 넓은 수용영역을 갖는 특징 정보를 통해 변화지도(change map)를 복원한다. 실험 결과를 통해 검출 성능 및 연산 효율성이 기존 기법보다 우수함을 보인다.

  • PDF

SystemC를 이용한 JPEG 인코더/디코더의 구현 (Implementation of JPEG Encoder and Decoder with SystemC)

  • 유명근;송기용
    • 융합신호처리학회 학술대회논문집
    • /
    • 한국신호처리시스템학회 2006년도 하계 학술대회 논문집
    • /
    • pp.89-92
    • /
    • 2006
  • 본 논문에서는 SystemC를 이용하여 데이터를 압축하는 JPEG의 인코더와 디코더 구현에 대하여 기술한다. SystemC는 SoC의 설계생산성을 높이기 위해 high-level abstraction에 기반하여 시스템을 모델링하고 명시하는 시스템 수준 설계 언어이고, JPEG은 DCT와 Huffman 코드를 이용하여 정지영상 정보를 압축하는 알고리즘이다. 설계된 JPEG 인코더와 디코더 모듈의 동작을 검증하기 위하여 인코더 모듈에 $16{\times}16$ 크기의 픽셀 RGB 데이터를 입력하고, 디코더 모듈에 인코더 모듈의 출력을 입력으로 연결하여 최종 출력되는 데이터를 비교 및 분석하여 확인하였다.

  • PDF

인코더-디코더 사이의 특징 융합을 통한 멀티 모달 네트워크의 의미론적 분할 성능 향상 (Improved Semantic Segmentation in Multi-modal Network Using Encoder-Decoder Feature Fusion)

  • 손찬영;호요성
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2018년도 추계학술대회
    • /
    • pp.81-83
    • /
    • 2018
  • Fully Convolutional Network(FCN)은 기존의 방법보다 뛰어난 성능을 보였지만, FCN은 RGB 정보만을 사용하기 때문에 세밀한 예측이 필요한 장면에서는 다소 부족한 성능을 보였다. 이를 해결하기 위해 인코더-디코더 구조를 이용하여 RGB와 깊이의 멀티 모달을 활용하기 위한 FuseNet이 제안되었다. 하지만, FuseNet에서는 RGB와 깊이 브랜치 사이의 융합은 있지만, 인코더와 디코더 사이의 특징 지도를 융합하지 않는다. 본 논문에서는 FCN의 디코더 부분의 업샘플링 과정에서 이전 계층의 결과와 2배 업샘플링한 결과를 융합하는 스킵 레이어를 적용하여 FuseNet의 모달리티를 잘 활용하여 성능을 개선했다. 본 실험에서는 NYUDv2와 SUNRGBD 데이터 셋을 사용했으며, 전체 정확도는 각각 77%, 65%이고, 평균 IoU는 47.4%, 26.9%, 평균 정확도는 67.7%, 41%의 성능을 보였다.

  • PDF

뉴로모픽 구조 기반 IoT 통합 개발환경에서 SNN 모델을 지원하기 위한 인코더/디코더 구현 (Implementation of Encoder/Decoder to Support SNN Model in an IoT Integrated Development Environment based on Neuromorphic Architecture)

  • 김회남;윤영선
    • 한국소프트웨어감정평가학회 논문지
    • /
    • 제17권2호
    • /
    • pp.47-57
    • /
    • 2021
  • 뉴로모픽 기술은 인간의 뇌 구조와 연산과정을 하드웨어로 모방하는 기술로 기존 인공지능 기술의 단점을 보완하기 위하여 제안되었다. 뉴로모픽 하드웨어 기반의 IoT 응용을 개발하기 위해 NA-IDE가 제안되었으며, NA-IDE에서 SNN 모델을 구현하기 위하여 일반적으로 많이 사용되는 입력 데이터를 SNN모델에 사용할 수 있도록 변환이 필요하다. 본 논문에서는 이미지 데이터를 SNN 입력으로 사용하기 위하여 스파이크 시계열 패턴으로 변환하는 신경코딩 방식의 인코더 컴포넌트를 구현하였다. 디코더 컴포넌트는 SNN 모델이 스파이크 시계열 패턴을 생성하는 경우, 출력된 시계열 데이터를 다시 이미지 데이터로 변환하도록 구현하였다. 디코더 컴포넌트는 출력 데이터에 인코딩 과정과 동일한 매개변수를 사용한 경우, 원본 데이터와 유사한 정적 데이터를 얻을 수 있었다. 제안된 인코더와 디코더를 사용한다면 image-to-image나 speech-to-speech와 같이 입력 데이터를 변환하여 재생성하는 분야에 사용할 수 있을 것이다.

워드 임베딩의 유사도 클러스터링을 통한 다중 문장 요약 생성 기법 (Multi Sentence Summarization Method using Similarity Clustering of Word Embedding)

  • 이필원;송진수;신용태
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2021년도 춘계학술발표대회
    • /
    • pp.290-292
    • /
    • 2021
  • 최근 인코더-디코더 구조의 자연어 처리모델이 활발하게 연구가 이루어지고 있다. 인코더-디코더기반의 언어모델은 특히 본문의 내용을 새로운 문장으로 요약하는 추상(Abstractive) 요약 분야에서 널리 사용된다. 그러나 기존의 언어모델은 단일 문서 및 문장을 전제로 설계되었기 때문에 기존의 언어모델에 다중 문장을 요약을 적용하기 어렵고 주제가 다양한 여러 문장을 요약하면 요약의 성능이 떨어지는 문제가 있다. 따라서 본 논문에서는 다중 문장으로 대표적이고 상품 리뷰를 워드 임베딩의 유사도를 기준으로 클러스터를 구성하여 관련성이 높은 문장 별로 인공 신경망 기반 언어모델을 통해 요약을 수행한다. 제안하는 모델의 성능을 평가하기 위해 전체 문장과 요약 문장의 유사도를 측정하여 요약문이 원문의 정보를 얼마나 포함하는지 실험한다. 실험 결과 기존의 RNN 기반의 요약 모델보다 뛰어난 성능의 요약을 수행했다.

발화 내 페르소나 트리플 추출 방법 연구 (A Method for Extracting Persona Triples in Dialogue)

  • 장윤나;양기수;허윤아;임희석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.726-729
    • /
    • 2023
  • 본 논문에서는 대화 중 발화에서 페르소나 트리플을 추출하는 방법을 연구한다. 발화 문장과 그에 해당하는 트리플 쌍을 활용하여 발화 문장 혹은 페르소나 문장이 주어졌을 때 그로부터 페르소나 트리플을 추출하도록 모델을 멀티 태스크 러닝 방식으로 학습시킨다. 모델은 인코더-디코더 구조를 갖는 사전학습 언어모델 BART [1]와 T5 [2]를 활용하며 relation 추출과 tail 추출의 두 가지 태스크를 각각 인코더, 디코더 위에 head를 추가하여 학습한다. Relation 추출은 분류로, tail 추출은 생성 문제로 접근하도록 하여 최종적으로 head, relation, tail의 구조를 갖는 페르소나 트리플을 추출하도록 한다. 실험에서는 BART와 T5를 활용하여 각 태스크에 대해 다른 학습 가중치를 두어 훈련시켰고, 두 모델 모두 relation과 tail을 추출하는 태스크 정확도에 있어서 90% 이상의 높은 점수를 보임을 확인했다.

  • PDF

대역확산방식 FTS 인코더/디코더 구현 (Implementation of Spread Spectrum FTS Encoder/Decoder)

  • 임유철;마근수;김명환;이재득
    • 항공우주기술
    • /
    • 제8권1호
    • /
    • pp.179-186
    • /
    • 2009
  • 본 문서는 방해파 등의 잡음에 강하며 특히 명령신호 비닉성 및 비화성에 탁월한 장점을 갖는 대역확산 변조방식을 활용한 FTS 인코더/디코더의 설계 및 구현에 관하여 기술한다. 우선 명령포맷은 64비트 패킷신호로 구성되며 각각의 명령신호는 트리플DES암호화 알고리즘을 이용하여 암호화 작업을 수행하고, 또한 오류정정 기법의 하나인 콘볼루션코딩 및 비터비디코딩 기법을 적용하여 통신 신뢰성을 높이도록 설계한다. 대역확산을 위해 직접확산기법을 적용하고 확산코드는 256비트 골드코드를 사용하며, 설계한 FTS 인코더와 디코더가 잘 동작하는지 검증하기 위해 시뮬레이션을 수행하고 최종 하드웨어를 구현하여 그 결과를 확인하였다.

  • PDF