• 제목/요약/키워드: Convolutional encoder

검색결과 92건 처리시간 0.023초

Contextual Modeling in Context-Aware Conversation Systems

  • Quoc-Dai Luong Tran;Dinh-Hong Vu;Anh-Cuong Le;Ashwin Ittoo
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제17권5호
    • /
    • pp.1396-1412
    • /
    • 2023
  • Conversation modeling is an important and challenging task in the field of natural language processing because it is a key component promoting the development of automated humanmachine conversation. Most recent research concerning conversation modeling focuses only on the current utterance (considered as the current question) to generate a response, and thus fails to capture the conversation's logic from its beginning. Some studies concatenate the current question with previous conversation sentences and use it as input for response generation. Another approach is to use an encoder to store all previous utterances. Each time a new question is encountered, the encoder is updated and used to generate the response. Our approach in this paper differs from previous studies in that we explicitly separate the encoding of the question from the encoding of its context. This results in different encoding models for the question and the context, capturing the specificity of each. In this way, we have access to the entire context when generating the response. To this end, we propose a deep neural network-based model, called the Context Model, to encode previous utterances' information and combine it with the current question. This approach satisfies the need for context information while keeping the different roles of the current question and its context separate while generating a response. We investigate two approaches for representing the context: Long short-term memory and Convolutional neural network. Experiments show that our Context Model outperforms a baseline model on both ConvAI2 Dataset and a collected dataset of conversational English.

1000BASE-T의 4조 PAM-5 신호 상에서 동작하는 비터비 디코더의 구현 (Implementation of a Viterbi decoder operated in 4 Dimensional PAM-5 Signal of 1000Base-T)

  • 정재우;정해
    • 한국정보통신학회논문지
    • /
    • 제18권7호
    • /
    • pp.1579-1588
    • /
    • 2014
  • LAN 방식은 국내의 초고속 인터넷 서비스에서 가장 널리 사용되며, UHD TV와 같은 고속의 서비스를 제공하기 위하여 100 메가급에서 1 기가급 이더넷으로 빠르게 전환되고 있다. 1000BASE-T 물리계층은 1 Gbps의 전송속도를 달성하기 위해, 4조의 UTP상에서 각 조당 125 MHz의 PAM-5신호로 데이터를 전송한다. 채널 상에서 발생한 오류를 정정하기 위하여 송신측에서는 컨벌루션 부호와 PAM-5신호를 결합한 TCM을 사용하고, 수신측에서는 비터비 복호기를 사용한다. 본 논문에서는 1000BASE-T의 수신측에서 최소 125 MHz 속도와 최대 2조까지 오류 정정 능력을 제공하는 비터비 디코더를 구현한다. 그리고 구현한 디코더를 논리분석기로 이용해서 동작속도와 오류 정정 능력을 검증한다.

터보부호화된 새로운 T-DMB 시스템 제안 및 성능 분석 (Propose and Performance Analysis of Turbo Coded New T-DMB System)

  • 김한종
    • 디지털융복합연구
    • /
    • 제12권3호
    • /
    • pp.269-275
    • /
    • 2014
  • Eureka 147 디지털오디오방송(DAB) 시스템은 CD 품질의 오디오 전송을 위하여 유럽에서 개발되었으나 한국에서는 이러한 DAB 시스템을 기반으로 하여 오디오뿐 만 아니라 비디오 신호도 전송할 목적으로 지상파 디지털 멀티미디어방송(T-DMB) 시스템을 개발하였다. 이러한 T-DMB 시스템의 성능 향상을 목적으로 본 논문에서는 양립성을 위해 기존 T-DMB 시스템 표준안에 정의된 펑쳐링 절차와 평처링 벡터를 이용하면서 터보 부호가 적용된 2가지 형태의 새로운 터보부호화된 T-DMB 시스템 모델을 제시한다. 첫 번째 모델 (Type 1)은 기존의 RS 코드, 콘볼류션 인터리빙, RCPC 코드를 터보코드로 대체시킨 것이며 두 번째 모델(Type 2)은 기존 RCPC 만을 터보부호로 대체시킨 모델이다. 시뮬레이션 결과 제안된 모델은 단지 2회 반복만으로도 상당한 성능 향상을 얻을 수 있음을 알 수 있었으며 또한 두 번째 모델은 첫 번째 모델에 비해 약간 우수한 성능을 보이고 있다.

비디오 인코더를 통한 딥러닝 모델의 정수 가중치 압축 (Compression of DNN Integer Weight using Video Encoder)

  • 김승환;류은석
    • 방송공학회논문지
    • /
    • 제26권6호
    • /
    • pp.778-789
    • /
    • 2021
  • 최근 다양한 분야에서 뛰어난 성능을 나타내는 Convolutional Neural Network(CNN)모델을 모바일 기기에서 사용하기 위한 다양한 연구가 진행되고 있다. 기존의 CNN 모델은 모바일 장비에서 사용하기에는 가중치의 크기가 크고 연산복잡도가 높다는 문제점이 있다. 이를 해결하기 위해 가중치의 표현 비트를 낮추는 가중치 양자화를 포함한 여러 경량화 방법들이 등장하였다. 많은 방법들이 다양한 모델에서 적은 정확도 손실과 높은 압축률을 나타냈지만, 대부분의 압축 모델들은 정확도 손실을 복구하기 위한 재학습 과정을 포함시켰다. 재학습 과정은 압축된 모델의 정확도 손실을 최소화하지만 많은 시간과 데이터를 필요로 하는 작업이다. Weight Quantization이후 각 층의 가중치는 정수형 행렬로 나타나는데 이는 이미지의 형태와 유사하다. 본 논문에서는 Weight Quantization이후 각 층의 정수 가중치 행렬을 이미지의 형태로 비디오 코덱을 사용하여 압축하는 방법을 제안한다. 제안하는 방법의 성능을 검증하기 위해 ImageNet과 Places365 데이터 셋으로 학습된 VGG16, Resnet50, Resnet18모델에 실험을 진행하였다. 그 결과 다양한 모델에서 2%이하의 정확도 손실과 높은 압축 효율을 달성했다. 또한, 재학습 과정을 제외한 압축방법인 No Fine-tuning Pruning(NFP)와 ThiNet과의 성능비교 결과 2배 이상의 압축효율이 있음을 검증했다.

동영상 안정화를 위한 옵티컬 플로우의 비지도 학습 방법 (Deep Video Stabilization via Optical Flow in Unstable Scenes)

  • 이보희;김광수
    • 지능정보연구
    • /
    • 제29권2호
    • /
    • pp.115-127
    • /
    • 2023
  • 동영상 안정화 기술은 최근 1인 미디어 시장이 거대화됨에 따라 그 중요성이 점점 커지고 있는 카메라 기술 중 하나이다. 딥러닝 기반의 기존 방법들에서는 안정화 전/후 동영상 데이터 쌍을 사용하였으나 동영상의 특성상 동기화된 안정화 전/후 데이터를 만드는 것은 많은 시간과 노력이 필요하다. 최근 이러한 문제를 완화하기 위하여 안정화 전 데이터만을 사용하는 비지도 학습 방법이 제시되고 있다. 본 논문에서는 비지도 학습 방법의 하나인 Convolutional Autoencoder 구조를 사용하여 안정화 전/후 동영상 데이터 쌍 없이 안정화 전 영상만으로 안정화 궤적을 학습하는 네트워크 구조를 제안한다. 네트워크 입력 및 출력으로 옵티컬 플로우를 사용하고 네트워크 경량화 및 노이즈 최소화를 위해 옵티컬 플로우를 Grid 단위로 맵핑하여 사용했다. 또한 비지도 학습 방법으로 안정화된 궤적을 생성하기 위해 옵티컬 플로우를 부드럽게 만드는 손실함수를 정의하였고 결과 비교를 통해 손실함수의 의도대로 부드러운 궤적을 생성하도록 네트워크가 학습되었음을 확인했다.

소프트 보팅을 이용한 합성곱 오토인코더 기반 스트레스 탐지 (Convolutional Autoencoder based Stress Detection using Soft Voting)

  • 최은빈;김수형
    • 스마트미디어저널
    • /
    • 제12권11호
    • /
    • pp.1-9
    • /
    • 2023
  • 스트레스는 감당하기 어려운 외부 또는 내부 요인으로부터 유발되는 것으로 현대 사회의 주요한 문제 중 하나이다. 높은 스트레스가 장기적으로 지속되면 만성적으로 발전할 수 있으며, 건강 및 생활 전반에 큰 악영향을 초래할 수 있다. 그러나 만성적인 스트레스를 겪는 사람들은 자신이 스트레스를 받고 있는지 알아차리기 어렵기 때문에 사전에 스트레스를 인지하고 관리하는 것이 중요하다. 웨어러블 기기로부터 측정된 생체 신호를 이용하여 스트레스를 탐지한다면, 스트레스를 효율적으로 관리할 수 있을 것이다. 그러나 생체 신호를 이용하는 데에는 두 가지 문제점이 있다. 첫째로 생체 신호에서 수작업 특징을 추출하는 것은 바이어스를 발생시킬 수 있으며, 두 번째는 실험 주체에 따라 분류 모델 성능의 변이가 클 수 있다는 것이다. 본 논문에서는 데이터의 핵심적인 특징을 표현할 수 있는 합성곱 오토인코더를 이용해 바이어스를 줄이고 앙상블 학습 중 하나인 소프트 보팅을 이용해 일반화 능력을 높여 성능의 변이를 줄이는 모델을 제안한다. 모델의 일반화 성능을 확인하기 위하여 LOSO 교차 검증 방법을 이용하여 성능을 평가한다. 본 논문에서 제안한 모델은 WESAD 데이터셋을 이용하여 높은 성능을 보여주었던 기존의 연구들보다 우수한 정확도를 보임을 확인하였다.

  • PDF

머신러닝 기반 금속외관 결함 검출 비교 분석 (Comparative analysis of Machine-Learning Based Models for Metal Surface Defect Detection)

  • 이세훈;강성환;신요섭;최오규;김시종;강재모
    • 한국정보통신학회논문지
    • /
    • 제26권6호
    • /
    • pp.834-841
    • /
    • 2022
  • 최근 스마트팩토리와 인공지능 기술의 수요 증가로 인해 다양한 분야에서 인공지능 기술을 적용하는 연구가 진행되고 있다. 결함 검사 분야에서도 인공지능 알고리즘을 도입하기 위한 노력을 기울이고 있다. 특히, 금속 외관의 결함을 검출하는 연구는 다른 소재(목재, 플라스틱, 섬유 등)의 결함을 검출하는 연구에 비해 많은 연구가 이루어지고 있다. 본 논문에서는 머신러닝 기법(서포터 벡터 머신(SVM: Support Vector Machine), 소프트맥스 회귀(Softmax Regression), 결정 트리(Decesion Tree))과 차원 축소 알고리즘(주성분 분석(PCA: Principal Component Analysis), 오토인코더(AutoEncoder))의 9가지 조합과 2가지 합성곱신경망(CNN: Convolutional Neural Network) 기법(자체 알고리즘, ResNet)의 금속 외관의 결함 분류 성능 및 속도를 비교하고 분석하는 연구를 수행하고자 한다. 두 종류의 학습 데이터셋((i) 공용 데이터셋(Public Dataset), (ii) 실측 데이터셋(Actual Dataset))에 대한 실험을 통해 각 데이터셋에 대한 성능 및 속도를 비교 분석하고, 가장 효율적인 알고리즘을 찾아낸다.

빅데이터로부터 추출된 주변 환경 컨텍스트를 반영한 딥러닝 기반 거리 안전도 점수 예측 모델 (A Deep Learning-based Streetscapes Safety Score Prediction Model using Environmental Context from Big Data)

  • 이기인;강행봉
    • 한국멀티미디어학회논문지
    • /
    • 제20권8호
    • /
    • pp.1282-1290
    • /
    • 2017
  • Since the mitigation of fear of crime significantly enhances the consumptions in a city, studies focusing on urban safety analysis have received much attention as means of revitalizing the local economy. In addition, with the development of computer vision and machine learning technologies, efficient and automated analysis methods have been developed. Previous studies have used global features to predict the safety of cities, yet this method has limited ability in accurately predicting abstract information such as safety assessments. Therefore we used a Convolutional Context Neural Network (CCNN) that considered "context" as a decision criterion to accurately predict safety of cities. CCNN model is constructed by combining a stacked auto encoder with a fully connected network to find the context and use it in the CNN model to predict the score. We analyzed the RMSE and correlation of SVR, Alexnet, and Sharing models to compare with the performance of CCNN model. Our results indicate that our model has much better RMSE and Pearson/Spearman correlation coefficient.

반복 복호의 계산량 감소를 위한 간단한 복호 중단 판정 알고리즘 (A Simple Stopping Criterion for the MIN-SUM Iterative Decoding Algorithm on SCCC and Turbo code)

  • 허준;정규혁
    • 대한전자공학회논문지TC
    • /
    • 제41권4호
    • /
    • pp.11-16
    • /
    • 2004
  • 본 논문에서는 min-sum 반복복호를 위한 효과적인 반복복호 중단 알고리즘을 제안한다. 이전까지 소개된 반복복호 중단 알고리즘이 상호정보량을 바탕으로 중단시점을 판단하는데 비하여 제안된 알고리즘은 트렐리스 상에서 복호된 결과가 유효한 시퀀스인가를 판단하여 복호중단 시점을 결정한다. 제안된 반복톡호 알고리즘을 3GPP 터보부호와 직렬결합 길쌈부호에 적용하여 반복복호의 계산량과 필요한 메모리의 양이 크게 줄어드는 것을 나타내었다.

Rayleigh 페이딩하에서 pragmatic 부호와 TCM의 성능에 관한 연구 (A Study on Performance of Parmatic Coding and TCM in Rayleigh Fading Environment)

  • 강민정;방성일;진년강
    • 한국전자파학회지:전자파기술
    • /
    • 제4권1호
    • /
    • pp.20-27
    • /
    • 1993
  • 본 논문에서는 디지탈 무선통신을 위한 전송방식으로 집합분할에 의한TCM/M-PSK와pragmatic 부호에 의한 M 진 PSK 시스댐을 실현하였다. 전송채널에 AWGN과 Rayleigh 페이딩이 존재하는 경우 시스댐의 성능을 오율 관점에서 해석하였으며, 이를 위한 오율식을 유도하여 제시하였다. 그 결과 Rayleigh 페이덩이 많은 영향을 미치는 이동무선통신에서 pragmatic 부호에 의한 방식은 부호화하지 않고 곧바로 전송되는 정보데이터에 의해 발생하는 병렬쌍때문에 시스템 전체의 성능을 저하시키게 됨을 알 수 있었다. 하지만 AWGN만 고려하는 무선통신에서 pragmatic 방식은 단일 부호기/복호기를 사용하므로 시스템이 간단해지는 장점이 있다.

  • PDF