• 제목/요약/키워드: Encoder Model

검색결과 356건 처리시간 0.023초

멀티턴 대화를 활용한 레퍼런스 기반의 발화 생성 모델 (Reference-based Utterance Generation Model using Multi-turn Dialogue)

  • 박상민;손유리;금빛나;김홍진;김학수;김재은
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.88-91
    • /
    • 2022
  • 디지털 휴먼, 민원 상담, ARS 등 칫챗의 활용과 수요가 증가함에 따라 칫챗의 성능 향상을 위한 다양한 연구가 진행되고 있다. 특히, 오토 인코더(Auto-encoder) 기반의 생성 모델(Generative Model)은 높은 성능을 보이며 지속적인 연구가 이루어지고 있으나, 이전 대화들에 대한 충분한 문맥 정보의 반영이 어렵고 문법적으로 부적절한 답변을 생성하는 문제가 있다. 이를 개선하기 위해 검색 기반의 생성 모델과 관련된 연구가 진행되고 있으나, 현재 시점의 문장이 유사해도 이전 문장들에 따라 의도와 답변이 달라지는 멀티턴 대화 특징을 반영하여 대화를 검색하는 연구가 부족하다. 본 논문에서는 이와 같은 멀티턴 대화의 특징이 고려된 검색 방법을 제안하고 검색된 레퍼런스(준정답 문장)를 멀티턴 대화와 함께 생성 모델의 입력으로 활용하여 학습시키는 방안을 제안한다. 제안 방안으로 학습된 발화 생성 모델은 기존 모델과 비교 평가를 수행하며 Rouge-1 스코어에서 13.11점, Rouge-2 스코어에서 10.09점 Rouge-L 스코어에서 13.2점 향상된 성능을 보였고 이를 통해 제안 방안의 우수성을 입증하였다.

  • PDF

Hybrid model-based and deep learning-based metal artifact reduction method in dental cone-beam computed tomography

  • Jin Hur;Yeong-Gil Shin;Ho Lee
    • Nuclear Engineering and Technology
    • /
    • 제55권8호
    • /
    • pp.2854-2863
    • /
    • 2023
  • Objective: To present a hybrid approach that incorporates a constrained beam-hardening estimator (CBHE) and deep learning (DL)-based post-refinement for metal artifact reduction in dental cone-beam computed tomography (CBCT). Methods: Constrained beam-hardening estimator (CBHE) is derived from a polychromatic X-ray attenuation model with respect to X-ray transmission length, which calculates associated parameters numerically. Deep-learning-based post-refinement with an artifact disentanglement network (ADN) is performed to mitigate the remaining dark shading regions around a metal. Artifact disentanglement network (ADN) supports an unsupervised learning approach, in which no paired CBCT images are required. The network consists of an encoder that separates artifacts and content and a decoder for the content. Additionally, ADN with data normalization replaces metal regions with values from bone or soft tissue regions. Finally, the metal regions obtained from the CBHE are blended into reconstructed images. The proposed approach is systematically assessed using a dental phantom with two types of metal objects for qualitative and quantitative comparisons. Results: The proposed hybrid scheme provides improved image quality in areas surrounding the metal while preserving native structures. Conclusion: This study may significantly improve the detection of areas of interest in many dentomaxillofacial applications.

엣지 디바이스에서 객체 탐지를 위한 그룹별 어탠션 기반 경량 디코더 연구 (A group-wise attention based decoder for lightweight salient object detection on edge-devices)

  • 티엔투고;엠디 딜로와르 호씬;허의남
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 추계학술발표대회
    • /
    • pp.30-33
    • /
    • 2023
  • The recent scholarly focus has been directed towards the expeditious and accurate detection of salient objects, a task that poses considerable challenges for resource-limited edge devices due to the high computational demands of existing models. To mitigate this issue, some contemporary research has favored inference speed at the expense of accuracy. In an effort to reconcile the intrinsic trade-off between accuracy and computational efficiency, we present novel model for salient object detection. Our model incorporate group-wise attentive module within the decoder of the encoder-decoder framework, with the aim of minimizing computational overhead while preserving detection accuracy. Additionally, the proposed architectural design employs attention mechanisms to generate boundary information and semantic features pertinent to the salient objects. Through various experimentation across five distinct datasets, we have empirically substantiated that our proposed models achieve performance metrics comparable to those of computationally intensive state-of-the-art models, yet with a marked reduction in computational complexity.

MRU-Net: A remote sensing image segmentation network for enhanced edge contour Detection

  • Jing Han;Weiyu Wang;Yuqi Lin;Xueqiang LYU
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제17권12호
    • /
    • pp.3364-3382
    • /
    • 2023
  • Remote sensing image segmentation plays an important role in realizing intelligent city construction. The current mainstream segmentation networks effectively improve the segmentation effect of remote sensing images by deeply mining the rich texture and semantic features of images. But there are still some problems such as rough results of small target region segmentation and poor edge contour segmentation. To overcome these three challenges, we propose an improved semantic segmentation model, referred to as MRU-Net, which adopts the U-Net architecture as its backbone. Firstly, the convolutional layer is replaced by BasicBlock structure in U-Net network to extract features, then the activation function is replaced to reduce the computational load of model in the network. Secondly, a hybrid multi-scale recognition module is added in the encoder to improve the accuracy of image segmentation of small targets and edge parts. Finally, test on Massachusetts Buildings Dataset and WHU Dataset the experimental results show that compared with the original network the ACC, mIoU and F1 value are improved, and the imposed network shows good robustness and portability in different datasets.

Denoising Diffusion Null-space Model and Colorization based Image Compression

  • Indra Imanuel;Dae-Ki Kang;Suk-Ho Lee
    • International Journal of Internet, Broadcasting and Communication
    • /
    • 제16권2호
    • /
    • pp.22-30
    • /
    • 2024
  • Image compression-decompression methods have become increasingly crucial in modern times, facilitating the transfer of high-quality images while minimizing file size and internet traffic. Historically, early image compression relied on rudimentary codecs, aiming to compress and decompress data with minimal loss of image quality. Recently, a novel compression framework leveraging colorization techniques has emerged. These methods, originally developed for infusing grayscale images with color, have found application in image compression, leading to colorization-based coding. Within this framework, the encoder plays a crucial role in automatically extracting representative pixels-referred to as color seeds-and transmitting them to the decoder. The decoder, utilizing colorization methods, reconstructs color information for the remaining pixels based on the transmitted data. In this paper, we propose a novel approach to image compression, wherein we decompose the compression task into grayscale image compression and colorization tasks. Unlike conventional colorization-based coding, our method focuses on the colorization process rather than the extraction of color seeds. Moreover, we employ the Denoising Diffusion Null-Space Model (DDNM) for colorization, ensuring high-quality color restoration and contributing to superior compression rates. Experimental results demonstrate that our method achieves higher-quality decompressed images compared to standard JPEG and JPEG2000 compression schemes, particularly in high compression rate scenarios.

영구자석 직류전동기의 센서리스 속도제어에 관한 연구 (A Study on the Sensorless Speed Control of Permanent Magnet Direct Current Motor)

  • 오세진;김현철;김종수;윤경국
    • Journal of Advanced Marine Engineering and Technology
    • /
    • 제36권5호
    • /
    • pp.694-699
    • /
    • 2012
  • 본 논문은 수식모델과 히스테리시스 제어기를 사용하여 엔코더, 속도추정기 및 PI 제어기가 필요 없는 새로운 영구자석 직류전동기 센서리스 속도제어 방법을 제안한다. 본 논문의 제어는 영구자석 직류전동기와 수식모델의 토크 차이를 억제하도록 전압을 인가함으로써 전동기의 속도를 설정치인 수식모델의 속도에 추종시키는 방법이며, 순시 토크 제어에 히스테리시스 제어기를 사용하였다. 히스테리시스 제어기는 수식모델 토크 지령치와 전기자전압 및 전류 정보를 이용하여 추정한 전동기 토크를 비교하여 오차를 계산한 후, 히스테리시스 밴드를 거쳐 그 오차를 최소화하는 전압을 선정하여 전동기에 출력하는 방법이다. 본 논문은 제안한 방식의 이론적인 배경 및 타당성에 대해 기술하였으며 실험을 통해 제안된 방식의 우수성을 검증하였다.

Bi-GRU 이미지 캡션의 서술 성능 향상을 위한 Parallel Injection 기법 연구 (Parallel Injection Method for Improving Descriptive Performance of Bi-GRU Image Captions)

  • 이준희;이수환;태수호;서동환
    • 한국멀티미디어학회논문지
    • /
    • 제22권11호
    • /
    • pp.1223-1232
    • /
    • 2019
  • The injection is the input method of the image feature vector from the encoder to the decoder. Since the image feature vector contains object details such as color and texture, it is essential to generate image captions. However, the bidirectional decoder model using the existing injection method only inputs the image feature vector in the first step, so image feature vectors of the backward sequence are vanishing. This problem makes it difficult to describe the context in detail. Therefore, in this paper, we propose the parallel injection method to improve the description performance of image captions. The proposed Injection method fuses all embeddings and image vectors to preserve the context. Also, We optimize our image caption model with Bidirectional Gated Recurrent Unit (Bi-GRU) to reduce the amount of computation of the decoder. To validate the proposed model, experiments were conducted with a certified image caption dataset, demonstrating excellence in comparison with the latest models using BLEU and METEOR scores. The proposed model improved the BLEU score up to 20.2 points and the METEOR score up to 3.65 points compared to the existing caption model.

PC-SAN: Pretraining-Based Contextual Self-Attention Model for Topic Essay Generation

  • Lin, Fuqiang;Ma, Xingkong;Chen, Yaofeng;Zhou, Jiajun;Liu, Bo
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제14권8호
    • /
    • pp.3168-3186
    • /
    • 2020
  • Automatic topic essay generation (TEG) is a controllable text generation task that aims to generate informative, diverse, and topic-consistent essays based on multiple topics. To make the generated essays of high quality, a reasonable method should consider both diversity and topic-consistency. Another essential issue is the intrinsic link of the topics, which contributes to making the essays closely surround the semantics of provided topics. However, it remains challenging for TEG to fill the semantic gap between source topic words and target output, and a more powerful model is needed to capture the semantics of given topics. To this end, we propose a pretraining-based contextual self-attention (PC-SAN) model that is built upon the seq2seq framework. For the encoder of our model, we employ a dynamic weight sum of layers from BERT to fully utilize the semantics of topics, which is of great help to fill the gap and improve the quality of the generated essays. In the decoding phase, we also transform the target-side contextual history information into the query layers to alleviate the lack of context in typical self-attention networks (SANs). Experimental results on large-scale paragraph-level Chinese corpora verify that our model is capable of generating diverse, topic-consistent text and essentially makes improvements as compare to strong baselines. Furthermore, extensive analysis validates the effectiveness of contextual embeddings from BERT and contextual history information in SANs.

초저복잡도 H.264 부호기의 움직임 추정 및 모드 결정 알고리즘 (Motion Estimation and Mode Decision Algorithm for Very Low-complexity H.264/AVC Video Encoder)

  • 유영일;김용태;이승준;강동욱;김기두
    • 방송공학회논문지
    • /
    • 제10권4호통권29호
    • /
    • pp.528-539
    • /
    • 2005
  • H.264는 우수한 부호화 성능으로 말미암아 DMB 차세대 DVD 등 새로운 멀티미디어 서비스를 위한 비디오 코덱으로 채택되어 왔다. 그러나 이 표준의 표준 코덱인 Joint Model(JM)은 연산 자원이 한정된 임베디드 환경에서 사용되기에는 너무 복잡한 다수의 알고리즘을 포함하고 있다. 본 논문은 임베디드 환경에서 사용할 수 있도록 설계된 초저복잡도 H.264 부호화 알고리즘을 제시한다. 제안하는 알고리즘은 압축 성능의 급격한 악화를 가져오지 않는 범위 내에서 몇 가지 부호화 도구의 사용을 제한하고, 또 움직임 추정과 모드 결정 과정에 몇 가지의 조기 종료 조건과 우회 조건을 추가하는 방법으로 구현하였다. 제안하는 알고리즘을 사용하여 7.5fps QCIF 영상을 64kbps로 부호화하는 경우, 표준 JM에 비해서 평균적으로 0.4 dB 정도의 미약한 PSNR 열화를 나타냄에도 불구하고, 단지 $15\%$의 계산량만을 필요로 할 뿐만 아니라, 필요한 메모리의 양과 전력 사용률을 획기적으로 낮추는 것이 가능하다. 제안하는 알고리즘의 H.264 부호기를 Intel PXA255 Processor를 사용하는 PDA에 이식하는 실험을 통하여 PDA에서 H.264 기반의 MMS(Multimedia Messaging Service)의 실현 가능성을 검증하였다.

GALS 시스템에서의 저비용 데이터 전송을 위한 QDI모델 기반 인코더/디코더 회로 설계 (Design of QDI Model Based Encoder/Decoder Circuits for Low Delay-Power Product Data Transfers in GALS Systems)

  • 오명훈
    • 대한전자공학회논문지SD
    • /
    • 제43권1호
    • /
    • pp.27-36
    • /
    • 2006
  • 기존의 지연 무관 (Delay-Insensitive(DI)) 데이터 인코딩 방식은 N 비트 데이터 전송에 물리적으로 2N+1 개의 도선이 필요하다. GALS(Globally Asynchronous Locally Synchronous) 시스템과 같은 대규모 칩 설계 시에 많은 도선 수로 인해 발생할 수 있는 전력 소모와 설계 복잡성을 줄이기 위해, 의사지연 무관 (Quasi D디ay-Insensitive(QDI)) 모델에 기반하고, N+1 개의 도선으로 N 비트 데이터를 전송할 수 있는 인코더와 디코더 회로를 설계한다. 이 회로들은 전류모드 다치 논리 회로(Current-Mode Multiple Valued Logic(CMMVL))를 사용하여 설계되었으며, 도선수를 줄임으로써 파생되는 효율성을 검증하기 위해 0.25 um CMOS 공정에서 기존의 DI 인코딩 방식인 dual-rail 방식 및 1-of-4 방식과 delay-power product ($D{\ast}P$) 값 측면에서 비교하였다. HSPICE를 통한 모의실험 결과 4 mm 이상의 도선의 길이에서, dual-rail 방식과는 5 MHz의 data rate 이상에서, 1-of-4 방식과는 18 MHz의 data rate 이상에서 제안된 CMML 방식이 유리하였다. 또한, 긴 도선에 버퍼를 장착한 dual-rail 방식, 1-of-4방식과의 비교에서도 개선된 CMMVL 방식이 10 mm 도선, 32 비트 데이터 전송에서 각각 4 MHz, 25 MHz data rate 이상에서 최대 $57.7\%$$17.9\%$$D{\ast}P$ 값 감소 효과를 나타냈다.