• 제목/요약/키워드: Encoder Model

검색결과 354건 처리시간 0.03초

휴대 단말기용 MPEG-4 AAC 코덱의 최적화 (Optimization of MPEG-4 AAC Codec on PDA)

  • 김동현;김도형;정재호
    • 한국음향학회지
    • /
    • 제21권3호
    • /
    • pp.237-244
    • /
    • 2002
  • 본 논문에서는 MPEG-4 VM (Moving Picture Expert Group-4 Verification Model) 소스를 이용하여 일반오디오(GA: General Audio) AAC (Advanced Audio Coding)의 부호화기의 최적화 및 개인 정보 단말기 (PDA: Personal Digital Assistant)용 복호화기 설계에 대하여 언급하였다. 일반오디오의 최적화를 위하여 먼저 C코드를 프로파일하고 그 결과를 토대로 최적화 대상함수를 선정하여 최적화를 수행하였다. 윈도우 98환경의 Intel Pentium III 600 MHz에서 부가적인 부호화 옵션을 사용하였을 때의 부호화시간은 입력 샘플의 약 20배의 시간이 소요되었고, 옵션을 사용하지 않을 때 약 10배 정도 소요되었다. 복호화기는 개인 정보 단말기에서 약 17초 샘플에 대하여 35초 이상 걸리는 것을 확인하였다. 일련의 최적화 과정을 통하여 약 50% 정도의 부호화 시간 단축과 개인 정보 단말기에서의 실시간 복호화를 실현하였다.

MPEG 심리음향모델의 고속 구현을 위한 효율적 FFT 연산 (An Efficient Computation of FFT for MPEG/Audio Psycho-Acoustic Model)

  • 송건호;이근섭;박영철;윤대희
    • 대한전자공학회논문지SP
    • /
    • 제41권6호
    • /
    • pp.261-269
    • /
    • 2004
  • 본 논문은 MPEG 오디오 부호화 과정 중 심리음향모델(PAM: Psychoacoustic Model)에 사용되는 FFT를 효율적으로 계산할 수 있는 방법을 제안한다. MPEG 오디오 부호화 과정 중 심리음향 모델 연산은 많은 연산량을 차지하며, 부호화의 실시간 및 저 전력 구현을 위해서는 이의 최적화가 요구된다. 최적화를 위하여 제안하는 알고리듬은 심리음향모델에서 사용하는 입력신호에 대한 1024-샘플 FFT 대신에 서브밴드과정에서 나온 각각의 32개의 밴드에 대하여 32-샘플 FFT를 함으로써 1024-샘플 FFT의 효과를 얻는데 있다. 이때 서브밴드과정을 거친 신호에 대한 FFT에는 에일리어징이 발생하며 이를 줄이기 위하여 버터플라이 구조의 에일리어징 제거블록을 제안한다. 제안한 알고리듬으로 심리음향모델을 구현할 경우 SMR이 약 1dB이내의 오차를 가지며, 기존 알고리듬에 비해 절반의 연산량으로 심리음향 모델을 위한 FFT 스펙트럼을 얻을 수 있다.

Understanding recurrent neural network for texts using English-Korean corpora

  • Lee, Hagyeong;Song, Jongwoo
    • Communications for Statistical Applications and Methods
    • /
    • 제27권3호
    • /
    • pp.313-326
    • /
    • 2020
  • Deep Learning is the most important key to the development of Artificial Intelligence (AI). There are several distinguishable architectures of neural networks such as MLP, CNN, and RNN. Among them, we try to understand one of the main architectures called Recurrent Neural Network (RNN) that differs from other networks in handling sequential data, including time series and texts. As one of the main tasks recently in Natural Language Processing (NLP), we consider Neural Machine Translation (NMT) using RNNs. We also summarize fundamental structures of the recurrent networks, and some topics of representing natural words to reasonable numeric vectors. We organize topics to understand estimation procedures from representing input source sequences to predict target translated sequences. In addition, we apply multiple translation models with Gated Recurrent Unites (GRUs) in Keras on English-Korean sentences that contain about 26,000 pairwise sequences in total from two different corpora, colloquialism and news. We verified some crucial factors that influence the quality of training. We found that loss decreases with more recurrent dimensions and using bidirectional RNN in the encoder when dealing with short sequences. We also computed BLEU scores which are the main measures of the translation performance, and compared them with the score from Google Translate using the same test sentences. We sum up some difficulties when training a proper translation model as well as dealing with Korean language. The use of Keras in Python for overall tasks from processing raw texts to evaluating the translation model also allows us to include some useful functions and vocabulary libraries as well.

Rayleigh 페이딩하에서 pragmatic 부호와 TCM의 성능에 관한 연구 (A Study on Performance of Parmatic Coding and TCM in Rayleigh Fading Environment)

  • 강민정;방성일;진년강
    • 한국전자파학회지:전자파기술
    • /
    • 제4권1호
    • /
    • pp.20-27
    • /
    • 1993
  • 본 논문에서는 디지탈 무선통신을 위한 전송방식으로 집합분할에 의한TCM/M-PSK와pragmatic 부호에 의한 M 진 PSK 시스댐을 실현하였다. 전송채널에 AWGN과 Rayleigh 페이딩이 존재하는 경우 시스댐의 성능을 오율 관점에서 해석하였으며, 이를 위한 오율식을 유도하여 제시하였다. 그 결과 Rayleigh 페이덩이 많은 영향을 미치는 이동무선통신에서 pragmatic 부호에 의한 방식은 부호화하지 않고 곧바로 전송되는 정보데이터에 의해 발생하는 병렬쌍때문에 시스템 전체의 성능을 저하시키게 됨을 알 수 있었다. 하지만 AWGN만 고려하는 무선통신에서 pragmatic 방식은 단일 부호기/복호기를 사용하므로 시스템이 간단해지는 장점이 있다.

  • PDF

단채널 MOSFET의 열잡음 모델링을 위한 잡음 파라메터의 분석과 추출방법 (Analysis and extraction method of noise parameters for short channel MOSFET thermal noise modeling)

  • 김규철
    • 한국정보통신학회논문지
    • /
    • 제13권12호
    • /
    • pp.2655-2661
    • /
    • 2009
  • 단채널 MOSFET의 열잡음 모델링을 위한 정밀한 잡음 파라메터를 유도하고 추출했다. MOSFET의 잡음 파라메터를 계산하기 위한 Fukui모델을 단채널에서의 기생성분의 영향을 고려하여 수정하였고, 기존의 모델식과 비교하였다. 또한 소자 고유의 잡음원을 얻기 위해서 서브마이크론 MOSFET의 잡음 파라메터(최소잡음지수 $F_{min}$, 등가잡음 저항 $R_n$, 최적 소스어드미턴스 $Y_{opt}=G_{opt}+B_{opt}$)를 추출하는 방법을 제시하였다. 이러한 추출방법을 통하여 프로브패드의 영향과 외부기생소자 영향을 제거한 MOSFET 고유의 잡음 파라메터가 RF잡음측정으로부터 직접 얻어지게 된다.

Towards Improving Causality Mining using BERT with Multi-level Feature Networks

  • Ali, Wajid;Zuo, Wanli;Ali, Rahman;Rahman, Gohar;Zuo, Xianglin;Ullah, Inam
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제16권10호
    • /
    • pp.3230-3255
    • /
    • 2022
  • Causality mining in NLP is a significant area of interest, which benefits in many daily life applications, including decision making, business risk management, question answering, future event prediction, scenario generation, and information retrieval. Mining those causalities was a challenging and open problem for the prior non-statistical and statistical techniques using web sources that required hand-crafted linguistics patterns for feature engineering, which were subject to domain knowledge and required much human effort. Those studies overlooked implicit, ambiguous, and heterogeneous causality and focused on explicit causality mining. In contrast to statistical and non-statistical approaches, we present Bidirectional Encoder Representations from Transformers (BERT) integrated with Multi-level Feature Networks (MFN) for causality recognition, called BERT+MFN for causality recognition in noisy and informal web datasets without human-designed features. In our model, MFN consists of a three-column knowledge-oriented network (TC-KN), bi-LSTM, and Relation Network (RN) that mine causality information at the segment level. BERT captures semantic features at the word level. We perform experiments on Alternative Lexicalization (AltLexes) datasets. The experimental outcomes show that our model outperforms baseline causality and text mining techniques.

CT 영상에서 폐 결절 분할을 위한 경계 및 역 어텐션 기법 (Boundary and Reverse Attention Module for Lung Nodule Segmentation in CT Images)

  • 황경연;지예원;윤학영;이상준
    • 대한임베디드공학회논문지
    • /
    • 제17권5호
    • /
    • pp.265-272
    • /
    • 2022
  • As the risk of lung cancer has increased, early-stage detection and treatment of cancers have received a lot of attention. Among various medical imaging approaches, computer tomography (CT) has been widely utilized to examine the size and growth rate of lung nodules. However, the process of manual examination is a time-consuming task, and it causes physical and mental fatigue for medical professionals. Recently, many computer-aided diagnostic methods have been proposed to reduce the workload of medical professionals. In recent studies, encoder-decoder architectures have shown reliable performances in medical image segmentation, and it is adopted to predict lesion candidates. However, localizing nodules in lung CT images is a challenging problem due to the extremely small sizes and unstructured shapes of nodules. To solve these problems, we utilize atrous spatial pyramid pooling (ASPP) to minimize the loss of information for a general U-Net baseline model to extract rich representations from various receptive fields. Moreover, we propose mixed-up attention mechanism of reverse, boundary and convolutional block attention module (CBAM) to improve the accuracy of segmentation small scale of various shapes. The performance of the proposed model is compared with several previous attention mechanisms on the LIDC-IDRI dataset, and experimental results demonstrate that reverse, boundary, and CBAM (RB-CBAM) are effective in the segmentation of small nodules.

다중 인코더 기반의 트랜스포머 모델을 활용한 한반도 대규모 유역에 중장기 유출량 예측 전망 방법 제시 (A medium-range streamflow forecasting approach over South Korea using Double-encoder-based transformer model)

  • 이동기;윤성현;안국현
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2023년도 학술발표회
    • /
    • pp.101-101
    • /
    • 2023
  • 지난 수십 년 동안 다양한 딥러닝 방법이 개발되고 있으며 수문 분야에서는 이러한 딥러닝 모형이 기존의 수문모형의 역할을 대체하여 사용할 수 있다는 가능성이 제시되고 있다. 본 연구에서는 딥러닝 모형 중에 트랜스포머 모형에 다중 인코더를 사용하여 중장기 기간 (1 ~ 10일)의 리드 타임에 대한 한국의 유출량 예측 전망의 가능성을 확인하고자 하였다. 트랜스포머 모형은 인코더와 디코더 구조로 구성되어 있으며 어텐션 (attention) 기법을 사용하여 기존 모형의 정보를 손실하는 단점을 보완한 모형이다. 본 연구에서 사용된 다중 인코더 기반의 트랜스포머 모델은 트랜스포머의 인코더와 디코더 구조에서 인코더를 하나 더 추가한 모형이다. 그리고 결과 비교를 위해 기존에 수문모형을 활용한 스태킹 앙상블 모형 (Stacking ensemble model) 기반의 예측모형을 추가로 구축하였다. 구축된 모형들은 남한 전체를 총 469개의 대규모 격자로 나누어 각 격자의 유출량을 비교하여 평가하였다. 결과적으로 수문모형보다 딥러닝 모형인 다중 인코더 기반의 트랜스포머 모형이 더 긴 리드 타임에서 높은 성능을 나타냈으며 이를 통해 수문모형의 역할을 딥러닝 모형이 어느 정도는 대신할 수 있고 높은 성능을 가질 수 있는 것을 확인하였다.

  • PDF

멀티턴 대화를 활용한 레퍼런스 기반의 발화 생성 모델 (Reference-based Utterance Generation Model using Multi-turn Dialogue)

  • 박상민;손유리;금빛나;김홍진;김학수;김재은
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.88-91
    • /
    • 2022
  • 디지털 휴먼, 민원 상담, ARS 등 칫챗의 활용과 수요가 증가함에 따라 칫챗의 성능 향상을 위한 다양한 연구가 진행되고 있다. 특히, 오토 인코더(Auto-encoder) 기반의 생성 모델(Generative Model)은 높은 성능을 보이며 지속적인 연구가 이루어지고 있으나, 이전 대화들에 대한 충분한 문맥 정보의 반영이 어렵고 문법적으로 부적절한 답변을 생성하는 문제가 있다. 이를 개선하기 위해 검색 기반의 생성 모델과 관련된 연구가 진행되고 있으나, 현재 시점의 문장이 유사해도 이전 문장들에 따라 의도와 답변이 달라지는 멀티턴 대화 특징을 반영하여 대화를 검색하는 연구가 부족하다. 본 논문에서는 이와 같은 멀티턴 대화의 특징이 고려된 검색 방법을 제안하고 검색된 레퍼런스(준정답 문장)를 멀티턴 대화와 함께 생성 모델의 입력으로 활용하여 학습시키는 방안을 제안한다. 제안 방안으로 학습된 발화 생성 모델은 기존 모델과 비교 평가를 수행하며 Rouge-1 스코어에서 13.11점, Rouge-2 스코어에서 10.09점 Rouge-L 스코어에서 13.2점 향상된 성능을 보였고 이를 통해 제안 방안의 우수성을 입증하였다.

  • PDF

Hybrid model-based and deep learning-based metal artifact reduction method in dental cone-beam computed tomography

  • Jin Hur;Yeong-Gil Shin;Ho Lee
    • Nuclear Engineering and Technology
    • /
    • 제55권8호
    • /
    • pp.2854-2863
    • /
    • 2023
  • Objective: To present a hybrid approach that incorporates a constrained beam-hardening estimator (CBHE) and deep learning (DL)-based post-refinement for metal artifact reduction in dental cone-beam computed tomography (CBCT). Methods: Constrained beam-hardening estimator (CBHE) is derived from a polychromatic X-ray attenuation model with respect to X-ray transmission length, which calculates associated parameters numerically. Deep-learning-based post-refinement with an artifact disentanglement network (ADN) is performed to mitigate the remaining dark shading regions around a metal. Artifact disentanglement network (ADN) supports an unsupervised learning approach, in which no paired CBCT images are required. The network consists of an encoder that separates artifacts and content and a decoder for the content. Additionally, ADN with data normalization replaces metal regions with values from bone or soft tissue regions. Finally, the metal regions obtained from the CBHE are blended into reconstructed images. The proposed approach is systematically assessed using a dental phantom with two types of metal objects for qualitative and quantitative comparisons. Results: The proposed hybrid scheme provides improved image quality in areas surrounding the metal while preserving native structures. Conclusion: This study may significantly improve the detection of areas of interest in many dentomaxillofacial applications.