• 제목/요약/키워드: Stopping Criterion

검색결과 34건 처리시간 0.023초

Simultaneous neural machine translation with a reinforced attention mechanism

  • Lee, YoHan;Shin, JongHun;Kim, YoungKil
    • ETRI Journal
    • /
    • 제43권5호
    • /
    • pp.775-786
    • /
    • 2021
  • To translate in real time, a simultaneous translation system should determine when to stop reading source tokens and generate target tokens corresponding to a partial source sentence read up to that point. However, conventional attention-based neural machine translation (NMT) models cannot produce translations with adequate latency in online scenarios because they wait until a source sentence is completed to compute alignment between the source and target tokens. To address this issue, we propose a reinforced learning (RL)-based attention mechanism, the reinforced attention mechanism, which allows a neural translation model to jointly train the stopping criterion and a partial translation model. The proposed attention mechanism comprises two modules, one to ensure translation quality and the other to address latency. Different from previous RL-based simultaneous translation systems, which learn the stopping criterion from a fixed NMT model, the modules can be trained jointly with a novel reward function. In our experiments, the proposed model has better translation quality and comparable latency compared to previous models.

W-CDMA 무선통신 채널에서 터보 부호를 적용한 OFDM 시스템의 성능 분석 (Performance of Turbo Coded OFDM Systems in W-CDMA Wireless Communication Channel)

  • 신명식;양해술
    • 한국인터넷방송통신학회논문지
    • /
    • 제10권4호
    • /
    • pp.183-191
    • /
    • 2010
  • 디지털 통신 시스템에서 오류 정정 부호화 방식으로 사용되는 터보 부호의 성능은 부호기에 내재되어 부호의 자유 거리 결정에 큰 영향을 미치는 인터리버의 크기와 터보 복호기의 반복 복호 알고리듬에 의한 것이다. 하지만 우수한 성능을 얻기 위해서는 일정 횟수 이상의 반복 복호가 필요하고 이 과정에서 많은 시간 지연이 요구된다. 최근에 터보 부호의 성능을 감소시키지 않으면서 반복 복호 횟수를 감소시키는 방법들이 연구되고 있다. 본 논문에서는 기존의 반복복호 감소방식(stopping criteria) 중에서 ME(mean estimate)방식과 SDR(sign difference ratio)방식을 연접시킨 새로운 방식을 제안하고 두 방식의 상호보상을 통해 약 1~2회 정도의 반복복호 횟수를 감소시켜 성능 향상을 가질 수 있음을 확인하였다. 또한 선형으로 연결된 두 개의 복호기 모두에 이 방식을 적용시켜 보다 빠른 복호가 가능하도록 하였다. 시스템 환경은 MAI(multiple access interference)가 극심한 W-CDMA의 순방향 링크로 가정하였다.

터보부호에서 LLR 분산값을 이용한 반복중단 알고리즘 구현 (Implementation of Stopping Criterion Algorithm using Variance Values of LLR in Turbo Code)

  • 정대호;김환용
    • 대한전자공학회논문지TC
    • /
    • 제43권9호
    • /
    • pp.149-157
    • /
    • 2006
  • 터보부호는 디지털 이동통신 시스템에서 사용되는 오류정정 부호화 기법의 일종으로서 반복복호가 진행됨에 따라 AWGN 채널 환경에서 우수한 BER 성능을 나타낸다. 그러나 다양한 채널 환경에서 반복 횟수가 증가하면 복호하는데 필요한 지연시간과 계산량이 증가하는 단점을 가진다. 이를 해결하기 위해서는 적절한 반복 후에 반복복호를 효율적으로 중단시킬 수 있는 중단조건이 필요하게 된다. 본 논문에서는 터보 복호기의 최종 연판정 출력값인 LLR의 분산값을 중단조건으로 이용하여 BER 성능의 손실없이 모든 SNR 영역에서 평균 반복복호 횟수를 크게 감소시킬 수 있는 효율적인 반복중단 알고리즘을 제안한다. 모의실험 결과, 높은 SNR 영역에서 제안된 알고리즘의 평균 반복복호 횟수는 외부정보 값에 대한 분산값을 이용한 방법과 비교하여 약 $34.66{\sim}41.33%$ 정도의 감소효과를 나타내었다. 낮은 SNR 영역에서 CE 알고리즘과 비교하여 약 $13.93%{\sim}14.45%$ 정도의 감소효과를 나타냈으며, SDR 알고리즘과 비교하여 약 $13.23%{\sim}14.26%$ 정도의 감소효과를 나타내었다.

터보부호에서 외부정보에 대한 부호변화율을 이용한 반복중단 알고리즘 구현 (Implementation of Stopping Criterion Algorithm using Sign Change Ratio for Extrinsic Information Values in Turbo Code)

  • 정대호;심병섭;김환용
    • 대한전자공학회논문지TC
    • /
    • 제43권7호
    • /
    • pp.143-149
    • /
    • 2006
  • 터보부호는 디지털 이동통신 시스템에서 사용되는 오류정정 부호화 기법의 일종으로서 반복복호가 진행됨에 따라 AWGN 채널 환경에서 우수한 BER 성능을 나타낸다. 그러나 다양한 채널 환경에서 반복 횟수가 증가하면 복호하는데 필요한 지연시간과 계산량이 증가하는 단점을 가진다. 이를 해결하기 위해서는 적절한 반복 후에 반복복호를 효율적으로 중단시킬 수 있는 중단조건이 필요하게 된다. 본 논문에서는 터보 복호기의 현재 복호 과정에서 첫 번째 복호기와 두번째 복호기의 외부정보 값에 대한 부호변화율을 중단조건으로 이용하여 BER 성능의 손실없이 낮은 SNR 영역에서 평균 반복복호 횟수를 크게 감소 시킬 수 있는 효율적인 반복중단 알고리즘을 제안한다. 모의실험 결과, 낮은 SNR 영역에서 제안된 알고리즘의 평균 반복복호 횟수는 CE 알고리즘과 비교하여 약 $12.48%{\sim}22.22%$ 정도의 감소효과를 나타냈으며 SDR 알고리즘과 비교하여 약 $20.43%{\sim}54.02%$ 정도의 감소효과를 나타내었다.

ON THE CONVERGENCE OF THE UOBYQA METHOD

  • Han, Lixing;Liu, Guanghui
    • Journal of applied mathematics & informatics
    • /
    • 제16권1_2호
    • /
    • pp.125-142
    • /
    • 2004
  • We analyze the convergence properties of Powell's UOBYQA method. A distinguished feature of the method is its use of two trust region radii. We first study the convergence of the method when the objective function is quadratic. We then prove that it is globally convergent for general objective functions when the second trust region radius p converges to zero. This gives a justification for the use of p as a stopping criterion. Finally, we show that a variant of this method is superlinearly convergent when the objective function is strictly convex at the solution.

ON A SECOND ORDER PARALLEL VARIABLE TRANSFORMATION APPROACH

  • Pang, Li-Ping;Xia, Zun-Quan;Zhang, Li-Wei
    • Journal of applied mathematics & informatics
    • /
    • 제11권1_2호
    • /
    • pp.201-213
    • /
    • 2003
  • In this paper we present a second order PVT (parallel variable transformation) algorithm converging to second order stationary points for minimizing smooth functions, based on the first order PVT algorithm due to Fukushima (1998). The corresponding stopping criterion, descent condition and descent step for the second order PVT algorithm are given.

블록기반 압축센싱 복원을 위한 수렴 복잡도 저감 (Convergence Complexity Reduction for Block-based Compressive Sensing Reconstruction)

  • 박영균;심혁재;전병우
    • 방송공학회논문지
    • /
    • 제19권2호
    • /
    • pp.240-249
    • /
    • 2014
  • 압축센싱 이론에 따르면 표본화 될 신호가 일련의 조건을 만족하는 성긴 신호라면 나이퀴스트 표본화주파수보다 적은 수의 측정 샘플들만 가지고도 원 신호를 완벽하게 복원할 수 있다. 그러나 압축센싱 이론을 실제 영상에 활용하기 위해서는, 신호 복원에 필요한 계산 복잡도와 메모리 요구량을 줄일 필요가 있다. 이런 관점에서 블록압축센싱(Block-based Compressive Sensing)에 기반한 Smooth Projected Landweber (BCS-SPL) 방법이 개발되었지만, 이 또한 복원과정의 계산 복잡도가 여전히 큰 문제가 있다. 본 논문에서는 기존의 BCS-SPL 복원 알고리즘의 수렴을 보다 빠르게 하기 위하여, 반복복원 중지조건, 허용 오차, 수렴 조절 인자를 개선한 수렴 복잡도 저감 방법을 제시한다. 제시한 방법은 기존 BCS-SPL 방법보다 낮은 수의 반복복원 횟수내로 수렴하면서도 동시에 복원 화질도 개선시키는 실험 결과를 보였다.

Modified harmony search and its application to cost minimization of RC columns

  • Medeiros, Guilherme F.;Kripka, Moacir
    • Advances in Computational Design
    • /
    • 제2권1호
    • /
    • pp.1-13
    • /
    • 2017
  • This paper presents a variant of the Harmony Search Algorithm (HS) and its application to discrete optimization. The main proposed modifications regarding original HS are related to stopping criterion and reinitialization of population, called Harmony Memory. In order to investigate the efficiency of the algorithm, it was applied for obtaining optimal sections of reinforced concrete columns subjected to uniaxial flexural compression. To minimize the cost of the section, the amount and diameters of the reinforcement bars and the dimensions of the columns cross sections were considered as design variables. The obtained results were compared to those generated by other optimization methods. Since, to the examples, Harmony Search reached the same results achieved by Simulated Annealing, some additional analysis are presented in order to compare these methods regarding success rate and number of iterations to reach the optimum.

Scene Change Detection using the Automated Threshold Estimation Algorithm

  • Ko Kyong-Cheol;Rhee Yang-Won
    • 한국정보시스템학회지:정보시스템연구
    • /
    • 제14권3호
    • /
    • pp.117-122
    • /
    • 2005
  • This paper presents a method for detecting scene changes in video sequences, in which the $chi^{2}$-test is modified by imposing weights according to NTSC standard. To automatically determine threshold values for scene change detection, the proposed method utilizes the frame differences that are obtained by the weighted $chi^{2}$-test. In the first step, the mean and the standard deviation of the difference values are calculated, and then, we subtract the mean difference value from each difference value. In the next step, the same process is performed on the remained difference values, mean-subtracted frame differences, until the stopping criterion is satisfied. Finally, the threshold value for scene change detection is determined by the proposed automatic threshold estimation algorithm. The proposed method is tested on various video sources and, in the experimental results, it is shown that the proposed method is reliably estimates the thresholds and detects scene changes.

  • PDF

간선 모집단 규모축소 기법을 적용한 빠른 최소신장트리 결정 (Fast Determination of Minimum Spanning Tree Based on Down-sizing Technique of Edges Population)

  • 이상운;최명복
    • 한국인터넷방송통신학회논문지
    • /
    • 제14권1호
    • /
    • pp.51-59
    • /
    • 2014
  • 논문은 최소신장트리를 보다 빠르게 구하기 위해 그래프의 간선 모집단을 축소시키는 방법을 제안하였다. 기존의 최소신장트리 알고리즘은 그래프의 모든 간선을 대상으로 한다. 반면에, 제안된 알고리즘은 사전에 결합가가 3 이상인 정점에 대해 최대 가중치 간선을 삭제하는 방법을 적용하여 간선 모집단 크기를 축소시킨다. 다음으로 축소된 간선 모집단을 대상으로 Borůvka, Prim, Kruskal과 역-삭제 알고리즘을 최적으로 종료시키는 종료시점 기준을 적용하였다. 9개 그래프에 제안된 알고리즘을 적용한 결과 MST에 기여를 하지 못하는 간선을 사전에 평균 38% 축소시킬 수 있었다. 또한, 원래의 그래프를 대상으로 하는 경우와 비교 결과 알고리즘에서 비교되는 간선의 수를 Borůvka는 38%, Prim은 37%, Kruskal은 39%, 역-삭제 알고리즘은 73%를 단축시켜 신속하게 최소신장트리를 구하였다.