• Title/Summary/Keyword: 스텝

Search Result 832, Processing Time 0.041 seconds

Max-Mean N-step Temporal-Difference Learning Using Multi-Step Return (멀티-스텝 누적 보상을 활용한 Max-Mean N-Step 시간차 학습)

  • Hwang, Gyu-Young;Kim, Ju-Bong;Heo, Joo-Seong;Han, Youn-Hee
    • KIPS Transactions on Computer and Communication Systems
    • /
    • v.10 no.5
    • /
    • pp.155-162
    • /
    • 2021
  • n-step TD learning is a combination of Monte Carlo method and one-step TD learning. If appropriate n is selected, n-step TD learning is known as an algorithm that performs better than Monte Carlo method and 1-step TD learning, but it is difficult to select the best values of n. In order to solve the difficulty of selecting the values of n in n-step TD learning, in this paper, using the characteristic that overestimation of Q can improve the performance of initial learning and that all n-step returns have similar values for Q ≈ Q*, we propose a new learning target, which is composed of the maximum and the mean of all k-step returns for 1 ≤ k ≤ n. Finally, in OpenAI Gym's Atari game environment, we compare the proposed algorithm with n-step TD learning and proved that the proposed algorithm is superior to n-step TD learning algorithm.

An acoustic channel estimation using least mean fourth with an average gradient vector and a self-adjusted step size (기울기 평균 벡터를 사용한 가변 스텝 최소 평균 사승을 사용한 음향 채널 추정기)

  • Lim, Jun-Seok
    • The Journal of the Acoustical Society of Korea
    • /
    • v.37 no.3
    • /
    • pp.156-162
    • /
    • 2018
  • The LMF (Least Mean Fourth) algorithm is well known for its fast convergence and low steady-state error especially in non-Gaussian noise environments. Recently, there has been increasing interest in the LMS (Least Mean Square) algorithms with self-adjusted step size. It is because the self-adjusted step-size LMS algorithms have shown to outperform the conventional fixed step-size LMS in the various situations. In this paper, a self-adjusted step-size LMF algorithm is proposed, which adopts an averaged gradient based step size as a self-adjusted step size. It is expected that the proposed algorithm also outperforms the conventional fixed step-size LMF. The superiority of the proposed algorithm is confirmed by the simulations in the time invariant and time variant channels.

Performance Improvement of CCA Blind Equalization Algorithm by Adaptive Step Size (적응 스텝 크기에 의한 CCA 블라인드 등화 알고리즘의 성능 개선)

  • Lim, Seung-Gag
    • The Journal of the Institute of Internet, Broadcasting and Communication
    • /
    • v.16 no.1
    • /
    • pp.109-114
    • /
    • 2016
  • This paper relates with the performance improvement of CCA (Compact Constellation Algorithm) equalization algorithm by adding the adaptive step size control in order to the minimization of intersymbol interference and additive noise effects that is occurs in the channel for digital radio transmissionl. In general, the fixed step size was used in order to adaptation in equalizer algorithm. But in proposed algorithm, the variable step size were adapted that is proposional to the nonlinear function of error signal for equalization. In order to show the improved equalizatation performance, the output signal constellation of equalizer, residual isi, maximum distortion, MSE and SER were used, then it were compared with the present CCA algorithm. As a result of computer simulation, the adaptive step size CCA has more better performance in the every performance index compared to the fixed step size CCA after in the steay state.

A Study on High-Efficiency MPPT Algorithm Based on P&O Method with Variable Step Size (가변 스텝 사이즈를 적용한 P&O 방식 기반의 고효율 MPPT 알고리즘 연구)

  • Ding, Jiajun;Jo, Jongmin;Lee, Jungsub;Cha, Hanju
    • Proceedings of the KIPE Conference
    • /
    • 2018.07a
    • /
    • pp.120-122
    • /
    • 2018
  • 본 논문은 최대 전력점을 추종하는 기존 P&O 방식의 동적 응답 특성을 향상시키기 위해 가변 스텝 사이즈를 적용한 P&O 방식 기반의 MPPT 알고리즘을 제안하였으며, 시뮬레이션 및 실험을 통해 검증하였다. 제안된 알고리즘은 듀티 제어를 통해 최대 전력점을 추종하며, 2가지 동작모드로써 가변 스텝 모드와 고속모드로 구성된다. 일사량이 일정한 경우, 가변 스텝 모드에서 듀티의 스텝 사이즈 감소를 통해 최대 전력점에서 동작점의 전압변동이 작아짐에 따라 진동이 감소하여 발전 효율이 증가한다. 일사량이 변동하는 경우, MPPT 오류를 피하기 위해 듀티와 PV 전압은 일정하게 유지하며, 일사량 변화가 끝난 시점에서 고속모드 동작을 통해 빠르게 최대 전력점으로 추종한다. 최대 전력점에 도달하면 가변 스텝 모드로 변경하여 듀티 스텝 사이즈를 감소시켜 최대 전력점을 추종한다. PV 패널, 부스트 컨버터로 구성된 PV 시스템의 시뮬레이션 및 실험을 통해 제안된 알고리즘의 타당성을 검증하였다.

  • PDF

New Double-Connected Multi-Step Inverter for SVC Applications (SVC적용을 위한 새로운 이중접속방식의 멀티스텝 인버터)

  • 양승욱;최세완;문건우;조정구
    • The Transactions of the Korean Institute of Power Electronics
    • /
    • v.4 no.6
    • /
    • pp.547-553
    • /
    • 1999
  • A new multi-step voltage source inverter is proposed in this paper. The proposed scheme is composed of t the double-connected 12-step inverter with an auxiliary circuit. The auxiliary circuit includes two voltage d dividing capacitors, two switching devices and a low KV A autotransformer. The resultant system is shown to b be a 24-step inverter suitable for medium power level SVC applications in which the PWM method can not be e employed. A 36-step operation can also be 이)tained by the addition of a bidirectional switch to the ProlXlsed I inverter. The design parameters are derived from the analysis of voltages and currents by means of switching f functions. The validity of the proposed scheme is confirmed by the simulated and experimental results.

  • PDF

Development of computer aided calibration module for CMMS and machine tools using a compensated step gauge

  • Pahk, Heuijae;Kim, Jonghoo
    • Proceedings of the Korean Operations and Management Science Society Conference
    • /
    • 1992.04b
    • /
    • pp.444-453
    • /
    • 1992
  • 이 논문은 스텝게이지와 마이크로 컴퓨터를 이용하여 온라인으로 3차원좌표측정기의 오차를 보정하는 시스템에 관한 것이다. 이때 사용하는 스텝게이지는 미리 교정을 실시하여 그 교정데이타를 컴퓨터상에 저장하고 있다. 측정기의 작업영역안에서 어떠한 방향으로 스텝게이지가 놓여 있어도 초기점을 지정하면 CNC타입의 코드를 자동으로 생성하여 스텝게이지 측정을 실시하며 그 측정결과는 3차원 좌표측정기의 오차를 보정하는데 사용된다. 결과적으로 경제적이고 실용적인 오차보정 시스템을 구현할 수 있다.

  • PDF

Torque analysis of hybrid step motor with structural errors (구조적 오차를 갖는 하이브리드 스텝 모터의 토오크 특성)

  • 허욱열;김용하
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 1987.10b
    • /
    • pp.578-581
    • /
    • 1987
  • 하이브리드 스텝 모터와 같은 소형 정밀 모터에서 이를 설계 제작하는 과정에서 가공기술의 부족과 높은 생산 단가로 인하여 모든 부분의 가공에 높은 정밀도를 유지하기는 어렵다. 그러므로 토오크 특성에 영향을 많이 미치는 부위의 가공 정밀도를 향상시킴으로써 생산 단가를 줄일 수 있다. 하이브리드 스텝, 모터에서 구조상의 오차는 모터의 PERMEANCE를 변화시키고 PERMEANCE의 변화는 이와 직접적인 관련을 갖고 있는 토오크를 변화시켜서 결국에는 스텝 모터의 가장 중용한 요소인 정확한 위치 제어를 할 수 없게 된다. 모터의 구조적 결함에 대하여 알아보고 이 과정을 통하여 구한 HOLDING 토오크 값으로부터 정상인 때와 구조적인 오차가 있는 경우에 대한 토오크의 최대치와 DETENT 위치를 서로 비교함으로써 오차에 대한 토오크의 영향을 해석한다.

  • PDF

A Predicted Newton-Raphson Iterative Method utilizing Neural Network (신경회로망을 이용한 예측 뉴턴-랩손 반복계산기법)

  • Kim, Jong-Hoon;Kim, Yong-Hyup
    • Proceedings of the KSME Conference
    • /
    • 2000.04a
    • /
    • pp.339-344
    • /
    • 2000
  • Newton-Raphson 기법은 구조물의 비선형 해석에 널리 쓰이는 반복계산기법이다. 비선형 해석을 위한 반복계산기법은 컴퓨터의 발달을 감안해도 상당한 계산시간이 소요된다. 본 논문에서는 신경회로망 예측을 사용한 Predicted Newton-Raphson 반복계산기법을 제안하였다. 통상적인 Newton-Raphson 기법은 이전스텝에서 수렴된 점으로부터 현재 스텝의 반복계산을 시작하는 반면 제시된 방법은 현재 스텝 수렴해에 대한 예측점에서 반복계산을 시작한다. 수렴해에 대한 예측은 신경회로망을 사용하여 이전 스텝 수렴해의 과거경향을 파악한 후 구한다. 반복계산 시작점이 수렴점에 보다 근접하여 위치하므로 수렴속도가 빨라지게 되고 허용되는 하중스텝의 크기가 커지게 된다. 또한 반복계산의 시작점으로부터 이루어지는 계산과정은 통상적인 Newton-Raphson 기법과 동일하므로 기존의 Newton-Raphson 기법과 정확히 일치하는 수렴해를 구할 수 있다. 구조물의 정적 비선형 거동에 대한 수치해석을 통하여 modified Newton-Raphson 기법과 제시된 Predicted Newton=Raphson 기법의 정확성과 효율성을 비교하였다. 제시된 Predicted Newton-Raphson 기법은 modified Newton-Raphson 기법과 동일한 해를 산출하면서도 계산상의 효율성이 매우 큼을 확인할 수 있었다.

  • PDF

Fast Human Detection Using Adaptive Steps (적응적 스텝에 의한 빠른 사람 검출)

  • Jeon, Hyo-Jong;O, Il-Seok
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2012.06b
    • /
    • pp.465-467
    • /
    • 2012
  • 사람 검출 방법에서 중요한 두 가지 문제는 다양한 배경과 조명등에서 적용 가능한가와 실시간성을 보장 할 수 있는가이다. 본 논문에서는 Dalal와 Triggs가 제안한 다양한 배경과 조명등에서 강인한 HOG(Histogram of Oriented Gradient) 특징 기반의 사람 검출 방법의 수행 속도를 향상시키는 방법을 제안한다. HOG 특징 기반의 사람 검출 방법의 성능은 매우 뛰어나다. 하지만 HOG 계산과 SVM 분류에 있어서 느리다는 단점을 가지고 있다. 따라서 본 논문에서는 기존 방식의 수행 속도를 향상시키기 위하여 검출 윈도우의 고정 스텝 형식이 아닌 SVM의 출력 값을 이용하여 검출 윈도우의 적응적 스텝 형식을 적용하였다. 실험 결과 고정 스텝 형식보다 적응적 스텝 형식의 수행 속도가 향상됨을 보였다.

A Study on Convergence Video System through Step Squencer (스텝시켄서를 통한 융복합 영상시스템 연구)

  • Oh, Seung-Hwan
    • Journal of Digital Convergence
    • /
    • v.17 no.11
    • /
    • pp.435-440
    • /
    • 2019
  • Recently, many musical instrument mobile apps have been released targeting normal people who can't play musical instrument at all. The reason of developing video system based on step sequencer are as follows; first, users can freely play the musical instruments; second, induce multiple users to play; and third, develop and suggest new step sequencer fused with the video. To resolve issue in video synchronization caused by sync issues when operating multiple step sequencers, the Pocket Operator of Teenage Engineering was used to realize multiply-connected step sequencer and also, the ultimate video system was developed through Mira-Web for multiple participation. In addition, it's required to make the Pocket Operator as software and receive various feedbacks to continue and complement study in order to develop the better video system.