• Proceedings of the Korea Information Processing Society Conference
• /
• 2021.11a
• /
• pp.910-913
• /
• 2021

Successor representation (SR) 은 두뇌 내 해마의 공간 세포가 인지맵을 구성하여 환경을 학습하고, 이를 활용하여 변화하는 환경에서 유연하게 최적 전략을 수립하는 기전을 모사한 강화학습 방법이다. 특히, 학습한 환경 정보를 활용, 환경 구조 안에서 목표가 변화할 때 강인하게 대응하여 일반 model-free 강화학습에 비해 빠르게 보상 변화에 적응하고 최적 전략을 찾는 것으로 알려져 있다. 본 논문에서는 SR 기반 강화학습 알고리즘이 보상의 변화와 더불어 환경 구조, 특히 환경의 상태 천이 확률이 변화하여 보상의 변화를 유발하는 상황에서 어떠한 성능을 보이는 지 확인하였다. 벤치마크 알고리즘으로 SR 의 특성을 목적 기반 강화학습으로 통합한 SR-Dyna 를 사용하였고, 환경 상태 천이 불확실성과 보상 변화가 동시에 나타나는 2-stage 마르코프 의사결정 과제를 실험 환경으로 사용하였다. 시뮬레이션 결과, SR-Dyna 는 환경 내 상태 천이 확률 변화에 따른 보상 변화에는 적절히 대응하지 못하는 결과를 보였다. 본 결과를 통해 두뇌의 강화학습과 알고리즘 강화학습의 차이를 이해하여, 환경 변화에 강인한 강화학습 알고리즘 설계를 기대할 수 있다.

• Proceedings of the Korean Operations and Management Science Society Conference
• /
• 2003.11a
• /
• pp.276-279
• /
• 2003

전력산업의 구조개편에서 발전사업자에게 용량가치를 보상해 주는 것은 현물시장에서 발전용량을 줄임으로써 가격 상승을 유도하여 수익을 높이는 등의 전략적 행동을 줄임과 동시에 발전회사의 단기적인 이윤 추구 및 경쟁에 의해서 저해될 수 있는 장기적인 투자를 유도하기 위한 것이다. 이 논문에서는 용량가치 보상 메커니즘을 용량가격이 생산량에 따라 변화하는 부분과 변화하지 않는 부분으로 나누고 대칭적인 복점시장 상황을 상정하여, 수요특성과 시장의 경쟁정도 및 소비자 잉여의 중요성 등에 따라서 용량가치 보상 메커니즘이 사회후생에 어떤 영향을 미치는지에 대해서 분석하였다. 결과적으로, 용량가치 보상에 의해서 사회 후생이 증가할 수 있으며, 소비자 잉여를 중시할수록 용량가격이 생산량에 따라 변화하는 메커니즘이 효과적이고, 경쟁 형태 및 정도에 따라서 용량가치 보상 메커니즘의 형태가 달라져야 함을 보였다.

• The Journal of Korean Institute of Electromagnetic Engineering and Science
• /
• v.21 no.3
• /
• pp.223-228
• /
• 2010

In this paper, temperature compensation circuit for the X-band voltage controlled oscillator(VCO) is presented by using the temperature sensor with the OP-AMP circuit. The frequency drifting by the temperature could be compensated by applying the tuning voltage which include the linearly changing output voltage of the temperature sensor. As a result, the frequency variation is reduced to 6.6~4.4 MHzfrom the 71~73 MHz variation with the compensation circuit over -30~+$60^{\circ}C$ range, when VCO is operated in the frequency range of 9.95~10.05 GHz.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2016.06a
• /
• pp.207-208
• /
• 2016

최근 차세대 비디오 코덱 기술로써 다양하게 논의 되고 있는 영상 내 지역적 밝기 보상 기술은 다수의 광원이 존재하는 영상 내 다른 영역 마다, 다른 밝기 변화 정도를 보상해주기 위한 방법이다. 상세하게는, 현재 CU의 주변 화소와 예측 블록의 주변 화소를 이용한 보상 계수를 계산하여 현재 CU의 예측 화소에 보상을 해주는 것이다. 이 때, 보상 계수를 구하기 위한 현재 CU와 예측 블록의 주변 화소들을 서브 샘플링함에 있어서, 현재 CU의 크기에 따라서 서브 샘플링율을 차등 설정하고 이에 따른 성능 변화를 분석한다.

• Proceedings of the Korean Society of Precision Engineering Conference
• /
• 1994.10a
• /
• pp.365-370
• /
• 1994

로드 셀의 정밀측정 에러의 가장 큰 요인은 온도에 의한 출력특성 변화이다. 본 논문에서는 주어진 어떤 온도 구간에서만 온도특성을 보상하였던 기존의 방법에 비해 보다 넓은 온도구간에서 로드 셀의 출력의 온도 특성을 보상하고 또한 출력의 온도 특성이 기존의 방식에 의한 것보다 개선된 새로운 로드셀의 온도보상 방법을 제안 하였다.

• Journal of the Institute of Convergence Signal Processing
• /
• v.5 no.4
• /
• pp.287-293
• /
• 2004

This paper proposes an efficient motion compensation algorithm for video sequences with brightness variations. In the proposed algorithm, the brightness variation parameters are estimated and local motions are compensated. To detect the frame with large brightness variations, we employ the frame classification based on the cross entropy between histograms of two successive frames, which can reduce the computational redundancy. Simulation results show that the proposed method yields a higher peak signal to noise ratio (PSNR) than that of the conventional methods, with a low computational load, when the video scene contains large brightness changes.

• KIPS Transactions on Software and Data Engineering
• /
• v.11 no.8
• /
• pp.331-338
• /
• 2022

Successor representation (SR) is a model of human reinforcement learning (RL) mimicking the underlying mechanism of hippocampal cells constructing cognitive maps. SR utilizes these learned features to adaptively respond to the frequent reward changes. In this paper, we evaluated the performance of SR under the context where changes in latent variables of environments trigger the reward structure changes. For a benchmark test, we adopted SR-Dyna, an integration of SR into goal-driven Dyna RL algorithm in the 2-stage Markov Decision Task (MDT) in which we can intentionally manipulate the latent variables - state transition uncertainty and goal-condition. To precisely investigate the characteristics of SR, we conducted the experiments while controlling each latent variable that affects the changes in reward structure. Evaluation results showed that SR-Dyna could learn to respond to the reward changes in relation to the changes in latent variables, but could not learn rapidly in that situation. This brings about the necessity to build more robust RL models that can rapidly learn to respond to the frequent changes in the environment in which latent variables and reward structure change at the same time.

• Radiation Oncology Journal
• /
• v.10 no.2
• /
• pp.147-153
• /
• 1992

It is ideal thing to compensate tissue deficit without skin contamination in curvatured irradiation field of high energy photon beam. The 3-dimensional compensating technique utilizing tissue equivalent materials to ensure an adequate dose distribution and skin sparing effect was described. This compensator was made of paraffin ($70\%$) and stearin wax ($30\%$) compound. The parameters for evaluation of the effect on skin dose in application of compensator were considered in the size of the field, the thickness of the compensator and the source-to-axis distance. The results are as follows; the skin doses were not changed even though application of the compensator, but depended on the field size and the source-to-axis distance, and the skin doses were only slightly changed within $1\%$ relative errors as increasing the thickness of the compensator in these experiments.

• Journal of Broadcast Engineering
• /
• v.7 no.4
• /
• pp.291-299
• /
• 2002

This paper proposes an efficient motion compensation algorithm for video sequences with brightness variations. In the proposed algorithm, the brightness variation parameters are estimated and local motions are compensated. To detect the frame with large brightness variations. we employ the frame classification based on the cross entropy between histograms of two successive frames, which can reduce the computational redundancy. Simulation results show that the proposed method yields a higher peak signal to noise ratio (PSNR) than the conventional methods, with a low computational load, when the video scene contains large brightness changes.

• Journal of the KSME
• /
• v.32 no.6
• /
• pp.514-523
• /
• 1992

스트레인 게이지를 이용하여 변형측정을 할 때 온도변화의 영향으로 나타나는 겉보기 변형도와 게이지 상수의 변화에 대하여 설명하였고 실제 측정시 정확한 측정값을 얻기위한 온도보상 방 법에 대하여 기술하였다. 온도변화에 의한 겉보기 변형도의 값은 기계적 하중에 의한 변형도에 비하여 무시할 수 없는 큰 값을 나타내기 때문에 적절한 보상에 의하여 정확한 측정값을 얻어 내야 한다. 항공우주산업, 원자력산업 등의 분야에서 널리 응용되는 극저온 환경에서 겉보기 변 형도와 게이지 상수의 측정결과를 제시하였다. 극저온에서는 자체 온도보상된 스트레인 게이지라 할지라도 대단히 큰 온도영향을 받기 때문에 본시험에서 제시한 바와 같이 측정결과를 온도보 상하여 처리해야만 의미있는 결과를 얻을 수 있다. 본 시험에서 4차식으로 구해진 겉보기 변형 도에 대한 특성곡선과 게이지 상수에 대한 시험결과는 극저온에서 변형을 측정할 때 직접적으로 보상하여 사용될 수 있다.