• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2021년도 추계학술발표대회
• /
• pp.910-913
• /
• 2021

Successor representation (SR) 은 두뇌 내 해마의 공간 세포가 인지맵을 구성하여 환경을 학습하고, 이를 활용하여 변화하는 환경에서 유연하게 최적 전략을 수립하는 기전을 모사한 강화학습 방법이다. 특히, 학습한 환경 정보를 활용, 환경 구조 안에서 목표가 변화할 때 강인하게 대응하여 일반 model-free 강화학습에 비해 빠르게 보상 변화에 적응하고 최적 전략을 찾는 것으로 알려져 있다. 본 논문에서는 SR 기반 강화학습 알고리즘이 보상의 변화와 더불어 환경 구조, 특히 환경의 상태 천이 확률이 변화하여 보상의 변화를 유발하는 상황에서 어떠한 성능을 보이는 지 확인하였다. 벤치마크 알고리즘으로 SR 의 특성을 목적 기반 강화학습으로 통합한 SR-Dyna 를 사용하였고, 환경 상태 천이 불확실성과 보상 변화가 동시에 나타나는 2-stage 마르코프 의사결정 과제를 실험 환경으로 사용하였다. 시뮬레이션 결과, SR-Dyna 는 환경 내 상태 천이 확률 변화에 따른 보상 변화에는 적절히 대응하지 못하는 결과를 보였다. 본 결과를 통해 두뇌의 강화학습과 알고리즘 강화학습의 차이를 이해하여, 환경 변화에 강인한 강화학습 알고리즘 설계를 기대할 수 있다.

• 한국경영과학회:학술대회논문집
• /
• 한국경영과학회 2003년도 추계학술대회 및 정기총회
• /
• pp.276-279
• /
• 2003

전력산업의 구조개편에서 발전사업자에게 용량가치를 보상해 주는 것은 현물시장에서 발전용량을 줄임으로써 가격 상승을 유도하여 수익을 높이는 등의 전략적 행동을 줄임과 동시에 발전회사의 단기적인 이윤 추구 및 경쟁에 의해서 저해될 수 있는 장기적인 투자를 유도하기 위한 것이다. 이 논문에서는 용량가치 보상 메커니즘을 용량가격이 생산량에 따라 변화하는 부분과 변화하지 않는 부분으로 나누고 대칭적인 복점시장 상황을 상정하여, 수요특성과 시장의 경쟁정도 및 소비자 잉여의 중요성 등에 따라서 용량가치 보상 메커니즘이 사회후생에 어떤 영향을 미치는지에 대해서 분석하였다. 결과적으로, 용량가치 보상에 의해서 사회 후생이 증가할 수 있으며, 소비자 잉여를 중시할수록 용량가격이 생산량에 따라 변화하는 메커니즘이 효과적이고, 경쟁 형태 및 정도에 따라서 용량가치 보상 메커니즘의 형태가 달라져야 함을 보였다.

• 한국전자파학회논문지
• /
• 제21권3호
• /
• pp.223-228
• /
• 2010

본 논문에서는 온도 센서와 OP-AMP를 이용하여 X-밴드용 전압제어 발진기를 위한 온도 보상 회로를 구현하였다. 온도 변화에 대해 선형적인 특성을 갖는 온도 센서의 출력 전압을 튜닝 전압에 더해서 전압제어 발진기에 인가함으로써 온도에 따른 주파수 이동을 보상할 수 있었다. -30~+$60^{\circ}C$의 온도 범위에서 9.95~10.05 GHz의 대역에 대해 온도 보상을 한 결과, 전체 대역폭에서 출력 주파수는 온도 보상 전 71~73 MHz가 변화했으나, 온도보상 후에는 6.6~4.4 MHz의 변화를 보였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2016년도 하계학술대회
• /
• pp.207-208
• /
• 2016

최근 차세대 비디오 코덱 기술로써 다양하게 논의 되고 있는 영상 내 지역적 밝기 보상 기술은 다수의 광원이 존재하는 영상 내 다른 영역 마다, 다른 밝기 변화 정도를 보상해주기 위한 방법이다. 상세하게는, 현재 CU의 주변 화소와 예측 블록의 주변 화소를 이용한 보상 계수를 계산하여 현재 CU의 예측 화소에 보상을 해주는 것이다. 이 때, 보상 계수를 구하기 위한 현재 CU와 예측 블록의 주변 화소들을 서브 샘플링함에 있어서, 현재 CU의 크기에 따라서 서브 샘플링율을 차등 설정하고 이에 따른 성능 변화를 분석한다.

• 한국정밀공학회:학술대회논문집
• /
• 한국정밀공학회 1994년도 추계학술대회 논문집
• /
• pp.365-370
• /
• 1994

로드 셀의 정밀측정 에러의 가장 큰 요인은 온도에 의한 출력특성 변화이다. 본 논문에서는 주어진 어떤 온도 구간에서만 온도특성을 보상하였던 기존의 방법에 비해 보다 넓은 온도구간에서 로드 셀의 출력의 온도 특성을 보상하고 또한 출력의 온도 특성이 기존의 방식에 의한 것보다 개선된 새로운 로드셀의 온도보상 방법을 제안 하였다.

• 융합신호처리학회논문지
• /
• 제5권4호
• /
• pp.287-293
• /
• 2004

본 논문은 밝기 변화가 심한 비디오 시퀀스에 대해 효율적인 움직임 보상 알고리즘을 제안한다. 제안한 알고리즘에서는 화면간의 밝기 변화 변수들을 추정하고 지역적인 움직임 보상을 수행한다. 밝기 변화가 심한 화면을 검출하기 위해 연속되는 두 프레임간의 히스토그램의 크로스 엔트로피를 계산하여 밝기 변화가 심한 화면을 그렇지 않은 화면과 나누어 밝기 변화가 심하지 않은 경우에 발생할 수 있는 불필요한 계산량을 줄였다. 밝기 변화가 심한 비디오 시퀀스에 대한 실험결과 제안한 알고리즘은 기존의 알고리즘에 비해 적은 계산량으로 높은 PSNR (peak signal to noise ratio) 성능을 나타내었다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제11권8호
• /
• pp.331-338
• /
• 2022

차기 상태 천이 표상(Successor representation, SR) 기반 강화학습 알고리즘은 두뇌에서 발현되는 신경과학적 기전을 바탕으로 발전해온 강화학습 모델이다. 해마에서 형성되는 인지맵 기반의 환경 구조 정보를 활용하여, 변화하는 환경에서도 빠르고 유연하게 학습하고 의사결정 가능한 자연 지능 모사형 강화학습 방법으로, 불확실한 보상 구조 변화에 대해 빠르게 학습하고 적응하는 강인한 성능을 보이는 것으로 잘 알려져 있다. 본 논문에서는 표면적인 보상 구조가 변화하는 환경뿐만 아니라, 상태 천이 확률과 같은 환경 구조 내 잠재 변수가 보상 구조 변화를 유발하는 상황에서도 SR-기반 강화학습 알고리즘이 강인하게 반응하고 학습할 수 있는지 확인하고자 한다. 성능 확인을 위해, 상태 천이에 대한 불확실성과 이로 인한 보상 구조 변화가 동시에 나타나는 2단계 마르코프 의사결정 환경에서, 목적 기반 강화학습 알고리즘에 SR을 융합한 SR-다이나 강화학습 에이전트 시뮬레이션을 수행하였다. 더불어, SR의 특성을 보다 잘 관찰하기 위해 환경을 변화시키는 잠재 변수들을 순차적으로 제어하면서 기존의 환경과 비교하여 추가적인 실험을 실시하였다. 실험 결과, SR-다이나는 환경 내 상태 천이 확률 변화에 따른 보상 변화를 제한적으로 학습하는 행동을 보였다. 다만 기존 환경에서의 실험 결과와 비교했을 때, SR-다이나는 잠재 변수 변화로 인한 보상 구조 변화를 빠르게 학습하지는 못하는 것으로 확인 되었다. 본 결과를 통해 환경 구조가 빠르게 변화하는 환경에서도 강인하게 동작할 수 있는 SR-기반 강화학습 에이전트 설계를 기대한다.

• Radiation Oncology Journal
• /
• 제10권2호
• /
• pp.147-153
• /
• 1992

인체의 굴곡이 심한 부위에 방사선 조사시 조직결손을 보상하여 조직의 중심에 균등한 선량분포를 얻기 위해 조직보상체를 사용하게 된다. 그러나, Ellis F.등이 1960년대에 고에너지 방사선치료에서 조직결손에 따른 조직보상체의 사용을 발표한 이후로 여러 종류의 조직보상체를 사용하여 왔음에도 불구하고 보상체를 사용하였을 때의 피부선량 변화에 대한 연구는 아직까지 없었다. 이에 본 연구에서는 파라핀과 스테아린왁스가 혼합된 3차원 조직등가보상체를 사용하였을 때, 조사면적의 변화, 보상체의 두께변화, 방사선원과 검출기 사이의 거리변화에 따른 피부선량을 실험측정하였다. 실험에 이용된 방사선 에너지는 두경부조사에 많이 사용되는 6 MV광자선이며, 조사면적은 $5\times5\;cm^2$에서 $20\times20\;cm^2$까지 이며, 조직보상체 두께는 9.5 mm에서 103 mm까지 이며, 선량측정은 폴리스티렌 고체팬톰을 사용하여 평행 평판형 전리함(Parallel-plate ionization chamber)으로 피부표면인 0.0 mm에서 40.2 mm깊이까지 측정하여 다음과 같은 결과를 얻었다. 일정한 조사면적과 일정한 선원-검출기간 거리의 경우에는 보상체의 두께가 증가하여도 피부선량의 변화는 거의 없었다. 피부선량 변화는 보상체의 사용과는 무관하게 조사면적이 커짐에 따라 상대적으로 증가하였고, 방사선원과 검출기사이의 거리가 짧을수록 증가하였다.

• 방송공학회논문지
• /
• 제7권4호
• /
• pp.291-299
• /
• 2002

본 논문은 밝기 변화가 심한 비디오 시퀀스에 대해 효율적인 움직임 보상 알고리즘을 제안한다 제안한 알고리즘에서는 화면간의 밝기 변화 변수들을 추정하고 지역적인 움직임 보상을 수행한다. 밝기 변화가 심한 화면을 검출하기 위해 화면간의 히스토그램의 크로스 엔트로피를 계산하여 밝기 변화가 심한 화면을 그렇지 않은 화면과 나누어 불필요한 계산량을 줄였다. 밝기 변화가 심한 비디오 시퀀스에 대한 실험결과 제안한 알고리즘은 기존의 알고리즘에 비해 적은 계산량으로 높은 PSNR (peak signal to noise ratio) 성능을 나타내었다.

• 기계저널
• /
• 제32권6호
• /
• pp.514-523
• /
• 1992

스트레인 게이지를 이용하여 변형측정을 할 때 온도변화의 영향으로 나타나는 겉보기 변형도와 게이지 상수의 변화에 대하여 설명하였고 실제 측정시 정확한 측정값을 얻기위한 온도보상 방 법에 대하여 기술하였다. 온도변화에 의한 겉보기 변형도의 값은 기계적 하중에 의한 변형도에 비하여 무시할 수 없는 큰 값을 나타내기 때문에 적절한 보상에 의하여 정확한 측정값을 얻어 내야 한다. 항공우주산업, 원자력산업 등의 분야에서 널리 응용되는 극저온 환경에서 겉보기 변 형도와 게이지 상수의 측정결과를 제시하였다. 극저온에서는 자체 온도보상된 스트레인 게이지라 할지라도 대단히 큰 온도영향을 받기 때문에 본시험에서 제시한 바와 같이 측정결과를 온도보 상하여 처리해야만 의미있는 결과를 얻을 수 있다. 본 시험에서 4차식으로 구해진 겉보기 변형 도에 대한 특성곡선과 게이지 상수에 대한 시험결과는 극저온에서 변형을 측정할 때 직접적으로 보상하여 사용될 수 있다.