• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제11권8호
• /
• pp.331-338
• /
• 2022

차기 상태 천이 표상(Successor representation, SR) 기반 강화학습 알고리즘은 두뇌에서 발현되는 신경과학적 기전을 바탕으로 발전해온 강화학습 모델이다. 해마에서 형성되는 인지맵 기반의 환경 구조 정보를 활용하여, 변화하는 환경에서도 빠르고 유연하게 학습하고 의사결정 가능한 자연 지능 모사형 강화학습 방법으로, 불확실한 보상 구조 변화에 대해 빠르게 학습하고 적응하는 강인한 성능을 보이는 것으로 잘 알려져 있다. 본 논문에서는 표면적인 보상 구조가 변화하는 환경뿐만 아니라, 상태 천이 확률과 같은 환경 구조 내 잠재 변수가 보상 구조 변화를 유발하는 상황에서도 SR-기반 강화학습 알고리즘이 강인하게 반응하고 학습할 수 있는지 확인하고자 한다. 성능 확인을 위해, 상태 천이에 대한 불확실성과 이로 인한 보상 구조 변화가 동시에 나타나는 2단계 마르코프 의사결정 환경에서, 목적 기반 강화학습 알고리즘에 SR을 융합한 SR-다이나 강화학습 에이전트 시뮬레이션을 수행하였다. 더불어, SR의 특성을 보다 잘 관찰하기 위해 환경을 변화시키는 잠재 변수들을 순차적으로 제어하면서 기존의 환경과 비교하여 추가적인 실험을 실시하였다. 실험 결과, SR-다이나는 환경 내 상태 천이 확률 변화에 따른 보상 변화를 제한적으로 학습하는 행동을 보였다. 다만 기존 환경에서의 실험 결과와 비교했을 때, SR-다이나는 잠재 변수 변화로 인한 보상 구조 변화를 빠르게 학습하지는 못하는 것으로 확인 되었다. 본 결과를 통해 환경 구조가 빠르게 변화하는 환경에서도 강인하게 동작할 수 있는 SR-기반 강화학습 에이전트 설계를 기대한다.

• 한국가금학회지
• /
• 제28권2호
• /
• pp.83-89
• /
• 2001

열 안정성을 가지고 있는 한국산 꿩에서 분리된 New-castle disease virus CBP-1주는 9일령 SPF 계태아에 접종되어 $37^{\circ}C$에서 배양하는 방법으로 173번(parent주) 누대 배양되었다. $37^{\circ}C$에서 173번 누대 배양된 NDV CBP-1 주를 10 일령 계태아에 접종한 후 저온에서 ($29^{\circ}C$) 15번 (CA-15) 30번(CA-30) 누대 배양하였다. 저온순화 주인 CA-15주와 CA-30주의 이화학적 성상검사 (열 안정성 실험, 지질 용매에 대한 감수성 실험, 산성 용매에 대한 감수성 실험)와 병원성 실험(MDT, ICPI, IVPI), 온도 감수성 실험, 안전성 실험, 부스터 효과 실험, 방어효과 등을 실험하였고, $37^{\circ}C$에서 173번 누대 배양된 parent주와 비교하였다. $29^{\circ}C$에 적응된 CA-30주는 $37^{\circ}C$와 $41^{\circ}C$에서 세포 감염력이 parent주와 비교할 때 감소하였다. CA-15주와 CA-30주를 $56^{\circ}C$에서 30분, 60분, 120분 동안 처리하였을 때 이들 저온 순화주들은 혈구응집능과 세포감염력을 상실하였다. Parent주와 CA-15, CA-30주는 ethyl ether를 10분간 처리했을 때 혈구응집능과 세포 감염력을 모두 상실하였다. 그러나 parent주와 CA-15, CA-30주는 pH 3.0-glycine HCl 완충액에 60분간 처리하였을 때 혈구응집능을 가지고 있었다. Parent주의 대뇌병원성 지수와 정맥내 병원성 지수는 각각 1.12, 1.45 이었다. 그러나 CA-30주의 대뇌 병원성 지수와 정맥내 병원성 지수는 각각 0.75, 0.00으로 감소하였다. CA-30주의 안전성은 1 일령 병아리에서 실시하였고 parent주와 B-1주와 비교였다. 이들의 안전성은 치사율을 가지고 평가하였다. parent주와 CA-30주와 B-1주의 치사율은 각각 17.5, 12.0. 0.0%이었다. CA-30주가 parent주에 비해 보다 높은 안전성을 보여 주었으나 B-1주에 비해서 아직 높은 치사율을 보여 주고 있었다.