• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2021년도 추계학술발표대회
• /
• pp.910-913
• /
• 2021

Successor representation (SR) 은 두뇌 내 해마의 공간 세포가 인지맵을 구성하여 환경을 학습하고, 이를 활용하여 변화하는 환경에서 유연하게 최적 전략을 수립하는 기전을 모사한 강화학습 방법이다. 특히, 학습한 환경 정보를 활용, 환경 구조 안에서 목표가 변화할 때 강인하게 대응하여 일반 model-free 강화학습에 비해 빠르게 보상 변화에 적응하고 최적 전략을 찾는 것으로 알려져 있다. 본 논문에서는 SR 기반 강화학습 알고리즘이 보상의 변화와 더불어 환경 구조, 특히 환경의 상태 천이 확률이 변화하여 보상의 변화를 유발하는 상황에서 어떠한 성능을 보이는 지 확인하였다. 벤치마크 알고리즘으로 SR 의 특성을 목적 기반 강화학습으로 통합한 SR-Dyna 를 사용하였고, 환경 상태 천이 불확실성과 보상 변화가 동시에 나타나는 2-stage 마르코프 의사결정 과제를 실험 환경으로 사용하였다. 시뮬레이션 결과, SR-Dyna 는 환경 내 상태 천이 확률 변화에 따른 보상 변화에는 적절히 대응하지 못하는 결과를 보였다. 본 결과를 통해 두뇌의 강화학습과 알고리즘 강화학습의 차이를 이해하여, 환경 변화에 강인한 강화학습 알고리즘 설계를 기대할 수 있다.

• 한국정보통신학회논문지
• /
• 제8권5호
• /
• pp.1010-1019
• /
• 2004

본 논문에서는 Nakagami-m 페이딩 채널을 Finite-State Markov Channel (FSMC)로 모델링하고, 채널 상태 변화에 따른 통신 시스템의 성능을 분석하였다. 고려한 FSMC 모델에서는 수신 신호의 신호 대 잡음 전력비를 유한개의 구간으로 나눠 각각의 구간을 Markov 체인의 상태로 대응한다. 각 상태는 무기억 이진 대칭 통신로로 가정하고, 한 상태에서 다른 상태로의 천이는 Markov 천이를 따른다고 가정한다. 수치 해석을 통해 각 상태에 있어서의 평균 심볼 오율, 정상 상태 확률 그리고 상태 천이 확률을 구하여 FSMC 모델을 구성하였고, 상태 천이 지수를 변경함으로써 여러 페이딩 환경을 FSMC 모델로 나타낼 수 있음을 확인하였다. 상태 천이 지수가 클 경우인 빠른 페이딩 채널에서는 채널이 i.i.d. 특성을 나타내게 되며, 상태 천이 지수가 작을 경우인 느린 페이딩 채널은 인접한 상태로의 천이만 발생하는 간단한 FSMC 모델로 표현될 수 있음을 확인하였다. 마지막으로 제안한 FSMC 모델의 응용 예로써, 여러 채널 환경에서 랜덤 에러 정정 부호의 부호화 이득의 차이를 컴퓨터 시뮬레이션을 통해 비교, 분석하였다.

• 한국진공학회:학술대회논문집
• /
• 한국진공학회 2011년도 제41회 하계 정기 학술대회 초록집
• /
• pp.241-242
• /
• 2011

유기물을 기반으로 하는 유기발광소자(OLED), 유기메모리(OBD) 및 유기 태양전지(organic solar cell) 등과 같은 차세대 전자 소자는 기존의 무기물 기반의 소자에 비해 가격이 싸고 제작방법이 간단하며 휘어지게 만들 수 있다는 장점을 갖기 때문에 많은 관심을 받고 있다. 유기물질을 기반으로 한 전자 소자의 효율을 향상시키기 위해서는 유기물 자체의 물리적인 특성을 고찰하는 연구가 중요하다. 특히, 유기물 내에서의 전하 전송 메카니즘을 이해하기 위해 유기물의 이동도에 대한 연구가 중요하나, 아직까지 유기물질을 기반으로 한 전자 소자의 전하이동도에 대한 이론적인 연구가 거의 없다. 본 연구에서는 온도 변화에 따른 유기물 내에서의 전자 이동도를 몬테카를로 방법을 이용하여 계산하였다. 시뮬레이션을 위한 기본 구조로 소자의 길이는 50~500 사이트로 하였으며, 이웃한 사이트간 거리는 3A로 결정하였다. 유기물 내에 존재하는 트랩의 분포는 가우시안 분포로 가정하였다. 유기물 내에서의 전자 이동도를 추출하기 위해 이웃한 트랩간의 천이 확률을 Miller and Abrahams 식을 이용하여 계산하고[1], 트랩간의 천이시간을 컴퓨터에서 발생시킨 난수를 통해 얻어 이들을 통계적으로 처리하여 유기물 내에서의 전자 이동도를 계산하였다. 시뮬레이션 결과, 전자 이동도는 전계가 증가함에 따라 일정하게 증가하다가 일정 전계에서 포화된 후, 다시 감소하는 현상을 갖는다. 초기의 전계영역에서는 전계의 증가에 따라 유기물 내 트랩간의 천이 확률이 증가하기 때문에 전자 이동도가 증가한다. 하지만, 일정 전계 이상의 큰 전계 영역에서는 전자의 이동 속도는 거의 변하지 않는 상태에서 전계는 계속 증가하기 때문에 상대적으로 전자 이동도는 줄어들게 된다. 다양한 길이를 갖는 벌크 상태의 유기소자에 대한 전자 이동도를 시뮬레이션 하였을 때, 소자의 크기와 상관없이 전자 이동도는 거의 일정 하였다. 이는 순수한 벌크 상태의 유기소자는 유기물 자체에서의 전자 움직임에 의해 전자 이동도가 결정되기 때문이다. 온도가 높아짐에 따라 유기물 내의 전자 이동도는 증가하였다. 이는 온도가 증가할수록 열적 여기에 의한 트랩간의 천이 확률이 증가하기 때문이다. 하지만, 트랩의 분산도가 30 meV로 작을 경우, 일정 온도 이상에서의 전자 이동도는 포화되어 일정한 값으로 유지한다. 유기물 내에 존재하는 트랩 분포에 따라 온도의 변화에 따른 전자 이동도 특성이 달라짐을 알 수 있다. 이러한 결과는 유기물질을 기반으로 한 전자소자에서의 전하 전송 메카니즘을 이해하고 소자의 제작 및 특성 향상에 도움이 된다고 생각한다.

• 한국정보통신학회논문지
• /
• 제16권9호
• /
• pp.1870-1877
• /
• 2012

천이신호는 지속시간이 짧으면서 길이의 변화가 크고, 시변성 및 비정재성 특성을 갖는다. 이러한 천이신호의 식별에는 분석 프레임 단위로 참조신호에 대한 기준패턴을 만들어 입력신호와의 유사도를 비교하는 방법이 효과적일 수 있다. 본 연구에서는 참조신호의 기준패턴으로 프레임 기반의 특징벡터들에 대해 확률통계 모형인 정규혼합모델을 적용하는 방법을 제안하고, 다양한 수중 천이신호에 대한 식별 실험을 통해 제안한 방법의 타당성을 검증하였다.

• 한국통신학회:학술대회논문집
• /
• 한국통신학회 1991년도 춘계종합학술발표회논문집
• /
• pp.63-67
• /
• 1991

• 한국음향학회지
• /
• 제17권6호
• /
• pp.37-42
• /
• 1998

본 논문에서는 SCHMM에 적용된 관찰 확률 최대화에 의한 화자 적응 알고리즘을 제안한다. 제안된 알고리즘은 SCHMM의 관찰 확률 밀도들이 새로운 화자의 음성 특징을 잘 표현하지 못하는 경우 인식 성능이 저하되는 것을 막기 위하여, 적응 데이터의 각 특징 벡터들이 최대의 관찰 확률을 가질 수 있도록 관찰 확률 밀도를 결정하는 평균 벡터 μ와 분산 행렬 Σ를 기울기 탐색(gradient search) 알고리즘에 의해 반복적으로 적응시켜 주는 방법이다. SCHMM의 상태 천이 확률 A와 혼합 밀도 계수 C는 관찰 확률 밀도 적응 과정 을 거친 후, 적응 데이터로부터 구한 확률과 기존 확률의 가중 평균을 취하는 과정을 반복 하여 적응시켜 주었다. 제안된 화자 적응 알고리즘을 사용하여 단독음 인식 실험을 수행한 결과, 화자 적응을 수행하지 않았을 때와 비교하여 화자 독립 시스템에서는 평균 9.8%, 남 성 화자 종속 시스템에서는 평균 46.0%, 여성 화자 종속 시스템에서는 평균 52.7%의 인식 률 향상을 보였다.

• 한국음향학회지
• /
• 제10권2호
• /
• pp.29-35
• /
• 1991

본 논문에서는 변이음 단위의 Hidden Markov Model (HMM)을 이용하여 고립단어를 인식하는 방법을 논한다. 변이음 단위로 HMM을 구성하여 변이음 사전을 만들고, 이 변이음 사전을 이용하여 단어 사전을 구성한다. 변이음 HMM을 이용하여 단어를 구성하려면 변이음 간의 천이확률이 계산되어야 하므로 본 연구에서는 변이음 간의 천이 확률의 영향을 측정하여 그 변이음으로 이루어지는 임의의 단어를 적응없이 적은 수의 적응 데이터로 단어모델을 구성 인식하는 것을 설명한다. 비교를 위하여 단어인식 HMM으로 인식 실험을 한 결과, 변이음 단위 HMM이 적은 기억 용량과 적은 데이터의 훈련으로 단어단위 HMM 이상의 인식률을 얻을 수 있음을 보였다.

• 한국진공학회:학술대회논문집
• /
• 한국진공학회 2016년도 제50회 동계 정기학술대회 초록집
• /
• pp.328.2-328.2
• /
• 2016

유기물을 사용한 차세대 전자 소자는 간단한 공정과 3차원의 고집적, 그리고 플렉서블한 특성을 가지고 있다. 이러한 유기물을 사용한 차세대 전자 소자를 설계하기 위해서는 유기물 내에서의 전하 전송을 이해하는 것이 중요한데, 특히 유기물의 전자이동도에 대한 연구가 필요하다. 본 연구에서는 시뮬레이션을 위하여 소자의 길이를 30-300 사이트로 설계하였고, 사이트간 거리를 $3{\AA}$으로 설정하였다. 유기물 내의 트랩을 가우시안 분포로 분포시켰고, 트랩이 퍼져있는 정도와 총량을 조절하였다. 그리고 몬테카를로 시뮬레이션 방법으로 계산하여 유기물 내에서 트랩이 전자이동도에 미치는 영향을 분석하였다. Miller and Abrahams 식을 이용하여 천이확률을 계산하였는데, 트랩분포가 일정할 경우 전계가 증가함에 따라 전자의 이동도가 증가하였다. 이때 전계의 증가에 따라 유기물 내 트랩 간 천이 확률이 증가하였는데, 이 때문에 전자의 이동도가 증가함을 알 수 있었다. 그러나 전계가 일정 값 이상으로 중가 할 때는 전자의 이동 속도 또한 거의 변하지 않아 전자의 이동도는 오히려 줄어들었다. 트랩의 분산도를 증가시켰을 경우 낮은 전계 영역에서는 전자 이동도가 작고, 트랩의 분산도가 30 mev로 작을 경우에는 일정온도이상에서는 전자 이동도가 일정하게 유지되었다. 그리고 분산도와 무관하게 전계가 증가하였을 때 전자 이동도의 변화는 거의 없었다. 이와 같은 시뮬레이션을 통하여 유기물 내에서 트랩과 온도가 전자 이동도에 미치는 영향을 확인할 수 있었다. 이러한 결과를 토대로 전하전송을 이해하면 유기물질을 이용한 소자 설계 시 소자 특성 향상에 도움을 줄 수 있을 것으로 기대된다.

• 대한전자공학회논문지SD
• /
• 제38권2호
• /
• pp.137-144
• /
• 2001

본 논문은 디지털 순서회로 설계시 상태할당 알고리즘 개발에 관한 연구로, 동적 소비전력을 감소시키기 위하여 상태변수의 변화를 최소로 하는 코드를 할당하여 상태코드가 변화하는 스위칭횟수를 줄이도록 하였다. 상태를 할당하는데는 Markov의 확률함수를 이용하여 hamming거리가 최소가 되도록 상태 천이도에서 각 상태를 연결하는 edge에 weight를 정의한 다음, 가중치를 이용하여 각 상태들간의 연결성을 고려하여 인접한 상태들간에는 가능한 적은 비트 천이를 가지도륵 모든 상태를 반복적으로 찾아 계산하였다. 비트 천이의 정도를 나타내기 위하여 cost 함수로 계산한 결과 순서회로의 종류에 따라 Lakshmikant의 알고리즘보다 최고 57.42%를 감소시킬 수 있었다.

• 한국항공운항학회지
• /
• 제18권1호
• /
• pp.39-44
• /
• 2010

A method is presented of dynamic determination of mode transition probability for IMM in order to improve the accuracy performance of maneuvering target tracking for air traffic control surveillance processing system under multiple radar environment. It is shown that dynamic determination of mode transition probability based on the time intervals between the data input from multiple radars gives the optimized performance in terms of position estimation accuracy.