• 대한전자공학회논문지SD
• /
• 제38권2호
• /
• pp.51-51
• /
• 2001

본 논문은 디지털 순서회로 설계시 상태할당 알고리즘 개발에 관한 연구로, 동적 소비전력을 감소시키기 위하여 상태변수의 변화를 최소로 하는 코드를 할당하여 상태코드가 변화하는 스위칭횟수를 줄이도록 하였다. 상태를 할당하는데는 Markov의 확률함수를 이용하여 hamming거리가 최소가 되도록 상태 천이도에서 각 상태를 연결하는 edge에 weight를 정의한 다음, 가중치를 이용하여 각 상태들간의 연결성을 고려하여 인접한 상태들간에는 가능한 적은 비트 천이를 가지도륵 모든 상태를 반복적으로 찾아 계산하였다. 비트 천이의 정도를 나타내기 위하여 cost 함수로 계산한 결과 순서회로의 종류에 따라 Lakshmikant의 알고리즘보다 최고 57.42%를 감소시킬 수 있었다.

• 한국정보통신학회논문지
• /
• 제8권5호
• /
• pp.1010-1019
• /
• 2004

본 논문에서는 Nakagami-m 페이딩 채널을 Finite-State Markov Channel (FSMC)로 모델링하고, 채널 상태 변화에 따른 통신 시스템의 성능을 분석하였다. 고려한 FSMC 모델에서는 수신 신호의 신호 대 잡음 전력비를 유한개의 구간으로 나눠 각각의 구간을 Markov 체인의 상태로 대응한다. 각 상태는 무기억 이진 대칭 통신로로 가정하고, 한 상태에서 다른 상태로의 천이는 Markov 천이를 따른다고 가정한다. 수치 해석을 통해 각 상태에 있어서의 평균 심볼 오율, 정상 상태 확률 그리고 상태 천이 확률을 구하여 FSMC 모델을 구성하였고, 상태 천이 지수를 변경함으로써 여러 페이딩 환경을 FSMC 모델로 나타낼 수 있음을 확인하였다. 상태 천이 지수가 클 경우인 빠른 페이딩 채널에서는 채널이 i.i.d. 특성을 나타내게 되며, 상태 천이 지수가 작을 경우인 느린 페이딩 채널은 인접한 상태로의 천이만 발생하는 간단한 FSMC 모델로 표현될 수 있음을 확인하였다. 마지막으로 제안한 FSMC 모델의 응용 예로써, 여러 채널 환경에서 랜덤 에러 정정 부호의 부호화 이득의 차이를 컴퓨터 시뮬레이션을 통해 비교, 분석하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2021년도 추계학술발표대회
• /
• pp.910-913
• /
• 2021

Successor representation (SR) 은 두뇌 내 해마의 공간 세포가 인지맵을 구성하여 환경을 학습하고, 이를 활용하여 변화하는 환경에서 유연하게 최적 전략을 수립하는 기전을 모사한 강화학습 방법이다. 특히, 학습한 환경 정보를 활용, 환경 구조 안에서 목표가 변화할 때 강인하게 대응하여 일반 model-free 강화학습에 비해 빠르게 보상 변화에 적응하고 최적 전략을 찾는 것으로 알려져 있다. 본 논문에서는 SR 기반 강화학습 알고리즘이 보상의 변화와 더불어 환경 구조, 특히 환경의 상태 천이 확률이 변화하여 보상의 변화를 유발하는 상황에서 어떠한 성능을 보이는 지 확인하였다. 벤치마크 알고리즘으로 SR 의 특성을 목적 기반 강화학습으로 통합한 SR-Dyna 를 사용하였고, 환경 상태 천이 불확실성과 보상 변화가 동시에 나타나는 2-stage 마르코프 의사결정 과제를 실험 환경으로 사용하였다. 시뮬레이션 결과, SR-Dyna 는 환경 내 상태 천이 확률 변화에 따른 보상 변화에는 적절히 대응하지 못하는 결과를 보였다. 본 결과를 통해 두뇌의 강화학습과 알고리즘 강화학습의 차이를 이해하여, 환경 변화에 강인한 강화학습 알고리즘 설계를 기대할 수 있다.

• 한국음향학회:학술대회논문집
• /
• 한국음향학회 1998년도 학술발표대회 논문집 제17권 1호
• /
• pp.71-74
• /
• 1998

HMM (hidden Markov model)을 이용한 음성인식은 현재 가장 널리 쓰여지고 있는 방법으로, 이 중 CDHMM (continuous observation density HMM)은 상태에서 관측심볼확률을 연속확률밀도를 사용하여 표현한다. 본 논문에서는 가우스 혼합밀도함수를 사용하는 CDHMM의 상태천이확률과, 관측심볼확률을 표현하기 위한 인자인 평균벡터, 공분산 행렬, 가지하중값을 유전자 알고리듬을 사용하여 최적화하는 방법을 제안하였다. 유전자 알고리듬은 매개변수 최적화문제에 대하여 자연의 진화원리를 모방한 알고리듬으로, 염색체 형태로 표현된 개체군 (population) 중에서 환경에 대한 적합도 (fitness)가 높은 개체가 높은 확률로 살아남아 재생 (reproduction)하게 되며, 교배 (crossover)와 돌연변이 (mutation) 연산 후에 다음 세대 개체군을 형성하게 되고, 이러한 과정을 반복하면서 최적의 개체를 구하게 된다. 본 논문에서는 상태천이확률, 평균벡터, 공분산행렬, 가지하중값을 부동소수점수 (floating point number)의 유전자형으로 표현하여 유전자 알고리듬을 수행하였다. 유전자 알고리듬은 복잡한 탐색공간에서 최적의 해를 찾는데 효과적으로 적용되었다.

• 대한전자공학회논문지SD
• /
• 제38권2호
• /
• pp.137-144
• /
• 2001

본 논문은 디지털 순서회로 설계시 상태할당 알고리즘 개발에 관한 연구로, 동적 소비전력을 감소시키기 위하여 상태변수의 변화를 최소로 하는 코드를 할당하여 상태코드가 변화하는 스위칭횟수를 줄이도록 하였다. 상태를 할당하는데는 Markov의 확률함수를 이용하여 hamming거리가 최소가 되도록 상태 천이도에서 각 상태를 연결하는 edge에 weight를 정의한 다음, 가중치를 이용하여 각 상태들간의 연결성을 고려하여 인접한 상태들간에는 가능한 적은 비트 천이를 가지도륵 모든 상태를 반복적으로 찾아 계산하였다. 비트 천이의 정도를 나타내기 위하여 cost 함수로 계산한 결과 순서회로의 종류에 따라 Lakshmikant의 알고리즘보다 최고 57.42%를 감소시킬 수 있었다.

• 한국진공학회:학술대회논문집
• /
• 한국진공학회 2011년도 제41회 하계 정기 학술대회 초록집
• /
• pp.241-242
• /
• 2011

유기물을 기반으로 하는 유기발광소자(OLED), 유기메모리(OBD) 및 유기 태양전지(organic solar cell) 등과 같은 차세대 전자 소자는 기존의 무기물 기반의 소자에 비해 가격이 싸고 제작방법이 간단하며 휘어지게 만들 수 있다는 장점을 갖기 때문에 많은 관심을 받고 있다. 유기물질을 기반으로 한 전자 소자의 효율을 향상시키기 위해서는 유기물 자체의 물리적인 특성을 고찰하는 연구가 중요하다. 특히, 유기물 내에서의 전하 전송 메카니즘을 이해하기 위해 유기물의 이동도에 대한 연구가 중요하나, 아직까지 유기물질을 기반으로 한 전자 소자의 전하이동도에 대한 이론적인 연구가 거의 없다. 본 연구에서는 온도 변화에 따른 유기물 내에서의 전자 이동도를 몬테카를로 방법을 이용하여 계산하였다. 시뮬레이션을 위한 기본 구조로 소자의 길이는 50~500 사이트로 하였으며, 이웃한 사이트간 거리는 3A로 결정하였다. 유기물 내에 존재하는 트랩의 분포는 가우시안 분포로 가정하였다. 유기물 내에서의 전자 이동도를 추출하기 위해 이웃한 트랩간의 천이 확률을 Miller and Abrahams 식을 이용하여 계산하고[1], 트랩간의 천이시간을 컴퓨터에서 발생시킨 난수를 통해 얻어 이들을 통계적으로 처리하여 유기물 내에서의 전자 이동도를 계산하였다. 시뮬레이션 결과, 전자 이동도는 전계가 증가함에 따라 일정하게 증가하다가 일정 전계에서 포화된 후, 다시 감소하는 현상을 갖는다. 초기의 전계영역에서는 전계의 증가에 따라 유기물 내 트랩간의 천이 확률이 증가하기 때문에 전자 이동도가 증가한다. 하지만, 일정 전계 이상의 큰 전계 영역에서는 전자의 이동 속도는 거의 변하지 않는 상태에서 전계는 계속 증가하기 때문에 상대적으로 전자 이동도는 줄어들게 된다. 다양한 길이를 갖는 벌크 상태의 유기소자에 대한 전자 이동도를 시뮬레이션 하였을 때, 소자의 크기와 상관없이 전자 이동도는 거의 일정 하였다. 이는 순수한 벌크 상태의 유기소자는 유기물 자체에서의 전자 움직임에 의해 전자 이동도가 결정되기 때문이다. 온도가 높아짐에 따라 유기물 내의 전자 이동도는 증가하였다. 이는 온도가 증가할수록 열적 여기에 의한 트랩간의 천이 확률이 증가하기 때문이다. 하지만, 트랩의 분산도가 30 meV로 작을 경우, 일정 온도 이상에서의 전자 이동도는 포화되어 일정한 값으로 유지한다. 유기물 내에 존재하는 트랩 분포에 따라 온도의 변화에 따른 전자 이동도 특성이 달라짐을 알 수 있다. 이러한 결과는 유기물질을 기반으로 한 전자소자에서의 전하 전송 메카니즘을 이해하고 소자의 제작 및 특성 향상에 도움이 된다고 생각한다.

• 한국음향학회지
• /
• 제17권6호
• /
• pp.37-42
• /
• 1998

본 논문에서는 SCHMM에 적용된 관찰 확률 최대화에 의한 화자 적응 알고리즘을 제안한다. 제안된 알고리즘은 SCHMM의 관찰 확률 밀도들이 새로운 화자의 음성 특징을 잘 표현하지 못하는 경우 인식 성능이 저하되는 것을 막기 위하여, 적응 데이터의 각 특징 벡터들이 최대의 관찰 확률을 가질 수 있도록 관찰 확률 밀도를 결정하는 평균 벡터 μ와 분산 행렬 Σ를 기울기 탐색(gradient search) 알고리즘에 의해 반복적으로 적응시켜 주는 방법이다. SCHMM의 상태 천이 확률 A와 혼합 밀도 계수 C는 관찰 확률 밀도 적응 과정 을 거친 후, 적응 데이터로부터 구한 확률과 기존 확률의 가중 평균을 취하는 과정을 반복 하여 적응시켜 주었다. 제안된 화자 적응 알고리즘을 사용하여 단독음 인식 실험을 수행한 결과, 화자 적응을 수행하지 않았을 때와 비교하여 화자 독립 시스템에서는 평균 9.8%, 남 성 화자 종속 시스템에서는 평균 46.0%, 여성 화자 종속 시스템에서는 평균 52.7%의 인식 률 향상을 보였다.

• 한국컴퓨터정보학회논문지
• /
• 제17권6호
• /
• pp.145-152
• /
• 2012

네트워크를 통해 전송되는 스트리밍 미디어의 대용량화로 인해 기존의 전송 방법은 최적의 성능을 제시하지 못하고 있다. 이를 위해 대역폭의 소비와 네트워크 혼잡 및 트래픽을 감소시키는 비디오 프록시 서버가 운용된다. 본 논문은 비디오 프록시 서버의 효율적인 활용을 위해 미디어 스트리밍 시스템에서의 상태 천이 모델을 활용한 고속 분산 네트워크 파일 시스템을 제안한다. 제안하는 방법은 상태 천이 모델을 활용한 학습 과정, 기본 확률과 결정 확률의 생성, 그리고 확률을 기반으로 한 저장과 삭제의 3단계로 구성된다. 또한 비디오 프록시 서버의 저장 공간에서 발생되는 단편화를 막기 위하여 해당 공간을 세그먼트 별로 영역을 구분한다. 실험을 통해 제안하는 방법이 기존의 방법들에 비해 보다 높은 적중률을 보이는 동시에 보다 적은 삭제 횟수를 보임을 확인한다. 이를 통해 제안하는 방법이 초기 지연시간을 최소화하는 동시에 네트워크 대역폭을 효율적으로 활용하는 것을 보인다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제11권8호
• /
• pp.331-338
• /
• 2022

차기 상태 천이 표상(Successor representation, SR) 기반 강화학습 알고리즘은 두뇌에서 발현되는 신경과학적 기전을 바탕으로 발전해온 강화학습 모델이다. 해마에서 형성되는 인지맵 기반의 환경 구조 정보를 활용하여, 변화하는 환경에서도 빠르고 유연하게 학습하고 의사결정 가능한 자연 지능 모사형 강화학습 방법으로, 불확실한 보상 구조 변화에 대해 빠르게 학습하고 적응하는 강인한 성능을 보이는 것으로 잘 알려져 있다. 본 논문에서는 표면적인 보상 구조가 변화하는 환경뿐만 아니라, 상태 천이 확률과 같은 환경 구조 내 잠재 변수가 보상 구조 변화를 유발하는 상황에서도 SR-기반 강화학습 알고리즘이 강인하게 반응하고 학습할 수 있는지 확인하고자 한다. 성능 확인을 위해, 상태 천이에 대한 불확실성과 이로 인한 보상 구조 변화가 동시에 나타나는 2단계 마르코프 의사결정 환경에서, 목적 기반 강화학습 알고리즘에 SR을 융합한 SR-다이나 강화학습 에이전트 시뮬레이션을 수행하였다. 더불어, SR의 특성을 보다 잘 관찰하기 위해 환경을 변화시키는 잠재 변수들을 순차적으로 제어하면서 기존의 환경과 비교하여 추가적인 실험을 실시하였다. 실험 결과, SR-다이나는 환경 내 상태 천이 확률 변화에 따른 보상 변화를 제한적으로 학습하는 행동을 보였다. 다만 기존 환경에서의 실험 결과와 비교했을 때, SR-다이나는 잠재 변수 변화로 인한 보상 구조 변화를 빠르게 학습하지는 못하는 것으로 확인 되었다. 본 결과를 통해 환경 구조가 빠르게 변화하는 환경에서도 강인하게 동작할 수 있는 SR-기반 강화학습 에이전트 설계를 기대한다.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2008년도 학술발표회 논문집
• /
• pp.1023-1026
• /
• 2008

과거에 수문자료 시계열 모의기법은 수자원시스템 설계에 사용되는 일강수량 모의에 주로 이용되어 왔지만 최근에 기후변화에 따른 수문사상의 변동성을 평가하기 위한 기본 자료 모의를 위한 방법론으로 많이 이용되고 있다. 수문시스템에서 강수는 현상의 발생여부에 따라 건조일과 습윤일이 교대로 반복되는 과정으로 구성되어 있으며 건조일, 습윤일 등으로 구분하고 습윤일의 강수량을 상태별로 분류하여 각 상태별 천이확률을 계산함으로써 장래에 발생 가능한 강수사상의 모의 발생이 가능하다. 기후변화 영향 평가 연구에서 가장 중요한 문제 중의 하나는 기후변화로 기인하는 수문사상의 전체적인 거동의 변동사상을 추정하는 것이며 이를 기존 모형들과 연계시키는 방법이라 할 수 있다. 이러한 관점에서 본 연구에서는 천이확률 및 강수 모의에 이용되는 Gamma 확률분포와 같은 분포형의 매개변수들이 우리가 목적으로 하는 월강수량 또는 계절강수량의 총량을 유사하게 모의할 수 있도록 CWGEN(Cross-validated Canonical Correlation Analysis-Weather Generator)를 도입하였다. 이를 국내 강수 지점을 대상으로 검토 평가하였다.