• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제11권8호
• /
• pp.331-338
• /
• 2022

차기 상태 천이 표상(Successor representation, SR) 기반 강화학습 알고리즘은 두뇌에서 발현되는 신경과학적 기전을 바탕으로 발전해온 강화학습 모델이다. 해마에서 형성되는 인지맵 기반의 환경 구조 정보를 활용하여, 변화하는 환경에서도 빠르고 유연하게 학습하고 의사결정 가능한 자연 지능 모사형 강화학습 방법으로, 불확실한 보상 구조 변화에 대해 빠르게 학습하고 적응하는 강인한 성능을 보이는 것으로 잘 알려져 있다. 본 논문에서는 표면적인 보상 구조가 변화하는 환경뿐만 아니라, 상태 천이 확률과 같은 환경 구조 내 잠재 변수가 보상 구조 변화를 유발하는 상황에서도 SR-기반 강화학습 알고리즘이 강인하게 반응하고 학습할 수 있는지 확인하고자 한다. 성능 확인을 위해, 상태 천이에 대한 불확실성과 이로 인한 보상 구조 변화가 동시에 나타나는 2단계 마르코프 의사결정 환경에서, 목적 기반 강화학습 알고리즘에 SR을 융합한 SR-다이나 강화학습 에이전트 시뮬레이션을 수행하였다. 더불어, SR의 특성을 보다 잘 관찰하기 위해 환경을 변화시키는 잠재 변수들을 순차적으로 제어하면서 기존의 환경과 비교하여 추가적인 실험을 실시하였다. 실험 결과, SR-다이나는 환경 내 상태 천이 확률 변화에 따른 보상 변화를 제한적으로 학습하는 행동을 보였다. 다만 기존 환경에서의 실험 결과와 비교했을 때, SR-다이나는 잠재 변수 변화로 인한 보상 구조 변화를 빠르게 학습하지는 못하는 것으로 확인 되었다. 본 결과를 통해 환경 구조가 빠르게 변화하는 환경에서도 강인하게 동작할 수 있는 SR-기반 강화학습 에이전트 설계를 기대한다.

• 한국정보전자통신기술학회논문지
• /
• 제13권3호
• /
• pp.197-205
• /
• 2020

한국어는 자음과 모음과 같은 음소 단위의 발음은 고정되어 있고 표기에 대응하는 발음은 변하지 않기 때문에 외국인 학습자가 쉽게 접근할 수 있다. 그러나 단어와 어구, 문장을 말할 때는 음절과 음절의 경계에서 소리의 변동이 다양하고 복잡하며 표기와 발음이 일치하지 않기 때문에 외국어로서의 한국어 표준 발음 학습은 어려운 면이 있다. 그러나 영어 같은 다른 언어와 달리 한국어의 표기와 발음의 관계는 논리적인 원리에 따라 예외 없이 규칙화 할 수 있는 장점이 있으므로 발음오류에 대해 체계적인 분석이 가능한 것으로 여겨진다. 본 연구에서는 오류 발음과 표준 발음의 차이를 컴퓨터 화면상의 상대적 거리로 표현하여 시각화하는 모델을 제시한다. 기존 연구에서는 발음의 특징을 단지 컬러 또는 3차원 그래픽으로 표현하거나 입과 구강의 변화하는 형태를 애니메이션으로 보여 주는 방식에 머물러 있으며 추출하는 음성의 특징도 구간의 평균과 같은 점 데이터를 이용하는데 그치고 있다. 본 연구에서는 시계열로 표현되는 음성데이터의 특성 및 구조를 요약하거나 변형하지 않고 직접 이용하는 방법을 제시한다. 이를 위해서 딥러닝 기법을 토대로 자기조직화 알고리즘과 variational autoencoder(VAE) 모델 및 마코브 확률모델을 결합한 확률적 SOM-VAE 기법을 사용하여 클러스터링 성능을 향상시켰다.

• 지능정보연구
• /
• 제25권2호
• /
• pp.167-194
• /
• 2019

본 논문은 키워드검색광고와 관련하여 의사결정자인 광고주의 입장에서 분석한 통계모델 기반 검색엔진최적화(Search Engine Optimization)논문이다. 일반적으로 키워드입찰은 노출순위를 대상으로 하는 입찰가액에 의해 이루어지고 있다. 그런데, 대부분 광고주는 수천 개 이상의 많은 키워드를 관리함에 있어, 매시간적으로 바뀌는 키워드별 입찰가액을 통해 입찰광고시스템을 관리하고 있는데, 사실상 시간과 인력자원측면에서 비효율적이다. 따라서, 본 논문에서는 기존의 입찰가액을 중심으로 하는 입찰시스템에 대해 의문점을 제기하고, 새로운 관점에서 노출순위를 의사결정변수로 하는 새로운 검색광고모델을 재정의하여 제시하였다. 새로운 검색광고모델에 대한 최적화실증분석을 위해 예측모델과 최적화모델을 제시하였다. 연구과정은 우선 키워드의 특성에 따라 키워드그룹을 원천 제조브랜드 유통브랜드의 범주화기준을 제시한 후, PC 와 모바일 매체별로 대표 키워드 선정한 후 노출순위와 클릭률이 비선형분포임을 보였고, 통계적 관계를 검토하였다. 클릭률예측 및 입찰가액예측을 위한 통계적 시나리오를 제시하였고, 적합성 분석을 통해 최적의 예측모델을 선정한 후, 선정된 예측모델을 기반으로 하여 클릭률과 기대이익(전환율)에 관한 최적화목적함수를 정의하고 실증분석을 진행하였다. 분석결과, 본 논문에서 제시한 검색광고모델은 클릭률 기반의 클릭수와 전환율 기반의 기대이익으로 표현되는 최적화모델 모두에서 개선효과가 있음을 확인하였다. 다만, 기대이익 최적화모델의 경우에는 핵심키워드임에도 불구하고 기대이익이 낮아 광고에서 배제되는 문제를 있음을 확인하고 대안을 제시했다. 마코브체인분석을 통해 핵심 경유키워드 개념을 도입하였고, 최적화목적함수에 대해 핵심경유키워드의 기회이익을 반영한 최적화수정모델을 제시하여 적용가능성을 확인하였다. 본 논문은 키워드입찰시스템의 의사결정변수를 노출순위의 관점으로 전환하는 새로운 모델을 제안하였고, 키워드 범주별 및 노출순위 기반의 통계적 예측을 제시하고, 포트폴리오 구성에서의 최적화실증분석을 통해 노출순위 기반 예측모델의 유효성을 확인함과 동시에, 키워드간의 확산효과를 포함하는 수정모델제시 등 전략적인 입찰을 제안한 점에 시사점이 있다.

• 전자공학회논문지S
• /
• 제35S권11호
• /
• pp.176-183
• /
• 1998

본 논문에서는 근전신호를 효과적으로 인식하기 위해 신경회로망에 유전알고리즘을 결합하여 근전신호를 인식하는 기법을 제안한다. 본 기법은 신경회로망이 내재한 단점들을 개선하여 근전신호의 인식률을 높이고 안정적인 인식을 행하는 것을 목표로 한다. 제안된 기법에서 유전알고리즘은 전역적인 탐색으로 신경회로망의 최적의 초기 연결강도를 선택하는데, 이로 인하여 학습속도 및 인식률이 향상하게 된다. 그리고 절대 적분치, 영교차수등의 특징벡터 이외에 히든 마르코프 모델로 전처리를 하여 시간적으로 변하는 근전신호의 특성을 입력패턴에 반영하였다. 6가지의 기본운동을 대상으로 행한 실험결과, 제안된 인식기법은 기존의 일반적인 신경회로망의 학습규칙을 이용하여 인식했을 때보다 학습속도와 인식률이 향상되었고, 국부최소점으로 수렴하는 경우가 없어 실험에 실패하지 않고 안정적으로 근전신호의 패턴을 인식하였다.

• 대한전자공학회논문지TC
• /
• 제45권11호
• /
• pp.15-22
• /
• 2008

1xEV-DO 시스템의 각 단말은 기지국이 전송하는 이진(binary) 제어정보와 고유한 확률모델을 기반으로 자신의 전송속도를 결정한다. 하지만, 이 전송속도 제어방법은 확률적 불확실성으로 인해 동작을 예측하기 어렵고, 역방향 링크의 과부하를 억제할 수 있는 확실한 수단이 없기 때문에, 간섭 제한(interference-limited) 용량을 갖는 CDMA 시스템의 성능을 저하시킬 수 있다. 본 논문에서는 기지국이 역방향 트래픽 부하를 예측하고, 순방향 제어채널을 통해 단말의 전송속도를 효과적으로 제어할 수 있는 방법을 제안한다. 본 논문은 제안한 방법을 다차원 마르코프 프로세스로 모델링하고 기존 방법들과 성능을 비교한다. 분석 결과에 의하면, 제안한 방법은 기존의 방법들과 비교하여 셀에서 지원할 수 있는 최대 전송효율(throughput)을 크게 향상시킴을 알 수 있다.

• 인터넷정보학회논문지
• /
• 제21권4호
• /
• pp.35-41
• /
• 2020

본 논문은 Context Tree Weighting (CTW) 를 이용하여 Adaptive Multi-Rate (AMR) 데이터의 압축 성능을 개선하는 알고리즘을 제안한다. AMR은 IMT-2000에서 채택된 음성부호화 표준안으로써, 무선채널의 환경변화에 대처할 수 있도록 4.75 kbit/s 에서 12.2 kbit/s 까지 8가지의 전송률을 지원한다. CTW는 산술부호화기의 일종으로, 가변 차수 마르코프 모델을 사용하는 압축기이다. 우리는 CTW가 비트단위로 수행한다는 점을 고려하여 AMR 데이터를 변환한 후 CTW로 압축하는 알고리즘을 제안한다. 제안하는 알고리즘의 유효성을 검증하기 위하여 ZIP을 포함한 기존 압축방식과 제안된 알고리즘의 압축률을 비교하는 실험을 하였다. 실험 결과, AMR 데이터의 평균 추가 압축률이 ZIP의 경우 약 3.21%, 제안된 알고리즘의 경우 약 9.10%로 나타났다. 따라서 본 논문에서 제안한 알고리즘이 AMR 데이터의 압축 성능을 약 5.89% 개선하였다.

• 대한전자공학회논문지SP
• /
• 제44권2호
• /
• pp.82-92
• /
• 2007

본 논문에서는 3차원 얼굴인식을 위한 방사 기저 함수 신경망 기반의 새로운 전역적 형태 특징과 그 특징을 추출하는 방법을 제안한다. 방사 기저 함수 신경망은 방사 기저 함수들의 가중합으로써, 얼굴 형태 정보의 비선형성을 방사 기저 함수의 선형합으로 잘 표현한다. 이 논문에서는 얼굴의 가로 방향 프로파일을 학습된 방사 기저 함수 신경망에 적용시켰을 때 생성되는 가증치를 새로운 전역적 형태 특징으로 제안한다. 제안하는 전역적 형태 특징의 경우 국소적 특징의 특성을 가지며, 일반적인 전역적 특징의 특성인 특징의 복잡도도 감소시킨다. 100명의 데이터베이스 영상과 100명에 대한 서로 다른 3개의 포즈를 포함하는 300개의 테스트 영상을 이용한 실험에서 제안하는 전역적 형태 특징과 은닉 마르코프 모델을 이용한 특징 비교를 통해서 94.7%의 인식률을 얻었다.

• 한국측량학회지
• /
• 제33권2호
• /
• pp.123-129
• /
• 2015

알고리즘의 유연성 및 효율성으로 인해 GPS 이동측위 시 칼만필터가 주로 사용되어 왔으며 동시에 다양한 계통오차의 제거가 가능한 상대측위 기법이 널리 사용되어 왔다. 하지만 기선의 길이가 길어지게 되면 상대측위 기법을 사용하더라도 대기효과를 충분히 제거하기 어렵기 때문에 이 경우 제거되지 않고 남아 있는 대기효과를 상태벡터에 추가하여 추정을 하기도 한다. 칼만필터를 이용하는 경우 일반적으로 대기효과는 랜덤워크 혹은 일차가우스-마르코프 프로세스로 모델링하게 되는데 이때 프로세스 잡음에 대한 정확한 모델링이 필수적이다. 본 연구에서는 대기효과에 해당되는 프로세스 잡음 모델링을 위해 필요한 매개변수를 결정하였다. 이를 위해 이중차분 전리층 지연값과 천정방향 습윤지연값을 이용하여 실험적 자기상관함수를 계산하였으며 이를 통해 프로세스 잡음 모델링에 필요한 매개변수를 계산하였다. 결정된 매개변수값들은 유사한 대기환경에서 취득된 데이터에 대한 프로세스 잡음 모델링 시 직접 사용될 수 있으며 유사한 대기환경이 아닌 경우일 지라도 초기 근사값으로 활용될 수 있을 것이다.

• 한국멀티미디어학회논문지
• /
• 제14권2호
• /
• pp.288-294
• /
• 2011

본 논문에서는 스테레오 이미지 생성 모델을 제시한 다음 이로부터 디스패리티를 구하는 과정을 유도하고 이의 해를 구하는 과정은 에너지 기반 스테레오 정합과 일치함을 수식으로 증명한다. 정합되는 화소 간의 차와 인근 화소에 해당되는 디스패리티의 차는 지수 확률분포에 근사하다는 사실을 실험적으로 확인하고 이에 근거하여 이들의 정합 파라미터를 최적화하는 식을 유도하고 이의 해법을 제시한다. 제안 알고리즘은 초기에 임의의 파라미터로 디스패리티 맵을 구한 후에 이의 통계적 특성을 이용하여 정합 파라미터를 추정하고 추정된 파라미터를 적용하여 디스패리티 맵을 재차 구하는 과정을 반복함으로써 최적의 파라미터에 적응적으로 수렴하도록 조정한다. 제안 알고리즘을 dynamic programming과 belief propagation 기반 스테레오 매칭 알고리즘에 각각 적용하여 구한 정합 파라미터가 수렴하는지를 조사하고 이의 수렴 속도와 성능 개선 효과 등을 확인한다.

• 한국음향학회지
• /
• 제21권1호
• /
• pp.19-26
• /
• 2002

본 논문에서는 한국어 입술독해를 위한 기반 연구로서 음성학에 기반하여 음성의 시각적 기본 단위인 viseme을 정의하고 입술의 움직임을 적절히 표현할 수 있는 특징들을 추출하여 그 성능을 분석하였다. 먼저, 다수의 화자로부터 한국어 모음에 해당하는 입술의 동영상 데이터베이스를 획득하고 각모음별 시각적 특성을 분석하여 7개의 한국어 모음 viseme을 정의하였으며 입술 윤곽선상의 특징점과 시공간적 특징 벡터들을 추출하여 은닉 마르코프 모델에 적용함으로써 효과적인 입술독해를 위한 각 특징 벡터별 성능을 비교하였다. 7개의 한국어 각 viseme에 대한 인식 실험 결과에서 입술의 안팎 윤곽선의 정보가 모두 반영된 특징 벡터가 입술독해에 효과적으로 적용될 수 있으며 윤곽선 상의 특징점들의 시간적 움직임 크기와 방향이 입술독해를 위하여 매우 중요한 요소임을 확인할 수 있었다.