• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 2005년도 ICCAS
• /
• pp.1072-1075
• /
• 2005

This paper presents that TD method is applied to the human adaptive devices for smart home with context awareness (or recognition) technique. For smart home, the very important problem is how the appliances (or devices) can adapt to user. Since there are many humans to manage home appliances (or devices), managing the appliances automatically is difficult. Moreover, making the users be satisfied by the automatically managed devices is much more difficult. In order to do so, we can use several methods, fuzzy controller, neural network, reinforcement learning, etc. Though the some methods could be used, in this case (in dynamic environment), reinforcement learning is appropriate. Among some reinforcement learning methods, we select the Temporal Difference learning method as a core algorithm for adapting the devices to user. Since this paper assumes the environment is a smart home, we simply explained about the context awareness. Also, we treated with the TD method briefly and implement an example by VC++. Thereafter, we dealt with how the devices can be applied to this problem.

• 한국통신학회논문지
• /
• 제30권5B호
• /
• pp.304-309
• /
• 2005

본 논문에서는 TD(temporal differences) 기법을 사용한 localized QoS 라우팅 기법을 제안하였다. 이 기법은 이웃노드로부터 얻어지는 성공 기댓값을 통해 라우팅 정책을 결정하는 기법이다. 이에 본 논문에서는 라우팅 성공 기댓값을 기반으로 한 다양한 탐색기법으로 경로 선택 시 라우팅 성능을 비교 평가하였으며, 특히 Exploration Bonus를 적용한 탐색 기법이 다른 탐색 기법에 비해 더욱 우수한 성능을 보여주고 있는데, 이는 다른 탐색 기법에 비해 네트워크 상황에 더 적응적으로 경로를 선택할 수 있기 때문이다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2008년도 하계종합학술대회
• /
• pp.267-268
• /
• 2008

TD-SCDMA is considered as an innovative Chinese 3G technology adopted by the ITU for the IMT-2000 family. TD-SCDMA combines TDMA and CDMA components to provide more efficient use of radio resources. According to the traffic volume and activity level, the operation mode of a mobile terminal can change from one state to other states. This paper focuses on the problem of recovery delay from inactive states, and proposes a resource management algorithm, which holds some resources for rapid recovery of service after the service determines to release the dedicated resources.

• Journal of electromagnetic engineering and science
• /
• 제6권2호
• /
• pp.83-91
• /
• 2006

In this paper, we develop space-time(ST) Rake receivers for Time Division Synchronous Code Division Multiple Access(TD-SCDMA) base stations(BS). The beamforming of BS transforms the uplink MIMO channel space into many sub-sectors' channels to be nearly orthogonal, thus, well established 1-D Rake technology can be used to TD-SCDMA base station to construct ST Rake, which simplified the system's implementation as well as enlarged users' capacity by the beamforming. The construction and capacity of MIMO sub-sectors by multi-beamforming have been presented. The proposed ST Rake algorithm include the multi-beamforming algorithm for MIMO sub-sectors and classical 1-D Rake algorithm. The calculating formulas for interference plus noise ratio(SINR) and bit error rate(BER) have been derived. Simulations verify that the proposed ST Rake receiver for BS is effective, and the BS systems can get higher system capacity and can be of better performance than presented TD-SCDMA systems.

• 산업경영시스템학회지
• /
• 제34권4호
• /
• pp.189-196
• /
• 2011

In this paper, we propose a logical control-based actor-critic algorithm as an efficient approach for the approximation of the capacitated fab scheduling problem. We apply the average reward temporal-difference learning method for estimating the relative value functions of system states, while avoiding deadlock situation by Banker's algorithm. We consider the Intel mini-fab re-entrant line for the evaluation of the suggested algorithm and perform a numerical experiment by generating some sample system configurations randomly. We show that the suggested method has a prominent performance compared to other well-known heuristics.

• 정보처리학회논문지B
• /
• 제11B권1호
• /
• pp.77-82
• /
• 2004

강화학습에서 temporal-credit 할당 문제 즉, 에이전트가 현재 상태에서 어떤 행동을 선택하여 상태전이를 하였을 때 에이전트가 선택한 행동에 대해 어떻게 보상(reward)할 것인가는 강화학습에서 중요한 과제라 할 수 있다. 본 논문에서는 조합최적화(hard combinational optimization) 문제를 해결하기 위한 새로운 메타 휴리스틱(meta heuristic) 방법으로, greedy search뿐만 아니라 긍정적 반응의 탐색을 사용한 모집단에 근거한 접근법으로 Traveling Salesman Problem(TSP)를 풀기 위해 제안된 Ant Colony System(ACS) Algorithms에 Q-학습을 적용한 기존의 Ant-Q 학습방범을 살펴보고 이 학습 기법에 다양화 전략을 통한 상태전이와 TD-오류를 적용한 학습방법인 Ant-TD 강화학습 방법을 제안한다. 제안한 강화학습은 기존의 ACS, Ant-Q학습보다 최적해에 더 빠르게 수렴할 수 있음을 실험을 통해 알 수 있었다.

• 한국항행학회논문지
• /
• 제11권4호
• /
• pp.415-422
• /
• 2007

본 논문에서는 크로스 시간 슬롯이 존재하는 TD-SCDMA 시스템에 적용할 수 있는 새로운 동적 채널 할당 알고리즘을 제안하였다. 크로스 시간 슬롯에서 간섭을 줄이기 위해 셀 내의 사용자들은 기지국과 사용자 사이의 거리를 기준으로 Near 그룹과 Far 그룹으로 구분된다. 크로스 시간 슬롯에서 역방향 링크에서는 Near 그룹, 순방향 링크에서는 Far 그룹에 존재하는 사용자가 채널을 할당 받는다. 셀룰러 시스템에서 하나의 셀은 복수개의 셀로 둘러싸여 있어 크로스 시간 슬롯과 노멀 시간 슬롯이 혼재해서 존재하게 되므로, 어떠한 셀을 기준으로 할 것인지가 매우 중요하다. 본 논문은 하나의 셀을 6개의 구역으로 구분하고 각 사용자의 입사각을 파악하여 가장 큰 영향을 주는 하나의 인접 셀을 결정하였다. 본 논문에서 제안하는 동적 채날 할당 방식과 셀을 구분하는 방식은 크로스 시간 슬롯에서 간섭을 크게 줄 수 있는 상황을 피함으로써 시스템의 용량 측면에서 FCA에 비해 약 2%~9%, RCA에 비해 약 0.5%~1.3%의 성능향상이 있었다.

• 한국통신학회논문지
• /
• 제29권7A호
• /
• pp.836-843
• /
• 2004

본 논문에서는 고속 TDMA (Time Division Multiple Access) 위성 통신 시스템에 적합한 위상 동기 방식을 제시하고, 추적 성능을 평가하였다. 낮은 SNR에서 작동하고 초기 포착 특성이 우수한 방식을 사용해야 하는 위성통신 시스템에 있어 채널 코딩은 필수적이다. 따라서 코딩에 적합한 위상 동기 방식이 필요하다. 그러나 기존의 DD (Decision Directed)나 NDA (Non-Data-Aided) 방식은 낮은 SNR에서 cyclic slipping 과 Hangup 현상에 민감하기 때문에 코딩 이득을 제대로 얻을 수 없다. 이러한 현상을 보완하기 위해 TD (Tentative Decision) 방식과 PSP (Per Survivor Processing) 방식이 제안되었다. PSP 방식은 TD 방식에 비해 성능이 뛰어나기는 하지만 복잡도가 크다는 단점을 가지고 있다. 따라서 본 논문에서는 채널 상태에 따라 적응적으로 PSP 방식과 TD 방식을 결합하여, 복잡도 문제를 해결하고 PSP 방식의 성능에 근접하는 ARSE (Adaptive Reduced State Estimator) 방식을 제안하였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2003년도 봄 학술발표논문집 Vol.30 No.1 (C)
• /
• pp.211-213
• /
• 2003

RED 파라미터를 가장 적합하게 설정할지라도 RED 라우터의 처리량(Throughput)이 TD 라우터 보다 획기적으로 향상되기는 매우 어려운 일이다 하지만 REO 라우터를 이용하여 TCP 커넥션들간의 페어니스(Fairness)와 페어니스 향상에 따른 전체 네트워크 이용률(Utilization)을 높일 수는 있다. 본 논문에서는 네트워크 상황에 따라 동적으로 RED 파라미터를 조절하면서 빠르게 안정적인 상태로 적응하는 진보된 RED 알고리즘인 ea-RED(Efficient Adaptive RED)의 성능을 네트워크 시뮬레이션 툴인 NS-2를 이용하여 TD. RED 알고리즘과 다양하게 실험하고 비교 분석한다. 이 실험을 통해 병목구간에서 혼잡이 심할 경우, ea-RED 라우터가 RED나 TD 라우터에 비해 큐를 효율적으로 사용하면서도 보다 높은 페어니스 인덱스 값을 갖는다는 점을 확인할 수 있다.

• 한국컴퓨터정보학회논문지
• /
• 제10권2호
• /
• pp.49-57
• /
• 2005

본 논문은 상관관계(trade-off)에 의한 CLB구조의 CPLD 저전력 기술 매핑 알고리즘을 제안하였다. 제안한 저전력 기술 매핑 알고리즘은 주어진 불린 네트워크를 DAG로 구성하여 소모전력 계산을 위한 TD(Transition Density) 계산 단계와 매핑 가능 클러스터 생성, CLB 패킹의 단계로 구성하였다. TD 계산 단계는 DAG를 구성하고 있는 각 노드들에 대한 스위칭 동작을 계산하여 전체 소모 전력을 계산하는 단계이다. 매핑 가능 클러스터 생성 단계는 주어진 CPLD의 CLB에 대한 입출력의 수와 OR 텀수를 고려하여 매핑 가능 클러스터를 생성하는 단계이다. 매핑 가능 클러스터를 생성하기 위하여 공통 노드 클러스터 병합과 노드 분할, 노드 복제의 방법을 이용한다. 제안된 알고리즘을 SIS에서 제공되는 벤치마크에 적용하여 실험한 결과 OR 텀수를 5로 했을 경우 기존의 CPLD 기술 매핑 알고리즘인 TEMPLA에 비해 30.73$\%$의 소모전력이 감소되었으며, PLAmap에 비해 17.11$\%$감소되었다.