• 제목/요약/키워드: Q

검색결과 13,781건 처리시간 0.035초

강화 학습에서의 탐색과 이용의 균형을 통한 범용적 온라인 Q-학습이 적용된 에이전트의 구현 (Implementation of the Agent using Universal On-line Q-learning by Balancing Exploration and Exploitation in Reinforcement Learning)

  • 박찬건;양성봉
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제30권7_8호
    • /
    • pp.672-680
    • /
    • 2003
  • shopbot이란 온라인상의 판매자로부터 상품에 대한 가격과 품질에 관한 정보를 자동적으로 수집함으로써 소비자의 만족을 최대화하는 소프트웨어 에이전트이다 이러한 shopbot에 대응해서 인터넷상의 판매자들은 그들에게 최대의 이익을 가져다 줄 수 있는 에이전트인 pricebot을 필요로 할 것이다. 본 논문에서는 pricebot의 가격결정 알고리즘으로 비 모델 강화 학습(model-free reinforcement learning) 방법중의 하나인 Q-학습(Q-learning)을 사용한다. Q-학습된 에이전트는 근시안적인 최적(myopically optimal 또는 myoptimal) 가격 결정 전략을 사용하는 에이전트에 비해 이익을 증가시키고 주기적 가격 전쟁(cyclic price war)을 감소시킬 수 있다. Q-학습 과정 중 Q-학습의 수렴을 위해 일련의 상태-행동(state-action)을 선택하는 것이 필요하다. 이러한 선택을 위해 균일 임의 선택방법 (Uniform Random Selection, URS)이 사용될 경우 최적 값의 수렴을 위해서 Q-테이블을 접근하는 회수가 크게 증가한다. 따라서 URS는 실 세계 환경에서의 범용적인 온라인 학습에는 부적절하다. 이와 같은 현상은 URS가 최적의 정책에 대한 이용(exploitation)의 불확실성을 반영하기 때문에 발생하게 된다. 이에 본 논문에서는 보조 마르코프 프로세스(auxiliary Markov process)와 원형 마르코프 프로세스(original Markov process)로 구성되는 혼합 비정적 정책 (Mixed Nonstationary Policy, MNP)을 제안한다. MNP가 적용된 Q-학습 에이전트는 original controlled process의 실행 시에 Q-학습에 의해 결정되는 stationary greedy 정책을 사용하여 학습함으로써 auxiliary Markov process와 original controlled process에 의해 평가 측정된 최적 정책에 대해 1의 확률로 exploitation이 이루어질 수 있도록 하여, URS에서 발생하는 최적 정책을 위한 exploitation의 불확실성의 문제를 해결하게 된다. 다양한 실험 결과 본 논문에서 제한한 방식이 URS 보다 평균적으로 약 2.6배 빠르게 최적 Q-값에 수렴하여 MNP가 적용된 Q-학습 에이전트가 범용적인 온라인 Q-학습이 가능함을 보였다.

높은 대역폭 효율과 정진폭 신호 전송을 위한 CACB-Q2AM 변조 (CACB-Q2AM Modulation for High Bandwidth Efficiency and Constant Amplitude Signal Transmission)

  • 홍대기;강성진
    • 인터넷정보학회논문지
    • /
    • 제9권1호
    • /
    • pp.21-32
    • /
    • 2008
  • 본 논문에서는 정진폭 신호 특성을 갖는 기존의 정진폭 부호화된 다중 부호 이진 직교 (CACB: Constant Amplitude Coded Multicode Biothogonal) 변조의 구조를 유지하면서 대역폭 효율을 증가시킴으로써 전송률을 높일 수 있는 방식을 제안한다. 높은 대역폭 효율을 얻기 위한 방식으로는 기존에 제안되었던 직교위상-직교위상 진폭변조 ($Q^2$AM: Quadrature-Quadrature Amplitude Modulation), 그리고 정진폭 직교위상직교위상 진폭변조 ($CA-Q^2$AM: Constant Amplitude-$Q^2$AM) 방식을 이용한다. 먼저 가장 간단한 결합 방식인 CACB-$Q^2$AM 방식을 제안한다. 이 방식은 대역폭 효율은 증가하지만 정진폭 특성을 얻을 수는 없기 때문에 정진폭 특성을 유지하기 위한 새로운 첫 번째 CACB-CA-$Q^2$AM (CACB-CA-$Q^2$AM I) 변조 방식을 제안한다. 그러나 이 방식은 정진폭을 얻기 위해 여분의 부호화 과정이 필요하므로 대역폭 효율이 낭비되는 단점이 있다. 마지막으로 대역폭 효율을 감소시키지 않는 새로운 두 번째 CACB-CA-$Q^2$AM (CACB-EA-$Q^2$AM II) 변조 방식을 제안한다. 컴퓨터모의실험을 통해 제안된 시스템의 성능을 평가함으로서 제안된 CACB-CA-$Q^2$AM II 변조 방식의 효율성을 보이도록 한다.

  • PDF

Nd:YAG Laser를 위한 포켓셀 Q-스위치특성 연구 (A study on the characteristic of Pockel cell Q-switch for Nd:YAG laser)

  • 김휘영
    • 디지털콘텐츠학회 논문지
    • /
    • 제10권2호
    • /
    • pp.199-207
    • /
    • 2009
  • Q-스위칭은 셔터나 다른 광학소자를 레이저 광 공진기 내에 넣어 광이 공진기 내에서 발진하는데 손실을 유발하고, 충분한 반전분포가 활성 매질 내에서 생성되면 순간적으로 셔터를 열어 공진기 내에 축적된 에너지가 매우 강한 빛으로 방출되게 하는 것이다. 이와 같이 Q-스위칭은 레이저 공진기의 Q--factor를 감소시켰다가 갑자기 증가시키는 것이다. 레이저 Q-스위칭의 방법에는 mechanical switching 방법, electro-optic switching 방법, switching by saturable absorber 방법, acousto-optic switching 방법 등 크게 4가지가 쓰이고 있다. 이들 중 전기광학적인 효과에 의한 전기적인 전환은 짧은 펄스폭의 Q-스위칭 펄스를 생성할 수 있기 때문에 널리 사용되고 있다. 따라서, 전기광학효과의 특성을 가진 Pockel cell은 Q--switch로 사용하기 적합한 것으로 알려져 있다. 본 연구에서는 포켈스 셀 Q-스위치용 구동 장치를 스위칭 소자인 FET와 PIC 마이크로프로세서 및 펄스 트랜스로 설계, 제작하고, 펄스형 Nd:YAG 레이저 시스템에 적용하여 Q-스위치의 동작 특성을 조사, 연구하였다. 또한, 이 Q-스위치를 통하여 출력된 Nd:YAG 레이저 빔의 측정치를 이론적 계산에 의해 구해진 예상치와 비교하여 Q-스위칭 된 레이저 빔의 특성을 분석하였다.

  • PDF

산업체 근로자의 직무스트레스와 카페인 섭취의 상관성 (Relationships between job stress and caffeine intake in industrial workers)

  • 임지숙;이재준
    • Journal of Nutrition and Health
    • /
    • 제49권5호
    • /
    • pp.367-377
    • /
    • 2016
  • 본 연구는 산업체근로자들의 직무스트레스와 카페인 섭취량을 알아보고, 직무스트레스에 따른 카페인 섭취량과의 관련성에 대해 살펴보고자 실시하였다. 연구 대상자의 직무스트레스 총합은 100점 환산 기준으로 $72.7{\pm}6.8$점으로 나타났으며, 연구 대상자들의 직무스트레스 정도에 따라 스트레스를 가장 적게 받는 그룹은 Q1, 스트레스를 적게 받는 그룹은 Q2, 스트레스를 많이 받는 그룹은 Q3, 스트레스를 가장 많이 받는 그룹은 Q4로 구분 하였다. 이들이 느끼는 스트레스는 조직적 관리체계에 대한 스트레스가 $21.9{\pm}3.3$점으로 직무요구도 $19.9{\pm}5.1$점, 보상 부적절 $16.1{\pm}2.5$점, 직무자율성 결여 $14.7{\pm}2.1$점에 비해 가장 높았다. 카페인에 대한 인지도 조사결과 카페인이 건강에 미칠 영향에 대해 스트레스가 가장 높은 군 (Q4)에서 '적당히 마시면 도움이 되고 해롭지 않다' 57.1%, '적게 마실수록 좋다'고 응답한 사람들이 17.3%로 스트레스가 많을수록 카페인은 적당히 섭취하면 도움이 되고 해롭지 않으나 적게 마실수록 좋다고 하였다. 스트레스 정도에 따른 카페인 섭취량을 보면 커피믹스 (1봉 47.51 mg)는 Q3에서 $86.1{\pm}56.4mg$ (p < 0.01), 자판기 커피 (1잔 47.51 mg)는 Q2에서 $62.3{\pm}60.9mg$ (p < 0.05), 커피전문점 커피 (1잔 158.43 mg)는 Q4에서 $40.7{\pm}88.7mg$ (p < 0.001), 녹차 (1티백: 28 mg)는 Q4에서 $18.4{\pm}32.4mg$ (p < 0.01)으로 가장 높게 나타났다. 이에 따른 카페인 일일섭취량은 Q1에서 $172.0{\pm}85.3mg$, Q2에서 $179.0{\pm}83.7mg$, Q3에서 $187.9{\pm}81.4mg$, Q4에서 $214.2{\pm}147.3mg$ 으로 Q4그룹이 유의하게 높았다 (p < 0.05). 본 연구 결과 카페인 최대 일일 섭취권고량 대비 실제 카페인 섭취량 비율은 Q1에서 $43.0{\pm}21.3%$, Q2에서 $44.8{\pm}20.9%$, Q3에서 $47.1{\pm}20.4%$, Q4에서 $53.6{\pm}36.8%$로 일일섭취량과 같이 Q4그룹이 유의하게 높았다 (p < 0.05). 카페인 섭취에 따른 부작용으로는 속이 메슥거리거나 구토와 같은 부작용이 Q4에서 $2.7{\pm}0.8$로 유의하게 높았다 (p < 0.05). 대상자들의 카페인 섭취량은 직무스트레스는 유의한 양의 상관관계를 (r = 0.137, p = 0.009), 평균 근무시간과도 유의한 양의 상관성을 보였으며 (r = 0.122 p = 0.001), 수면시간 역시 유의한 양의 상관성을 보였다 (r = 0.169, p = 0.001). 반면 카페인 섭취량과 근무기간은 유의한 음의 상관관계를 나타냈다 (r = -0.114. p = 0.031). 본 연구의 결과, K 제조공장 근로자들은 스트레스 정도가 높아질수록 섭취하는 카페인 섭취량이 많았고, 스트레스를 많이 받는 군에서는 최대 일일 섭취권고량 대비 실제 카페인 섭취량 비율이 50% 정도로 나타나 한국 20세 성인남자보다 2배 이상 섭취하는 것으로 조사되었다.

MORE GENERALIZED FUZZY SUBSEMIGROUPS/IDEALS IN SEMIGROUPS

  • Khan, Muhammad Sajjad Ali;Abdullah, Saleem;Jun, Young Bi;Rahman, Khaista
    • 호남수학학술지
    • /
    • 제39권4호
    • /
    • pp.527-559
    • /
    • 2017
  • The main motivation of this article is to generalized the concept of fuzzy ideals, (${\alpha},{\beta}$)-fuzzy ideals, (${\in},{\in}{\vee}q_k$)-fuzzy ideals of semigroups. By using the concept of $q^{\delta}_K$-quasi-coincident of a fuzzy point with a fuzzy set, we introduce the notions of (${\in},{\in}{\vee}q^{\delta}_k$)-fuzzy left ideal, (${\in},{\in}{\vee}q^{\delta}_k$)-fuzzy right ideal of a semigroup. Special sets, so called $Q^{\delta}_k$-set and $[{\lambda}^{\delta}_k]_t$-set, condition for the $Q^{\delta}_k$-set and $[{\lambda}^{\delta}_k]_t$-set-set to be left (resp. right) ideals are considered. We finally characterize different classes of semigroups (regular, left weakly regular, right weakly regular) in term of (${\in},{\in}{\vee}q^{\delta}_k$)-fuzzy left ideal, (${\in},{\in}{\vee}q^{\delta}_k$)-fuzzy right ideal and (${\in},{\in}{\vee}q^{\delta}_k$)-fuzzy ideal of semigroup S.

강화학습의 Q-learning을 위한 함수근사 방법 (A Function Approximation Method for Q-learning of Reinforcement Learning)

  • 이영아;정태충
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제31권11호
    • /
    • pp.1431-1438
    • /
    • 2004
  • 강화학습(reinforcement learning)은 온라인으로 환경(environment)과 상호작용 하는 과정을 통하여 목표를 이루기 위한 전략을 학습한다. 강화학습의 기본적인 알고리즘인 Q-learning의 학습 속도를 가속하기 위해서, 거대한 상태공간 문제(curse of dimensionality)를 해결할 수 있고 강화학습의 특성에 적합한 함수 근사 방법이 필요하다. 본 논문에서는 이러한 문제점들을 개선하기 위해서, 온라인 퍼지 클러스터링(online fuzzy clustering)을 기반으로 한 Fuzzy Q-Map을 제안한다. Fuzzy Q-Map은 온라인 학습이 가능하고 환경의 불확실성을 표현할 수 있는 강화학습에 적합한 함수근사방법이다. Fuzzy Q-Map을 마운틴 카 문제에 적용하여 보았고, 학습 초기에 학습 속도가 가속됨을 보였다.

OFDM 전송방식 기반의 Direct-Conversion 수신기에서 I/Q 불균형 보상을 위한 새로운 방법 제안 (A Novel Compensation Scheme for I/Q Mismatch in an OFDM Direct-Conversion Architecture)

  • 배정화;박진우
    • 한국통신학회논문지
    • /
    • 제31권12C호
    • /
    • pp.1265-1272
    • /
    • 2006
  • 본 논문에서는 OFDM을 기반으로 하는 직접변환(Direct-conversion) 수신기에서 발생하는 I/Q 불균형(mismatch)문제를 효과적으로 제거할 수 있는 새로운 보상기법을 제시한다. OFDM심볼에 0의 값을 갖는 null 부반송파를 삽입하여 전송한 후에, 수신단에서 FFT후의 null 부반송파로부터 I/Q 불균형 관한 파라미터 값을 추정하고, 이를 이용하여 데이터 심볼에서 I/Q 불균형 효과를 제거하는 방법으로, 효율적이며 낮은 복잡성(complexity)이 제안 방식의 수요 특징이다. 모의실험 결과로부터 소수의 null 부반송파로도 충분한 I/Q 불균형 효과를 제거하는 결과를 얻을 수 있었다. 또한 제안된 방식은 주파수 선택적 페이딩 채널에서도 I/Q 불균형이 잘 제거됨을 보였다.

참나무속 3종의 유식물 정착과 생장의 비교에 대한 실험적 연구 (An Experimental Study on the Comparison of the Establishment and Growth of Seedlings among Three Oak Species)

  • Baek, Myeong-Su;Do-Soon Cho
    • The Korean Journal of Ecology
    • /
    • 제19권2호
    • /
    • pp.125-139
    • /
    • 1996
  • The relationships between environmental factors and the establishment and growth of oak seelings were studied in the greenhouse. The early seedling performances of three oak species (Quercus mongolica, Quercus serrata, Quercus variabilis) were compared. Mean seed weight was the biggest in Q. variabilis, and the smallest in Q. serrata, and the germination rate was higher in Q. variabilis than in Q. mongolica and Q. serrata. The germination rate was significantly affected by seed weight class in Q. serrata, but not in Q. mongolica. Emergence of oak seedlings was similar in all three oak species, and especially the first leaf emergence increased about twenty days after germination. An experiment was designed using three environmental factors (light, soil moisture, fertilizer) to compare the response of the three oak species. Light and soil moisture significantly affected the seedling height growth of Q. variabilis, but the effect was marginal in Q. mongolica and Q. serrata. However, growth of seedling biomass was significant in all three oak species. In contrast, fertilizer did not affect seedling growth of any of the oak species. Q. variabilis is expected to grow well in large gaps because it is very sensitive and responds well to high light and high moisture conditions. Q. mongolica and Q. serrata are relatively tolerant to shade but may need gaps for the seelings to grow into saplings.

  • PDF

실시간 운영체제 Q+를 위한 라이브러리 설계 및 구현 (The Design and Implementation of Library for RTOS Q+)

  • 김도형;박승민
    • 정보처리학회논문지D
    • /
    • 제9D권1호
    • /
    • pp.153-160
    • /
    • 2002
  • 본 논문에서는 정보가전용 실시간 운영체제 Q+에 탑재된 라이브러리의 설계 및 구현에 대해 기술한다. 실시간 운영체제에서의 라이브러리는 표준 인터페이스에 따라 정의되어야 하고, 실시간 운영체제의 응용 분야에 적합한 함수들을 제공하여야 한다. 구현된 Q+ 라이브러리는 응용 프로그램간의 호환성을 보장하기 위해서, POSIX.1, ISO 7942 GKS 등의 업계 및 국제 표준에 따라 설계되었다. 그리고, Q+ 응용 분야에 적합한 C 표준 함수, 그래픽/윈도우 함수, 네트워크 관련 함수, 보안 지원 함수, 파일 시스템 관련 함수들을 제공한다. Q+ 라이브러리는 Q+ 커널과 디지털 TV용 셋탑박스, 그리고 디버깅 툴인 KBUG를 이용하여 구현되었다.

초기 슬롯-카운트 크기에 따른 Gen-2 Q-알고리즘의 성능 분석 (Performance Analysis of Gen-2 Q-Algorithm According to Initial Slot-Count Size)

  • 임인택
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2010년도 추계학술대회
    • /
    • pp.445-446
    • /
    • 2010
  • Gen-2 Q-알고리즘에서는 질의 라운드 동안 사용할 슬롯-카운트 매개변수인 $Q_{fp}$에 대한 초기 값이 정의되어 있지 않다. 이 경우, 만일 초기 $Q_{fp}$ 값이 아주 큰 경우에는 초기 질의 라운드 동안 빈 슬롯이 많이 발생할 수 있고, 반면 초기 $Q_{fp}$ 값이 아주 적은 경우에는 충돌이 많이 발생할 수 있다. 이로 인하여 질의 라운드 동안 최적의 프레임 크기에 수렴하는 속도가 늦어질 수 있으므로 식별 속도 및 효율이 저하되는 문제점이 발생할 것으로 예상된다. 따라서 본 논문에서는 초기 슬롯 카운트의 값이 Gen-2 Q-알고리즘의 성능에 미치는 영향을 분석한다.

  • PDF