• 제목/요약/키워드: 혼합 모델

검색결과 1,801건 처리시간 0.035초

강화 학습에서의 탐색과 이용의 균형을 통한 범용적 온라인 Q-학습이 적용된 에이전트의 구현 (Implementation of the Agent using Universal On-line Q-learning by Balancing Exploration and Exploitation in Reinforcement Learning)

  • 박찬건;양성봉
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제30권7_8호
    • /
    • pp.672-680
    • /
    • 2003
  • shopbot이란 온라인상의 판매자로부터 상품에 대한 가격과 품질에 관한 정보를 자동적으로 수집함으로써 소비자의 만족을 최대화하는 소프트웨어 에이전트이다 이러한 shopbot에 대응해서 인터넷상의 판매자들은 그들에게 최대의 이익을 가져다 줄 수 있는 에이전트인 pricebot을 필요로 할 것이다. 본 논문에서는 pricebot의 가격결정 알고리즘으로 비 모델 강화 학습(model-free reinforcement learning) 방법중의 하나인 Q-학습(Q-learning)을 사용한다. Q-학습된 에이전트는 근시안적인 최적(myopically optimal 또는 myoptimal) 가격 결정 전략을 사용하는 에이전트에 비해 이익을 증가시키고 주기적 가격 전쟁(cyclic price war)을 감소시킬 수 있다. Q-학습 과정 중 Q-학습의 수렴을 위해 일련의 상태-행동(state-action)을 선택하는 것이 필요하다. 이러한 선택을 위해 균일 임의 선택방법 (Uniform Random Selection, URS)이 사용될 경우 최적 값의 수렴을 위해서 Q-테이블을 접근하는 회수가 크게 증가한다. 따라서 URS는 실 세계 환경에서의 범용적인 온라인 학습에는 부적절하다. 이와 같은 현상은 URS가 최적의 정책에 대한 이용(exploitation)의 불확실성을 반영하기 때문에 발생하게 된다. 이에 본 논문에서는 보조 마르코프 프로세스(auxiliary Markov process)와 원형 마르코프 프로세스(original Markov process)로 구성되는 혼합 비정적 정책 (Mixed Nonstationary Policy, MNP)을 제안한다. MNP가 적용된 Q-학습 에이전트는 original controlled process의 실행 시에 Q-학습에 의해 결정되는 stationary greedy 정책을 사용하여 학습함으로써 auxiliary Markov process와 original controlled process에 의해 평가 측정된 최적 정책에 대해 1의 확률로 exploitation이 이루어질 수 있도록 하여, URS에서 발생하는 최적 정책을 위한 exploitation의 불확실성의 문제를 해결하게 된다. 다양한 실험 결과 본 논문에서 제한한 방식이 URS 보다 평균적으로 약 2.6배 빠르게 최적 Q-값에 수렴하여 MNP가 적용된 Q-학습 에이전트가 범용적인 온라인 Q-학습이 가능함을 보였다.

압축기 정익, 터빈 노즐 가변 메카니즘 및 제어기법 연구 (Study on Variable Systems for Compressor and Turbine and its Control Scheme)

  • 김상조;김동현;배경욱;김대일;손창민;김귀순;이대우;고정상;최동환;김명호;민성기
    • 한국추진공학회지
    • /
    • 제19권5호
    • /
    • pp.1-14
    • /
    • 2015
  • 아음속에서 초음속까지 운용되어야 하는 초음속 터빈엔진의 경우, 엔진 운용 공기량이 범위가 넓고 추력 및 연료소모율 등의 엔진 성능에 대해 요구조건이 높으므로 가변시스템 및 이를 제어하기 위한 최적의 제어로직 개발이 반드시 필요하다. 본 연구에서는 압축기 가변 시스템이 적용된 가스터빈 성능해석 모델 및 제어기법을 개발하였다. 그리고 터빈 노즐 가변에 따른 엔진 운용 특성을 분석하였다. 또한 가변 시스템을 구동하는 액추에이터에 대한 개념 설계를 수행 하였다. 저바이패스비 혼합흐름 터보팬 엔진에 대한 탈설계점에서의 성능해석을 수행하였으며, 제어기법을 적용하여 탈설계점에서의 서지마진을 확보할 수 있었다.

배추김치 부재료 혼합의 모델화와 품질 (Studies on Modelization of Subingredients of Chinese-Cabbage Kimchi)

  • 장경숙
    • 동아시아식생활학회지
    • /
    • 제4권3호
    • /
    • pp.147-169
    • /
    • 1994
  • This study was conducted to ivestigate the quality of modeled chinese-cabbage Kimchi. The mutual action of sub-ingredients and optimum mixing conditions were examined by analyses of pH, acidity, content of vitamins, carotenes, number of total microorganism, and Lactobacilli, the activities of softening related to enzymes (polygalacturonase and ${\beta}$-galactosidase), and sensory quality during fermentation. The result about the mutual action of red pepler powder and garlic showed that the pH was decresed as concentration of garlic was higher and that of red peppler powder became lower. Kimchi had unpleasant taste and undesirable odor when the adding ratio of the peper powder and garlic was unbalanced. As the concentration of garlic became higher, the content of vitamin C in Kimchi tissue decreased while that of vitamin C in Kimchi juice increased. The contents of vitamin B1, B2 and carotene increased as the concentration of garlic became lower. The optimum mixing ratio of red pepper powder and garlic evaluated by overall eating quality was 4.66% and 3.45%, respectively. The result about the mutual action of ginger and green onion was that pH became higher as the concentration of ginger was 1.84% and that of green onion was 5.96%. The intensity of fresh taste and odor became stronger as the concentration of ginger increaed to 2.76% and that of green onion decreased to 2.98%. The balance of sour, salty and hot taste became better as the concentration of ginger increased and that of green onion decreased. The optimum mixing condition evaluated by overall eating quality was 2.94% in ginger + 2.78% in green onion. The contents of vitamin B1, B2 and C were high in this condition. The result about the mutual action of leek and salted anchovy juice was that pH became lower as the concentration of leek increased and that of salted anchovy juice decreased. Sour, hot and sweet tastes were good in the condition of leek 12%, salted anchovy juice 4.69%. Palatable, fresh taste and odor became weaker when the one of both sub-ingredients was too much little. The optimum mixing condition evaluated by overall easting quality was 9.76% in leek + 7.32% in salted anchovy juice. The contents of vitamin B1, B2, C and carotene were high in this condition and other sensory qualities were good. The result about the mutual action of salt and sugar was that pH became lower as the concentration of sugar became higher and that of salt became lower. The sweet taste was reduced of hot taste than salty taste. Palatable and fresh tastes were desirable when Kimchi fermented with less salt and more sugar. The optimum mixing condition evaluated by overall eating quality was 3.29% in sugar + 4.80% in salt. The contents of vitamin B1, B1, C and carotene were high in this condition. The result of model Kimchi fermented at 20$^{\circ}C$ was that the number of Lactobacilli in model Kimchi was higher than that of in control Kimchi. The fermentation period was extended under pH 4.0 and the contents of vitamin B1, B1,C and carotene were high through the whole edible period. The activity of polygalacturonase was low, but that of ${\beta}$-galactosidase was high during fermentation.

  • PDF

NaCl + CaCl2 + H2O 및 KCl + CaCl2 + H2O 삼성분계에 대한 50℃에서의 용해도 측정 (Measurement of Solubilities in the Ternary System NaCl + CaCl2 + H2O and KCl + CaCl2 + H2O at 50℃)

  • Yang, Ji-Min;Hou, Guang-Yue;Ding, Tian-Rong;Kou, Peng
    • 대한화학회지
    • /
    • 제54권3호
    • /
    • pp.269-274
    • /
    • 2010
  • NaCl-$CaCl_2$-$H_2O$와 KCl-$CaCl_2$-$H_2O$계의 용해도와 물리화학적 성질(굴절률)을 $50^{\circ}C$에서 측정하였으며, 그 결과를 상평형 그림과 조성에 따른 물리화학적 성질에 대한 도표로 나타내었다. 삼성분계의 상 평형 그림은 불변점이 하나, 일변수 곡선이 둘, NaCl (또는 KCl) 및 $CaCl_2{\cdot}2H_2O$에 대응되는 결정화 지역이 두 개가 있음을 보여주었다. 이들 계에 대하여 혼합 파라미터인 ${\theta}_{M,Ca}$${\Psi}_{M,Ca,Cl}$ (M = Na or K), 평형상수 $K_{sp}$를 최소제곱법을 이용하여 결정하였으며, 이때, NaCl, KCl 및 $CaCl_2$의 단일-염 Pitzer 파라미터 ${\beta}^{(0)}$, ${\beta}^{(1)}$, ${\beta}^{(2)}$ and $C^{\Phi}$는 참고문헌을 통하여 직접 계산하였다. 이 결과들은 실험결과와 잘 일치하였다.

무요소법을 이용한 균열진전 문제의 형상 최적설계 (Shape Design Optimization of Crack Propagation Problems Using Meshfree Methods)

  • 김재현;하승현;조선호
    • 한국전산구조공학회논문집
    • /
    • 제27권5호
    • /
    • pp.337-343
    • /
    • 2014
  • 본 논문에서는 재생 커널 기법을 사용하여 혼합모드 균열진전 문제에 대한 연속체 기반의 형상 설계민감도 해석을 수행하였다. 재생 커널 기법은 기존의 유한요소법과 달리 요소망을 재구성할 필요가 없어, 커널 함수의 연속성을 증가시켰을 때 높은 정밀도의 형상함수를 얻을 수 있다는 장점을 가지고 있다. 균열선단 주변에서 J-적분을 수행하기 위해 선형탄성 조건이 고려되었다. 변위장과 응력 확대 계수의 설계변수에 대한 감도해석을 위하여 물질도함수를 도입하였으며 직접 미분법보다 효율적인 애조인 방법을 사용하여 설계민감도를 유도하였다. 수치 예제들을 통해서 재생 커널 기법을 이용한 균열진전 해석결과의 타당성을 확인하였으며 애조인 방법을 이용한 형상 설계민감도 해석 결과를 유한차분법과 비교하여 매우 정확하고 효율적인 결과를 얻을 수 있음을 알 수 있었다. 이를 바탕으로 간단한 모델에 대하여 형상 최적설계를 수행하여 균열이 발생될 수 있는 구조물에 대해서 균열에 의한 피해를 최소화할 수 있도록 균열을 제어할 수 있는 최적의 형상을 도출하였다.

고로슬래그 혼합 시멘트 페이스트의 응결시간 경과에 따른 레올로지 특성 (Rheological Evaluation of Blast Furnace Slag Cement Paster over Setting Time)

  • 조봉석;안재철;박동천
    • 한국건축시공학회지
    • /
    • 제16권6호
    • /
    • pp.505-512
    • /
    • 2016
  • 철근콘크리트 건축물의 대형화 및 고층화에 대응하여 고성능 콘크리트가 개발되어 사용되고 있지만 레올로지 특성평가가 적절히 이뤄지지 않아 시공설계를 위한 수치해석에 소성점도 및 항복값의 책정이 적절하지 못한 실정이며 이로 인해 경화된 콘크리트 품질 안정화에 많은 문제점을 나타내고 있다. 본 연구에서는 고로슬래그 미분말 혼입 시멘트 페이스트를 대상으로 물분체비 및 치환율을 실험인자로 응결진행하의 시간경과에 따른 컨시스턴시 곡선을 측정하였다. 빙함모델로 가정한 회귀분석을 통해 소성점도 및 항복값을 산출한 결과 물분체비가 작을수록 초결 전후의 변화가 급격한 것을 알 수 있었다. 치환율을 40%까지 상승시키더라도 자유수변화와 고로슬래그 미분말의 불투수성 산화피막 형성에 의한 코팅효과가 상쇄되어 큰 변화로 관찰되지 않았다.

$M^2$ MAC(Message Merging): 수중음파통신 기반의 실시간 로봇 제어 시스템을 위한 MAC 프로토콜 ($M^2$ MAC: MAC protocol for Real Time Robot Control System based on Underwater Acoustic Communication)

  • 김영표;박수현
    • 전자공학회논문지CI
    • /
    • 제48권6호
    • /
    • pp.88-96
    • /
    • 2011
  • 수중 음파 통신은 해양 데이터 수집, 해저 탐사 및 개발, 군사 전술 감시 등 다양한 분야에 활용 가능하다. 이와 같이 다양한 분야에 Autonomous Underwater Vehicle(AUV)나 Remotely Operated Vehicle(ROV)와 같은 수중 로봇을 이용한 로봇 제어 시스템 구축은 필수적이다. 본 논문에서는 수중 음파 센서 네트워크 구성에서 중요한 부분인 에너지 효율적인 면을 고려하는 동시에 실시간 로봇 제어 시스템 구축에 적합한 Message Merging MAC($M^2$-MAC) 프로토콜을 제안한다. 제안된 Media Access Control(MAC) 프로토콜에서는 미리 할당된 타임 슬롯에 따라 로봇 노드들로부터 데이터를 수신하고, 베이스 스테이션으로부터 전달받은 메시지들을 버퍼링 과정을 거쳐 하나의 MAC 프레임으로 생성한 후 클러스터 내 모든 로봇 노드들에게 브로드 캐스팅 하게 된다. 또한 새로운 노드 진입 및 탈퇴 시 Maintenance&Sleep(M&S) 구간을 통해 관련 절차가 이루어짐으로써 경쟁과 비경쟁 방식이 혼합된 복합형 MAC 프로토콜의 형태를 이룬다. 본 논문에서는 실시간 로봇 제어 시스템 구축에 중요한 요소인 종단 간 지연과 에너지 소모량에 관련된 수학적 분석 모델을 제시하고 기존의 MAC 프로토콜과 비교함으로써 성능의 우수성을 검증한다.

여러 종류의 검 첨가가 국내산 고구마전분의 유동특성 및 Vane 항복응력에 미치는 영향 (Effect of Various Gums on Flow Properties and Yield Stress of Korean Sweet Potato Starch)

  • 최혜미;유병승
    • 한국식품영양과학회지
    • /
    • 제38권9호
    • /
    • pp.1253-1257
    • /
    • 2009
  • 7종류의 상업용 검(xanthan gum, guar gum, pectin, gum arabic, gellan, locust bean gum, sodium alginate)을 국내산 고구마전분에 대해 0%, 0.3%, 0.6% 농도로 첨가한 전분-검혼합 페이스트(5%, w/w)의 유동특성과 항복응력을 측정하였다. 고구마전분-검 혼합물은 대부분 검 농도가 0.3%에서 0.6%로 증가할 때 팽윤력이 증가하였다. 또한 유동특성은 power law 모델식으로부터 결정되었고, 항복응력 측정을 위해 vane 방법이 사용되었다. 고구마전분-검 혼합물은 $25^{\circ}C$에서 shear-thinning 거동특성을 보여주었고, 겉보기 점도(${\eta}_{a,100}$)와 점조도 지수(K)는 pectin과 sodium alginate를 제외한 모든 시료에서 검의 농도가 증가함에 따라 증가하는 경향을 나타내었다. Pectin은 다른 검에 비해 매우 낮은 항복 응력 값을 나타내었고, gellan은 매우 높은 항복응력 값을 나타내었다. 고구마전분-검 혼합물은 pectin, gum arabic 그리고 sodium alginate를 제외한 다른 검 첨가에서 탄성적상승효과를 나타냈다. 일반적으로 고구마전분의 유동특성과 vane 항복응력은 검 첨가에 의해 크게 영향을 받으며, 검 종류와 농도에 의존함을 알 수 있었다.

자연산 자주새우(Crangon affinis)에서 흰반점바이러스(WSSV)의 neutralization을 위한 인위감염(experimental infection) (Experimental Infection for the Neutralization of White Spot Syndrome Virus (WSSV) in Wild Captured Sand Shrimp, Crangon affinis)

  • 공수정;김영진;최미란;김성구
    • 생명과학회지
    • /
    • 제20권9호
    • /
    • pp.1294-1298
    • /
    • 2010
  • 흰반점바이러스(WSSV)는 새우양식산업에 막대한 경제적 손실을 일으키는 가장 치명적인 바이러스성 질병 원인체 중 하나이다. 본 연구는 인위적인 실험모델로서 WSSV에 대한 자주새우(Crangon affinis)의 감수성을 확인하고자 실험을 수행하였다. WSSV가 희석된 수조 내에서 침지법으로 감염된 새우는 감염 후 7일째에 100% 누적폐사율을 보여 자주새우가 WSSV에 대해 매우 높은 감수성을 갖고 있음을 확인하였다. 또한 재조합단백질인 rVP466에 대한 항혈청의 중화효과를 확인하기 위해 항혈청과 반응시킨 바이러스액($1{\times}10^4$ 배로 희석된 WSSV)을 이용하여 침지법으로 자주새우에 대해 공격실험(challenge test)을 수행하였다. 실험 결과, WSSV로 challenge한 감염대조구(positive control)의 새우들은 감염 후 5일째에 100% 폐사하였으며, WSSV와 rVP466 항혈청을 1:0.01, 1:0.1, 1:1로 혼합한 액으로 challenge한 새우들은 감염 후 14일째에 각각 100%, 68.8%, 68.8%의 누적폐사율을 보였다. 따라서 본 연구 결과는 연안서식종인 자주새우가 양식장으로부터 배출된 WSSV에 의해 자연상태에서 감염 될 수 있는 가능성과 함께 항혈청에 대한 중화효과를 나타냄으로써 겨울철 저수온기에 WSSV 감염을 위한 대체 실험생물로서의 유용성을 확인하였다.

랫드의 두개골 결손부에서 돼지 해면질골이 골재생에 미치는 영향 (Effect of Porcine Cancellous Bones on Regeneration in Rats with Calvarial Defect)

  • 유경훈;김세은;심경미;박현정;최석화;강성수
    • 생명과학회지
    • /
    • 제20권8호
    • /
    • pp.1207-1213
    • /
    • 2010
  • 본 연구의 목적은 랫드의 두개결손부 모델에서 돼지 해면질골을 지지체로 사용했을 때의 효과를 평가해보고자 하였다. 임계결손부의 형성은 30마리의 수컷 Sprague-Dawley 랫드에서 실시하였으며 동물들은 임계결손군(CD group, n=10), 베타 삼인산칼슘군(BT group, n=10) 및 돼지 해면질골군(PCB group, n=10)으로 나누었다. 각각의 결손부위는 피브린 글루와 혼합시킨 베타 삼인산칼슘 또는 돼지 해면질골로 채워졌으며 CD군은 결손부위에 이식재를 이식하지 않았다. 모든 랫드들은 골이식 수술 8주 후에 희생되었으며 희생 후 육안검사, 단순 방사선촬영, micro-CT 촬영 및 조직검사를 통해 골형성 정도를 평가하였다. 결과에서 골결손부의 치유는 CD군에서 가장 낮았으며 PCB군에서는 유의성 있는 새로운 골형성을 확인할 수 있었다. 또한 방사선촬영 결과, 조직학적 평가 및 micro CT 촬영 결과에서 골이식 시 돼지 해면질골이 베타 삼인산칼슘보다 새로운 골형성에 있어 더욱 효과적임을 관찰할 수 있었다.