• Title/Summary/Keyword: stationary process

Search Result 457, Processing Time 0.031 seconds

강화 학습에서의 탐색과 이용의 균형을 통한 범용적 온라인 Q-학습이 적용된 에이전트의 구현 (Implementation of the Agent using Universal On-line Q-learning by Balancing Exploration and Exploitation in Reinforcement Learning)

  • 박찬건;양성봉
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제30권7_8호
    • /
    • pp.672-680
    • /
    • 2003
  • shopbot이란 온라인상의 판매자로부터 상품에 대한 가격과 품질에 관한 정보를 자동적으로 수집함으로써 소비자의 만족을 최대화하는 소프트웨어 에이전트이다 이러한 shopbot에 대응해서 인터넷상의 판매자들은 그들에게 최대의 이익을 가져다 줄 수 있는 에이전트인 pricebot을 필요로 할 것이다. 본 논문에서는 pricebot의 가격결정 알고리즘으로 비 모델 강화 학습(model-free reinforcement learning) 방법중의 하나인 Q-학습(Q-learning)을 사용한다. Q-학습된 에이전트는 근시안적인 최적(myopically optimal 또는 myoptimal) 가격 결정 전략을 사용하는 에이전트에 비해 이익을 증가시키고 주기적 가격 전쟁(cyclic price war)을 감소시킬 수 있다. Q-학습 과정 중 Q-학습의 수렴을 위해 일련의 상태-행동(state-action)을 선택하는 것이 필요하다. 이러한 선택을 위해 균일 임의 선택방법 (Uniform Random Selection, URS)이 사용될 경우 최적 값의 수렴을 위해서 Q-테이블을 접근하는 회수가 크게 증가한다. 따라서 URS는 실 세계 환경에서의 범용적인 온라인 학습에는 부적절하다. 이와 같은 현상은 URS가 최적의 정책에 대한 이용(exploitation)의 불확실성을 반영하기 때문에 발생하게 된다. 이에 본 논문에서는 보조 마르코프 프로세스(auxiliary Markov process)와 원형 마르코프 프로세스(original Markov process)로 구성되는 혼합 비정적 정책 (Mixed Nonstationary Policy, MNP)을 제안한다. MNP가 적용된 Q-학습 에이전트는 original controlled process의 실행 시에 Q-학습에 의해 결정되는 stationary greedy 정책을 사용하여 학습함으로써 auxiliary Markov process와 original controlled process에 의해 평가 측정된 최적 정책에 대해 1의 확률로 exploitation이 이루어질 수 있도록 하여, URS에서 발생하는 최적 정책을 위한 exploitation의 불확실성의 문제를 해결하게 된다. 다양한 실험 결과 본 논문에서 제한한 방식이 URS 보다 평균적으로 약 2.6배 빠르게 최적 Q-값에 수렴하여 MNP가 적용된 Q-학습 에이전트가 범용적인 온라인 Q-학습이 가능함을 보였다.

건식단상혐기성소화조 장.단기 운영의 비교연구 (A study on the comparison of operation for long & short time in the Dranco process)

  • 홍종순;김재우;신대윤
    • 환경위생공학
    • /
    • 제23권4호
    • /
    • pp.73-82
    • /
    • 2008
  • In this study, a dry single-phase anaerobic digestion process (Dranco system) was investigated to evaluate the optimum operational conditions. Several factors such as injection rate of organic waste, biogas production, $CH_4$ content in the biogas, pH of the sludge, $NH_3$-N and VFA concentration were investigated based on the operation of the digestion process for 2 months (short term) and 8 months (long-term). The operation results showed that a small quantity of food waste should be injected every week and that a 10% increase of the microorganism injection rate should be needed. However, normal operation was conducted after 11 weeks based on the designed quantity. The $CH_4$ content in the biogas was high at the beginning and the end of the food injection. However, it was low during week days. When the biogas production was high, the $CH_4$ concentration was low. The biogas production increased with an increase of the injection rate. $100m^3$/ton of biogas was produced from normal operation of the digestion process based on the designed quantity. The pH values of the digestion tank based on short-term operation ranged from 8 to 8.5. However, the pH values ranged from 7.45 to 8.15 after 4 weeks of long-term operation. The $NH_3$-N concentration of short-term operation ranged from 4,500 to 5,500 ppm and it gradually decreased to 2,000ppm after normal operation was commenced. For long-term operation, it was 5,000ppm initially and 3,800ppm after normal operation was commenced. The VFA concentration of sludge was less than 900ppm and 2,500ppm for short and long-term operations, respectively, after normal operation. Overall, the differences between sludge pH, $NH_3$-N and VFA concentrations may be due to the different types of microorganisms and the digestion ability of the microorganisms which exist in the accumulation of non digested organics. Moreover, it may be also caused by the type of food waste. Further investigation is needed to confirm these relationships.

Towards high-accuracy data modelling, uncertainty quantification and correlation analysis for SHM measurements during typhoon events using an improved most likely heteroscedastic Gaussian process

  • Qi-Ang Wang;Hao-Bo Wang;Zhan-Guo Ma;Yi-Qing Ni;Zhi-Jun Liu;Jian Jiang;Rui Sun;Hao-Wei Zhu
    • Smart Structures and Systems
    • /
    • 제32권4호
    • /
    • pp.267-279
    • /
    • 2023
  • Data modelling and interpretation for structural health monitoring (SHM) field data are critical for evaluating structural performance and quantifying the vulnerability of infrastructure systems. In order to improve the data modelling accuracy, and extend the application range from data regression analysis to out-of-sample forecasting analysis, an improved most likely heteroscedastic Gaussian process (iMLHGP) methodology is proposed in this study by the incorporation of the outof-sample forecasting algorithm. The proposed iMLHGP method overcomes this limitation of constant variance of Gaussian process (GP), and can be used for estimating non-stationary typhoon-induced response statistics with high volatility. The first attempt at performing data regression and forecasting analysis on structural responses using the proposed iMLHGP method has been presented by applying it to real-world filed SHM data from an instrumented cable-stay bridge during typhoon events. Uncertainty quantification and correlation analysis were also carried out to investigate the influence of typhoons on bridge strain data. Results show that the iMLHGP method has high accuracy in both regression and out-of-sample forecasting. The iMLHGP framework takes both data heteroscedasticity and accurate analytical processing of noise variance (replace with a point estimation on the most likely value) into account to avoid the intensive computational effort. According to uncertainty quantification and correlation analysis results, the uncertainties of strain measurements are affected by both traffic and wind speed. The overall change of bridge strain is affected by temperature, and the local fluctuation is greatly affected by wind speed in typhoon conditions.

아연제련시설에서의 수은 배출특성 (Emission Characteristics of Mercury in Zn Smelting Process)

  • 박정민;이상보;김형천;송덕종;김민수;김민정;김영희;이상학;김종춘;이석조
    • 한국대기환경학회지
    • /
    • 제26권5호
    • /
    • pp.507-516
    • /
    • 2010
  • Stationary combustion sources such as coal-fired power plants, waste incinerators, industrial manufacturing, etc. are recognized as major sources of mercury emissions. Due to rapid economic growth, zinc production in Korea has increased significantly during the last 30 years. Total zinc production in Korea exceeded 739,000 tons in 2008, and Korea is currently the third largest zinc producing country in the world. Previous studies have revealed that zinc smelting has become one of the largest single sectors of total mercury emissions in the World. However, studies on this sector are very limited, and a large gap in the knowledge regarding emissions from this sector needs to be bridged. In this paper, Hg emission measurements were performed to develop emission factors from zinc smelting process. Stack sampling and analysis were carried out utilizing the Ontario Hydro method and US EPA method 101A. Preliminary data showed that $Hg^0$ concentrations in the flue gas ranged from 4.56 to $9.90\;{\mu}g/m^3$ with an average of $6.40\;{\mu}g/m^3$, Hg(p) concentrations ranged from 0.03 to $0.09\;{\mu}g/m^3$ with an average of $0.04\;{\mu}g/m^3$, and RGM concentrations ranged from 0.23 to $1.17\;{\mu}g/m^3$ with an average of $6.40\;{\mu}g/m^3$. To date, emission factors of 7.5~8.0 g/ton for Europe, North America and Australia, and of 20 or 25 g/ton for Africa, Asia and South America are widely accepted by researchers. In this study, Hg emission factors were estimated using the data measured at the commercial facilities as emissions per ton of zinc product. Emission factors for mercury from zinc smelting pross ranged from 4.32 to 12.96 mg/ton with an average of 8.31 mg/ton. The emission factors that we obtained in this study are relatively low, considering Hg contents in the zinc ores and control technology in use. However, as these values are estimated by limited data of single measurement of each, the emission factor and total emission amount must be updated in future.

소비자 구매요구에 따른 차량용 핸즈프리 디자인 개발에 관한 연구 (A Study of Hands-Free Car Kit Design Development according to the Consumer′s Purchasing Need)

  • 한일우
    • 디자인학연구
    • /
    • 제17권3호
    • /
    • pp.313-322
    • /
    • 2004
  • 제품디자인은 소비자의 구매욕구를 충족시켜 매출에 직접적인 영향을 끼치는 역할을 한다. 본 연구는 2000년말 국회에서 도로교통법이 개정안 통과되면서 2001년 6월 30일부터 운전 중 휴대전화의 사용이 전면 금지됨에 따라 차량용 핸즈프리 제품의 인기와 판매량이 급증하였고 이에 따라 수많은 핸즈프리 제품들이 시장에 출시되어 판매경쟁을 벌이고 있는 현 시점에서 기존제품의 각종 데이터 분석과 소비자 설문조사 등을 통한 소비자입장에서 바라본 차별화 된 디자인으로 차량용 핸즈프리 시장에서 우위를 차지하기 위한 한 중소기업의 제품디자인 전 과정을 모델로 삼은 디자인 개발 연구이다. 본 연구에서 디자인 개발된 제품의 가장 큰 특징은 핸즈프리와 휴대폰 단말기와의 연결선을 없앤 거치형으로써 휴대전화단말기의 기종에 관계없이 모든 기종에서 호환되며, 기존 핸즈프리는 휴대전화의 이어폰 단자에 연결을 함으로써 사용자들로 하여금 승하차시 불편함을 해소시킬 수 있다는 장점에 있다. 이러한 연구를 통하여 기술의 궁극적인 목표가 상품화임을 인지하고 개발의 초기 단계부터 마지막 단계까지 디자인의 역할이 얼마나 중요한지를 보여 줌으로서, 디자인의 투자가치를 제고하는데 있다. 또한 제품의 발의단계부터 디자인 전개 그리고 상품화에 이르는 제품개발의 전 과정에 걸친 디자인프로세스를 구축함으로서 디자인분야의 중요성을 기업에 보다 정확히 전달하는데 디자인개발의 목적이 있다.

  • PDF

Seed-dependent Accelerated Fibrillation of ${\alpha}$-Synuclein Induced by Periodic Ultrasonication Treatment

  • Kim, Hyun-Jin;Chatani, Eri;Goto, Yuji;Paik, Seung-R.
    • Journal of Microbiology and Biotechnology
    • /
    • 제17권12호
    • /
    • pp.2027-2032
    • /
    • 2007
  • [ ${\alpha}$ ]-Synuclein is the major component of Lewy bodies and responsible for the amyloid deposits observed in Parkinson's disease. Ordered filamentous aggregate formation of the natively unfolded ${\alpha}$-synuclein was investigated in vitro with the periodic ultrasonication. The ultrasonication induced the fibrillation of ${\alpha}$-synuclein, as the random structure gradually converted into a ${\beta}$-sheet structure. The resulting fibrils obtained at the stationary phase appeared heterogeneous in their size distribution, with the average length and height of $0.28\;{\mu}m{\pm}0.21\;{\mu}m$ and $5.6\;nm{\pm}1.9\;nm$, respectively. After additional extensive ultrasonication in the absence of monomeric ${\alpha}$-synuclein, the equilibrium between the fibril formation and its breakdown shifted to the disintegration of the preexisting fibrils. The resulting fragments served as nucleation centers for the subsequent seed-dependent accelerated fibrillation under a quiescent incubation condition. This self-seeding amplification process depended on the seed formation and subsequent alterations in their properties by the ultrasonication to a state that accretes the monomeric soluble protein more effectively than their reassociation of the seeds back to the original fibrils. Since many neurodegenerative disorders have been considered to be propagated via the seed-dependent amyloidosis, this study would provide a novel aspect of the significance of the seed structure and its properties leading to the acce]erated amyloid formation.

지역간 주택매매가격 변동성의 상관관계에 관한 연구 (A Study on the Interregional Relationship of Housing Purchase Price Volatility)

  • 유한수
    • 산학경영연구
    • /
    • 제20권2호
    • /
    • pp.15-27
    • /
    • 2007
  • 본 연구에서는 서울, 대전, 부산의 주택매매가격종합지수 변동성간의 상관관계에 대해 분석하였다. 기존의 연구에서는 시장에서 관찰되는 관측변동성을 이용하여 분석하였으나 본 연구에서는 통계적 방법을 이용하여 관측변동성을 내재가치의 변화에 의해 발생되는 기본적 변동성과 추종거래 등과 같은 잡음거래(noise trading)에 의해 발생되는 일시적 변동성으로 분해하여 락 변동성간의 관계를 분석하였다. 분석 결과 서울 주택매매가격 변동성과 두산 주택매매가격 변동성의 상관관계가 관측변동성 기본적 변동성, 일시적 변동성 모두 높게 나타나고 있다. 기본적 변동성의 경우는 관측변동성의 경우보다 상관관계가 놀게 나타났는데 기본적 변동성은 정보에 의해 발생하는 지속적인 변동성 부분이므로 각 시장에 공통적으로 영향을 주기 때문에 상관관계가 놀게 나타난 것으로 판단된다.

  • PDF

자동차 암레스트의 인몰드코팅에 관한 실험적 연구 (An Experimental Study of In-Mold Coating of Automotive Armrests)

  • 박종락;이호상
    • 대한기계학회논문집A
    • /
    • 제39권7호
    • /
    • pp.687-692
    • /
    • 2015
  • 자동차 암레스트의 사출성형과 코팅을 동시에 구현하기 위하여 인몰드 코팅 금형을 설계하였다. 개발된 금형은 하나의 코어와 두개의 캐비티를 포함하고 있으며, 캐비티는 기재 캐비티와 코팅 캐비티로 이루어진다. 코어는 가동측 형판에 부착되었으며, 두개의 캐비티는 고정측 형판에서 슬라이딩하는 평판위에 설치되었다. 2 단계 공정으로 이루어지며 가장 먼저 사출성형된 제품은 슬라이딩 평판에 의하여 2 번째 캐비티로 전달되었다. 기재에 적용된 소재는 PC/ABS 이며, 코팅제로는 2 액형 폴리우레탄이 사용되었다. 코팅제의 토출유량을 변경하면서 실험을 수행하였으며, 주제와 경화제의 믹싱특성을 고찰하였다. 토출유량이 증가함에 따라 믹싱이 더욱 향상되었으며, 주입된 코팅제의 중량이 증가할수록 기재 표면에 발생하는 기포가 감소하였다.

터보펌프 터빈의 열구조적 적합성 검증을 위한 터빈로터-파이로시동기 연계시험 (Turbine Rotor-Pyrostarter Coupled Test for the Verification of Thermo-Structural Suitability of a Turbopump Turbine)

  • 정은환;강상훈;홍문근;이항기;이수용;김진한
    • 한국추진공학회지
    • /
    • 제18권1호
    • /
    • pp.65-72
    • /
    • 2014
  • 터보펌프 터빈로터의 열구조적 적합성 검증을 위한 터빈로터-파이로시동기 연계시험을 수행하였다. 새로운 추진제를 적용한 파이로시동기와 열응력 경감 설계 및 터빈 동익 표면 건전성 향상을 위한 후 가공 공정이 적용된 터빈로터시편이 시험에 사용되었다. 시험은 75톤급 엔진시동을 위한 파이로 시동기의 연소가스를 터보펌프 터빈로터와 동일한 형상의 시편에 분사하는 방식으로 이루어졌다. 터빈에 가해지는 열 부하는 운용 설계점에서 극한 조건까지 세 종류로 구분하여 시험을 진행하였으며 모든 시험에서 터빈로터의 손상은 발견되지 않았다.

시계열 자료의 예측을 위한 베이지안 순환 신경망에 관한 연구 (A Study on the Bayesian Recurrent Neural Network for Time Series Prediction)

  • 홍찬영;박정훈;윤태성;박진배
    • 제어로봇시스템학회논문지
    • /
    • 제10권12호
    • /
    • pp.1295-1304
    • /
    • 2004
  • In this paper, the Bayesian recurrent neural network is proposed to predict time series data. A neural network predictor requests proper learning strategy to adjust the network weights, and one needs to prepare for non-linear and non-stationary evolution of network weights. The Bayesian neural network in this paper estimates not the single set of weights but the probability distributions of weights. In other words, the weights vector is set as a state vector of state space method, and its probability distributions are estimated in accordance with the particle filtering process. This approach makes it possible to obtain more exact estimation of the weights. In the aspect of network architecture, it is known that the recurrent feedback structure is superior to the feedforward structure for the problem of time series prediction. Therefore, the recurrent neural network with Bayesian inference, what we call Bayesian recurrent neural network (BRNN), is expected to show higher performance than the normal neural network. To verify the proposed method, the time series data are numerically generated and various kinds of neural network predictor are applied on it in order to be compared. As a result, feedback structure and Bayesian learning are better than feedforward structure and backpropagation learning, respectively. Consequently, it is verified that the Bayesian reccurent neural network shows better a prediction result than the common Bayesian neural network.