• 제목/요약/키워드: action constraints

검색결과 58건 처리시간 0.024초

A Study of Collaborative and Distributed Multi-agent Path-planning using Reinforcement Learning

  • Kim, Min-Suk
    • 한국컴퓨터정보학회논문지
    • /
    • 제26권3호
    • /
    • pp.9-17
    • /
    • 2021
  • 동적 시스템 환경에서 지능형 협업 자율 시스템을 위한 기계학습 기반의 다양한 방법들이 연구 및 개발되고 있다. 본 연구에서는 분산 노드 기반 컴퓨팅 방식의 자율형 다중 에이전트 경로 탐색 방법을 제안하고 있으며, 지능형 학습을 통한 시스템 최적화를 위해 강화학습 방법을 적용하여 다양한 실험을 진행하였다. 강화학습 기반의 다중 에이전트 시스템은 에이전트의 연속된 행동에 따른 누적 보상을 평가하고 이를 학습하여 정책을 개선하는 지능형 최적화 기계학습 방법이다. 본 연구에서 제안한 방법은 강화학습 기반 다중 에이전트 최적화 경로 탐색 성능을 높이기 위해 학습 초기 경로 탐색 방법을 개선한 최적화 방법을 제안하고 있다. 또한, 분산된 다중 목표를 구성하여 에이전트간 정보 공유를 이용한 학습 최적화를 시도하였으며, 비동기식 에이전트 경로 탐색 기능을 추가하여 실제 분산 환경 시스템에서 일어날 수 있는 다양한 문제점 및 한계점에 대한 솔루션을 제안하고자 한다.

적정 이동군집수 결정에 관한 연구 (A study on the determination of the number of mobility cluster)

  • 함승훈
    • 대한지리학회지
    • /
    • 제30권2호
    • /
    • pp.120-131
    • /
    • 1995
  • 이동행태를 분석하기 위해 시.공간이론 중 3가지 제약조건인 능력제약, 조합제약, 권위제약이 공간특성에 따라 성별, 연령이 이동에 어느 정도 영향을 주는지를 분석하고 적 정 이동군집수를 결정하고자 한다. 이중 권위제약은 사회적 제약조건으로서 도시시설물이나 교통수단의 이용에 있어 사회적 신분이나 규약에 의해 이동영역이 통제되는 것을 의미한다. 공간특성에 의한 이동의 통제는, 도시와 농촌으로 구분하였을 때 도시지역 사람들은 농촌지 역 사람들에 비해 첨두시간대의 이동 참여율이 높으며, 이동군집수 결정에 있어서도 여러 연령층이 유사한 이동행태를 지니고 있음을 알 수 있다. 도시지역 사람들은 공간특성상에 따른 이동의 다양성이 군집수 결정에 상관되었으며, 이는 공간특성에 따라 이동행태가 달라 질 수 있다고 볼 수 있다. 성별 및 연령에 의한 통제 역시 사회적 제약조건으로서 이동행태 에 영향이 있음을 알 수 있다.

  • PDF

적합 유전자 알고리즘을 이용한 실시간 코드 스케쥴링 (Fine Grain Real-Time Code Scheduling Using an Adaptive Genetic Algorithm)

  • 정태명
    • 한국정보처리학회논문지
    • /
    • 제4권6호
    • /
    • pp.1481-1494
    • /
    • 1997
  • 실시간 시스템에서 시간적 제약의 불이행의 커다란 손실을 가져오며, 이를 위한 동적 스케쥴링은 유연성을 제공하는 대신 스케쥴링 오버헤드와 분석작업의 복잡성으로 인하여 스케쥴성을 예측하기 어려움이 있다. 반면, 정적 스케쥴링은 수행 중 오버헤드가 없으므로 정확한 시간을 예측할 수 있는 장점이 있다. 따라서 명령어 수준의 정적 스케쥴링과 시간 분석을 통하여 시스템의 시간적 정확도를 보장할 수 있다. 본 논문에서는 확정된 시간 분석을 위하여 befor와 after의 시간 제약을 고급 언어에 표현하고 이를 근거로 시간적 분석에 기반을 둔 컴파일러의 명령어 수준의 스케쥴링 알고리즘을 제안하였다. 이 스케쥴링의 특징은 명령어 수준의 스케쥴링을 위한 도메인이 지나치게 과대하므로 향상된 적합 유전자 알고리즘을 적용한 것이다.

  • PDF

다이아몬드 터닝 머시인의 극초정밀 절삭공정에서의 시스템 규명 및 제어 (System identification and admittance model-based nanodynamic control of ultra-precision cutting process)

  • 정상화;김상석;오용훈
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 1996년도 한국자동제어학술회의논문집(국내학술편); 포항공과대학교, 포항; 24-26 Oct. 1996
    • /
    • pp.1352-1355
    • /
    • 1996
  • The control of diamond turning is usually achieved through a laser-interferometer feedback of slide position. If the tool post is rigid and the material removal process is relatively static, then such a non-collocated position feedback control scheme may surface. However, as the accuracy requirement gets tighter and desired surface contours become more complex, the need for a direct tool-tip sensing becomes inevitable. The physical constraints of the machining process prohibit any reasonable implementation of a tool-tip motion measurement. It is proposed that the measured force normal to the face of the workpiece can be filtered through an appropriate admittance transfer function to result in the estimated depth of cut. This can be compared to the desired depth of cut to generate the adjustment control action in addition to position feedback control. In this work, the design methodology on the admittance model-based control with a conventional controller is presented. The recursive least-squares algorithm with forgetting factor is proposed to identify the parameters and update the cutting process in real time. The normal cutting forces are measured to identify the cutting dynamics in the real diamond turning process using the precision dynamometer. Based on the parameter estimation of cutting dynamics and the admittance model-based nanodynamic control scheme, simulation results are shown.

  • PDF

어드미턴스 모델을 이용한 다이아몬드 터닝머시인의 극초정밀 제어 (Admittance Model-Based Nanodynamic Control of Diamond Turnning Machine)

  • 정상화;김상석
    • 한국정밀공학회:학술대회논문집
    • /
    • 한국정밀공학회 1996년도 춘계학술대회 논문집
    • /
    • pp.49-52
    • /
    • 1996
  • The control of diamond turning is usually achieved through a laser-interferometer feedback of slide position. The limitation of this control scheme is that the feedback signal does not account for additional dynamics of the tool post and the material removal process. If the tool post is rigid and the material removal process is relatively static, then such a non-collocated position feedback control scheme may surfice. However, as the accuracy requirement gets tighter and desired surface contours become more complex, the need for a direct tool-tip sensing becomes inevitable. The physical constraints of the machining processprohibit any reasonable implementation of a tool-tip motion measurement. It is proposed that the measured force normalto the face of the workpice can be filterd through an appropriate admittance transfer function to result in the estimated depth of cut. This can be compared to the desired depth of cut to generate the adjustment cotnrol action in addition to position feedback control. In this work, the design methodology on the admittance model-based control with a conventional controller is presented. Based on the empirical data of the cutting dynamics, simulation results are shown.

  • PDF

Nutrition Behaviour of Families with Low-Income

  • Jacqueline Koehler;Stephanie Lehmkuehler;Ingrid-Ute Leonhaeuser
    • International Journal of Human Ecology
    • /
    • 제5권1호
    • /
    • pp.117-130
    • /
    • 2004
  • Poverty is an important issue, not only in developing countries but also in industrialised societies. In 1999 15% of the European population have been in risk of poverty and the number of people living in poverty in Germany continues to increase. As poverty concerns all aspects of life, it influences health, well-being and the nutrition of the people living on low-income. Although this problem is obvious, only few surveys have been conducted to analyse it and therefore there is only limited information on the nutritional situation and nutrition behaviour of the poor. A qualitative study, which looked closely at the nutrition behaviour of 15 low-income families, was carried out in Giessen, Germany. The results showed that the nutritional situation of poor families differs from that families with a higher income have, the reasons being that their scope for action is restricted by a shortage of money and that there is a lack of skills and knowledge to provide family members with adequate nutrition. Strategies to improve the nutrition situation of poor families should aim at encouraging them to acquire relevant information and appropriate skills to adopt a healthier diet within their financial, social and cultural constraints. Also there have to be socio-political arrangements, which improve existing financial and social provisions as well as preventive educational measures.

비선형 PID 제어기의 최적 설계및 실제 적용 (Optimal design and real application of nonlinear PID controllers)

  • 이문용;구도균;이종민
    • 제어로봇시스템학회논문지
    • /
    • 제3권6호
    • /
    • pp.639-643
    • /
    • 1997
  • This paper presents how nonlinear PID control algorithms can be applied on chemical processes for a more stable operation and perfect automation. A pass balance controller is designed to balance the exiting temperatures of a heater and a heat exchange network. The proposed controller has gain-varying integral action and deals with the operational constraints in an efficient manner. Also, the use of a PID gap controller is proposed to maximize energy saving and operation stability and to minimize operator intervention in operation of air fan coolers. The proposed controller adjusts the opening of a louver automatically in such a way that it keeps the air fan pitch position within the desired range. All these nonlinear PID controllers have been implemented on the distributed control system (DCS) for good reliability and operability. Operator acceptance was very high and the implemented controllers have shown good performance and high service factor still now on. The proposed methodology can be directly applied to similar processes without any modification.

  • PDF

Low-Complexity Energy Efficient Base Station Cooperation Mechanism in LTE Networks

  • Yu, Peng;Feng, Lei;Li, Zifan;Li, Wenjing;Qiu, Xuesong
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제9권10호
    • /
    • pp.3921-3944
    • /
    • 2015
  • Currently Energy-Saving (ES) methods in cellular networks could be improved, as compensation method for irregular Base Station (BS) deployment is not effective, most regional ES algorithm is complex, and performance decline caused by ES action is not evaluated well. To resolve above issues, a low-complexity energy efficient BS cooperation mechanism for Long Time Evolution (LTE) networks is proposed. The mechanism firstly models the ES optimization problem with coverage, resource, power and Quality of Service (QoS) constraints. To resolve the problem with low complexity, it is decomposed into two sub-problems: BS Mode Determination (BMD) problem and User Association Optimization (UAO) problem. To resolve BMD, regional dynamic multi-stage algorithms with BS cooperation pair taking account of load and geographic topology is analyzed. And then a distributed heuristic algorithm guaranteeing user QoS is adopted to resolve UAO. The mechanism is simulated under four LTE scenarios. Comparing to other algorithms, results show that the mechanism can obtain better energy efficiency with acceptable coverage, throughput, and QoS performance.

Optimum design of steel floor system: effect of floor division number, deck thickness and castellated beams

  • Kaveh, A.;Ghafari, M.H.
    • Structural Engineering and Mechanics
    • /
    • 제59권5호
    • /
    • pp.933-950
    • /
    • 2016
  • Decks, interior beams, edge beams and girders are the parts of a steel floor system. If the deck is optimized without considering beam optimization, finding best result is simple. However, a deck with higher cost may increase the composite action of the beams and decrease the beam cost reducing the total cost. Also different number of floor divisions can improve the total floor cost. Increasing beam capacity by using castellated beams is other efficient method to save the costs. In this study, floor optimization is performed and these three issues are discussed. Floor division number and deck sections are some of the variables. Also for each beam, profile section of the beam, beam cutting depth, cutting angle, spacing between holes and number of filled holes at the ends of castellated beams are other variables. Constraints include the application of stress, stability, deflection and vibration limitations according to the load and resistance factor (LRFD) design. Objective function is the total cost of the floor consisting of the steel profile cost, cutting and welding cost, concrete cost, steel deck cost, shear stud cost and construction costs. Optimization is performed by enhanced colliding body optimization (ECBO), Results show that using castellated beams, selecting a deck with higher price and considering different number of floor divisions can decrease the total cost of the floor.

사람과 강화학습 인공지능의 게임플레이 유사도 측정 (Measuring gameplay similarity between human and reinforcement learning artificial intelligence)

  • 허민구;박창훈
    • 한국게임학회 논문지
    • /
    • 제20권6호
    • /
    • pp.63-74
    • /
    • 2020
  • 최근, 사람 대신 인공지능 에이전트를 이용하여 게임 테스트를 자동화하는 연구가 관심을 모으고 있다. 본 논문은 게임 밸런싱 자동화를 위한 선행 연구로써 사람과 인공지능으로부터 플레이 데이터를 수집하고 이들의 유사도를 분석하고자 한다. 이때, 사람과 유사한 플레이를 할 수 있는 인공지능의 생성을 위해 학습 단계에서 제약사항을 추가하였다. 플레이 데이터는 14명의 사람과 60개의 인공지능을 대상으로 플리피버드 게임을 각각 10회 실시하여 획득하였다. 수집한 데이터는 코사인 유사도 방법으로 이동 궤적, 액션 위치, 죽은 위치를 비교 분석하였다. 분석 결과 사람과의 유사도가 0.9 이상인 인공지능 에이전트를 찾을 수 있었다.