• 제목/요약/키워드: optimality function

검색결과 147건 처리시간 0.024초

평균 필드 게임 기반의 강화학습을 통한 무기-표적 할당 (Mean Field Game based Reinforcement Learning for Weapon-Target Assignment)

  • 신민규;박순서;이단일;최한림
    • 한국군사과학기술학회지
    • /
    • 제23권4호
    • /
    • pp.337-345
    • /
    • 2020
  • The Weapon-Target Assignment(WTA) problem can be formulated as an optimization problem that minimize the threat of targets. Existing methods consider the trade-off between optimality and execution time to meet the various mission objectives. We propose a multi-agent reinforcement learning algorithm for WTA based on mean field game to solve the problem in real-time with nearly optimal accuracy. Mean field game is a recent method introduced to relieve the curse of dimensionality in multi-agent learning algorithm. In addition, previous reinforcement learning models for WTA generally do not consider weapon interference, which may be critical in real world operations. Therefore, we modify the reward function to discourage the crossing of weapon trajectories. The feasibility of the proposed method was verified through simulation of a WTA problem with multiple targets in realtime and the proposed algorithm can assign the weapons to all targets without crossing trajectories of weapons.

누적환승함수를 고려한 경험적 최적경로탐색 방안 (A Heuristic Optimal Path Search Considering Cumulative Transfer Functions)

  • 신성일;백남철;남두희
    • 한국ITS학회 논문지
    • /
    • 제15권3호
    • /
    • pp.60-67
    • /
    • 2016
  • 환승누적함수에서 환승회수가 증가되면 환승비용에 대한 개별적인 환승의 영향이 선형 또는 비선형적으로 증가된다. 이 함수는 버스 또는 철도와 같이 대중교통노선에서 경로를 선택하는 승객의 행태를 효과적으로 설명한다. 이 함수로 통행시간이 더 소요되더라도 환승이 적은 대중교통노선을 선택하는 일반적인 상황의 구현이 가능하다. 그러나 환승누적함수가 포함되는 통행비용은 비가산성비용으로 최적경로탐색을 위해서 경로열거라는 어려운 상황을 포함한다. 본 연구는 환승누적함수를 고려하여 최적경로를 탐색하는 효과적인 방안을 제안하였다. 이를 위해 우선 환승누적함수가 포함되는 경우 경로탐색과정에서 나타나는 최적경로역전 현상을 설명하였다. 또한 복수의 경로를 탐색해서 최소의 비용경로를 최적경로로 선택하는 경험적인 방안을 제안하였다. 유입링크기반 전체경로삭제기법을 복수경로탐색기법으로 채택하여 알고리즘의 경로최적조건의 증명성에 기반하여 K개의 경로를 탐색하는 방안을 제안하였다. 환승계수를 도입하는 사례연구를 통하여 제안된 방안의 실제 교통망에 대한 활용성을 논의하였다.

The Asymptotic Worst-Case Ratio of the Bin Packing Problem by Maximum Occupied Space Technique

  • Ongkunaruk, Pornthipa
    • Industrial Engineering and Management Systems
    • /
    • 제7권2호
    • /
    • pp.126-132
    • /
    • 2008
  • The bin packing problem (BPP) is an NP-Complete Problem. The problem can be described as there are $N=\{1,2,{\cdots},n\}$ which is a set of item indices and $L=\{s1,s2,{\cdots},sn\}$ be a set of item sizes sj, where $0<sj{\leq}1$, ${\forall}j{\in}N$. The objective is to minimize the number of bins used for packing items in N into a bin such that the total size of items in a bin does not exceed the bin capacity. Assume that the bins have capacity equal to one. In the past, many researchers put on effort to find the heuristic algorithms instead of solving the problem to optimality. Then, the quality of solution may be measured by the asymptotic worst-case ratio or the average-case ratio. The First Fit Decreasing (FFD) is one of the algorithms that its asymptotic worst-case ratio equals to 11/9. Many researchers prove the asymptotic worst-case ratio by using the weighting function and the proof is in a lengthy format. In this study, we found an easier way to prove that the asymptotic worst-case ratio of the First Fit Decreasing (FFD) is not more than 11/9. The proof comes from two ideas which are the occupied space in a bin is more than the size of the item and the occupied space in the optimal solution is less than occupied space in the FFD solution. The occupied space is later called the weighting function. The objective is to determine the maximum occupied space of the heuristics by using integer programming. The maximum value is the key to the asymptotic worst-case ratio.

Indirect Method를 이용한 헬리콥터 기동비행 해석 - Part II. High Fidelity 헬리콥터 모델링의 사용 가능성 (The Analysis of Helicopter Maneuvering Flight Using the Indirect Method - Part II. Applicability of High Fidelity Helicopter Models)

  • 김창주;양창덕;김승호;황창전
    • 한국항공우주학회지
    • /
    • 제36권1호
    • /
    • pp.31-38
    • /
    • 2008
  • 본 논문은 헬리콥터 기동비행문제를 비선형 최적제어기법으로 정식화 하고 이를 indirect method를 적용하여 해석하는 기법에 대한 연구결과이다. 주어진 기동비행 경로에 대한 오차를 벌칙함수 형태의 가격함수로 채택하고 이를 최소화하도록 정식화하면 기동비행은 구속조건이 없는 최적제어문제로 정식화 된다. 정식화 결과로 얻어지는 이점 경계값 문제는 Multiple Shooting Method (MSM)를 적용하여 해석하였다. 본 논문은 high fidelity 헬리콥터 모델링을 적용할 경우 수치해의 불안정성과 과도한 계산시간에 따른 해석의 어려움을 해소하는 방안을 찾는데 초점을 두고 있다. 이를 위해 2가지의 선형모델과 로터의 비선형 모델링을 포함한 2개의 비선형 모델을 정의하였다. 각 모델링 방법의 적용에 따른 수치해석결과를 상대적인 계산시간과 함수계산 횟수 등을 비교하여 헬리콥터 모델 선정 시 활용할 수 있도록 하였다.

모드변형에너지를 기저로 하는 위상최적화기법을 사용한 보의 고유진동수 최대화 (The Natural Frequency Maximization of Beam Structures by using Modal Strain Energy based Topology Optimization Technique)

  • 이상진;배정은
    • 한국공간구조학회논문집
    • /
    • 제7권4호
    • /
    • pp.89-96
    • /
    • 2007
  • 위상최적화기법을 이용하여 보의 기본고유진동수 최대화문제를 수행하였다. 도입된 위상최적화기법은 구조물의 모드형상에 의해서 발생되는 모드변형에너지를 바탕으로 한다. 최소화하고자하는 모드변형에너지를 목적함수로 하고 구조물의 초기부피를 제약함수로 채택하였다. 최적정기준법을 바탕으로 한 크기조절알고리듬을 유한요소내부에 존재하는 셀의 빈공간의 크기를 조절하기 위해 도입하였다. 세 가지의 다른 경계조건을 가지는 보를 이용하여 자유진동모드형상에 저항하는 보의 최적위상을 조사하였다. 수치해석결과로부터 도입된 위상최적화기법을 이용하여 도출한 보의 최적위상은 초기구조물에 비해 저차의 자유진동수가 크게 증가하는 것으로 나타났으며 특히 모드변형에너지를 이용하는 위상최적화의 경우에는 구조물의 기본진동수를 최대화하는데 매우 효과적인 것으로 나타났다.

  • PDF

물체의 효율적인 이송을 위한 양팔 로봇의 최적 자세 (Optimization of Dual-arm Configurations for Efficient Handling of Objects)

  • 박치성;하현욱;손준배;이장명
    • 로봇학회논문지
    • /
    • 제6권2호
    • /
    • pp.130-140
    • /
    • 2011
  • This paper proposes an optimal posture for the task-oriented movement of dual arm manipulator. A stability criterion function which consists of three kinds of feature-representative parameters has been utilized to define the optimal posture. The first parameter is the force which is applied to the object. The torque of each joint and position of arm are attained from the current sensor and encoder, respectively. From these two data, the applied force to an object is estimated using sum of vectors of the joint torques estimated from the measured current. In order to investigate the robustness of each posture, the variation of the end-effector from the encoder information has been utilized as the second parameter. And for the last parameter for the optimality, the total energy consumption has been used. The total consuming energy of each posture can be computed from the current information and the battery voltage. The proposed robot structure consists of a mobile inverted pendulum and dual manipulators. In order to define the optimal posture for the each object, external disturbances are applied to the mobile inverted pendulum robot and the first and second parameters are investigated to find the optimal posture among the pre-selected most representative postures. Finally, the proposed optimal posture has been verified by the proposed stability criterion function which consists of total force to the object, the fluctuation of the end-effector position, and total energy consumption. The effectiveness of the proposed algorithms has been verified and demonstrated through the practical simulations and real experiments.

다하중 경우를 가지는 단순 지지된 깊은 보의 위상최적화에 대한 경험 (An Experience on the Topology Optimization of Simply Supported Deep Beam Structure with Multi-Load Cases)

  • 이상진;박경임
    • 한국공간구조학회논문집
    • /
    • 제5권3호
    • /
    • pp.83-89
    • /
    • 2005
  • 이 논문은 여러 개의 집중하중을 받는 깊은 보의 최적위상을 조사 분석하고 그 결과를 기술하였다. 본 연구에서는 최소화해야하는 변형에너지를 목적함수로 가정하고 구조물의 초기부피를 제약함수로 사용하였다. 물질내부에 존재하는 구멍의 크기를 조절하기 위하여 최적정기준법을 바탕으로 한 크기조절알고리듬을 도입하였다. 수치해석을 통하여 길은 보의 최적위상과 관련한 위상최적화 파라미터의 민감도를 조사하였고, 필터링과정이 최적위상에 끼치는 영향을 심도 있게 조사하였다. 수치해석결과로부터 깊은 보의 최적위상은 최적화 파라미터와 깊은 연관되어 있고 필터링과정이 최적위상을 찾는데 매우 중요한 역할을 하는 것으로 나타났다.

  • PDF

비대칭 층을 가지는 인공재료모델을 이용한 일반 평판구조물의 위상최적화 (Topology Optimization of General Plate Structures by Using Unsymmetric Layered Artificial Material Model)

  • 박경임;이상진
    • 한국공간구조학회논문집
    • /
    • 제7권5호
    • /
    • pp.67-74
    • /
    • 2007
  • 본 연구에서는 판 구조물의 최적위상을 찾기 위한 비대칭 층을 가지는 인공재료모델을 이용한 위상최적화기법을 제시하였다. 구절점 판요소를 형성하기 위하여 판의 일차전단변형을 고려하는 Reissner-Mindlin 판이론이 도입되었다. 최소화하고자 하는 변형에너지를 목적함수로 하고 구조물의 초기부피를 제약함수로 채택하였다 인공재료모델에 존재하는 다공성물질의 구멍의 크기를 조절하기 위하여 최적정기준법을 바탕으로 하는 크기조절알고리듬을 도입하였다. 제시된 위상최적화 기법의 성능을 조사하기 위하여 수치예제를 수행하였다. 수치해석결과로부터 제시된 위상최적화기법은 판구조물의 최적위상을 도출하는데 매우 효과적인 것으로 나타났다. 특히 제시된 비대칭 층모델은 판구조물의 보강재를 보다 실제적으로 도출하는데 유용할 것으로 나타났다.

  • PDF

레벨셋과 무요소법을 결합한 위상 및 형상 최적설계 (Level Set Based Topological Shape Optimization Combined with Meshfree Method)

  • 안승호;하승현;조선호
    • 한국전산구조공학회논문집
    • /
    • 제27권1호
    • /
    • pp.1-8
    • /
    • 2014
  • 레벨셋 기법과 무요소법을 결합한 위상 및 형상 최적설계 기법을 개발하여 선형 탄성문제에 적용하였다. 설계민감도는 애드조인트법을 사용하여 효율적으로 구하였다. 해밀턴-자코비 방정식을 업-윈드 기법을 이용하여 수치적으로 풀었으며, 구조물의 경계는 레벨셋 함수를 이용하여 암시적으로 표현하였다. 구조물의 응답과 설계민감도를 얻기 위하여 암시적 함수를 사용하여 명시적 경계를 생성하였다. 재생 커널 기법에 기초하여 얻어진 전역 절점 기저함수를 사용하여 연속체 지배방정식의 변위장을 이산화하였다. 따라서 질점들을 연속체 영역의 어느 곳이든 위치시킬 수 있으며, 이는 통해 명시적 경계를 생성하는 것이 가능하며, 결과적으로 정확한 설계를 얻을 수 있다. 개발된 방법은 제한 조건이 있는 최적설계 문제에 대하여 라그랑지안 범함수를 정의한다. 이는 경계의 변화를 통하여 허용 부피 제한조건을 만족시키면서 컴플라이언스를 최소화한다. 최적설계 과정 동안 라그랑지안 범함수의 최적화조건을 만족시킴으로써 해밀턴-자코비 방정식을 풀기 위한 속도장을 얻는다. 기존의 형상 최적설계 기법에 비하여, 본 방법론은 위상과 형상의 변화를 쉽게 얻어낼 수 있다.

실용적인 혼합물 성분 공정변수 실험설계 (Practical designs for mixture component-process experiments)

  • 임용빈
    • 품질경영학회지
    • /
    • 제39권3호
    • /
    • pp.400-411
    • /
    • 2011
  • Process variables are factors in an experiment that are not mixture components but could affect the blending properties of the mixture ingredients. For example, the effectiveness of an etching solution which is measured as an etch rate is not only a function of the proportions of the three acids that are combined to form the mixture, but also depends on the temperature of the solution and the agitation rate. Efficient designs for the mixture components-process variables experiments depend on the mixture components-process variables model which is called a combined model. We often use the product model between the canonical polynomial model for the mixture and process variables model as a combined model. In this paper we propose three starting models for the mixture components-process variables experiments. One of the starting model we are considering is the model which includes product terms up to cubic order interactions between mixture effects and the linear & pure quadratic effect of the process variables from the product model. In this paper, we propose a method for finding robust designs and practical designs with respect to D-, G-, and I-optimality for the various starting combined models and then, we find practically efficient and robust designs for estimating the regression coefficients for those models. We find the prediction capability of those recommended designs in the case of three components and three process variables to be good by checking FDS(Fraction of Design Space) plots.