• Title/Summary/Keyword: 결정 상태 척도

Search Result 65, Processing Time 0.019 seconds

Efficient Approximation of State Space for Reinforcement Learning Using Complex Network Models (복잡계망 모델을 사용한 강화 학습 상태 공간의 효율적인 근사)

  • Yi, Seung-Joon;Eom, Jae-Hong;Zhang, Byoung-Tak
    • Journal of KIISE:Software and Applications
    • /
    • v.36 no.6
    • /
    • pp.479-490
    • /
    • 2009
  • A number of temporal abstraction approaches have been suggested so far to handle the high computational complexity of Markov decision problems (MDPs). Although the structure of temporal abstraction can significantly affect the efficiency of solving the MDP, to our knowledge none of current temporal abstraction approaches explicitly consider the relationship between topology and efficiency. In this paper, we first show that a topological measurement from complex network literature, mean geodesic distance, can reflect the efficiency of solving MDP. Based on this, we build an incremental method to systematically build temporal abstractions using a network model that guarantees a small mean geodesic distance. We test our algorithm on a realistic 3D game environment, and experimental results show that our model has subpolynomial growth of mean geodesic distance according to problem size, which enables efficient solving of resulting MDP.

Topological measures for algorithm complexity of Markov decision processes (마르코프 결정 프로세스의 위상적 계산 복잡도 척도)

  • Yi, Seung-Joon;Zhang, Byoung-Tak
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2007.06c
    • /
    • pp.319-323
    • /
    • 2007
  • 실세계의 여러 문제들은 마르코프 결정 문제(Markov decision problem, MDP)로 표현될 수 있고, 이 MDP는 모델이 알려진 경우에는 평가치 반복(value iteration) 이나 모델이 알려지지 않은 경우에도 강화 학습(reinforcement learning) 알고리즘 등을 사용하여 풀 수 있다. 하지만 이들 알고리즘들은 시간 복잡도가 높아 크기가 큰 실세계 문제에 적용하기 쉽지 않아, MDP를 계층적으로 분할하거나, 여러 단계를 묶어서 수행하는 등의 시간적 추상화(temporal abstraction) 방법이 제안되어 왔다. 이러한 시간적 추상화 방법들의 문제점으로는 시간적 추상화의 디자인에 따라 MDP의 풀이 성능이 크게 달라질 수 있으며, 많은 경우 사용자가 이 디자인을 직접 제공해야 한다는 것들이 있다. 최근 사용자의 간섭이 필요 없이 자동적으로 시간적 추상화를 만드는 방법들이 제안된 바 있으나, 이들 방법들 역시 결과물에 대한 이론적인 성능 보장(performance guarantee)은 제공하지 못하고 있다. 본 연구에서는 이러한 문제점을 해결하기 위해 MDP의 구조와 그 풀이 성능을 연관짓는 복잡도 척도에 대해 살펴본다. 이를 위해 MDP로부터 얻은 상태 경로 그래프(state trajectory graph)의 위상적 성질들을 여러 네트워크 척도(network measurements) 들을 이용하여 측정하고, 이와 MDP의 풀이 성능과의 관계를 다양한 상황에 대해 실험적, 이론적으로 분석해 보았다.

  • PDF

A Design for the Personalized Difficulty Level Metric based on Learning State (학습 상태에 기반한 맞춤형 난이도 측정을 위한 척도 설계)

  • Jung, Woosung
    • Journal of the Korea Convergence Society
    • /
    • v.11 no.3
    • /
    • pp.67-75
    • /
    • 2020
  • The 'level of difficulty' is one of the major factors for learners when selecting learning contents. However, the criteria for the difficulty level is mostly defined by the contents providers. This approach does not support the personalized education which should consider the abilities and environments of various learners. In this research, the knowledge of the learners and contents were formalized and generalized to resolve the issue, and object models, including a metric for personalized difficulty level, were designed in order to be applied for experiments. And then, based on 100 contents for music education and 20 learners, we performed simulations with an implemented tool to validate our approach. The experimental results showed that our method can calculate the personalized difficulty levels considering the similarities between the knowledges from the learning state and the contents. Our approach can be effectively applied to the on-line learning management system which contains easy access to the learning state and contents data.

Data Measurement for the Volumetric Efficiency of SI Engines (가솔린 엔진의 흡기효율 데이터 측정)

  • Jang, Hyun-Tak
    • Proceedings of the KAIS Fall Conference
    • /
    • 2010.05b
    • /
    • pp.1163-1165
    • /
    • 2010
  • 가솔린 기관의 체적 효율은 흡기 장치의 효율의 척도로 표현된다. 현재 체적효율은 4행정 가솔린 엔진의 흡기장치의 특성과 공연비 제어를 위한 중요한 파라미터로 사용되고 있다. 체적 효율은 이론적으로 실린더로 흡입 가능한 양에 대한 실제로 실린더로 흡인한 공기량의 비율이다. 체적효율은 엔진회전 속도와 흡기다기관 부압에 따라 결정되는 종속변수이다. 체적 효율은 정상상태와 과도상태와 같은 엔진의 모든 운전조건을 시험하는데 한계와 제약이 매우 크다. 이 논문에서는 선형 알고리즘을 사용하여 체적 효율의 파라미터를 규명하여 선형 다항식 모델을 개발한다. 그리고 실험으로 구한 체적효율 데이터와 다항식 모델을 비교하고 객관적인 타당성을 평가 하였다.

  • PDF

FMS시뮬레이터를 이용한 투입우선순서의 결정

  • 이근형
    • Proceedings of the Korea Society for Simulation Conference
    • /
    • 1999.04a
    • /
    • pp.53-53
    • /
    • 1999
  • 제품에 대한 수요의 다양화에 대응하기 위해서, 다품종소량생산방식이 정착하고 있다. 다품종소량생산을 효율적으로 실현하는 현대의 전형적인 자동화생산시스템으로서, 유연생산시스템(Flexible Manufacturing System : 이하 FMS)이 급속히 보급되어, FMS의 효율적인 운영이 생산현장에 있어서 중요한 과제가 되고 있다. 다수의 품종이 동시에 병행해서 반복적으로 생산되는 실제의 FMS에서는, 품종의 생산에 필요한 일련의 작업의 종류에 대한 우선순서인 "투입우선순서(Dispatching Priority)"를 설정해서, 그것을 기반으로 시스템이 운영되는 것이 보통이다.본 연구에서는 투입우선순서로 제어되는 동일한 품종의 반복이 있는 FMS를 염두에 두고, 생산요건이 확정적인 상태에서 주어진 평가척도를 최적화하는 투입우선순서를 결정하는 문제로써, FMS의 투입우선순서 결정문제 (FMS dispatching priority problem)를 제기하여, 시뮬레이션을 통해서 그 해법을 논한다. 실재하는 많은 FMS에 있어서 투입우선순서를 단기간에 용이하게 정할 수 있는 우선규칙(dispatching rule)이 실용적으로 넓게 이용되고 있다. 종래로부터, ?샵(job shop)을 대상으로 하는 다수의 우선규칙이 제안, 평가되어 왔지만, 그것들은 각 품종이 서로 다른 종류의 일감인 것을 상정하고 있으며, 동일한 품종의 일감의 존재를 의식하고 있지 않다. 본 연구에서는 재래형의 ?샵 환경에 있어서 그 유효성이 검증되어 있는 기존의 표준적인 우선규칙의 성능이, 동일한 품종의 반복이 있는 경우에도 잘 기능하는지 어떤지를 시뮬레이션을 통해 평가한 후에, 오더사이즈(order size)를 고려한 우선규칙을 제안하고, 납기지체의 평가척도에 관한 유효성을 명확히 하고 있다. 시뮬레이션 실험의 결과에서는, 우선규칙의 기본적인 결정요인이 성능에 미치는 영향을 통계적으로 분석하고 있다.로 분석하고 있다.

  • PDF

A study on Risk-based Bridge Performance Evaluation Method for Asset Management (위험도 개념을 적용한 교량 자산관리의 성능평가방법 연구)

  • Choi, Hyun-Ho;Sun, Jong-Wan;Park, Kyung-Hoon
    • Korean Journal of Construction Engineering and Management
    • /
    • v.14 no.3
    • /
    • pp.22-32
    • /
    • 2013
  • Generally, asset management procedure consists of exact information collection, decision of service level, analysis of aspiration level, analysis of financial condition and available budget, preparation of asset management plan, and value of modified asset. In this study, for the risk-based asset management, condition assessment and performance measuring, assessment of failure modes and risks, evaluation/selection of treatment options, and implementation of optimum solution are additionally included. For this, bridge inventory and performance measure considering risks are classified and method of quantitative/qualitative performance measure is suggested. Also, evaluation method of risk analysis for bridge asset management is suggested and basic research is carried out for applicable method of risk-based asset management. Using suggested risk procedure and method of risk-based bridge service level evaluation, it is possible to perform resonable asset management. Moreover, it is concluded that the proposed applicable method of risk-based asset management will provide a solution to contribute the development of systematical asset management for optimal decision making and prototype asset management system.

Comparison of Delay Estimates for Signalized Intersection (신호교차로 지체 산정 비교)

  • Jo, Jun-Han;Jo, Yong-Chan;Kim, Seong-Ho
    • Journal of Korean Society of Transportation
    • /
    • v.23 no.1
    • /
    • pp.67-80
    • /
    • 2005
  • In this paper, the primary objective of the research are to review the methods currently avaliable for estimating the delay incurred by vehicles at signalized intersections. The paper compares the delay estimates from a deterministic queueing model, a model based on shock wave theory , the steady-state Webster model, the queue-based models defined in the 1994 and 2001 version of the High way Capacity Manual, in addition to the delays estimated from the TRANSYT-7F macroscopic simulation and NETSIM microscopic simulation. More especially, this paper is to compare the delay estimates obtained using macroscopic and microscopic simulation tools against state-of-the practice analytical models that are derived from deterministic queueing and shock wave analysis theory. The results of the comparisons indicate that all delay models produce relatively similar results for signalized intersections with low traffic demand, but that increasing differences occur as the traffic demand approaches saturation. In particular, when the TRANSYT-7F and NETSIM are compared, it is highly differences as approach for traffic condition to over-saturation. Also, the NETSIM microscopic simulation is the lowest estimates among the various models.

Automatic Syllable Segmentation Algorithm in Noise Additional Continuous Speech (잡음이 첨가된 연속음성에서의 자동 음절분할 알고리즘)

  • Kim, Young-Sub;Cha, Young-Dong;Kim, Chang-Keun;Lee, Kwang-Seok;Hur, Kang-In
    • Proceedings of the Korea Institute of Convergence Signal Processing
    • /
    • 2006.06a
    • /
    • pp.17-20
    • /
    • 2006
  • 본 논문에서는 잡음이 첨가된 연속음성에서의 자동 음절분할을 위해 기존에 사용되고 있는 특징 파라미터인 단구간 에너지 이외에 잡음에 강인한 특성을 가지고 있는 새로운 특징인 스펙트럼 밀도비교척도와 의사역행렬을 이용한 선형판별함수를 제안한다. 기존에 사용되는 단구간 에너지는 잡음이 없는 환경에서는 좋은 성능을 나타내지만 잡음환경에서는 그렇지 못하다. 반면에 논문에서 제안한 척도들은 반대의 성능을 가지므로 주변잡음의 크기에 따라 각각의 파라미터를 적절한 가중치로 조합하는 음절구간 결정함수와 유한상태 머신을 추가로 사용면 무 잡음 환경뿐만 아니라, 잡음이 첨가된 연속음성에서도 일정수준 이상의 음절구간을 분리해 낼 수 있다.

  • PDF

Psychological Characteristics of Living Liver Transplantation Donors using MMPI-2 Profiles (MMPI-2를 이용한 생체 간 공여자들의 심리적 특성에 대한 연구)

  • Lee, Jin Hyeok;Choi, Tae Young;Yoon, Seoyoung
    • Korean Journal of Psychosomatic Medicine
    • /
    • v.27 no.1
    • /
    • pp.42-49
    • /
    • 2019
  • Objectives : Living donor liver transplantation (LDLT) is a life-saving therapy for patients with terminal liver disease. Many studies have focused on recipients rather than donors. The aim of this study was to assess the emotional status and personality characteristics of LDLT donors. Methods : We evaluated 218 subjects (126 male, 92 female) who visited Daegu Catholic University Medical Center from August 2012 to July 2018. A retrospective review of their preoperative psychological evaluation was done. We investigated epidemiological data and the Minnesota Multiphasic Personality Inventory-2 questionnaire. Subanalysis was done depending on whether subjects actually underwent surgery, relationship with the recipient, and their gender. Results : Mean age of subjects was $32.19{\pm}10.91years$. 187 subjects received LDLT surgery (actual donors) while 31 subjects didn't (potential donors). Donor-recipient relationship included husband-wife, parent-children, brother-sister etc. Subjects had statistical significance on validity scale L, F, K and all clinical scales compared to the control group. Potential donors had significant difference in F(b), F(p), K, S, Pa, AGGR, PSYC, DISC and NEGE scales compared to actual donors. F, D and NEGE scales were found to be predictive for actual donation. Subanalysis on donor-recipient relationship and gender also showed significant difference in certain scales. Conclusions : Under-reporting of psychological problems should be considered when evaluating living-liver donors. Information about the donor's overall psychosocial background, mental status and donation process should also be acquired.

Fuzzy Cluster Based Diagnosis System for Classifying Computer Viruses (컴퓨터 바이러스 분류를 위한 퍼지 클러스터 기반 진단시스템)

  • Rhee, Hyun-Sook
    • The KIPS Transactions:PartB
    • /
    • v.14B no.1 s.111
    • /
    • pp.59-64
    • /
    • 2007
  • In these days, malicious codes have become reality and evolved significantly to become one of the greatest threats to the modern society where important information is stored, processed, and accessed through the internet and the computers. Computer virus is a common type of malicious codes. The standard techniques in anti-virus industry is still based on signatures matching. The detection mechanism searches for a signature pattern that identifies a particular virus or stain of viruses. Though more accurate in detecting known viruses, the technique falls short for detecting new or unknown viruses for which no identifying patterns present. To cope with this problem, anti-virus software has to incorporate the learning mechanism and heuristic. In this paper, we propose a fuzzy diagnosis system(FDS) using fuzzy c-means algorithm(FCM) for the cluster analysis and a decision status measure for giving a diagnosis. We compare proposed system FDS to three well known classifiers-KNN, RF, SVM. Experimental results show that the proposed approach can detect unknown viruses effectively.