• 반도체디스플레이기술학회지
• /
• 제22권3호
• /
• pp.112-118
• /
• 2023

As technology advances, the need for enhanced preparedness against cyber-attacks becomes an increasingly critical problem. Therefore, it is imperative to consider various circumstances and to prepare for cyber-attack strategic technology. This paper proposes a method to solve network security problems by applying reinforcement learning to cyber-security. In general, traditional static cyber-security methods have difficulty effectively responding to modern dynamic attack patterns. To address this, we implement cyber-attack scenarios such as 'Tiny Alpha' and 'Small Alpha' and evaluate the performance of various reinforcement learning methods using Network Attack Simulator, which is a cyber-attack simulation environment based on the gymnasium (formerly Open AI gym) interface. In addition, we experimented with different RL algorithms such as value-based methods (Q-Learning, Deep-Q-Network, and Double Deep-Q-Network) and policy-based methods (Actor-Critic). As a result, we observed that value-based methods with discrete action spaces consistently outperformed policy-based methods with continuous action spaces, demonstrating a performance difference ranging from a minimum of 20.9% to a maximum of 53.2%. This result shows that the scheme not only suggests opportunities for enhancing cybersecurity strategies, but also indicates potential applications in cyber-security education and system validation across a large number of domains such as military, government, and corporate sectors.

• Structural Engineering and Mechanics
• /
• 제16권4호
• /
• pp.391-404
• /
• 2003

Local reinforcement in dowel type timber joints is essential to improve ductility, to increase load carrying capacity and to reduce the risk of brittle failure, especially in the case of using solid dowel. In many types of reinforcing materials available today, DVW (densified veneer wood) has been demonstrated to be the most advantages in terms of compatibility, embedding performance and ductility. Preliminary studies show that using appropriately sized DVW discs bonded into the timber interfaces may be an effective way to reinforce the connection. In this paper, non-linear 3-dimensional finite element models, incorporating orthotropic and non-linear material behaviour, have been developed to simulate structural performance of the timber joints locally reinforced by DVW discs. Different contact algorithms were applied to simulate contact conditions in the joints. The models were validated by the corresponding structural tests. Correlation between the experimental results and the finite element simulations is reasonably good. Using validated finite element models, parametric studies were undertaken to investigate effects of the DVW disc sizes and the end distances on shear stresses and normal stresses in a possible failure plane in the joint.

• International Journal of Fuzzy Logic and Intelligent Systems
• /
• 제3권1호
• /
• pp.52-57
• /
• 2003

In this paper, we propose a Fuzzy Classifier System(FCS) to find a set of fuzzy rules which can carry out the edge detection. The classifier system of Holland can evaluate the usefulness of rules represented by classifiers with repeated learning. FCS makes the classifier system be able to carry out the mapping from continuous inputs to outputs. It is the FCS that applies the method of machine learning to the concept of fuzzy logic. It is that the antecedent and consequent of classifier is same as a fuzzy rule. In this paper, the FCS is the Michigan style. A single fuzzy if-then rule is coded as an individual. The average gray levels which each group of neighbor pixels has are represented into fuzzy set. Then a pixel is decided whether it is edge pixel or not using fuzzy if-then rules. Depending on the average of gray levels, a number of fuzzy rules can be activated, and each rules makes the output. These outputs are aggregated and defuzzified to take new gray value of the pixel. To evaluate this edge detection, we will compare the new gray level of a pixel with gray level obtained by the other edge detection method such as Sobel edge detection. This comparison provides a reinforcement signal for FCS which is reinforcement learning. Also the FCS employs the Genetic Algorithms to make new rules and modify rules when performance of the system needs to be improved.

• 한국지능시스템학회논문지
• /
• 제19권2호
• /
• pp.279-284
• /
• 2009

군집 로봇시스템에서 개개의 로봇은 스스로 주위의 환경과 자신의 상태를 스스로 판단하여 행동하고, 필요에 따라서는 다른 로봇과 협조를 통하여 어떤 주어진 일을 수행할 수 있어야 한다. 따라서 개개의 로봇은 동적으로 변화하는 환경에 잘 적응할 수 있는 학습과 진화능력을 갖는 것이 필수적이다. 본 논문에서는 SVM을 여러 개 이용한 강화학습과 분산유전알고리즘을 이용한 새로운 자율이동로봇의 행동학습 및 진화학습을 제안한다. 또한 개개의 로봇이 통신을 통하여 염색체를 교환하는 분산유전알고리즘은 각기 다른 환경에서 학습한 우수한 염색체로부터 자신의 능력을 향상시킨다. 특히 본 논문에서는 진화의 성능을 향상시키기 위하여 Cascade SVM을 기반으로 한 강화학습의 특성을 이용한 선택 교배방법을 채택하였다.

• 한국재난관리표준학회지
• /
• 제4권1호
• /
• pp.49-55
• /
• 2011

본 연구는 철근 콘크리트 구조물의 새로운 자동화 최적설계 알고리즘을 제시하였다. 기존의 주철근과 콘크리트 단면사이즈 등의 국한된 최적설계 범위를 벗어나 철근의 부착길이, 매입길이, 콘크리트 커버두께 등 세부설계사항까지 모두 고려한 실무에 적합한 효용성 높은 설계알고리즘을 제시함으로써 앞으로 실무분야에 많은 기여를 할 수 있다고 보여 진다.

• ETRI Journal
• /
• 제44권5호
• /
• pp.733-745
• /
• 2022

In software-defined wireless networking (SDWN), the optimal routing technique is one of the effective solutions to improve its performance. This routing technique is done by many different methods, with the most common using integer linear programming problem (ILP), building optimal routing metrics. These methods often only focus on one routing objective, such as minimizing the packet blocking probability, minimizing end-to-end delay (EED), and maximizing network throughput. It is difficult to consider multiple objectives concurrently in a routing algorithm. In this paper, we investigate the application of machine learning to control routing in the SDWN. An intelligent routing algorithm is then proposed based on the machine learning to improve the network performance. The proposed algorithm can optimize multiple routing objectives. Our idea is to combine supervised learning (SL) and reinforcement learning (RL) methods to discover new routes. The SL is used to predict the performance metrics of the links, including EED quality of transmission (QoT), and packet blocking probability (PBP). The routing is done by the RL method. We use the Q-value in the fundamental equation of the RL to store the PBP, which is used for the aim of route selection. Concurrently, the learning rate coefficient is flexibly changed to determine the constraints of routing during learning. These constraints include QoT and EED. Our performance evaluations based on OMNeT++ have shown that the proposed algorithm has significantly improved the network performance in terms of the QoT, EED, packet delivery ratio, and network throughput compared with other well-known routing algorithms.

• Journal of Electrical Engineering and Technology
• /
• 제12권2호
• /
• pp.890-903
• /
• 2017

The problem of determining a smooth and collision-free path with maximum possible speed for a Mobile Robot (MR) which is chasing a moving target in a dynamic environment is addressed in this paper. Genetic Network Programming with Reinforcement Learning (GNP-RL) has several important features over other evolutionary algorithms such as it combines offline and online learning on the one hand, and it combines diversified and intensified search on the other hand, but it was used in solving the problem of MR navigation in static environment only. This paper presents GNP-RL based on predicting collision positions as a first attempt to apply it for MR navigation in dynamic environment. The combination between features of the proposed collision prediction and that of GNP-RL provides safe navigation (effective obstacle avoidance) in dynamic environment, smooth movement, and reducing the obstacle avoidance latency time. Simulation in dynamic environment is used to evaluate the performance of collision prediction based GNP-RL compared with that of two state-of-the art navigation approaches, namely, Q-Learning (QL) and Artificial Potential Field (APF). The simulation results show that the proposed GNP-RL outperforms both QL and APF in terms of smooth movement and safer navigation. In addition, it outperforms APF in terms of preserving maximum possible speed during obstacle avoidance.

• 한국지구물리탐사학회:학술대회논문집
• /
• 한국지구물리탐사학회 2008년도 공동학술대회
• /
• pp.119-124
• /
• 2008

복소 전기비저항법은 지반내 미세 IP 효과를 측정할 수 있는 장비와 해석 기술의 발전으로 인해 그 응용분야를 넓혀가고 있는 방법이다. 이 연구에서는 복소전기비저항법을 시멘트 모르탈의 주입을 통해 지반보강을 수행하였던 전라남도 무안군 용월리에 위치한 시험조사 지역에 적용하여, 그라우팅으로 인한 지반변화를 확인해보기 위한 목적으로 수행되었다. 동일한 측선에 대하여 지반보강이 실시되는 동안 전기비저항 모니터링 및 토모그래피 탐사가 수행되었으며, 이 결과는 복소전기비저항 해석 결과와 비교하였다. 탐사결과 그라우팅 진행과 관련하여 수행한 전기비저항 모니터링자료의 4차원 역산해석 결과와 복소 전기비저항법의 위상단면의 이상대가 동일한 위치에서 확인되었다. 이는 시멘트 모르탈에 기인한 IP 효과가 위상 단면상에서 나타나는 것으로, 이는 그라우팅으로 인한 지반보강 조사의 목적으로 복소전기비저항 탐사가 효과적으로 적용될 수 있음을 보여준다.

• 한국지능시스템학회논문지
• /
• 제16권2호
• /
• pp.131-137
• /
• 2006

군집 로봇시스템에서 개개의 로봇은 스스로 주위의 환경과 자신의 상태를 스스로 판단하여 행동하고, 필요에 따라서는 다른 로봇과 협조를 통하여 어떤 주어진 일을 수행할 수 있어야 한다. 따라서 개개의 로봇은 동적으로 변화하는 환경에 잘 적응할 수 있는 학습과 진화능력을 갖는 것이 필수적이다. 이를 위하여 본 논문에서는 지연된 보상능력이 있는 강화학습과 분산유전알고리즘을 이용한 새로운 자율이동로봇의 행동학습 및 진화방법을 제안한다. 지연 보상능력이 있는 강화학습은 로봇이 취한 행동에 대하여 즉각적인 보상을 가할 수 없는 경우에도 학습이 가능한 방법이다. 또한 개개의 로봇이 통신을 통하여 염색체를 교환하는 분산유전알고리즘은 각기 다른 환경에서 학습한 우수한 염색체로부터 자신의 능력을 향상시킨다. 특히 본 논문에서는 진화의 성능을 향상시키기 위하여 강화학습의 특성을 이용한 선택 교배방법을 채택하였다. 제안된 방법은 협조탐색 문제에 적용하여 컴퓨터 시뮬레이션을 통하여 그 유효성을 검증한다.

• 한국항행학회논문지
• /
• 제26권4호
• /
• pp.226-234
• /
• 2022

자율주행체와 네트워크기반 제어 기술의 발달에 따라서, 하나의 에이전트를 제어하는 것을 넘어서 다수의 이동체를 분산 제어하는데 사용 가능한 다중 에이전트의 컨센서스 제어에 대한 관심과 연구가 증가하고 있다. 컨센서스 제어는 분산형 제어이기 때문에, 정보 교환은 실제 시스템에서 지연을 가지게 된다. 또한, 시스템에 대한 모델을 정확히 수식적으로 표현하는데 있어서 한계를 갖는다. 이런 한계를 극복하는 방법 중에 하나로서 강화 학습 기반 컨센서스 알고리즘이 개발되었지만, 불확실성이 큰 환경에서 느린 수렴을 갖는 경우가 자주 발생하는 특징을 보이고 있다. 따라서, 이 논문에서는 불확실성에 강인한 특성을 갖는 슬라이딩 모드제어를 강화학습과 결합한 슬라이딩 강화학습 알고리즘을 제안한다. 제안 알고리즘은 기존의 강화학습 기반 컨센서스 알고리즘의 제어 신호에 슬라이딩 모드 제어 구조를 추가하고, 시스템의 상태 정보를 슬라이딩 변수를 추가하여 확장한다. 모의실험 결과 다양한 시변 지연과 왜란에 대한 정보가 주어지지 않았을 때에 슬라이딩 강화학습 알고리즘은 모델기반의 알고리즘과 유사한 성능을 보이면서, 기존의 강화학습에 비해서 안정적이면서 우수한 성능을 보여준다.