• Journal of information and communication convergence engineering
• /
• v.20 no.3
• /
• pp.181-188
• /
• 2022

An intelligent distributed multi-agent system (IDMS) using reinforcement learning (RL) is a challenging and intricate problem in which single or multiple agent(s) aim to achieve their specific goals (sub-goal and final goal), where they move their states in a complex and cluttered environment. The environment provided by the IDMS provides a cumulative optimal reward for each action based on the policy of the learning process. Most actions involve interacting with a given IDMS environment; therefore, it can provide the following elements: a starting agent state, multiple obstacles, agent goals, and a cluttered index. The reward in the environment is also reflected by RL-based agents, in which agents can move randomly or intelligently to reach their respective goals, to improve the agent learning performance. We extend different cases of intelligent multi-agent systems from our previous works: (a) a proposed environment-clutter-based-index for agent sub-goal selection and analysis of its effect, and (b) a newly proposed RL reward scheme based on the environmental clutter-index to identify and analyze the prerequisites and conditions for improving the overall system.

• Journal of Internet Computing and Services
• /
• v.2 no.5
• /
• pp.71-79
• /
• 2001

Replication in distributed databases is to improve efficiency, availability, and autonomy, But applying the strict consistency in real systems is very difficult. In this paper, I introduce a hybrid protocol permitting group update through eager update propagation and weakening consistency through lazy update, This protocol manages replica version number for the group update consistency and generates partially ordered replica spanning tree for the serializability of lazy update transactions. It preserves weak consistency by combining synchronous and asynchronous update mechanism. Study of performance analysis for the efficiency of the protocol be included in next paper.

• Journal of KIISE:Computer Systems and Theory
• /
• v.27 no.12
• /
• pp.967-973
• /
• 2000

본 논문에서는 신뢰할 수 없는 고장추적 장치로 구성된 비동기적 분산 시스템 하에서 선출(election) 문제와 합의(consensus) 문제의 관련성에 관하여 연구하고자 한다. 먼저 선출 문제는 합의 문제보다 더욱 어려운 문제임을 보인다. Chandra와 Toueg는 [8]에서 합의 문제는 비동기적 분산 시스템에서 신뢰할 수 없는 고장 추적 장치(unreliable failure detector)를 이용하여 해결 할 수 있음을 언급하였다. 그러나, 합의 문제와는 대조적으로 선출 문제는 시스템 상에서 단 한 개의 노드가 죽은 경우에도 신뢰 할 수 없는 고장 추적 장치를 이용하여 선출 문제를 해결할 수 없다. 이는 선출 문제는 합의의 문제보다 더욱 어려운 문제임을 의미한다. 보다 엄격하게 표현하자면, 선출 문제를 해결하는데 필요한 가장 약한 고장 추적 장치 (perfect failure detector) 이어야 하는 것으로, 이는 합의 문제를 해결하는데 필요한 가장 약한 고장 추적 장치보다 확실히 강한 것이다. 선출 문제가 합의 문제보다 어렵다는 것을 보이기 위해 축소(reduction) 프로토콜을 이용한다.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.24 no.6A
• /
• pp.767-774
• /
• 1999

In this paper, we compare the performance of asynchronous W-CDMA system with different bandwidth. We take into consideration of wideband multipath channel environment which consists of discrete multipath components whose strength is Rayleigh distributed. Each CDMA system different bandwidth experience different effects of multipath because there are different number of multipath within one chip duration according to the spreading bandwidth. We derive the average error probability versus the capacity, and compare the capacity of W-CDMA systems using the RAKE receiver with EGC diversity.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2000.04a
• /
• pp.569-572
• /
• 2000

본 논문에서는 신뢰 할 수 없는 고장추적 장치로 구성 된 비동기적 분산 시스템 하에서 선출(election) 문제와 합의(consensus) 문제의 관련성에 관하여 연구하고자 한다. 먼저 선출 문제는 합의 문제보다 더욱 어려운 문제임을 보인다. 합의 문제와는 대조적으로 선출 문제는 시스템 상에서 단 한 개의 노드가 죽은 경우에도 신뢰 할 수 없는 고장 추적 장치를 이용하여 선출 문제를 해결 할 수 없다. 보다 엄밀하게 표현하자면, 선출 문제를 해결하는데 필요한 가장 약한 고장 추적 장치는 완전한 고장 추적 장치이어야 하는 것으로, 이는 합의 문제를 해결하는데 필요한 가장 약한 고장 추적 장치보다 확실히 강한 것이다. 선출 문제가 합의 문제보다 어렵다는 것을 보이기 위해 본 논문에서는 축소(reduction) 프로토클을 이용 한다.

• Journal of the Korea Society of Computer and Information
• /
• v.8 no.4
• /
• pp.35-40
• /
• 2003

In this paper, I raise an issue regarding the relationships between the Election problem and the Consensus problem in asynchronous systems with unreliable failure detectors. First, I describe our system model, and then define Leader Election. After then, I show that the Election problem is harder to resolve than the Consensus problem. Each correct process eventually gets into the state in which it considers only one process to be a leader. Therefore a Perfect Failure Detector is the weakest failure detector which is sufficient to solve the Election. In order to show that the Election problem is harder to resolve than the Consensus problem, I utilize the Reduction protocol in this paper.

• Proceedings of the Korean Society of Computational and Applied Mathematics Conference
• /
• 2003.09a
• /
• pp.11-11
• /
• 2003

오늘날 단일 슈퍼컴퓨터로는 처리가 불가능한 거대한 문제들의 해법이 시도되고 있는데, 이들은 지리적으로 분산된 슈퍼컴퓨터, 데이터베이스, 과학장비 및 디스플레이 장치 등을 초고속 통신망으로 연결한 GRID 환경에서 효과적으로 실행시킬 수 있다. GRID는 1990년대 중반 과학 및 공학용 분산 컴퓨팅의 연구 과정에서 등장한 것으로, 점차 응용분야가 넓어지고 있다. 그러나 GRID 같은 분산 환경은 기존의 단일 병렬 시스템과는 많은 점에서 다르며 이전의 기술들을 그대로 적용하기에는 무리가 있다. 기존 병렬 시스템에서는 주로 동기 알고리즘(synchronous algorithm)이 사용되는데, 직렬 연산과 같은 결과를 얻기 위해 동기화(synchronization)가 필요하며, 부하 균형이 필수적이다. 그러나 부하 균형은 이질 클러스터(heterogeneous cluster)처럼 프로세서들의 성능이 서로 다르거나, 지리적으로 분산된 계산자원을 사용하는 GRID 환경에서는 이기종의 문제뿐 아니라 네트워크를 통한 메시지의 전송 지연 등으로 유휴시간이 길어질 수밖에 없다. 이처럼 동기화의 필요성에 의한 연산의 지연을 해결하는 하나의 방안으로 비동기 반복법(asynchronous iteration)이 나왔으며, 지금도 활발히 연구되고 있다. 이는 알고리즘의 동기점을 가능한 한 제거함으로써 빠른 프로세서의 유휴 시간을 줄이는 것이 목적이다. 즉 비동기 알고리즘에서는, 각 프로세서는 다른 프로세서로부터 갱신된 데이터가 올 때까지 기다리지 않고 계속 다음 작업을 수행해 나간다. 따라서 동시에 갱신된 데이터를 교환한 후 다음 단계로 진행하는 동기 알고리즘에 비해, 미처 갱신되지 않은 데이터를 사용하는 경우가 많으므로 전체적으로는 연산량 대비의 수렴 속도는 느릴 수 있다 그러나 각 프로세서는 거의 유휴 시간이 없이 연산을 수행하므로 wall clock time은 동기 알고리즘보다 적게 걸리며, 때로는 50%까지 빠른 결과도 보고되고 있다 그러나 현재까지의 연구는 모두 어떤 수렴조건을 만족하는 선형 시스템의 해법에 국한되어 있으며 비교적 구현하기 쉬운 공유 메모리 시스템에서의 연구만 보고되어 있다. 본 연구에서는 행렬의 주요 고유쌍을 구하는 데 있어 비동기 반복법의 적용 가능성을 타진하기 위해 우선 이론적으로 단순한 멱승법을 사용하여 실험하였고 그 결과 순수한 비동기 반복법은 수렴하기 어렵다는 결론을 얻었다 그리하여 동기 알고리즘에 비동기적 요소를 추가한 혼합 병렬 알고리즘을 제안하고, MPI(Message Passing Interface)를 사용하여 수원대학교의 Hydra cluster에서 구현하였다. 그 결과 특정 노드의 성능이 다른 것에 비해 현저하게 떨어질 때 전체적인 알고리즘의 수렴 속도가 떨어지는 것을 상당히 완화할 수 있음이 밝혀졌다.

• Journal of KIISE
• /
• v.43 no.3
• /
• pp.314-326
• /
• 2016

Some process algebras were applied to enterprise business modelling for formal specification and verification. ${\pi}$-calculus and mobile ambient can be considered for the distributed and mobile, especially to represent the movements of distributed real-time business processes. However there are some limitations to model the movements: 1) ${\pi}$-calculus passes the name of port for indirect movements, and 2) mobile ambient uses ambient to synchronize asynchronous movements forcefully. As a solution to the limitations, this paper presents a new process algebra, called ${\delta}$-calculus, to specify direct and synchronous movements of business processes over geo-temporal space. Any violation of safety or security of the systems caused by the movements can be indicated by the properties of the movements: synchrony, priority and deadline. A tool, called SAVE, was developed on ADOxx metamodelling platform to demonstrate the concept.

• KIPS Transactions on Computer and Communication Systems
• /
• v.8 no.1
• /
• pp.17-28
• /
• 2019

In the financial investment management strategy, the distributed investment selecting and combining various financial assets is called portfolio management theory. In recent years, the blockchain based financial assets, such as cryptocurrencies, have been traded on several well-known exchanges, and an efficient portfolio management approach is required in order for investors to steadily raise their return on investment in cryptocurrencies. On the other hand, deep learning has shown remarkable results in various fields, and research on application of deep reinforcement learning algorithm to portfolio management has begun. In this paper, we propose an efficient financial portfolio investment management method based on Asynchronous Advantage Actor-Critic (A3C), which is a representative asynchronous reinforcement learning algorithm. In addition, since the conventional cross-entropy function can not be applied to portfolio management, we propose a proper method where the existing cross-entropy is modified to fit the portfolio investment method. Finally, we compare the proposed A3C model with the existing reinforcement learning based cryptography portfolio investment algorithm, and prove that the performance of the proposed A3C model is better than the existing one.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.22 no.6
• /
• pp.1323-1333
• /
• 1997

In this paper, we propose an efficient architecture for a high-speed cell concentrator/distributor(HCCD) in an ATM(Asynchronous Transfer Mode) switch and by analyzeing the simulation results evaluate the performance of the proposed architecuture. The proposed HCCD distributes cells from a switch link to local processors, or concentrates cells from local processor s to a switch link. This design is to guarntee a high throughput for the IPC (inter-processor communication) link in a distributed ATM switching system. The HCCD is designed in a moudlar architecture to provide the extensibility and the flexibility. The main characteristics of the HCCD are 1) Adaption of a local CPU in HCCD for improving flexibility of the system, 2) A cell-baced statistical multiplexing function for efficient multiplexing, 3) A cell distribution function based on VPI(Virtual Path Identifier), 4) A bypassing capability for IPC between processor attached to the same HCCD, 5) A multicasting capability for point-to-multipoint communication, 6) A VPI table updating function for the efficient management of links, 7) A self-testing function for detecting system fault.