• Journal of information and communication convergence engineering
• /
• 제20권1호
• /
• pp.22-30
• /
• 2022

The reinforcement learning algorithm has proven its potential in solving sequential decision-making problems under uncertainties, such as finding paths to route data packets in wireless sensor networks. With reinforcement learning, the computation of the optimum path requires careful definition of the so-called reward function, which is defined as a linear function that aggregates multiple objective functions into a single objective to compute a numerical value (reward) to be maximized. In a typical defined linear reward function, the multiple objectives to be optimized are integrated in the form of a weighted sum with fixed weighting factors for all learning agents. This study proposes a reinforcement learning -based routing protocol for wireless sensor network, where different learning agents prioritize different objective goals by assigning weighting factors to the aggregated objectives of the reward function. We assign appropriate weighting factors to the objectives in the reward function of a sensor node according to its hop-count distance to the sink node. We expect this approach to enhance the effectiveness of multi-objective reinforcement learning for wireless sensor networks with a balanced trade-off among competing parameters. Furthermore, we propose SDN (Software Defined Networks) architecture with multiple controllers for constant network monitoring to allow learning agents to adapt according to the dynamics of the network conditions. Simulation results show that our proposed scheme enhances the performance of wireless sensor network under varied conditions, such as the node density and traffic intensity, with a good trade-off among competing performance metrics.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제17권8호
• /
• pp.2140-2156
• /
• 2023

The Wireless Sensor Network (WSN), is constructed out of teeny-tiny sensor nodes that are very low-cost, have a low impact on the environment in terms of the amount of power they consume, and are able to successfully transmit data to the base station. The primary challenges that are presented by WSN are those that are posed by the distance between nodes, the amount of energy that is consumed, and the delay in time. The sensor node's source of power supply is a battery, and this particular battery is not capable of being recharged. In this scenario, the amount of energy that is consumed rises in direct proportion to the distance that separates the nodes. Here, we present a Hybrid Firefly Glow-Worm Swarm Optimization (HF-GSO) guided routing strategy for preserving WSNs' low power footprint. An efficient fitness function based on firefly optimization is used to select the Cluster Head (CH) in this procedure. It aids in minimising power consumption and the occurrence of dead sensor nodes. After a cluster head (CH) has been chosen, the Glow-Worm Swarm Optimization (GSO) algorithm is used to figure out the best path for sending data to the sink node. Power consumption, throughput, packet delivery ratio, and network lifetime are just some of the metrics measured and compared between the proposed method and methods that are conceptually similar to those already in use. Simulation results showed that the proposed method significantly reduced energy consumption compared to the state-of-the-art methods, while simultaneously increasing the number of functioning sensor nodes by 2.4%. Proposed method produces superior outcomes compared to alternative optimization-based methods.

• 한국정보과학회논문지:정보통신
• /
• 제28권2호
• /
• pp.262-276
• /
• 2001

최근들어 특별한 하드웨어나 새 프로토콜의 도움없이 고속 라우터의 포워딩 검색을 지원하는 포워딩 테이블에 대한 연구가 다양하게 진행되고 있다. 본 논문에서는 소프트웨어를 기반으로 일반적인 펜티엄 프로세서에서 기가비트급 포워딩 검색을 지원할 수 있는 새포워딩 테이블 자료구조를 제시한다. 포워딩 검색은 테이블의 크기에 비례해서 복잡도가 증가하는 라우터 성능의 병목지점으로 알려져 있다. 기존의 소프트웨어를 기반으로 하는 포워딩 검색 연구들은 포워딩 테이블 자료구조로 패트리샤 트라이와 그 변형을 이용하거나 프리픽스 길이를 키로 해서 함수를 구성하는 방법등을 사용하여 왔다. 본 논문에서 제안된 포워딩 테이블 자료구조는 라우팅 테이블의 프리픽스를 완전이진 트라이로 구성한후 트라이의 구조와 각 노드별로 링크 되어있는 라우팅 테이블 포인터 정보를 비트열로 표현하여 포워딩테이블을 구성한다. 트라이의 구조와 라우팅 프리픽스 포인터 정보는 배열이나 링크드-리스트로 표현하면 대량의 저장공간을 필요로하지만 제안된 자료구조에서는 각 정보가 하나의 비트로 표현되므로 작은 저장공간으로 충분하며 또한 트라이를 중간 레벨에서부터 검색할 수 있는 방법을 라우팅 테이블을 펜티엄 프로세서의 L2 캐쉬에 저장할 수 있는 작은 크기로 압축하고 검색경로를 단축함으로써 일반적인 펜티엄 프로세서를 이용하여 고속의 포워딩 엔진을 구현할 수 있음을 보여준다. 제안된 방법의 성능을 평가하기 위해서 실제 라우팅 테이블을 대상으로 실험한 결과 초당 5.7백만 번의 라우팅검색성능을 기록하였다.

• 대한전자공학회논문지TC
• /
• 제48권9호
• /
• pp.35-46
• /
• 2011

미래인터넷은 효과적인 이동성 처리, 유연한 트래픽 엔지니어링 기술 및 다양한 새로운 응용 지원이 이루어져야 한다. 이에 따라 많은 트래픽 엔지니어링 기술들이 제안되고 개발되어 왔지만 이를 실제 운용 중인 상용 인터넷 망에 적용하는 것은 매우 어려운 것이 사실이다. 이 문제를 해결하기 위해 다양한 네트워킹 관련 응용을 지원하는 컨트롤러를 사용해 망의 장비를 제어할 수 있는 OpenFlow 기법이 제안되었다. 이는 소프트웨어 적으로 정의된 망으로 연구자들이 자신 만의 트래픽 엔지니어링 기법을 컨트롤러에 적용하여 그 유용성을 검증할 수 있다. 한편 고속 패킷 처리를 지원하는 OpenFlow 망의 구축을 위해 4개의 1G 인터페이스를 가지는 프로그래밍 가능한 NetFPGA 카드와 상용 Procurve 스위치 들이 사용될 수 있다. 본 논문에서는 하드웨어 가속 기능이 지원되는 NetFPGA 카드와 Procurve 스위치를 KREONET 망에 적용한 OpenFlow 테스트베드를 구축하고 가장 보편적인 QoS 라우팅 기법인 CSPF 알고리즘을 구축한 대규모 테스트베드 상에 적용하여 멀티미디어 트래픽 엔지니어링 기법의 성능 및 유효성 검증을 수행하였다.

• 한국통신학회논문지
• /
• 제39B권5호
• /
• pp.281-290
• /
• 2014

무선 센서 네트워크의 실시간성은 단대단 거리를 기반으로 각 노드에서 유지해야할 최소 전송 속도를 정의하고 이를 만족하는 노드들을 매 홉마다 선택함으로써 일정 시간 내에 목적지까지 도달하는 것을 보장하는 것이다. 따라서 실시간성은 소스와 싱크사이의 거리에 매우 의존적이다. 하지만 전달과정 중 음영지역을 만난 경우에 이를 우회하기 위한 탐지 시간과 전송 노드에서는 예상할 수 없는 음영지역의 크기 때문에 이동 거리를 예상할 수 없게 된다. 따라서 노드는 실시간성을 위해 유지해야할 최소한의 전송속도를 정의할 수 없게 되고 실시간 전송에 문제가 발생한다. 따라서 이 문제를 해결하고자 음영지역 주변 노드 스스로 음영지역을 탐지하고, 이를 이용하여 소스는 음영지역을 탐지하지 않고 우회지점을 통해 고정된 거리를 우회함으로써 전송 중 음영지역으로 인한 문제를 해결하는 방안을 제안한다. 제안된 방안은 음영지역 경계노드들이 스스로 음영지역 근처에 위치하고 있는 것을 인지하고 상호간에 통신을 통하여 음영지역을 모델링함으로써, 데이터를 전송할 소스는 해당 음영지역 정보를 탐지하지 않고 우회하는 방법을 사용한다. 시뮬레이션은 기존방안에 비해 더 나은 실시간성을 가지는 것을 보인다.

• 한국컴퓨터정보학회논문지
• /
• 제18권6호
• /
• pp.29-36
• /
• 2013

무선 센서 네트워크에서 센서 노드의 수명은 배터리에 의해 제한되므로 에너지는 가장 중요한 고려사항이다. 기존의 에너지 효율적인 라우팅 프로토콜들은 대부분 에너지 소비를 최소화하기 위해 최소 에너지 경로를 사용하는데, 이는 노드들 간의 잔류에너지를 불균등하게 만든다. 그 결과 에너지 효율적인 경로 상에 있는 노드들의 전원이 빠르게 고갈되고 네트워크에 참여할 수 없게 된다. 이러한 문제를 해결하기 위해 노드들의 에너지 소모를 균등하게 만드는 기법들이 제안되고 있다. 무선 환경에서는 링크의 품질에 따른 재전송으로 불필요한 에너지 소모가 발생하는데 대부분의 기법들은 링크 에러율을 고려하지 않고 있다. 따라서, 본 논문에서는 잔여 에너지와 링크 에러율을 고려하여 균등한 에너지 소모를 가지는 클러스터 기반의 멀티 홉 라우팅 기법을 제안한다. 제안하는 기법은 링크 에러율을 고려하기 때문에 불필요한 재전송에 따른 에너지 소비를 줄이고 트래픽도 골고루 분산시킨다. 시뮬레이션 결과 타 기법에 비해 제안하는 기법은 재전송 횟수가 감소하여 에너지 효율적이었고, 에너지 소모가 균등한 경로를 사용하여 모든 노드가 네트워크에 참여하는 기간이 연장되었다.

• 한국전자통신학회논문지
• /
• 제7권4호
• /
• pp.721-726
• /
• 2012

이 논문에서 SPFA(shortest path faster algorithm)을 사용해서 기존의 벨만-포드(Bellman-Ford)을 개선한 효율적인 알고리듬을 제안한다. 벨만-포드 알고리듬은 딕스트라(Dijkstra) 알고리듬과 다르게 부(-)인 가중치를 갖는 그래프에서 사용할 수 있다. SPFA 알고리듬은 한 대기열을 이용하여 노드를 저장한다. 그래서 중북을 피할 수 있다. 벨만-포드 알고리듬은 시간을 더 사용하여 노드 표를 업데이트를 시킨다. 이 개산 알고리듬에서는 인접 리스트를 이용하여 표의 각 노드를 저장한다. 한 대기열을 통하여 데이트를 저장한다. 개선 방법에서는 새로운 점에 계속 relaxation을 통하여 최적 패스를 얻을 수 있다. 딕스트라 알고리듬과 SPFA 알고리듬과 개선된 알고리듬의 성능을 비교하기 위해서 시뮬레이션을 하였다. 실험 결과에서 랜덤(random) 그래프에서 개선된 알고리듬, SPFA 알고리듬과 딕스트라 알고리듬은 효율이 비슷했었는데, 격자형 지도에서 개선 알고리듬의 효율이 더 높았었다. 처리시간에서 개선된 알고리듬은 SPFA 알고리듬 보다 3분의 2를 감소시켰다.

• 한국산업정보학회논문지
• /
• 제11권3호
• /
• pp.20-33
• /
• 2006

본 논문은 수출입 컨테이너 화물의 국제물류에 대한 최적의 복합운송 경로를 도출하기 위한 동적 프로그램 알고리즘을 제시한다. 현재 3자물류 시장의 급부상, 운송업계의 경쟁가열화, 운송경로의 다양화 및 글로벌화가 추구되면서 복합운송을 고려한 수송계획의 효율화가 필요한 실정이다. 그러므로 2가지 이상의 운송수단을 이용하는 복합운송의 특징을 살펴보고, 운송비용과 운송시간을 고려한 WCSPP(Weighted Constrained Shortest Path Problem) 모형을 제시한다. 본 모형을 통해 도출된 목적함수 결과 값를 이용하여 실행가능영역을 설정한 뒤 동적 프로그래밍(Dynamic Programming)중 하나인 Label Setting 알고리즘을 응용하여 두 가지 목적함수를 동시에 만족할 수 있는 파레토 최적해를 도출하였다. 또한 본 알고리즘의 성능을 향상시키기 위해 가지치기 규칙을 함께 제안한다. 본 알고리즘을 부산에서 출발하여 로테르담까지 도착하는 실제 운송경로에 적용하였으며, 기존의 단일운송수단 경로와 비교해 봄으로써 운송비용 및 운송시간의 절감효과를 정량적으로 측정하였다.

• 한국통신학회논문지
• /
• 제34권7B호
• /
• pp.677-685
• /
• 2009

무선 센서네트워크에서 에너지 절약을 위해 필요한 송선전력을 제어하는 기법들이 많이 연구 되었다. 그러나 기존 연구들은 송신전력제어 과정에서 최적화된 송신전력 단계를 계산하기 위해 많은 패킷이 필요하다. 본 논문에서는 추가척인 제어 패킷을 발생시키지 않고 최단경로를 고려하는 송신전력제어 기법을 제안한다. 그 기법은 네트워크 구성에 필요한 광고 메시지를 최대한 활용하여 제어 패킷을 사용하지 않으며 네트워크 구성 초기에 최대 송선전력 단계로 광고 메시지를 전달하여 구성된 최단경로를 기준으로 한다. 제안한 기법의 평가를 위해 TinyOS 에서 제안한 기법을 적용하였다. 그리고 21개의 노드를 이용하여 네트워크를 구성하고 형균 전류 소요량, 평균 네트워크 깊이 등을 측정하였다. 측정한 결과 제안한 기법을 척용한 네트워크가 이전보다 송신 시 명균 전류량이 약 24.7% 만큼 적으며 네트워크의 흡 수가 일반 네트워크 홉 수보다 약 41% 적였다.

• 한국통신학회논문지
• /
• 제36권12A호
• /
• pp.994-1005
• /
• 2011

본 논문에서는 센서 네트워크 환경에서 에너지 효율적인 mobile sink node의 최적의 경로를 설정 할 수 있는 방법인 AMSP(Adaptive Mobile Sink Path)를 제안한다. 기존의 논문들은 mobile sink node 이동시 random way point 방식을 사용하여 불필요한 데이터 전송으로 인한 에너지 소모를 야기했다. 또한, sink node의 이동이 random으로 이동하기 때문에 같은 지역을 중복으로 이동할 수 있는 단점이 있다. 이를 해결하기 위하여 본 논문에서 제안하는 방법은 센서 노드가 설치되어진 필드의 크기에 따라 정적인 그리드를 생성하고 그리드 안에서 mobile sink node가 이동하는 최적의 경로를 설정하여 준다. 이 경로는 네트워크의 크기, 밀도에 따라 효율적인 경로 탐색을 위해 이동 경로를 변경하여 준다. 또한 각각의 노드가 mobile sink node의 주행 경로 및 속도를 인지하고 있음으로 데이터 전송에 대한 에너지 소모량을 감소시킬 수 있다. 이렇게 sink node의 위치를 예상할 수 있기 때문에 에너지의 추가적인 절약을 위해 일정 시간 동안 sleep상태로 두고 active와 교대하는 duty cycle을 사용한다. 이 기법을 사용하여 본 논문에서는 기존의 방법들인 TTDD나 CBPER에 비해 최대 80% 이상의 에너지 소모량을 감소시킬 수 있는 것으로 나타났다.