Ⅰ. 서론
드론은 조종사가 탑승하지 않고 무선전파를 사용하여 계획된 임무를 수행하도록 제작된 비행체로 방송, 농업, 인명 구조 등의 다양한 분야로 빠르게 확산하였고 군사용으로도 개발되어 전장에서 활약하고 있다. 최근 유럽 지역에서 벌어진 아제르바이잔-아르메니아 전쟁, 우크라이나-러시아 전쟁에서 다양한 드론을 활용한 정찰, 공격 전술의 중요성이 부각되었다. 아제르바이잔은 2020년 터키제 무장형 공격드론 바이락타르 TB2를 이용하여 아르메니아 지상군 핵심 전력을 무력화함으로 전장의 주도권을 확보하여 드론은 전쟁의 게임체인저라고 평가받았다[1]. 현재 대한민국의 국방 여건은 인구절벽 현상에 따른 병역자원의 감소문제와 직면해 있고 이에 대응하여 부대 및 전력구조로의 개편이 필요하기 때문에 육군도 미래의 국방전력으로 드론 중심의 드론봇 체계를 기획하였다.
드론봇 체계의 소요 핵심기술 중 하나는 인공지능이다. 국외와 국내에서 무인 무기체계에 인공 지능 기술을 적용한 영상 기반 객체 인식, 작전 추론, 지능형 협업 기술 등을 활발하게 연구하고 있다. 이러한 인공 지능이 적용된 드론은 인간의 능력을 보조하여 육안으로 식별이 어려운 객체를 인식하거나 복잡한 지형에서 비행 조종을 수행할 수 있다. 나아가 인공 지능이 적용된 드론은 유인기와 같이 인간과 상호 협업하여 임무를 수행할 수 있다. 인공 지능이 적용된 드론의 궁극적 목적은 자율적으로 임무를 수행하는 것으로 인명 피해를 최소화고 감축된 인력으로도 강화된 전력을 보장할 수 있을 것이다. 육군은 이를 위해 드론봇 체계의 핵심인 드론을 각 제대 규모에 따라 개발하고 정찰, 공격, 통신 중계, 수송 등의 다양한 임무에 활용할 계획이다. 따라서 다양한 드론 플랫폼과 임무를 위해 지능형 드론 플랫폼의 공용화 및 임무 자율화 기술이 필요하다. 이런 지능형 드론에게 요구되는 주요 특징은 객체 인식 기능, 인식된 객체와 임무에 대한 지식을 기반으로 전장의 상황을 추론하는 기능, 추론된 상황을 기반으로 자율적 의사 결정과 행위를 하는 기능이 필요하다. 객체 인식 기능은 최근 영상 처리에 대한 지배적인 기법이 된 합성곱 신경망(CNN, convolution neural network) 기술을 활용할 수 있다. 따라서 본 논문이 제안하는 범위에서 제외하고 객체 인식 이후에 필요한 지능적 요소를 식별하고 그 관계에 대한 아키텍처를 기술한다. 본 논문에서는 지능형 드론의 요구사항 분석을 위해 대대급 드론에서 활용되는 소형 정찰 드론을 목표로 하였고, 이를 기반으로 다양한 드론과 임무에 적용할 수 있는 지능형 프레임워크인 AMAD (autonomous mission agents for drones) 아키텍처를 제안한다.
Ⅱ. 배경 기술
2-1 인지 아키텍처와 멀티 에이전트 시스템
지능형 드론의 자율 임무 수행을 위해서는 전장 환경의 다양한 정보를 이해하고 판단하고 행동할 수 있어야 하며, 이를 위해서는 인식, 지식, 추론, 기억 등의 다양한 기능적 구성요소가 요구된다. 그림 1의 개념처럼 지능형 드론은 센서를 통해 상황 정보를 수집하여 인식하고 상황 정보를 통해 고수준의 상황을 추론하고 추론한 결과를 바탕으로 의사결정과 자율 행동을 수행한다. 이를 잘 설명할 수 있는 이론인 인지 아키텍처는 통합인지이론(Unified theories of cognition)[2]이라는 심리학 이론을 바탕으로 제안된 소프트웨어 아키텍처이다. 다트머스 회의 참석자 중 앨런 뉴웰은 통합인지이론에서 인간의 인지 아키텍처의 기초구조를 설명하고 있다. 지능을 구현하기 위해 인지 아키텍처는 문제해결과 추론을 위한 통합된 지식, 이미 알려진 패턴 인지를 통한 유사한 상황에서 문제의 자율적 수행을 요구한다. 인지 아키텍처는 범용적 문제해결과 추론 기능을 보유해서 다양한 도메인에서 활용할 수 있어야하고 미리 프로그램되지 않고 유연하게 확장할 수 있는 아키텍처를 가져야 하며 인간과 자연스러운 상호작용을 위한 방법을 보유하고 행위를 효과적으로 표현할 수 있어야 한다.
그림 1. 지능형 드론의 자율 임무 수행 개념
Fig. 1. Autonomy Concept of intelligent drones
인식, 추론, 의사결정, 행위 등의 기능을 복합적으로 제공하는 지능형 드론을 위한 AMAD는 개발 초기부터 드론이 접할 모든 환경과 상황을 대비하여 완전한 기능과 지식을 포함할 수 없다. 따라서 지능형 드론을 위한 소프트웨어 프레임워크는 확장할 수 있어야 한다. 상황, 임무 목적, 컴퓨팅 파워에 따라 고수준 모듈을 재구성(reconfiguration)하거나 기능을 확장한 모듈의 추가가 용이한 특징을 제공해야 한다[3]. 이런 품질 속성을 만족하기 위해 단일 에이전트 구조보다 확장성이 뛰어난 멀티 에이전트 시스템을 적용할 수 있다. 멀티 에이전트 시스템은 에이전트 간 상호 작용을 위한 지식 표현과 커뮤니케이션 방법이 필요하다. 3장에서 AMAD의 단위 에이전트의 기능과 지식 표현 방법, 지식, 추론, 의사결정, 행위를 담당하는 각 에이전트에 대해 기술한다.
2-2 지식 기반 에이전트와 지능형 드론을 위한 지식의 구성
그림 1의 AMAD가 목표로 하는 지능형 드론의 핵심 기능 중 상황 추론, 의사 결정, 자율 행동을 위한 솔루션으로 최근 관심을 받고 있는 다양한 기계 학습 기반의 에이전트를 적용할 수 있다. 하지만 현재 군사적 목적의 드론에 기계 학습을 적용하기에 적합한 데이터가 확보 되어있지 않고 기계 학습 결과의 설명 가능성(explainability) 문제는 군사용 목적의 추론과 의사 결정에 적합하지 않을 수 있다. 따라서 지능형 드론의 핵심 기능은 군사용 드론의 운용 교범과 임무에 대한 사전 지식을 기반으로 하는 전문가 시스템(expert system)이라고 불리는 지식 기반 에이전트(knowledge-based agent)가 더 적합하다.
지능형 드론에서 저장, 활용, 생산, 유통하는 지식 정보는 그림 2와 같이 분류한다. 작업 정보(task information)는 자율행동을 위한 목표(goal)와 목표를 달성하기 위한 계획(plan)으로 구성된다. 지식 정보(knowledge information)는 임무나 드론 플랫폼에 대한 사전 지식이다. 환경과 센서에 대한 지식은 지능형 소프트웨어 외부와 연동에 대한 지식으로 외부로부터 수신한 데이터를 저수준 상황(low-level context)으로 변환하여 GL(generalized list) 자료구조를 이용하여 문장의 형태로 표현한다. GL 표현 문장은 3-3 장에서 설명한다. 임무 지식(mission knowledge)은 임무에 대한 사전 지식이나 작전 교범의 지식을 포함한다.
그림 2. 지능형 드론을 위한 지식의 분류와 흐름
Fig. 2. Classification and flow of knowledge for intelligent drones
상황 추론 정보(context inference knowledge)는 규칙 기반 추론 엔진에서 필요한 상황 표현과 추론을 위한 규칙을 포함한다. 추론 규칙은 고수준 상황(high-level context)를 생성하는 규칙으로 GL 표현의 전제(premise)와 결론(conclusion)으로 구성한다. 그림 2의 오른쪽 상황 정보(context information)는 런타임에 작업 정보와 지식 정보로부터 생성되는 지식이다. 센싱한 결과를 지식으로 변환한 저수준 상황, 지식과 상황으로부터 규칙 기반으로 추론한 고수준 상황, 상황과 작업 계획으로부터 생성된 의사결정 결과를 포함한다.
Ⅲ. AMAD 아키텍처
3-1 단위 에이전트 기능
그림 3은 본 논문에서 제안하는 멀티 에이전트 시스템을 구성하는 단위 에이전트의 기본 구조이다. 에이전트는 저수준 입출력을 통해 외부의 다른 에이전트나 외부 개체와 통신한다. 에이전트의 저수준 입출력 기능은 소켓, 제로메시지큐(ZMQ, zero message queue) 등 다양한 수단을 지원하는 메시지 어댑터(message adaptor)에서 제공하고 범용적인 JSON 포맷을 송수신한다. 다른 에이전트로부터 수신한 JSON 포맷의 메시지는 에이전트 내부에서 활용할 수 있는 에이전트 메시지(AM, agent message) 형태로 변환되어 큐에 입력된다. 디스패처는 큐의 에이전트 메시지를 순차적으로 처리하는 기능을 제공한다. 에이전트 메시지는 멀티에이전트 시스템 표준적 정의 Communicative Act[4]인 request, query, inform, response의 네 가지 타입을 제공하고 request와 query를 수신한 경우 해당 요청과 질의에 대한 응답(response)을 송신한다. 디스패처(dispatcher)는 수신한 에이전트 메시지를 순차적으로 처리하기 위해 쓰레드 풀(thread pool)을 이용하여 쓰레드(thread)를 생성한다. 각 쓰레드에서 메시지 처리 작업이 종료되면 응답 송신을 메시지 어댑터를 통해 수행한다. AMAD는 위와 같은 단위 에이전트를 구동하는 엔진을 포함한다. 이 단위 에이전트를 기반으로 복수 에이전트로 인지 아키텍처를 구성하여 지능형 드론을 개발한다. 이러한 멀티에이전트 시스템과 일관성을 보장하는 커뮤니케이션 기능을 제공하여 에이전트를 단일 하드웨어 뿐 아니라 드론을 제어하는 지상체 소프트웨어와 이기종의 드론에 적용할 수 있는 확장성(scalability)을 보장한다.
그림 3. 단위 에이전트 구조
Fig. 3. Structure of unit agent
3-2 멀티 에이전트 구성
AMAD 아키텍처를 구성하는 지능적 에이전트 요소는 그림 4와 같다. KS(knowledge store)는 지식 기반(knowledge base)으로 드론 임무 지식, 센서로부터 수신한 저수준 상황 , Context Reasoner에서 추론한 고수준 상황 등 그림2에서 정의한 지식을 모두 저장하고 타 에이전트의 지식에 대한 질의나 구독 요청에 대한 응답 기능을 수행한다.
그림 4. AMAD의 멀티 에이전트 구성
Fig. 4. Multi-Agent Configuration of AMAD
CR(context reasoner)는 사전에 정의한 지식의 일종인 추론 규칙으로 상황 추론 기능을 수행한다. 추론 엔진은 일차논리 추론 엔진 또는 온톨로지 엔진을 사용하거나 복합적하여 사용할 수 있으며 향후 드론 임무에 대한 충분한 데이터가 확보되면 기계학습 알고리즘을 이용한 추론 엔진으로 확장될 수 있다.
ATC(autonomous task coordinator)는 Context Reasoner에서 생성한 상황 추론 결과와 임무의 작업 계획을 토대로 드론의 자율 임무 수행을 위한 의사결정 기능을 수행하고 의사결정 결과를 기반으로 드론의 행위 제어 명령을 생성한다. 생성된 행위 제어 명령은 EMG(external message gateway)로 전달되어 센서와 드론의 비행을 제어한다. KS, CR, ATC는 지식의 관리, 상황 추론, 의사 결정을 담당하는 AMAD 아키텍처의 핵심 요소이다. 다음 장부터는 이 핵심 에이전트들의 배경이 되는 기술과 주요 제안 사항에 대해 기술한다.
3-3 Knowledge Store
KS는 지능형 드론의 지식을 관리한다. 지식을 저장소에 저장하고 다른 에이전트의 질의에 대해 저장소에서 검색하여 응답하고 지식의 생성, 갱신, 삭제에 대한 요청을 수신하여 저장소에 반영한다. KS는 지식의 블랙보드(blackboard) 역할을 하여 AMAD의 새로운 지식 기반 에이전트(knowledge-based agent)를 쉽게 추가할 수 있는 확장성을 지원한다.
지능형 드론을 위한 AMAD 아키텍처 내 지식 기반을 저장하고 에이전트 간 커뮤니케이션을 위해 일관적인 지식 표현 체계가 필요하다. 지식 기반(knowledge base)은 지식 문장(sentence)의 집합으로 AMAD 아키텍처는 문장을 표현하는 데이터 구조로 GL(generalized list)를 활용한다[5]. GL은 그림 5와 같이 List 내에 Sub-List를 구성할 수 있는 자료구조로, 정보간의 관계가 중요한 지식 기반 시스템의 경우 정보와 정보간의 1:1 관계뿐만 아니라 복수 정보간의 관계를 서술하는 방식에 자유롭다. 나아가 일차 논리(first-order logic) 서술에 필요한 술어(predicate)와 함수(function)와 같은 요소를 표현하는 데에도 직관적인 특징을 가지고 있어, 지식을 서술하고 각 에이전트가 이를 활용하는 것에 적합한 특징을 가지고 있다. GL문장은 하나의 술어 이름과 표현식 리스트로 구성된다. 표현식은 상수, 변수, 연산식, 부울식, 외부 함수, 중첩된 GL문장으로 구성할 수 있다. 중첩된 GL이 없는 표현식으로 구성한 GL문장은 일차 논리 추론을 위한 지식 문장, 질의 문장, 추론 규칙을 표현할 수 있다. 그림 5는 중첩된 GL 문장으로 구성된 개념 예시이다. AMAD의 지능적 에이전트들은 그림 2에서 활용하는 지식을 바탕으로 상호작용을 하므로 3-1 장의 단위 에이전트는 지식을 GL로 표현하여 송수신하고 해석할 수 있는 기능을 제공한다.
그림 5. 중첩 GL 구조 예시
Fig. 5. A nested structure example using GL
AMAD에서 지식을 표현하는 다른 방법은 온톨로지 기반의 방법이 있다. 온톨로지는 지식 개념을 의미적으로 연결할 수 있는 방법으로 RDF, OWL 등의 표준 언어를 이용해 표현한다. 온톨로지는 구축 범위에 따라 일반적인 지식을 포함하는 재활용 가능한 일반 온톨로지(generic ontology)를 특정 영역의 유효한 지식으로 구축한 도메인 온톨로지(domain ontology)로 확장이 가능하다[6]. AMAD는 일반 온톨로지에 군용 중소형 드론 운용 지식을 구축한 도메인 온톨로지로 확장하여 구성한다.
3-4 Context Reasoner
CR은 지능형 드론의 상황 추론을 담당하는 에이전트이다. 규칙 기반의 추론 엔진을 활용하여 현재 유효한 지식과 상황을 기반으로 새로운 상황을 추론한다. AMAD는 GL 표현 기반의 추론 규칙 문법을 적용했다. 규칙은 전제(premise)와 결론(conclusion)으로 구성된다. 전제는 지식의 존재 여부를 검증하는 fact 전제와 조건식인 expression 전제로 구분된다. 전제는 모든 문장을 definite clause form으로 구성한다. 추론 규칙은 generalized modus ponens[7] 방식을 적용한 추론 엔진에 의해 KS에 저장된 유효한 지식과 치환(substituition)하여 모든 전제 문장이 참인 경우 결론 문장을 생성한다. 그림 7은 이러한 추론의 간단한 예로 CR의 추론 엔진은 fact 전제의 판단을 위해 KS에 “TargetInfo” 이름의 지식을 요청하여 수신한 GL 문장 두 상수 표현식을 $targetType와 $priority의 값을 획득하고 “ObjectInSight” 이름의 지식을 요청하여 $objectType과 $confidence, $id의 값을 획득한다. 그 결과가 아래 expression 전제를 만족한다면 결론인 “TargetInSight” 이름의 GL 문장을 생성하여 KS에 저장을 요청한다. 만약 KS에 “TargetInfo” 이름의 지식 문장이 존재하지 않거나 expression 전제가 거짓이면 결론을 생성하지 않는다. 생성된 상황 지식은 그림 2의 추론 결과(inference result)로 다음 장에서 기술하는 ATC의 작업 추론에서 활용되거나 또 다른 고수준 상황 추론을 위한 지식으로 활용된다.
그림 6. 추론 규칙의 예시
Fig. 6. An example of inference rules
3-5 Autonomous Task Coordinator
ATC는 BDI(belief-desire-intention) 아키텍처[8] 기반의 의사결정 알고리즘을 이용하여 현재 상황에 적합한 작업(task)을 선택하여 수행한다. BDI 아키텍처는 에이전트의 주변 환경에 대해 인지한 월드 모델(belief)을 기반으로 에이전트가 이루고자하는 목표(desire)를 수행하기 위해 현재 상황에 적합한 작업 계획을 탐색하여 선택하는 방식(intention)으로 실행된다. 지능형 드론에게 주어진 임무는 그림 2의 작업 정보로서 목표(goal)와 작업 계획(plan)으로 표현한다. 그림 7은 작업 계획 스크립트를 구성하는 요소와 내용이다. 스크립트는 목표 달성을 위한 절차적 사양(procedural specification)으로 하나의 작업 계획은 달성(achieve), 유지(maintain), 수행(perform)할 수 있는 목표(goal)와 이름(name), 실행해야 하는 액션 절차(body), 진입 조건(precondition), 실행 중 조건(context), 우선순위 결정을 위한 유용도(utility), 작업 계획이 성공했을 때의 액션(effects) 실패했을 때의 액션(failure) 등으로 구성된다다. ATC는 이런 작업 계획 스크립트를 실행할 수 있는 작업 추론 엔진[9]을 JAM을 참고하여 구현한다. 자율 임무 수행을 위한 작업 계획 세트는 임무패키지(mission package)의 일부가 되어 ATC의 초기화 작업 수행 중 로딩한다.
그림 7. 작업 계획 구성 요소
Fig. 7. Anatomy of a task plan
3-6 그 외 구성 요소
이상적인 인지 아키텍처는 학습을 통해 능력을 향상시킬 수 있어야 하고 객체 인식, 악조건 하에서 비행 조종 등 기계 학습이 인간의 능력을 능가하는 분야에서는 기계 학습이 적용된 에이전트를 추가할 수 있을 것이다. LDM(learning data manager)은 향후 기계학습에 사용할 수 있는 데이터 수집을 위한 에이전트로 데이터베이스와 같은 저장소를 이용하여 학습에 필요한 데이터를 수집한다.
BC(Behavior Commander)는 ATC에서 수행한 의사결정을 드론이 행동하기 위한 구체적인 제어 명령을 생성한다. 예를 들어, 계획된 항로점을 추종하며 비행하던 드론이 위협을 발견한 상황에서 결정한 회피에 대한 비행 제어 명령을 계산하여 생성하거나 인식한 표적을 센서의 중앙에 위치시키기 위한 센서 지향각 제어 명령을 계산하여 EMG를 통해 외부로 송신한다.
EMG는 AMAD 외부의 센서와 비행제어장치 등과 연동하는 기능을 제공하는 에이전트로 수신되는 데이터를 GL 문장 형식의 저수준 상황 지식으로 변환하여 KS로 전달하고, BC(behavior commander)에서 결정된 비행과 센서 제어 명령을 센서와 비행제어장치 등의 외부 개체로 송신할 수 있다. BC와 EMG는 드론 플랫폼에 의존적인 에이전트로 실제 제어 명령을 위한 계산과 외부 연동을 위한 메시지 포맷에 따라 재구성할 수 있다.
MPD(mission package distributor)는 시스템 초기화 시 임무패키지에 저장되어 있는 각 에이전트에 필요한 설정 데이터를 분배한다. 임무패키지는 그림2의 작업 정보(task information)과 지식 정보(knowledge information)의 내용으로 구성한다. ATC가 활용하는 작업 계획, CR을 위한 추론 규칙, KS에 저장되는 임무 지식, LDM의 데이터 수집을 위한 스키마, EMG의 외부 송수신 데이터의 저수준 상황 변환 규칙을 포함한다. 이러한 설정 데이터로 구성된 임무패키지와 프레임워크의 분리를 통해 임무나 드론의 변경에 대응할 수 있다.
SI(supervisory interface)는 AMAD의 모든 에이전트의 액션과 에이전트 간 커뮤니케이션을 모니터링하고 ATC에서 동작하는 작업 계획 스크립트 디버깅 기능을 제공하는 에이전트이다. SI는 외부의 소프트웨어와 연동하여 임무패키지의 개발 및 디버깅을 위한 시스템 도구로서의 역할을 수행한다.
Ⅳ. 결론
지능형 드론의 구현과 계속적인 진화를 위해서는 기능과 지식을 확장하고 재사용할 수 있어야 한다. 본 논문에서 제안하는 AMAD 아키텍처는 멀티 에이전트 시스템의 기반 기능을 프레임워크로 제공하여 드론의 지능적 기능 요소에 대한 확장을 지원한다. 또한, 인지 아키텍처가 요구하는 요소인 지식, 상황, 작업 계획을 처리하는 에이전트와 그 처리 모델을 고수준으로 추상화하는 방법을 제공한다. 이는 모델의 재사용성을 높이고 변경 용이성을 제공한다. 반면 확장성, 재사용성, 변경 용이성에 대한 제공은 기능과 성능의 최적화와 상충 관계가 있고, 인간의 뇌기능을 모방한 인지 아키텍처의 적용이 드론의 임무 자율화에 합리적인가라는 문제에 대한 입증이 필요하다.
현재 본 논문에서 기술하는 프레임워크를 구현하고 소형 정찰 드론의 운용 개념을 지식, 상황, 작업 계획에 대해 모델링 중이다. 향후에는 구현한 결과물을 소형 정찰 드론 HILS(Hardware-In-The-Loop System)의 환경에서 시뮬레이션을 통해 AMAD 프레임워크의 자율 임무 수행 기능과 성능에 대해 검증할 예정이다.
Acknowledgments
본 연구는 2020년 국방과학연구소 미래도전국방기술 연구개발사업(912904601)의 지원을 받았음
참고문헌
- S. Bhattacharya and D. Fernando, "Technology Played Decisive Role in Armenia-Azerbaijan Conflict of 2020," International Journal of Research in Engineering, Science and Management, Vol. 4, No. 9, pp. 40-42, Sep. 2021.
- A. Newell, Unified Theories of Cognition, Harvard University Press, pp.15-20, 1990.
- H. M. Koo and I. Y. Ko, "A repository framework for self-growing robot software," Proceeding of 12th Asia-Pacific Software Engineering Conference, Taipei, pp. 8-15, Dec. 2005.
- FIPA ACL Message Structure Specification [Internet], Available: http://fipa.org/specs/fipa00061/index.html.
- A. Puntamberkar, Fundamentals of Data Structures, Technical Publications, Pune, pp. 4.82~4.86, 2020.
- G. Zhao, and R. Meersman. "Architecting ontology for scalability and versatility," OTM Confederated International Conferences, Heidelberg, pp. 1604-1614, 2005.
- P. Norvig and S. Russel, Artificial Intelligence : A Modern Approach 4th edition, Prentice Hall, pp. 300, 2020.
- M.J. Huber, "Considerations for flexible autonomy within bdi intelligent agent architectures," Proceedings of the AAAI Conference on Artificial Intelligence, Orlando Florida, pp.431-438, 1999.
- M.J. Huber, "JAM: A BDI-theoretic mobile agent architecture," Proceedings of the third annual conference on Autonomous Agents, Seattle Washington, 1999.