• 로봇학회논문지
• /
• 제18권4호
• /
• pp.436-443
• /
• 2023

With the advancement of robot intelligence, the concept of man and unmanned teaming (MUM-T) has garnered considerable attention in military research. In this paper, we present a transformer-based architecture for predicting the health status of agents, with the help of multi-head attention mechanism to effectively capture the dynamic interaction between friendly and enemy forces. To this end, we first introduce a framework for generating a dataset of battlefield situations. These situations are simulated on a virtual simulator, allowing for a wide range of scenarios without any restrictions on the number of agents, their missions, or their actions. Then, we define the crucial elements for identifying the battlefield, with a specific emphasis on agents' status. The battlefield data is fed into the transformer architecture, with classification headers on top of the transformer encoding layers to categorize health status of agent. We conduct ablation tests to assess the significance of various factors in determining agents' health status in battlefield scenarios. We conduct 3-Fold corss validation and the experimental results demonstrate that our model achieves a prediction accuracy of over 98%. In addition, the performance of our model are compared with that of other models such as convolutional neural network (CNN) and multi layer perceptron (MLP), and the results establish the superiority of our model.

• 한국산학기술학회논문지
• /
• 제17권5호
• /
• pp.146-152
• /
• 2016

본 논문에서는 고정밀 각도 센싱을 요구하는 응용분야에 이용되는 권선형 레졸버의 변압부와 레졸버 파트의 유한요소법 (Finite Element Method, FEM)을 이용한 연동해석을 통해 권선형 레졸버 시스템의 성능을 도출하는 과정을 연구하였다. 외부 인가 전원을 증폭시키는 회전형 변압기부와 증폭된 변압기 출력을 이용하는 레졸버의 회전자 입력부의 연동해석을 통하여 전자기적인 정밀도를 향상시킬 수 있는 권선형 레졸버의 연동해석 모델을 제시하고 출력 신호의 특성을 분석하였다. 회전형 변압기에서 승압된 전압이 레졸버 회전자 권선에 인가될 때 회전자 권선의 임피던스를 고려하여 레졸버 입력 전류를 계산하여야 한다. 따라서 레졸버 회전자 권선부 인터페이스 부분은 회로 모델로 구성하여 변압기의 유한요소 모델, 인터페이스 회로 모델, 레졸버 유한요소 모델을 한 번에 연성해석을 수행하였다. 고정밀 각도 도출을 위해 레졸버 고정자 권선은 32x와 1x의 혼합 권선이 설치되어 있으며 서로간의 자기적인 간섭은 없다. 본 논문에서는 슬롯에 적절한 분포적인 권선법이 제시되어 정현적인 SIN, COS 파형과 이들간의 위상각 $90^{\circ}$를 만족시킬 수 있음을 확인하였다.

• 방송공학회논문지
• /
• 제28권3호
• /
• pp.333-336
• /
• 2023

최근 자연어 처리에서 사용되던 트랜스포머 모델이 이미지 초해상화 분야에서도 적용되면서 좋은 성능을 보여주고 있다. 그러나 이러한 트랜스포머 기반 모델들은 복잡하고 많은 학습 파라미터를 가지고 있어 많은 하드웨어 자원을 요구하기 때문에 작은 모바일 기기에서는 사용하기 어렵다는 단점을 가지고 있다. 따라서 본 논문에서는 트랜스포머 기반 초해상화 모델의 크기를 효과적으로 줄일 수 있는 지식 증류 기법을 제안한다. 실험 결과 트랜스포머 블록의 개수를 줄인 학생 모델에서 제안 기법을 적용해 교사 모델과 비슷한 성능을 내거나 더 높일 수 있음을 확인하였다.

• 말소리와 음성과학
• /
• 제13권3호
• /
• pp.71-78
• /
• 2021

인공신경망에 기반한 대부분의 음성 합성 모델은 고음질의 자연스러운 발화를 생성하기 위해 보코더 모델을 사용한다. 보코더 모델은 멜 스펙트로그램 예측 모델과 결합하여 멜 스펙트로그램을 음성으로 변환한다. 그러나 보코더 모델을 사용할 경우에는 많은 양의 컴퓨터 메모리와 훈련 시간이 필요하며, GPU가 제공되지 않는 실제 서비스 환경에서 음성 합성이 오래 걸린다는 단점이 있다. 기존의 선형 스펙트로그램 예측 모델에서는 보코더 모델을 사용하지 않으므로 이 문제가 발생하지 않지만, 대신에 고품질의 음성을 생성하지 못한다. 본 논문은 뉴럴넷 기반 보코더를 사용하지 않으면서도 양질의 음성을 생성하는 Tacotron 2 & Transformer 기반의 선형 스펙트로그램 예측 모델을 제시한다. 본 모델의 성능과 속도 측정 실험을 진행한 결과, 보코더 기반 모델에 비해 성능과 속도 면에서 조금 더 우세한 점을 보였으며, 따라서 고품질의 음성을 빠른 속도로 생성하는 음성 합성 모델 연구의 발판 역할을 할 것으로 기대한다.

• International Journal of Advanced Culture Technology
• /
• 제9권2호
• /
• pp.86-90
• /
• 2021

Sentiment refers to a person's thoughts, opinions, and feelings toward an object. Sentiment analysis is a process of collecting opinions on a specific target and classifying them according to their emotions, and applies to opinion mining that analyzes product reviews and reviews on the web. Companies and users can grasp the opinions of public opinion and come up with a way to do so. Recently, natural language processing models using the Transformer structure have appeared, and Google's BERT is a representative example. Afterwards, various models came out by remodeling the BERT. Among them, the Facebook AI team unveiled the XLM-R (XLM-RoBERTa), an upgraded XLM model. XLM-R solved the data limitation and the curse of multilinguality by training XLM with 2TB or more refined CC (CommonCrawl), not Wikipedia data. This model showed that the multilingual model has similar performance to the single language model when it is trained by adjusting the size of the model and the data required for training. Therefore, in this paper, we study the improvement of Korean sentiment analysis performed using a pre-trained XLM-R model that solved curse of multilinguality and improved performance.

• 한국정보통신학회논문지
• /
• 제25권7호
• /
• pp.869-876
• /
• 2021

음악 분야에서는 최근 머신러닝을 이용한 다양한 인공지능 작곡 방법이 시도되고 있다. 하지만 이 연구는 대부분 서양음악을 중심으로 이루어져왔고 국악에 관한 연구는 거의 이루어지지 않았다. 특히 연구를 위한 데이터 세트조차 만들어지지 않은 상태여서 연구에 어려움이 많았다. 이에 해당 논문에서는 국악의 데이터 세트를 만들고 그 데이터 세트를 기반으로 하여 세 가지 알고리즘을 이용하여 국악 멜로디를 생성하고 그 결과물을 비교하여 보기로 한다. 언어와 음악의 유사성에 기반한 LSTM, Music Transformer 그리고 Self Attention 3가지 모델들이 선택되었다. 각 3가지 모델을 이용하여 국악 멜로디 생성기를 모델링하고 학습시켜 국악 멜로디를 생성해 내었다. 사용자 평가 결과 Self Attention 방식이 LSTM 방식과 Music transformer 방식에 비해 높은 선호도를 보였다. 데이터 표현 및 훈련데이터는 인공지능 작곡에 있어 매우 중요하다. 이를 위한 기초적인 국악 데이터 세트를 만들고 다양한 알고리즘으로 인공지능 작곡을 시도하였고 이것이 향후 국악 인공지능 작곡의 연구에 도움이 될 수 있을 것으로 기대한다.

• International Journal of Computer Science & Network Security
• /
• 제22권6호
• /
• pp.346-356
• /
• 2022

The jurisprudential legal rules govern the way Muslims react and interact to daily life. This creates a huge stream of questions, that require highly qualified and well-educated individuals, called Muftis. With Muslims representing almost 25% of the planet population, and the scarcity of qualified Muftis, this creates a demand supply problem calling for Automation solutions. This motivates the application of Artificial Intelligence (AI) to solve this problem, which requires a well-designed Question-Answering (QA) system to solve it. In this work, we propose a QA system, based on retrieval augmented generative transformer model for jurisprudential legal question. The main idea in the proposed architecture is the leverage of both state-of-the art transformer models, and the existing knowledge base of legal sources and question-answers. With the sensitivity of the domain in mind, due to its importance in Muslims daily lives, our design balances between exploitation of knowledge bases, and exploration provided by the generative transformer models. We collect a custom data set of 850,000 entries, that includes the question, answer, and category of the question. Our evaluation methodology is based on both quantitative and qualitative methods. We use metrics like BERTScore and METEOR to evaluate the precision and recall of the system. We also provide many qualitative results that show the quality of the generated answers, and how relevant they are to the asked questions.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제11권2호
• /
• pp.81-86
• /
• 2022

시계열 데이터는 주식, IoT, 공장 자동화와 같은 다양한 실생활에서 수집되고 활용되고 있으며, 정확한 시계열 예측은 해당 분야에서 운영 효율성을 높일 수 있어서 전통적으로 중요한 연구 주제이다. 전반적인 시계열 데이터의 향상된 특징을 추출할 수 있는 대표적인 시계열 데이터 분석 방법인 다층 수평 예측은 최근 부가적 정보를 포함하는 시계열 데이터에 내재한 이질성(heterogeneity)까지 포괄적으로 분석에 활용하여 향상된 시계열 예측한다. 하지만 대부분의 심층 학습 기반 시계열 분석 모델들은 시계열 데이터의 이질성을 반영하지 못했다. 따라서 우리는 잘 알려진 temporal fusion transformers 방법을 사용하여 실생활과 밀접한 실제 데이터를 이질성을 고려한 다층 수평 예측에 적용하였다. 결과적으로 주식, 미세먼지, 전기 소비량과 같은 실생활 시계열 데이터에 적용한 방법이 기존 예측 모델보다 향상된 정확도를 가짐을 확인할 수 있었다.

• 대한원격탐사학회지
• /
• 제39권5_3호
• /
• pp.909-919
• /
• 2023

Benthic marine invertebrates, the invertebrates living on the bottom of the ocean, are an essential component of the marine ecosystem, but excessive reproduction of invertebrate grazers or pirate creatures can cause damage to the coastal fishery ecosystem. In this study, we compared and evaluated You Only Look Once Version 7 (YOLOv7), the most widely used deep learning model for real-time object detection, and detection tansformer (DETR), a transformer-based model, using underwater images for benthic marine invertebratesin the coasts of South Korea. YOLOv7 showed a mean average precision at 0.5 (mAP@0.5) of 0.899, and DETR showed an mAP@0.5 of 0.862, which implies that YOLOv7 is more appropriate for object detection of various sizes. This is because YOLOv7 generates the bounding boxes at multiple scales that can help detect small objects. Both models had a processing speed of more than 30 frames persecond (FPS),so it is expected that real-time object detection from the images provided by divers and underwater drones will be possible. The proposed method can be used to prevent and restore damage to coastal fisheries ecosystems, such as rescuing invertebrate grazers and creating sea forests to prevent ocean desertification.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제11권4호
• /
• pp.169-178
• /
• 2022

형태소는 더 이상 분리하면 본래의 의미를 잃어버리는 말의 최소 단위이다. 한국어에서 문장은 공백으로 구분되는 어절(단어)의 조합이다. 형태소 분석은 어절 단위의 문장을 입력 받아서 문맥 정보를 활용하여 형태소 단위로 나누고 각 형태소에 적절한 품사 기호를 부착한 결과를 생성하는 것이다. 한국어 자연어 처리에서 형태소 분석은 가장 핵심적인 태스크다. 형태소 분석의 성능 향상은 한국어 자연어 처리 태스크의 성능 향상에 직결된다. 최근 형태소 분석은 주로 기계 번역 관점에서 연구가 진행되고 있다. 기계 번역은 신경망 모델 등으로 어느 한 도메인의 시퀀스(문장)를 다른 도메인의 시퀀스(문장)로 바꾸는 것이다. 형태소 분석을 기계 번역 관점에서 보면 어절 도메인에 속하는 입력 시퀀스를 형태소 도메인 시퀀스로 변환하는 것이다. 본 논문은 한국어 형태소 분석을 위한 딥러닝 모델을 제안한다. 본 연구에서 사용하는 모델은 기계 번역에서 높은 성능을 기록한 BERT-fused 모델을 기반으로 한다. BERT-fused 모델은 기계 번역에서 대표적인 Transformer 모델과 자연어 처리 분야에 획기적인 성능 향상을 이룬 언어모델인 BERT를 활용한다. 실험 결과 형태소 단위 F1-Score 98.24의 성능을 얻을 수 있었다.