• Electronics and Telecommunications Trends
• /
• v.36 no.3
• /
• pp.106-118
• /
• 2021

The field of brain science (or neuroscience in a broader sense) has inspired researchers in artificial intelligence (AI) for a long time. The outcomes of neuroscience such as Hebb's rule had profound effects on the early AI models, and the models have developed to become the current state-of-the-art artificial neural networks. However, the recent progress in AI led by deep learning architectures is mainly due to elaborate mathematical methods and the rapid growth of computing power rather than neuroscientific inspiration. Meanwhile, major limitations such as opacity, lack of common sense, narrowness, and brittleness have not been thoroughly resolved. To address those problems, many AI researchers turn their attention to neuroscience to get insights and inspirations again. Biologically plausible neural networks, spiking neural networks, and connectome-based networks exemplify such neuroscience-inspired approaches. In addition, the more recent field of brain network analysis is unveiling complex brain mechanisms by handling the brain as dynamic graph models. We argue that the progress toward the human-level AI, which is the goal of AI, can be accelerated by leveraging the novel findings of the human brain network.

• Journal of Internet Computing and Services
• /
• v.24 no.6
• /
• pp.1-11
• /
• 2023

Federated learning (FL) is a ground breaking machine learning paradigm that allow smultiple participants to collaboratively train models in a cloud environment, all while maintaining the privacy of their raw data. This approach is in valuable in applications involving sensitive or geographically distributed data. However, one of the challenges in FL is dealing with heterogeneous and non-independent and identically distributed (non-IID) data across participants, which can result in suboptimal model performance compared to traditionalmachine learning methods. To tackle this, we introduce FedGCD, a novel FL algorithm that employs Graph Neural Network (GNN)-based community detection to enhance model convergence in federated settings. In our experiments, FedGCD consistently outperformed existing FL algorithms in various scenarios: for instance, in a non-IID environment, it achieved an accuracy of 0.9113, a precision of 0.8798,and an F1-Score of 0.8972. In a semi-IID setting, it demonstrated the highest accuracy at 0.9315 and an impressive F1-Score of 0.9312. We also introduce a new metric, nonIIDness, to quantitatively measure the degree of data heterogeneity. Our results indicate that FedGCD not only addresses the challenges of data heterogeneity and non-IIDness but also sets new benchmarks for FL algorithms. The community detection approach adopted in FedGCD has broader implications, suggesting that it could be adapted for other distributed machine learning scenarios, thereby improving model performance and convergence across a range of applications.

• Journal of KIISE:Software and Applications
• /
• v.35 no.9
• /
• pp.572-587
• /
• 2008

The Self-organizing Feature Map(SOFM) that is one of unsupervised neural networks is a very powerful tool for data clustering and visualization in high-dimensional data sets. Although the SOFM has been applied in many engineering problems, it needs to cluster similar weights into one class on the trained SOFM as a post-processing, which is manually performed in many cases. The traditional clustering algorithms, such as t-means, on the trained SOFM however do not yield satisfactory results, especially when clusters have arbitrary shapes. This paper proposes automatic clustering on trained SOFM, which can deal with arbitrary cluster shapes and be globally optimized by graph cuts. When using the graph cuts, the graph must have two additional vertices, called terminals, and weights between the terminals and vertices of the graph are generally set based on data manually obtained by users. The Proposed method automatically sets the weights based on mode-seeking on a distance matrix. Experimental results demonstrated the effectiveness of the proposed method in texture segmentation. In the experimental results, the proposed method improved precision rates compared with previous traditional clustering algorithm, as the method can deal with arbitrary cluster shapes based on the graph-theoretic clustering.

• The Transactions of the Korea Information Processing Society
• /
• v.6 no.4
• /
• pp.1120-1128
• /
• 1999

The model-based object recognition is defined as a graph matching process between model images and an input image. In this paper, a graph matching problem is modeled as a n optimization problems and a genetic algorithm is proposed to solve the problems. For this work, fitness function, data structured and genetic operators are developed The simulation results are shown that the proposed genetic algorithm can match feature points between model image and input image for recognition of partially occluded two-dimensional objects. The performance fo the proposed technique is compare with that of a neural network technique.

• Annual Conference of KIPS
• /
• 2020.05a
• /
• pp.555-558
• /
• 2020

본 논문에서는 입력 영상에 담긴 다양한 물체들과 그들 간의 관계를 효과적으로 탐지하여, 하나의 장면 그래프로 표현해내는 새로운 심층 신경망 모델을 제안한다. 제안 모델에서는 물체와 관계의 효과적인 탐지를 위해, 합성 곱 신경망 기반의 시각 맥락 특징들뿐만 아니라 언어 맥락 특징들을 포함하는 다양한 멀티 모달 맥락 정보들을 활용한다. 또한, 제안 모델에서는 관계를 맺는 두 물체 간의 상호 의존성이 그래프 노드 특징값들에 충분히 반영되도록, 그래프 신경망을 이용해 맥락 정보를 임베딩한다. 본 논문에서는 Visual Genome 벤치마크 데이터 집합을 이용한 비교 실험들을 통해, 제안 모델의 효과와 성능을 입증한다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.20-23
• /
• 2020

개체 연결이란 문서에서 등장한 멘션(Mention)들을 지식 기반(Knowledge Base)상의 하나의 개체에 연결하는 문제를 말한다. 개체 연결은 개체를 찾는 멘션 탐지(mention detection)과정과 인식된 멘션에 대해 중의성을 해결하여 하나의 개체를 찾는 개체 중의성 해결(Entity disambiguation)과정으로 구성된다. 본 논문에서는 개체 정보를 강화하기 위해 wikipedia2vec정보를 결합하여 Entity 정보를 강화하고 문장 내에 모든 개체 정보를 활용하기 위해 집합적 개체를 정의하고 그래프 구조를 표현하기 위해 GNN을 활용하여 기존보다 높은 성능을 이끌어내었다.

• Annual Conference of KIPS
• /
• 2021.11a
• /
• pp.480-482
• /
• 2021

최근 다수의 문서를 고려해야하는 다중홉(multi-hop) 추론과 같은 복잡한 문제를 해결하기 위해 계층적 그래프 신경망기반 질의응답 시스템이 제안되었다. 계층적 그래프 신경망 기반 질의응답 시스템은 사람의 정확도를 뛰어넘었으나 제한된 문서를 통해 추론을 진행하기 때문에 문서에 충분한 정보가 없을 경우 추론에 실패할 가능성이 존재한다. 따라서 본 논문에서는 위 문제를 해결하기 위해 정보를 재탐색하고 기존의 그래프 정보와 병합하여 기존의 정보와 새로운 정보를 고려하여 재추론 할 수 있는 그래프 병합 기법을 제안한다. 제안하는 그래프 병합 기법은 사전에 정의된 규칙에 의해 수행되며 노드의 병합 및 연결을 통해 새로운 그래프를 도출한다. 새로운 그래프는 그래프 신경망을 통해 추론을 진행하여 기존 정보와 새로운 정보를 고려한 정답을 도출할 수 있다.

• Annual Conference of KIPS
• /
• 2022.05a
• /
• pp.670-673
• /
• 2022

설명가능한 인공지능은 딥러닝과 같은 복잡한 모델에서 어떠한 원리로 해당 결과를 도출해냈는지에 대한 설명을 함으로써 구축된 모델을 이해할 수 있도록 설명하는 기술이다. 최근 여러 분야에서 그래프 형태의 데이터들이 생성되고 있으며, 이들에 대한 분류를 위해 다양한 그래프 신경망들이 사용되고 있다. 본 논문에서는 대표적인 그래프 신경망인 그래프 합성곱 신경망(graph convolutional network, GCN)에 대한 설명 기법을 제안한다. 제안 기법은 주어진 그래프의 각 노드를 GCN을 사용하여 분류했을 때, 각 노드의 어떤 특징들이 분류에 가장 큰 영향을 미쳤는지를 수치로 알려준다. 제안 기법은 최종 분류 결과에 영향을 미친 요소들을 gradient를 통해 단계적으로 추적함으로써 각 노드의 어떤 특징들이 분류에 중요한 역할을 했는지 파악한다. 가상 데이터를 통한 실험을 통해 제안 방법은 분류에 가장 큰 영향을 주는 노드들의 특징들을 실제로 정확히 찾아냄을 확인하였다.

• Annual Conference of KIPS
• /
• 2023.11a
• /
• pp.1226-1227
• /
• 2023

최근 그래프 기반 분석에 대한 연구가 활발히 진행되면서 이를 정보 보안 분야에 적용하려는 시도가 이루어지고 있다. 특히 GNN(Graph Neural Network)은 복잡한 네트워크 데이터를 모델링하고 관계를 분석하는 데 효과적이며, 악성 코드 탐지 등 사이버 공격에 대한 대응 능력을 향상시키는 데 활용할 수 있다. 하지만 GNN을 사용하기 위해서는 그래프의 노드가 될 IOC(Indicator of Compromise) 데이터가 필요하다. 본 논문에서는 IOC Extractor 중 하나인 Cyobstract를 통하여 위협 보고서로부터 IOC를 추출하는 방법과 이를 활용하여 그래프를 구축하고 분석할 방향을 제시한다.

• Annual Conference of KIPS
• /
• 2023.11a
• /
• pp.16-18
• /
• 2023

본 연구는 궤적 데이터(trajectory data)를 대상으로 증강 그래프 기반의 그래프 뉴럴 네트워크를 활용하여 다음에 방문한 장소를 추천하는 모델을 제안한다. 제안 모델은 전체 궤적 데이터를 그래프로 표현하여 추출한 글로벌 궤적 플로우의 특성을 다음 방문할 POI 추천에 활용한다. 이때, POI 추천시 자주 발생하는 두 가지 문제를 추가로 해결함으로써 POI 추천의 정확도를 높이는 것을 목표로 한다. 첫 번째 문제는 추천 대상 궤적 데이터의 길이가 짧은 경우에 성능 저하가 발생한다는 것이다. 두 번째 문제는 콜드-스타트 문제이다. 기존 POI 추천 모델은 매우 적은 방문 기록만 가지는 사용자 또는 POI에 대해서는 매우 낮은 예측 성능을 보인다. 본 연구에서는 궤적 그래프에서 일부 엣지를 삭제하여 생성한 증강 그래프 기반의 궤적 플로우 특징 기반 모델을 제안함으로써 짧은 길이의 궤적 데이터 및 콜드-스타트 사용자/POI에 대한 추천 성능을 높인다.