• Annual Conference of KIPS
• /
• 2020.05a
• /
• pp.563-566
• /
• 2020

지식 그래프 기반의 질문 응답 문제는 자연어 질문에 대한 이해뿐만 아니라, 기반이 되는 지식 그래프상에서 올바른 답변을 찾기 위한 효과적인 추론 능력을 요구한다. 본 논문에서는 다중 홉 추론을 요구하는 복잡한 자연어 질문에 대해 연관 지식 그래프 위에서 답변 추론을 효과적으로 수행할 수 있는 심층 신경망 모델을 제안한다. 제안 모델에서는 지식 그래프상의 추론 과정에서 추른 경로를 명확히 하기 위한 노드의 양방향 특정 전파와 이웃 노드들 간의 맥락 정보까지 각 노드의 특정값에 반영할 수 있는, 표현력이 풍부한 쌍 선형 그래프 신경망 (BGNN)을 이용한다. 본 논문에서는 오픈 도메인의 지식 베이스 Freebase와 자연어 질문 응답 데이터 집합 WebQuestionsSP를 이용한 실험들을 통해, 제안 모델의 효과와 우수성을 확인하였다.

• Journal of Intelligence and Information Systems
• /
• v.5 no.1
• /
• pp.49-64
• /
• 1999

본 연구는 백화점 고객이 신용 카드 신청 요구 시에 작성되는 가입 정보 및 사용되고 있는 고객의 거래 정보는 카드 사용 패턴으로 신용도를 예측하는 여러 방법론을 제시하고 성능을 비교하였다. 가입 정보를 분석하기 위해 역전파 신경망(Back-Propagation Neural Network, BPNN), 사례기반추론(Case-Based reasoning)을, 거래 정보를 분석하기 위해 역전파 신경망과 더불어 시간지연 신경망(Time-Delayed Neural Network, TDNN)을 각각 사용하여 그 결과를 비교하였다. 또한 전체시스템의 적중률을 높이기 위햐여, ID3와 신경망을 이용한 Meta-Leaning 방법을 제시하였으며, Meta-Learning 방법과 다른 방법들을 비교, 분석을 하였다. 본 연구에서는 모형 수립과 검증을 위하여 T백화점의 실제 신용 카드 가입 고객 데이터를 이용하여 실험하였다. 데이터의 성격에 따라 각 모델의 예측력에는 차이가 나타났으나, 신경망 모형의 예측력이 우수하였으며, 시간적 특성을 고려하는 시간지연 신경회로망 모형의 예측력은 더욱 우수하게 나타났다. 또한 Meta-Learning 모형을 사용하면 예측력이 더 높아진다는 것을 확인할 수 있었다.

• Annual Conference of KIPS
• /
• 2019.10a
• /
• pp.898-900
• /
• 2019

SPARQL(SPARQL Protocol and RDF Query Language)은 지식 베이스를 위한 표준 시맨틱 질의 언어이다. 최근 인공지능 분야에서 지식 베이스는 질의 응답 시스템, 시맨틱 검색 등 그 활용성이 커지고 있다. 그러나 SPARQL 과 같은 질의 언어를 사용하기 위해서는 질의 언어의 문법을 이해하기 때문에, 일반 사용자의 경우에는 그 활용성이 제한될 수밖에 없다. 이에 본 논문은 신경망 기반 기계 번역 기술을 활용하여 자연어 질의로부터 SPARQL 을 생성하는 방법을 제안한다. 우리는 제안하는 방법을 대규모 공개 지식 베이스인 Wikidata 를 사용해 검증하였다. 우리는 실험에서 사용할 Wikidata 에 존재하는 영화 지식을 묻는 자연어 질의-SPARQL 질의 쌍 20,000 건을 생성하였고, 여러 sequence-to-sequence 모델을 비교한 실험에서 합성곱 신경망 기반의 모델이 BLEU 96.8%의 가장 좋은 결과를 얻음을 보였다.

• Journal of the Institute of Electronics Engineers of Korea CI
• /
• v.38 no.6
• /
• pp.18-25
• /
• 2001

KBANN (knowledge-based artificial neural network) combining the analytical learning and the inductive learning has been shown to be more effective than other machine learning models. However KBANN doesn't have the theory refinement ability because the topology of network can't be altered dynamically. Although TopGen was proposed to extend the ability of KABNN in this respect, it also had some defects. The algorithms which could solve this TopGen's defects, enabling the refinement of theory, by extending KBANN, are designed.

• Annual Conference on Human and Language Technology
• /
• 2018.10a
• /
• pp.425-429
• /
• 2018

지식 그래프는 많은 수의 개채와 이들 사이의 관계를 저장하고 있기 때문에 많은 연구에서 중요한 자원으로 활용된다. 최근에는 챗봇과 질의응답과 같은 연구에서 자연어 생성을 위한 연구에 활용되고 있다. 특히 자연어 생성에서 최근 발전 된 심층 신경망이 사용되고 있는데, 이러한 방식은 모델 학습을 위한 많은 양의 데이터가 필요하다. 즉, 심층신경망을 기반으로 지식 그래프에서 문장을 생성하기 위해서는 많은 트리플과 문장 쌍 데이터가 필요하지만 학습을 위해 사용하기엔 데이터가 부족하다는 문제가 있다. 따라서 본 논문에서는 데이터 부족 문제를 해결하기 위해 핵심어 시퀀스를 추출하여 학습하는 방법을 제안하고, 학습된 모델을 통해 트리플을 입력으로 하여 자연어 문장을 생성한다. 부족한 트리플과 문장 쌍 데이터를 대체하기 위해 핵심어 시퀀스를 추출하는 모듈을 사용해 핵심어 시퀀스와 문장 쌍 데이터를 생성하였고, 순환 신경망 기반의 인코더 - 디코더 모델을 사용해 자연어 문장을 생성하였다. 실험 결과, 핵심어 시퀀스와 문장 쌍 데이터를 이용해 학습된 모델을 이용해 트리플에서 자연어 문장 생성이 원활히 가능하며, 부족한 트리플과 문장 쌍 데이터를 대체하는데 효과적임을 밝혔다.

• Annual Conference on Human and Language Technology
• /
• 2019.10a
• /
• pp.170-172
• /
• 2019

개체명 연결이란 주어진 문장에 출현한 단어를 위키피디아와 같은 지식 기반 상의 하나의 개체에 연결하는 것을 의미한다. 문장에 나타나는 개체들은 주로 동일한 주제를 가지게 되는데 본 논문에서는 이러한 특징을 활용하기 위해서 개체들을 그래프상의 노드로 표현하고, 그래프 신경망을 이용하여 주변 노드의 정보를 통해 노드 표상을 업데이트한다. 한국어 위키피디아 링크 데이터를 사용하여 실험을 진행한 결과 개발 셋에서 82.09%, 평가 셋에서 81.87%의 성능을 보였다.

• Proceedings of the Korea Inteligent Information System Society Conference
• /
• 1999.10a
• /
• pp.375-382
• /
• 1999

본 연구는 데이터마이닝 기법과 전문가 지식을 활용한 옵션가격 결정모형을 제시하는데 목적이 있다. 첫째, 데이터마이닝 기법 주의 하나인 인공신경망 기법을 활용하여 변동성과 옵션가격을 추정하고, 이를 전통적인 재무이론의 결과와 비교하였다. 인공신경망으로 추정된 변동성은 기존의 모형에 비해 개선된 성과를 보였으며, 가격결정모형은 대등한 성과를 보였다. 또한 모수적 기법과 비모수적 기법의 통합을 통해 성과의 개선을 가져올 수 있음을 보였다. 둘째, 시장 참여자들의 정보를 반영하여 옵션의 이론적 가격결정모형의 성과를 개선할 수 있는 사례기반추론시스템을 제안하였다.

• Journal of KIISE:Software and Applications
• /
• v.29 no.5
• /
• pp.289-294
• /
• 2002

It is known that restructuring feed-forward neural network affects generalization capability and efficiency of the network. In this paper, we introduce a new approach to restructure a neural network using abstraction of the hidden knowledge that the network has teamed. This method involves extracting local rules from non-input nodes and aggregation of the rules into global rule base. The extracted local rules are used for pruning unnecessary connections of local nodes and the aggregation eliminates any possible redundancies arid inconsistencies among local rule-based structures. Final network is generated by the global rule-based structure. Complexity of the final network is much reduced, compared to a fully-connected neural network and generalization capability is improved. Empirical results are also shown.

• KIPS Transactions on Software and Data Engineering
• /
• v.9 no.3
• /
• pp.91-100
• /
• 2020

Unlike the existing Visual Question Answering(VQA) problems, the new Visual Commonsense Reasoning(VCR) problems require deep common sense reasoning for answering questions: recognizing specific relationship between two objects in the image, presenting the rationale of the answer. In this paper, we propose a novel deep neural network model, KG_VCR, for VCR problems. In addition to make use of visual relations and contextual information between objects extracted from input data (images, natural language questions, and response lists), the KG_VCR also utilizes commonsense knowledge embedding extracted from an external knowledge base called ConceptNet. Specifically the proposed model employs a Graph Convolutional Neural Network(GCN) module to obtain commonsense knowledge embedding from the retrieved ConceptNet knowledge graph. By conducting a series of experiments with the VCR benchmark dataset, we show that the proposed KG_VCR model outperforms both the state of the art(SOTA) VQA model and the R2C VCR model.

• Proceedings of the Korean Information Science Society Conference
• /
• 2005.07b
• /
• pp.247-249
• /
• 2005

Cleavage Site 분석 및 예측은 바이러스 증식에 필요한 핵심 단백질인 Protease$(3CL^{pro})$를 예측하게 하고, 예측한 Protease의 활성을 억제함으로써 바이러스 중식을 저지하게 된다. 본 연구에서는 신경망과 결정트리, 유전자 알고리즘을 이용하여 SARS-CoV의 cleavage site를 분석하고, 학습 결과에서 추출된 규칙(Rule)에 의해 cleavage site를 예측한다. 또한 신경망에서 학습된 지식(Knowledge)을 이용하여 유전자 알고리즘의 성능을 향상시키는 지식기반 유전자 알고리즘 (KBGA: Knowledge-Based Genetic Algorithm)을 제안한다.