• 제목/요약/키워드: 그래프 기반 언어모델

검색결과 60건 처리시간 0.025초

BERT 모델과 지식 그래프를 활용한 지능형 챗봇 (An Intelligent Chatbot Utilizing BERT Model and Knowledge Graph)

  • 유소엽;정옥란
    • 한국전자거래학회지
    • /
    • 제24권3호
    • /
    • pp.87-98
    • /
    • 2019
  • 인공지능이 활발하게 연구되면서 이미지, 영상, 자연어 처리와 같은 다양한 분야에 적용되고 있다. 특히 자연어 처리 분야는 사람이 말하고 쓰는 언어들을 컴퓨터가 이해할 수 있도록 하기 위한 연구들이 진행되고 있고 인공지능 기술에서 매우 중요한 영역 중 하나로 여겨진다. 자연어 처리에서 컴퓨터에게 사람의 상식을 이해할 수 있도록 학습시키고 사람의 상식을 기반으로 결과를 생성하도록 하는 것은 복잡하지만 중요한 기술이다. 단어들의 관계를 이용해 연결한 지식 그래프는 컴퓨터에게 쉽게 상식을 학습시킬 수 있다는 장점이 있다. 하지만 기존에 고안된 지식 그래프들은 특정 언어나 분야에만 집중해 구성되어 있거나 신조어 등에는 대응하지 못하는 한계점을 갖고 있다. 본 논문에서는 실시간으로 데이터를 수집 및 분석하여 자동으로 확장 가능한 지식 그래프를 구축하고, 이를 기반 데이터로 활용하는 챗봇 시스템을 제안하고자 한다. 특히 자동 확장 그래프에 BERT 기반의 관계 추출 모델을 적용시켜 성능을 향상시키고자 한다. 자동 확장 지식 그래프를 이용해 상식이 학습되어 있는 챗봇을 구축하여 지식 그래프의 활용 가능성과 성능을 검증한다.

Edge-Labeled 그래프 기반의 XML 인스턴스 저장 모델 (A XML Instance Repository Model based on the Edge-Labeled Graph)

  • 김정희;곽호영
    • 인터넷정보학회논문지
    • /
    • 제4권6호
    • /
    • pp.33-42
    • /
    • 2003
  • 본 논문에서는 Edge-Labeled Graph에 기반하여 XML 인스턴스들을 관계형 데이터베이스내에 저장하는 모델을 제안하고 구현한다. 저장 모델은 저장되는 XMI 인스턴스들을 Edge-Labeled Graph에 기반하여 데이터 그래프로 표현하며, 표현한 데이터 그래프상의 정보를 저장하기 위해 데이터베이스 스키마로 제시된 데이터 경로, 요소, 속성, 테이블 인덱스 테이블의 구조에 따라 정의된 값들을 추출하고 Mapper 모듈을 이용하여 저장하며 질의를 지원하기 위해, XPATH를 따르는 질의 언어인 XQL을 SQL로 변환하는 모듈, 또한 저장된 XML 인스턴스를 복원하는 DBtoXML 모듈을 갖도록 하였다. 구현 결과, XML 인스턴스들과 제안한 저장 모델 구조로의 저장 관계가 그래프 기반의 경로를 이용한 표현으로 가능했으며, 동시에, 특정 요소 또는 속성들의 정보들을 쉽게 검색할 수 있는 가능성을 보였다.

  • PDF

Deep Bi-affine Network와 스택 포인터 네트워크를 이용한 한국어 의존 구문 분석 시스템 (Korean Dependency Parsing Using Deep Bi-affine Network and Stack Pointer Network)

  • 안휘진;박찬민;서민영;이재하;손정연;김주애;서정연
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.689-691
    • /
    • 2018
  • 의존 구문 분석은 자연어 이해 영역의 대표적인 과제 중 하나이다. 본 논문에서는 한국어 의존 구분 분석의 성능 향상을 위해 Deep Bi-affine Network 와 스택 포인터 네트워크의 앙상블 모델을 제안한다. Bi-affine 모델은 그래프 기반 방식, 스택 포인터 네트워크의 경우 그래프 기반과 전이 기반의 장점을 모두 사용하는 모델로 서로 다른 모델의 앙상블을 통해 성능 향상을 기대할 수 있다. 두 모델 모두 한국어 어절의 특성을 고려한 자질을 사용하였으며 세종 의존 구문 분석 데이터에 대해 UAS 90.60 / LAS 88.26(Deep Bi-affine Network), UAS 92.17 / LAS 90.08(스택 포인터 네트워크) 성능을 얻었다. 두 모델에 대한 앙상블 기법 적용시 추가적인 성능 향상을 얻을 수 있었다.

  • PDF

질의 어휘와의 근접도를 반영한 단어 그래프 기반 질의 확장 (Query Expansion based on Word Graph using Term Proximity)

  • 장계훈;이경순
    • 정보처리학회논문지B
    • /
    • 제19B권1호
    • /
    • pp.37-42
    • /
    • 2012
  • 잠정적 적합성 피드백모델은 초기 검색 결과의 상위에 순위화된 문서를 적합 문서라 가정하고, 상위문서에서 빈도가 높은 어휘를 확장 질의로 선택한다. 빈도수를 이용한 질의 확장 방법의 단점은 문서 안에서 포함된 어휘들 사이의 근접도에 상관없이 각 어휘를 독립적으로 생각한다는 것이다. 본 논문에서는 어휘빈도를 이용한 질의 확장을 대체할 수 있는 어휘 근접도를 반영한 단어 그래프 기반 질의 확장을 제안한다. 질의 어휘 주변에 발생한 어휘들을 노드로 표현하고, 어휘들 사이의 근접도를 에지의 가중치로 하여 단어 그래프를 표현한다. 반복된 연산을 통해 확장 질의를 선택함으로써 성능을 향상시키는 기법을 제안한다. 유효성 검증을 위해 웹문서 집합인 TREC WT10g 테스트 컬렉션에 대한 실험에서 언어모델 보다 MAP 평가 기준에서 6.4% 향상됨을 보였다.

통계적 결정 그래프 학습 방법을 이용한 한국어 품사 부착 오류 수정 (Korean Part-of-Speech Tagging Error Correction Method Based on Statistical Decision Graph Learning)

  • 류원호;이상주;임해창
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2001년도 제13회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.123-129
    • /
    • 2001
  • 지금까지 한국어 품사 부착을 위해 다양한 모델이 제안되었고 95% 이상의 높은 정확도를 보여주고 있다. 그러나 4-5%의 오류는 실제 응용 분야에서 많은 문제를 야기시킬 수 있다. 이러한 오류를 최소화하기 위해서는 오류를 분석하고 이를 수정할 수 있는 규칙들을 학습하여 재사용하는 방범이 효과적이다. 오류 수정 규칙을 학습하기 위한 기존의 방법들은 수동학습 방법과 자동 학습 방법으로 나눌 수 있다 수동 학습 방법은 많은 비용이 요구되는 단점이 있다. 자동 학습 방법의 경우 모두 변형규칙 기반 접근 방법을 사용하였는데 어휘 정보를 고려할 경우 탐색 공간과 규칙 적용 시간이 매우 크다는 단점이 있다. 따라서 본 논문에서는 초기 모델에 대한 오류 수정 규칙을 효율적으로 학습하기 위한 새로운 방법으로 결정 트리 학습 방법을 확장한 통계적 결정 그래프 학습 방법을 제안한다. 제안된 방법으로 두 가지 실험을 수행하였다. 초기 모델의 정확도가 높고 말뭉치의 크기가 작은 첫 번째 실험의 경우 초기 모델의 정확도 95.48%를 97.37%까지 향상시킬 수 있었다. 초기 모델의 정확도가 낮고 말뭉치 크기가 큰 두 번째 실험의 경우 초기 모델의 정확도 87.22%를 95.59%로 향상시켰다. 또한 실험을 통해 결정 트리 학습 방법에 비해 통계적 결정 그래프 학습 방법이 더욱 효과적임을 알 수 있었다.

  • PDF

XML질의를 위한 정규 경로 표현 구현 기법 (Implementation of Regular Path Expression for XML Query)

  • 박성희;김대중;류근호
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 봄 학술발표논문집 Vol.28 No.1 (B)
    • /
    • pp.100-102
    • /
    • 2001
  • XML과 같은 반 구조 데이터는 일반적으로 방향그래프 기반의 데이터 모델을 가지므로 XML에 대한 질의는 이러한 그래프를 탐색하기 위한 패스 표현을 기반으로 한다. 도한 구조가 정형화되지 않고 빠르게 변하기 때문에 질의시 특정한 패턴을 탐색하기 위해 정규 경로 표현이 이용된다. 그러나 이러한 정규 경로 표현은 실행시에 전체 데이터베이스 그래프를 탐색하므로 실행 비용이 매우 높다는 문제점이 있다. 따라서 이 논문에서는 정규 경로 표현 연산자를 효율적으로 실행하기 위해 데이터 그래프에 대한 경로 인덱스와 SQL의 패턴 매치를 이용한 경로 표현 질의 변환기법을 제시한다. 즉, XML-QL 질의언어에 포함된 정규 패스 표현 연산자를 관계형 데이터베이스를 기반으로 효율적으로 실행할수 있는 질의 변환 기법과 경로 인덱스그래프를 이용하여 처리비용이 높은 순환연산을 처리할 수 있는 기법을 구형하여 성능 평가를 실시한 결과를 보여준다.

  • PDF

Seq2seq 기반 한국어 추상 의미 표상(AMR) 파싱 연구 (A Study for Sequence-to-sequence based Korean Abstract Meaning Representation (AMR) Parsing)

  • ;박혜진;김한샘
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.257-261
    • /
    • 2022
  • 본 연구에서는 한국어 AMR 자동 파싱을 하기 위해 seq2seq 방법론을 적용하였다. Seq2seq 방법론은 AMR 파싱 태스크를 자연어 문장을 바탕으로 선형화된(linearization) 그래프의 문자열을 번역해내는 과정을 거친다. 본고는 Transformer 모델을 파싱 모델로 적용하여 2020년 공개된 한국어 AMR와 자체적으로 구축된 한국어 <어린 왕자> AMR 데이터에서 실험을 진행하였다. 이 연구에서 seq2seq 방법론 기반 한국어 AMR 파싱의 성능은 Smatch F1-Score 0.30으로 나타났다.

  • PDF

트윗 문서에서 의견 바이어스 탐지를 위한 HITS 그래프 기반 핵심 자질 추출 (Target Extraction Based on HITS Graph for Opinion Bias Detection in Twitter)

  • 권아롱;이경순
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2012년도 제24회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.58-61
    • /
    • 2012
  • 본 논문에서는 트위터 사용자들의 의견을 바이어스 탐지 하기 위해, 핵심 자질 추출 방법으로 HITS 그래프를 이용한 방법을 제안한다. 제안하는 핵심 자질 추출 방법은 사람이 직접 추출하지 못하는 자질도 추출할 수 있는 장점을 보였다. 제안한 핵심 자질 추출이 바이어스 탐지에 유효함을 검증하기 위해 4개의 토픽에 대해 평가 했을 때 제안 모델이 기존 모델보다 우수한 성능을 보였다.

  • PDF

한글 문서의 단어 동시 출현 정보에 개선된 TextRank를 적용한 키워드 자동 추출 기법 (Keyword Automatic Extraction Scheme with Enhanced TextRank using Word Co-Occurrence in Korean Document)

  • 송광호;민지홍;김유성
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2016년도 제28회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.62-66
    • /
    • 2016
  • 문서의 의미 기반 처리를 위해서 문서의 내용을 대표하는 키워드를 추출하는 것은 정확성과 효율성 측면에서 매우 중요한 과정이다. 그러나 단일문서로부터 키워드를 추출해 내는 기존의 연구들은 정확도가 낮거나 한정된 분야에 대해서만 검증을 수행하여 결과를 신뢰하기 어려운 문제가 있었다. 따라서 본 연구에서는 정확하면서도 다양한 분야의 텍스트에 적용 가능한 키워드 추출 방법을 제시하고자 단어의 동시출현정보와 그래프 모델을 바탕으로 TextRank 알고리즘을 변형한 새로운 형태의 알고리즘을 동시에 적용하는 키워드 추출 기법을 제안하였다. 제안한 기법을 활용하여 성능평가를 진행한 결과 기존의 연구들보다 향상된 정확도를 얻을 수 있음을 확인하였다.

  • PDF

심볼릭 지식 정보를 결합한 뉴럴기계번역 모델 설계 (Design Neural Machine Translation Model Combining External Symbolic Knowledge)

  • 어수경;박찬준;임희석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.529-534
    • /
    • 2020
  • 인공신경망 기반 기계번역(Neural Machine Translation, NMT)이란 딥러닝(Deep learning)을 이용하여 출발 언어의 문장을 도착 언어 문장으로 번역해주는 시스템을 일컫는다. NMT는 종단간 학습(end-to-end learning)을 이용하여 기존 기계번역 방법론의 성능을 앞지르며 기계번역의 주요 방법론으로 자리잡게 됐다. 이러한 발전에도 불구하고 여전히 개체(entity), 또는 전문 용어(terminological expressions)의 번역은 미해결 과제로 남아있다. 개체나 전문 용어는 대부분 명사로 구성되는데 문장 내 명사는 주체, 객체 등의 역할을 하는 중요한 요소이므로 이들의 정확한 번역이 문장 전체의 번역 성능 향상으로 이어질 수 있다. 따라서 본 논문에서는 지식그래프(Knowledge Graph)를 이용하여 심볼릭 지식을 NMT와 결합한 뉴럴심볼릭 방법론을 제안한다. 또한 지식그래프를 활용하여 NMT의 성능을 높인 선행 연구 방법론을 한영 기계번역에 이용할 수 있도록 구조를 설계한다.

  • PDF