• 제목/요약/키워드: 오픈 도메인

검색결과 68건 처리시간 0.022초

다중클래스 한국어 감성분석에서 클래스 불균형과 손실 스파이크 문제 해결을 위한 기법 (Methods For Resolving Challenges In Multi-class Korean Sentiment Analysis)

  • 박제윤;양기수;박예원;이문기;이상원;임수연;조재훈;임희석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.507-511
    • /
    • 2020
  • 오픈 도메인 대화에서 텍스트에 나타난 태도나 성향과 같은 화자의 주관적인 감정정보를 분석하는 것은 사용자들에게서 풍부한 응답을 이끌어 내고 동시에 제공하는 목적으로 사용될 수 있다. 하지만 한국어 감성분석에서 기존의 대부분의 연구들은 긍정과 부정 두개의 클래스 분류만을 다루고 있고 이는 현실 화자의 감정 정보를 정확하게 분석하기에는 어려움이 있다. 또한 최근에 오픈한 다중클래스로된 한국어 대화 감성분석 데이터셋은 중립 클래스가 전체 데이터셋의 절반을 차지하고 일부 클래스는 사용하기에 매우 적은, 다시 말해 클래스 간의 데이터 불균형 문제가 있어 다루기 굉장히 까다롭다. 이 논문에서 우리는 일곱개의 클래스가 존재하는 한국어 대화에서 세션들을 효율적으로 분류하는 기법들에 대해 논의한다. 우리는 극심한 클래스 불균형에도 불구하고 76.56 micro F1을 기록하였다.

  • PDF

효율적 수치해석을 위한 오픈소스 프로그램 기반 해석 플랫폼 구축 및 사례 연구 (Construction of Open-source Program Platform for Efficient Numerical Analysis and Its Case Study)

  • 박찬희;김태현;박의섭;정용복;방은석
    • 터널과지하공간
    • /
    • 제30권6호
    • /
    • pp.509-518
    • /
    • 2020
  • 본 연구에서는 실제 지질구조를 반영한 실규모 수치해석을 효율적으로 수행하고자 탐사 자료를 바탕으로 한 메쉬 생성, 해석수행, 결과분석을 위한 후처리의 일련의 과정을 포함한 해석 플랫폼을 구축하였다. 해석 플랫폼 구축을 위하여 연구자의 필요에 따른 코드 수정 및 다양한 수치해석 프로그램과 호환이 가능할 수 있도록 소스코드가 공개되어 있는오픈소스 프로그램을 활용하였다. 먼저 드론을 활용하여 촬영한 탐사 정보를 바탕으로 3차원 모델을 획득한 후, 오픈소스 3차원 창작 소프트웨어인 Blender를 활용하여 도메인의 메쉬 밀도를 해석 가능한 수준으로 조정하였다. 다음 단계로는 유한요소 메쉬 생성 프로그램인 Gmsh를 활용하여 도메인 내부에 사면체 기반의 메쉬를 생성하여 3차원 모델을 생성하였다. Gmsh를 통해 획득된 메쉬 정보를 수치해석 프로그램에 활용하기 위해서 메쉬 생성 규약에 적합하도록 변환하는 과정이 필요하며, 이는 Python을 통해 코드를 작성하여 수행하였다. 안정성 해석이 완료된 뒤에는 자료의 후처리 작업을 위해 시각화 및 데이터 분석 프로그램인 ParaView를 활용하여 다양한 시각화 자료를 생성하였다. 구성된 플랫폼의 활용성을 확인하기 위해 드론 탐사자료를 바탕으로 생성한 실규모 독도 모델을 대상으로 예비 안정성 분석을 성공적으로 수행하였으며, 예비해석을 통해 구축된 해석플랫폼이 향후 다양한 해석 과정에 활용될 수 있음을 확인하였다.

Lexico-Semantic Pattern을 이용한 오픈 도메인 질의 응답 시스템 (Open-domain Question Answering Using Lexico-Semantic Patterns)

  • 이승우;정한민;곽병관;김동석;차정원;안주희;이근배;김학수;김경선;서정연
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2001년도 제13회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.538-545
    • /
    • 2001
  • 본 연구에서는 오픈 도메인에서 동작할 수 있는 질의 응답 시스템(Open-domain Question Answer ing System)을 구현하고 영어권 TREC에 참가한 결과를 기술하였다. 정답 유형을 18개의 상위 노드를 갖는 계층구조로 분류하였고, 질문 처리에서는 LSP(Lexico-Semantic Pattern)으로 표현된 문법을 사용하여 질문의 정답 유형을 결정하고, lemma 형태와 WordNet 의미, stem 형태의 3가지 유형의 키워드로 구성된 질의를 생성한다. 이 질의를 바탕으로, 패시지 선택에서는 문서검색 엔진에 의해 검색된 문서들을 문장단위로 나눠 정수를 계산하고, 어휘체인(Lexical Chain)을 고려하여 인접한 문장을 결합하여 패시지를 구성하고 순위를 결정한다. 상위 랭크의 패시지를 대상으로, 정답 처리에서는 질문의 정답 유형에 따라 품사와 어휘, 의미 정보로 기술된 LSP 매칭과 AAO (Abbreviation-Appositive-Definition) 처리를 통해 정답을 추출하고 정수를 계산하여 순위를 결정한다. 구현된 시스템의 성능을 평가하기 위해 TREC10 QA Track의 main task의 질문들 중, 200개의 질문에 대해 TRIC 방식으로 자체 평가를 한 결과, MRR(Mean Reciprocal Rank)은 0.341로 TREC9의 상위 시스템들과 견줄 만한 성능을 보였다.

  • PDF

다중 홉 질문 응답을 위한 쌍 선형 그래프 신경망 기반 추론 (Bilinear Graph Neural Network-Based Reasoning for Multi-Hop Question Answering)

  • 이상의;김인철
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제9권8호
    • /
    • pp.243-250
    • /
    • 2020
  • 지식 그래프 기반의 질문 응답 문제는 자연어 질문들에 대한 깊은 이해뿐만 아니라, 대규모 지식 그래프 상에서 올바른 답변을 찾기 위한 효과적인 추론 능력을 필요로 한다. 본 논문에서는 다중 홉 추론을 요구하는 복잡한 자연어 질문에 대해 연관 지식 그래프 위에서 답변 추론을 효과적으로 수행할 수 있는 심층 신경망 모델을 제안한다. 제안 모델에서는 지식 그래프 상의 각 개체 노드와 이웃 노드 간의 양방향 특징 전파를 허용할뿐만 아니라, 두 이웃 노드 쌍 간의 맥락 정보까지 활용할 수 있는, 표현력이 뛰어난 쌍 선형 그래프 신경망(BGNN)을 이용한다. 본 논문에서는 오픈 도메인의 지식 베이스인 Freebase, 자연어 질문 응답을 위한 벤치마크 데이터 집합들인 WebQuestionsSP와 MetaQA를 이용한 실험들을 통해, 제안 모델의 효과와 우수성을 확인하였다.

AI에 적합한 일반상식 문장의 자동 생성을 위한 정량적, 정성적 연구 (CommonAI: Quantitative and qualitative analysis for automatic-generation of Commonsense Reasoning sentence suitable for AI)

  • 신현규;송영숙
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.153-159
    • /
    • 2022
  • 본 논문에서는 인공지능이 생성하는 일상 대화의 품질 향상을 위해 상식 추론을 정의하고 설문을 통해 정량적, 정성적 분석을 진행하였다. 정량적 평가에서는 주어진 문장이 에게 학습시키기에 적합한가'라는 수용성 판단을 요청한 질문에서 40대 이상의 연령이 20, 30대와 유의미한 차이를 보였다. 정성적 평가에서는 '보편적 사실 여부'를 AI 발화 기준의 주요한 지표로 보았다. 이어서 '챗봇' 대화의 품질에 대한 설문을 실시했다. 이를 통해 일상 대화를 사용한 챗봇의 대화 품질을 높이기 위해서는 먼저, 질문의 요구에 적절한 정보와 공감을 제공해야 하고 두 번째로 공감의 정도가 챗봇의 특성에 맞는 응답이어야 하며 세 번째로 대화의 차례에 따라 담화의 규칙을 지키면서 대화가 진행되어야 한다는 결론을 얻을 수 있었다. 이 세 가지 요건이 통합적으로 적용된 담화 설계를 통해 완전히 인공지능스러운 대화가 가능할 것으로 여겨진다.

  • PDF

한국어 질의 응답에서의 화제성을 고려한 딥러닝 기반 정답 유형 분류기 (Deep learning-based Answer Type Classifier Considering Topicality in Korean Question Answering)

  • 조승우;최동현;김응균
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.103-108
    • /
    • 2019
  • 한국어 질의 응답의 입력 질문에 대한 예상 정답 유형을 단답형 또는 서술형으로 이진 분류하는 방법에 대해 서술한다. 일반적인 개체명 인식으로 확인할 수 없는 질의 주제어의 화제성을 반영하기 위하여, 검색 엔진 쿼리를 빈도수로 분석한다. 분석된 질의 주제어 정보와 함께, 정답의 범위를 제약할 수 있는 속성 표현과 육하원칙 정보를 입력 자질로 사용한다. 기존 신경망 분류 모델과 비교한 실험에서, 추가 자질을 적용한 모델이 4% 정도 향상된 분류 성능을 보이는 것을 확인할 수 있었다.

  • PDF

검색의도에 적합한 스니펫 추출 (Extract Snippets Suitable for Search Intent)

  • 이현구;양윤영;김은별;차우준;노윤영;김은영;최규현;신동욱;박찬훈;강인호
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.241-246
    • /
    • 2021
  • 스니펫 추출은 정보검색에서 주요한 문서 정보를 짧은 문단 형태로 보여주는 것으로 사용자가 검색결과를 좀 더 효율적으로 확인할 수 있게 도와준다. 그러나 기존 스니펫은 어휘가 일치하는 문장을 찾아 보여주기에 검색의도가 반영되기 어렵다. 또한 의미적 정답을 찾기 위해 질의응답 방법론이 응용되고 있지만 오픈 도메인 환경에서 품질이 낮은 문제가 있다. 본 논문은 이러한 문제를 해결하기 위해 스니펫 추출, 의도 부착, 검증 3단계로 스니펫을 추출하여 추출된 스니펫이 질의 의도에 적합하게 추출되도록 하는 방법을 제안한다. 실험 결과 전통적인 스니펫보다 만족도가 높은 것을 보였고, 스니펫 추출만 했을 때보다 의도 부착, 검증을 하였을 때 정확도가 0.3165만큼 향상되는 것을 보였다.

  • PDF

계층적 검색 모델을 이용한 정답 문장 탐색 (Exploring Answer Sentences using Hierarchical Retrieval Models)

  • 최승호;전현규;김지윤;김봉수
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.361-365
    • /
    • 2023
  • 오픈 도메인 질의응답 (ODQA, Open-Domain Question Answering)은 주어진 질문에 대한 답을 찾는 작업으로 일반적으로 질문과 관련 있는 지식을 검색 모델(Retrieval)을 통해 찾는 단계와, 찾은 지식에서 문서의 정답을 독해 모델(Reader)을 이용하여 찾는 단계로 구성되어 있다. 본 논문은 기존의 DPR(Dense Passage Retrieval)을 이용한 복수의 검색 모델(Retrieval)만을 계층적으로 사용하여 독해 모델(Reader)을 사용하지 않고 정답 문장을 찾는 방법과 정답 문장을 찾는 데 특화된 검색 모델 학습을 위한 유효한 성능 향상을 보이는 Hard Negative Sampling 기법을 제안한다. 해당 제안기법을 적용한 결과, 동일 조건에서 학습된 검색 - 독해(Retrieval-Reader) 구조의 베이스라인 모델보다 EM에서 12%, F1에서 10%의 성능 향상을 보였다.

  • PDF

In-Context 검색 증강형 한국어 언어 모델 (In-Context Retrieval-Augmented Korean Language Model)

  • 이성민;이정;서대룡;전동현;강인호;나승훈
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.443-447
    • /
    • 2023
  • 검색 증강형 언어 모델은 입력과 연관된 문서들을 검색하고 텍스트 생성 과정에 통합하여 언어 모델의 생성 능력을 강화한다. 본 논문에서는 사전 학습된 대규모 언어 모델의 추가적인 학습 없이 In-Context 검색 증강으로 한국어 언어 모델의 생성 능력을 강화하고 기존 언어 모델 대비 성능이 증가함을 보인다. 특히 다양한 크기의 사전 학습된 언어 모델을 활용하여 검색 증강 결과를 보여 모든 규모의 사전 학습 모델에서 Perplexity가 크게 개선된 결과를 확인하였다. 또한 오픈 도메인 질의응답(Open-Domain Question Answering) 과업에서도 EM-19, F1-27.8 향상된 결과를 보여 In-Context 검색 증강형 언어 모델의 성능을 입증한다.

  • PDF

발화 내 페르소나 트리플 추출 방법 연구 (A Method for Extracting Persona Triples in Dialogue)

  • 장윤나;양기수;허윤아;임희석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.726-729
    • /
    • 2023
  • 본 논문에서는 대화 중 발화에서 페르소나 트리플을 추출하는 방법을 연구한다. 발화 문장과 그에 해당하는 트리플 쌍을 활용하여 발화 문장 혹은 페르소나 문장이 주어졌을 때 그로부터 페르소나 트리플을 추출하도록 모델을 멀티 태스크 러닝 방식으로 학습시킨다. 모델은 인코더-디코더 구조를 갖는 사전학습 언어모델 BART [1]와 T5 [2]를 활용하며 relation 추출과 tail 추출의 두 가지 태스크를 각각 인코더, 디코더 위에 head를 추가하여 학습한다. Relation 추출은 분류로, tail 추출은 생성 문제로 접근하도록 하여 최종적으로 head, relation, tail의 구조를 갖는 페르소나 트리플을 추출하도록 한다. 실험에서는 BART와 T5를 활용하여 각 태스크에 대해 다른 학습 가중치를 두어 훈련시켰고, 두 모델 모두 relation과 tail을 추출하는 태스크 정확도에 있어서 90% 이상의 높은 점수를 보임을 확인했다.

  • PDF