• Title/Summary/Keyword: 의미 유사도

Search Result 1,910, Processing Time 0.026 seconds

A Similarity-based Dialogue Modeling with Case Frame and Word Embedding (격틀과 워드 임베딩을 활용한 유사도 기반 대화 모델링)

  • Lee, Hokyung;Bae, Kyoungman;Ko, Youngjoong
    • 한국어정보학회:학술대회논문집
    • /
    • 2016.10a
    • /
    • pp.220-225
    • /
    • 2016
  • 본 논문에서는 격틀과 워드 임베딩을 활용한 유사도 기반 대화 모델링을 제안한다. 기존의 유사도 기반 대화 모델링 방법은 형태소, 형태소 표지, 개체명, 토픽 자질, 핵심단어 등을 대화 말뭉치에서 추출하여 BOW(Bag Of Words) 자질로 사용하였기 때문에 입력된 사용자 발화에 포함된 단어들의 주어, 목적어와 같은 문장성분들의 위치적 역할을 반영할 수 가 없다. 또한, 의미적으로 유사하지만 다른 형태소를 가지는 문장 성분들의 경우 유사도 계산에 반영되지 않는 형태소 불일치 문제가 존재한다. 이러한 문제점을 해결하기 위해서, 위치적 정보를 반영하기 위한 문장성분 기반의 격틀과 형태소 불일치 문제를 해결하기 위한 워드 임베딩을 활용하여 개선된 유사도 기반 대화 모델링을 제안한다. 개선된 유사도 기반 대화 모델링은 MRR 성능 약 92%의 성능을 나타낸다.

  • PDF

A Similarity-based Dialogue Modeling with Case Frame and Word Embedding (격틀과 워드 임베딩을 활용한 유사도 기반 대화 모델링)

  • Lee, Hokyung;Bae, Kyoungman;Ko, Youngjoong
    • Annual Conference on Human and Language Technology
    • /
    • 2016.10a
    • /
    • pp.220-225
    • /
    • 2016
  • 본 논문에서는 격틀과 워드 임베딩을 활용한 유사도 기반 대화 모델링을 제안한다. 기존의 유사도 기반 대화 모델링 방법은 형태소, 형태소 표지, 개체명, 토픽 자질, 핵심단어 등을 대화 말뭉치에서 추출하여 BOW(Bag Of Words) 자질로 사용하였기 때문에 입력된 사용자 발화에 포함된 단어들의 주어, 목적어와 같은 문장성분들의 위치적 역할을 반영할 수 가 없다. 또한, 의미적으로 유사하지만 다른 형태소를 가지는 문장 성분들의 경우 유사도 계산에 반영되지 않는 형태소 불일치 문제가 존재한다. 이러한 문제점을 해결하기 위해서, 위치적 정보를 반영하기 위한 문장성분 기반의 격틀과 형태소 불일치 문제를 해결하기 위한 워드임베딩을 활용하여 개선된 유사도 기반 대화 모델링을 제안한다. 개선된 유사도 기반 대화 모델링은 MRR 성능 약 92%의 성능을 나타낸다.

  • PDF

Measuring Similarity of Korean Sentences based on BERT (BERT 기반 한국어 문장의 유사도 측정 방법)

  • Hyeon, Jonghwan;Choi, Ho-Jin
    • Annual Conference on Human and Language Technology
    • /
    • 2019.10a
    • /
    • pp.383-387
    • /
    • 2019
  • 자연어 문장의 자동 평가는 생성된 문장과 정답 문장을 자동으로 비교 및 평가하여, 두 문장 사이의 의미 유사도를 측정하는 기술이다. 이러한 자연어 문장 자동 평가는 기계 번역, 자연어 요약, 패러프레이징 등의 분야에서 자연어 생성 모델의 성능을 평가하는데 활용될 수 있다. 기존 자연어 문장의 유사도 측정 방법은 n-gram 기반의 문자열 비교를 수행하여 유사도를 산출한다. 이러한 방식은 계산 과정이 매우 간단하지만, 자연어의 다양한 특성을 반영할 수 없다. 본 논문에서는 BERT를 활용한 한국어 문장의 유사도 측정 방법을 제안하며, 이를 위해 ETRI에서 한국어 말뭉치를 대상으로 사전 학습하여 공개한 어절 단위의 KorBERT를 활용한다. 그 결과, 기존 자연어 문장의 유사도 평가 방법과 비교했을 때, 약 13%의 성능 향상을 확인할 수 있었다.

  • PDF

A Study on the Degree of Signature Similarity between Domain Model and Object Candidate Groups (영역 모델과 객체후보군의 유사도 측정에 관한 연구)

  • 박성옥;노경주;이문근
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1999.10a
    • /
    • pp.522-524
    • /
    • 1999
  • 절차지향 소프트웨어를 객체지향 소프트웨어로 변환하는 여러 가지 방법이 존재한다. 프로그램을 변환하기 위하여 일반적으로 함수, 변수와 자료형들 간의 관계를 이용한다. 이들간의 관계성을 이용하면 결과로서 객체 후보가 생성된다. 생성된 객체 후보와 영역 전문가에 의하여 생성된 영역 모델을 비교하여 두 모델간의 유사성을 측정하여야 한다. 본 논문에서는 클래스의 시그너처(클래스 이름, 속성의 이름, 속성의 자료형, 메소드 이름, 메소드의 리턴형, 메소드 파라미터의 자료형)을 이용하여 클래스와 객체 후보의 유사도를 측정하고, 측정된 유사도의 평균값을 이용하여 객체 후보군의 유사도를 측정한다. 기존의 연구 방법과는 다르게 n개의 클래스와 m개의 객체 후보사이의 구문적 측면의 유사도 측정뿐만이 아니라 의미적 측면의 유사도를 측정하는 방법을 제시하여 최적합 객체 후보군을 추출하도록 하였다.

  • PDF

Computing Similarity between Montages and Facial Photos (몽타주와 얼굴사진의 유사도 산출)

  • Choi, Chang-Seok;Lee, Seong-Ju
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2006.10b
    • /
    • pp.453-458
    • /
    • 2006
  • 본 연구에서는 몽타주와 얼굴사진의 유사도를 산출하여, 유사도에 따라 얼굴사진의 순위를 정하는 방법을 제안한다. 먼저, 얼굴부위를 눈썹, 눈, 코, 입, 이마 등 27개로 나누고, 부위별 특징은 196개로 분류한다. 눈 부위의 특징을 예로 들면, 쌍꺼풀, 외꺼풀, 큰 눈, 작은 눈, 동그란 눈, 긴 눈, 처진 눈, 치켜 올라간 눈 등으로 분류할 수 있다. 나아가서, 200명의 얼굴사진 각각에 대해 특징을 분류하여, DB로 구축한다. 임의의 얼굴에 대해 몽타주를 작성하고, 몽타주에 대한 특징을 선택하여, DB의 얼굴 사진과 유사도를 산출하여, 순위를 정한다. 10명의 얼굴에 대해 몽타주를 작성하고, DB의 얼굴사진을 유사도에 따라 순위를 정한 결과, 1위 $\sim$ 6위 사이에 동일인물이 검색되었으며, 평균은 1.9위이었다. 이 결과는 몽타주를 작성하여 200매 얼굴의 유사도 순위를 정하면, 평균적으로는 2위에서, 적어도 6위 이내에서 동일 얼굴을 검색할 수 있다는 의미이다. 몽타주를 이용한 수사는 몽타주를 배포하여 시민의 신고에 의존하는 수동적인 방법을 사용하고 있으나, 이 방법을 이용하면, 용의자를 압축하여 검거하는 능동적인 수사가 가능하다.

  • PDF

A Sequence Similarity Measure Considering the Product Taxonomy in Transaction Data (구매이력 데이터에서 상품 분류 체계를 고려한 시퀀스 유사도 측정 기법)

  • Yang, Yu-Jeong;Lee, Ki Yong
    • Annual Conference of KIPS
    • /
    • 2019.05a
    • /
    • pp.367-370
    • /
    • 2019
  • 본 논문은 구매이력 데이터에서 상품간의 분류 체계를 고려하여 시퀀스 간의 유사도를 계산하는 새로운 방법을 제안한다. 시퀀스란 두 항목간의 순서가 존재하는 데이터를 의미한다. 항목 간의 선후관계가 중요한 시퀀스 데이터에서는 두 시퀀스 간의 유사도를 정확히 정의하는 것이 중요하다. 본 논문에서는 대표적인 시퀀스 유사도 측정 알고리즘인 편집 거리 알고리즘을 활용하여 구매이력 데이터에서 시퀀스 간의 유사도를 정의한다. 상품은 상품의 특성에 따라 항목 분류 체계에서 여러 범주로 분류된다. 이 경우 기존의 편집 거리 알고리즘에서 문자의 일치유무에 따라 단순히 0 또는 1을 부여하는 것은 부정확하다. 따라서 본 논문은 편집 거리 알고리즘의 수정 연산 중 대체 연산 비용 계산 시 항목 분류 트리를 사용하여 연산 비용이 0 에서 1 사이의 값을 가지도록 세분화하였다. 실험 결과 제안 방법은 대체 연산 비용 계산 시 두 문자가 다르면 단순히 1 을 부여하는 기존의 편집 거리 알고리즘에 비해 시퀀스 간의 유사도를 더 정확하게 계산함을 확인하였다.

XML Document Analysis based on Similarity (유사성 기반 XML 문서 분석 기법)

  • Lee, Jung-Won;Lee, Ki-Ho
    • Journal of KIISE:Software and Applications
    • /
    • v.29 no.6
    • /
    • pp.367-376
    • /
    • 2002
  • XML allows users to define elements using arbitrary words and organize them in a nested structure. These features of XML offer both challenges and opportunities in information retrieval and document management. In this paper, we propose a new methodology for computing similarity considering XML semantics - meanings of the elements and nested structures of XML documents. We generate extended-element vectors, using thesaurus, to normalize synonyms, compound words, and abbreviations and build similarity matrix using them. And then we compute similarity between XML elements. We also discover and minimize XML structure using automata(NFA(Nondeterministic Finite Automata) and DFA(Deterministic Finite automata). We compute similarity between XML structures using similarity matrix between elements and minimized XML structures. Our methodology considering XML semantics shows 100% accuracy in identifying the category of real documents from on-line bookstore.

Similarity Model Analysis and Implementation for Enzyme Reaction Prediction (효소 반응 예측을 위한 유사도 모델 분석 및 구현)

  • Oh, Joo-Seong;Na, Do-Kyun;Park, Chun-Goo;Ceong, Hyi-Thaek
    • The Journal of the Korea institute of electronic communication sciences
    • /
    • v.13 no.3
    • /
    • pp.579-586
    • /
    • 2018
  • With the beginning of the new era of bigdata, information extraction or prediction are an important research area. Here, we present the acquisition of semi-automatically curated large-scale biological database and the prediction of enzyme reaction annotation for analyzing the pharmacological activities of drugs. Because the xenobiotic metabolism of pharmaceutical drugs by cellular enzymes is an important aspect of pharmacology and medicine. In this study, we apply and analyze similarity models to predict bimolecular reactions between human enzymes and their corresponding substrates. Thirteen models select to reflect the characteristics of each cluster in the similarity model. These models compare based on sensitivity and AUC. Among the evaluation models, the Simpson coefficient model showed the best performance in predicting the reactivity between the enzymes. The whole similarity model implement as a web service. The proposed model can respond dynamically to the addition of reaction information, which will contribute to the shortening of new drug development time and cost reduction.