• 제목/요약/키워드: 텍스트 기반 유사도

검색결과 194건 처리시간 0.023초

Predicate Logic Form을 이용한 자연어 텍스트로부터의 감정인식 (Emotion Recognition from Natural Language Text Using Predicate Logic Form)

  • 설용수;김동주;김한우;박정기
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2010년도 제42차 하계학술발표논문집 18권2호
    • /
    • pp.411-412
    • /
    • 2010
  • 전통적으로 자연어 텍스트로부터의 감정인식 연구는 감정 키워드에 기반한다. 그러나 감정 키워드만을 이용하면 자연어 문장이 원래 갖고 있는 통사정보나 의미정보는 잃어버리게 된다. 이를 극복하기 위해 본 논문에서는 자연어 텍스트를 Predicate Logic 형태로 변환하여 감정 정보처리의 기반데이터로 사용한다. Predicate Logic형태로 변환하기 위해서 의존 문법 구문분석기를 사용하였다. 이렇게 생성된 Predicate 데이터 중 감정 정보를 갖고 있는 Predicate만을 찾아내는데 이를 위해 Emotional Predicate Dictionary를 구축하였고 이 사전에는 하나의 Predicate마다 미리 정의된 개념 클래스로 사상 시킬 수 있는 정보를 갖고 있다. 개념 클래스는 감정정보를 갖고 있는지, 어떤 감정인지, 어떤 상황에서 발생하는 감정인지에 대한 정보를 나타낸다. 자연어 텍스트가 Predicate으로 변환되고 다시 개념 클래스로 사상되고 나면 KBANN으로 구현된 Lazarus의 감정 생성 규칙에 적용시켜 최종적으로 인식된 감정을 판단한다. 실험을 통해 구현된 시스템이 인간이 인식한 감정과 약 70%이상 유사한 인식 결과를 나타냄을 보인다.

  • PDF

Word2Vec 모델 기반의 유사도를 이용한 상품기획 모델 (Product Planning using Similarity Analysis Technique Based on Word2Vec Model)

  • 안영휘;박구락
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2021년도 제63차 동계학술대회논문집 29권1호
    • /
    • pp.11-12
    • /
    • 2021
  • 소비자가 남긴 댓글이나 상품평은 상품기획의 주요 정보가 될 수 있다. 본 논문에서는 버티컬 무소음 마우스 7,300개에 대한 온라인 댓글을 딥러닝 기술인 Word2Vec을 이용하여 유사도 분석을 시행하였다. 유사도 분석결과 클릭 키워드에 대한 장점으로 소리(.975), 버튼(.972), 무게(.971)가 분석되었으며 단점은 가볍다(.959)이었다. 이는 구매 상품에 대한 소비자의 의견, 태도, 성향 및 서비스에 대한 포괄적인 의견들을 데이터화 하여 상품의 특징을 분석할 수 있는 의미있는 과정 이라고 볼 수 있다. 상품기획 프로세스에 딥러닝 기술을 통한 소비자의 감성분석자료 포함시키는 전략을 적용한다면 상품기획의 시간과 비용투자의 경제성을 높일 수 있고 나아가 빠르게 변화하는 소비자의 요구사항을 적기에 반영할 수 있을 것으로 생각된다.

  • PDF

Topographic non-negative matrix factorization에 기반한 텍스트 문서로부터의 토픽 가시화 (Topographic Non-negative Matrix Factorization for Topic Visualization from Text Documents)

  • 장정호;엄재홍;장병탁
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2006년도 가을 학술발표논문집 Vol.33 No.2 (B)
    • /
    • pp.324-329
    • /
    • 2006
  • Non-negative matrix factorization(NMF) 기법은 음이 아닌 값으로 구성된 데이터를 두 종류의 양의 행렬의 곱의 형식으로 분할하는 데이터 분석기법으로서, 텍스트마이닝, 바이오인포매틱스, 멀티미디어 데이터 분석 등에 활용되었다. 본 연구에서는 기본 NMF 기법에 기반하여 텍스트 문서로부터 토픽을 추출하고 동시에 이를 가시적으로 도시하기 위한 Topographic NMF (TNMF) 기법을 제안한다. TNMF에 의한 토픽 가시화는 데이터를 전체적인 관점에서 보다 직관적으로 파악하는데 도움이 될 수 있다. TNMF는 생성모델 관점에서 볼 때, 2개의 은닉층을 갖는 계층적 모델로 표현할 수 있으며, 상위 은닉층에서 하위 은닉층으로의 연결은 토픽공간상에서 토픽간의 전이확률 또는 이웃함수를 정의한다. TNMF에서의 학습은 전이확률값의 연속적 스케줄링 과정 속에서 반복적 파리미터 갱신 과정을 통해 학습이 이루어지는데, 파라미터 갱신은 기본 NMF 기반 학습 과정으로부터 유사한 형태로 유도될 수 있음을 보인다. 추가적으로 Probabilistic LSA에 기초한 토픽 가시화 기법 및 희소(sparse)한 해(解) 도출을 목적으로 한 non-smooth NMF 기법과의 연관성을 분석, 제시한다. NIPS 학회 논문 데이터에 대한 실험을 통해 제안된 방법론이 문서 내에 내재된 토픽들을 효과적으로 가시화 할 수 있음을 제시한다.

  • PDF

하이퍼텍스트 정보 관점에서 의도적으로 왜곡된 웹 페이지의 검출에 관한 연구 (Detecting Intentionally Biased Web Pages In terms of Hypertext Information)

  • 이우기
    • 한국컴퓨터정보학회논문지
    • /
    • 제10권1호
    • /
    • pp.59-66
    • /
    • 2005
  • 웹(World Wide Web)은 정보의 저장 및 검색에 있어서 보편적인 매체가 되고 있다 웹에서는 일반적으로 검색엔진(Web search engine)을 통해 정보 검색을 수행하지만, 그 결과가 사용자의 요구와 늘 일치하는 것은 아니며 때로는 의도적으로 조작된 검색 결과가 제시되기도 한다. 웹 페이지에 대한 평가를 조작하는 것을 의도적 조작이라고 부른다. 최근에 가장 각광을 받는 링크 기반 검색 방식에는 의도적 조작이 상대적으로 어렵지만, 링크 기반 검색 방식의 대표격인 구글의 페이지 점수법(PageRank algorithm)도 구글밤처럼 조작할 수 있는 방법이 있다 본 논문에서는 기본적으로 링크 기반 검색 방식을 기초로 웹을 하나의 유향그래프(directed graph)로 인식하여 각 웹 페이지들은 하나의 노드로, 하이퍼텍스트 링크를 에지(edge)로 표현하며. 하이퍼텍스트 정보관점에서 링크 내역과 대상 페이지(target page) 사이의 유사도(similarity)를 구하고. 이것을 이용하여 페이지 점수화 (PageRank) 접근법의 전이 행렬(transition matrix)을 재구성하는 방법을 취했다 결과적으로 기존의 점수화 방법과 비교하여 효과가 $60\%$ 이상 될 수 있음을 입증했다.

  • PDF

사용자 편의성과 효율성을 증진하기 위한 신뢰도 높은 이미지-텍스트 융합 CAPTCHA (Reliable Image-Text Fusion CAPTCHA to Improve User-Friendliness and Efficiency)

  • 문광호;김유성
    • 정보처리학회논문지C
    • /
    • 제17C권1호
    • /
    • pp.27-36
    • /
    • 2010
  • 웹 서비스 신청 단계에서 신청자가 실제 인간 사용자임을 확인하기 위해 사용되는 텍스트 기반 캡차(text-based CAPTCHA)의 변형된 문자를 광학문자인식 기술로 파악하는 것이 가능하기에 캡차의 신뢰성이 떨어지는 문제가 발생하고 있다. 이 문제를 해결하기 위해 제안되었던 기존의 이미지 기반 캡차(image-based CAPTCHA)에서도 여러 문제점이 존재한다. 인공지능 프로그램을 사용하여 시스템이 보유하고 있는 제한된 수의 이미지 내용을 파악함으로써 신뢰도가 떨어지는 문제가 발생할 수 있으며, 제공된 이미지에 대해 사용자가 다른 유사한 단어를 입력하는 경우에는 오답으로 판정되어 반복적으로 캡차를 시도해야 하는 불편함이 발생 할 수 있으며 또한, 사용자에게 캡차 문제를 제공하기 위해 여러 이미지 파일을 전송해야 하기에 전송 비용의 비효율성 문제가 존재한다. 이러한 기존 이미지 기반 캡차의 문제점들을 해결하기 위해 본 논문에서는 이미지와 관련 키워드 일부를 융합하여 제공하는 이미지-텍스트 융합 캡차를 제안하였다. 본 논문에서 제안한 이미지-텍스트 융합 캡차에서는 이미지와 관련된 단어의 일부분을 힌트로 활용하여 쉽게 정답을 입력할 수 있도록 사용자 편리성을 제공하며 이미지와 텍스트를 한 이미지 파일 내에 융합시켰기 때문에 전송 비용을 절약하여 효율성을 증진할 수 있다. 또한, 캡차 시스템의 신뢰성 증진을 위해 인터넷 검색으로 캡차용 이미지를 대량으로 수집하도록 하였으며 수집되는 캡차 이미지의 정확성을 유지하기 위해 필터링 과정을 거치도록 하였다. 또한, 본 논문에서는 실제 실험을 통해 제안된 이미지-텍스트 융합 캡차가 기존 이미지 기반 캡차보다 사용자에게 편리하고 신뢰성이 증진될 수 있음을 입증하였다.

한국어 언어모델의 속성 및 정량적 편향 분석: 영어 언어모델과의 비교 및 개선 제안 (Properties and Quantitative Analysis of Bias in Korean Language Models: A Comparison with English Language Models and Improvement Suggestions)

  • 김재민;채동규
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.558-562
    • /
    • 2023
  • 최근 ChatGPT의 등장으로 텍스트 생성 모델에 대한 관심이 높아지면서, 텍스트 생성 태스크의 성능평가를 위한 지표에 대한 연구가 활발히 이뤄지고 있다. 전통적인 단어 빈도수 기반의 성능 지표는 의미적인 유사도를 고려하지 못하기 때문에, 사전학습 언어모델을 활용한 지표인 BERTScore를 주로 활용해왔다. 하지만 이러한 방법은 사전학습 언어모델이 학습한 데이터에 존재하는 편향으로 인해 공정성에 대한 문제가 우려된다. 이에 따라 한국어 사전학습 언어모델의 편향에 대한 분석 연구가 필요한데, 기존의 한국어 사전학습 언어모델의 편향 분석 연구들은 사회에서 생성되는 다양한 속성 별 편향을 고려하지 못했다는 한계가 있다. 또한 서로 다른 언어를 기반으로 하는 사전학습 언어모델들의 속성 별 편향을 비교 분석하는 연구 또한 미비하였다. 이에 따라 본 논문에서는 한국어 사전학습 언어모델의 속성 별 편향을 비교 분석하며, 영어 사전학습 언어모델이 갖고 있는 속성 별 편향과 비교 분석하였고, 비교 가능한 데이터셋을 구축하였다. 더불어 한국어 사전학습 언어모델의 종류 및 크기 별 편향 분석을 통해 적합한 모델을 선택할 수 있도록 가이드를 제시한다.

  • PDF

재난안전 사회관심 분석을 위한 언어모델 활용 정보 네트워크 구축 (A Language Model based Knowledge Network for Analyzing Disaster Safety related Social Interest)

  • 최동진;한소희;김경준;배은솔
    • 한국재난정보학회:학술대회논문집
    • /
    • 한국재난정보학회 2022년 정기학술대회 논문집
    • /
    • pp.145-147
    • /
    • 2022
  • 본 논문은 대규모 텍스트 데이터에서 이슈를 발굴할 때 사용되는 기존의 정보 네트워크 또는 지식 그래프 구축 방법의 한계점을 지적하고, 문장 단위로 정보 네트워크를 구축하는 새로운 방법에 대해서 제안한다. 먼저 문장을 구성하는 단어와 캐릭터수의 분포를 측정하며 의성어와 같은 노이즈를 제거하기 위한 역치값을 설정하였다. 다음으로 BERT 기반 언어모델을 이용하여 모든 문장을 벡터화하고, 코사인 유사도를 이용하여 두 문장벡터에 대한 유사성을 측정하였다. 오분류된 유사도 결과를 최소화하기 위하여 명사형 단어의 의미적 연관성을 비교하는 알고리즘을 개발하였다. 제안된 유사문장 비교 알고리즘의 결과를 검토해 보면, 두 문장은 서술되는 형태가 다르지만 동일한 주제와 내용을 다루고 있는 것을 확인할 수 있었다. 본 논문에서 제안하는 방법은 단어 단위 지식 그래프 해석의 어려움을 극복할 수 있는 새로운 방법이다. 향후 이슈 및 트랜드 분석과 같은 미래연구 분야에 적용하면, 데이터 기반으로 특정 주제에 대한 사회적 관심을 수렴하고, 수요를 반영한 정책적 제언을 도출하는데 기여할 수 있을 것이다

  • PDF

완전한 콜드 스타트 문제에서 교차 도메인 추천 시스템 (Cross-Domain Recommendation System in Complete Cold Start Problem)

  • 남규현;유재성;채경수
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.514-518
    • /
    • 2019
  • 기존의 교차 도메인 추천은 일반적으로 서로 다른 도메인 데이터의 지식 결합이나 지식 공유를 바탕으로 진행된다. 이러한 방식들은 최소 한 개 이상의 도메인 데이터가 필요해서 모든 도메인의 피드백 데이터가 없는 실제 서비스 초기 상황에는 적합하지 않을 수 있다. 따라서 본 논문에서는 서비스 초반 모든 도메인의 피드백 데이터가 없고 콘텐츠 데이터만 존재하는 상황에서 교차 도메인 추천 시스템을 효과적으로 시작하기 위해 텍스트 임베딩, 클러스터링, 프로파일링 및 콘텐츠 기반 필터링을 활용한 추천 시스템 구성을 제안하고자 한다. 평가를 위해 여행지, 지역 축제, 공연을 포함하는 문화 관광 데이터와, 이에 대한 사용자 프로파일링 결과를 바탕으로 추천을 진행하였다. 그 결과, 콘텐츠 임베딩에 대한 유사도를 시각화하여 교차 도메인 아이템 간 유사성을 확인할 수 있었고, 사용자별 추천 결과를 통해 제안한 교차 도메인 추천 시스템이 유의미하게 동작함을 보였다.

  • PDF

블로그 키워드 추출을 통한 음악 추천 기법 (Music Recommendation based on Blog Keyword Extraction)

  • 최홍구;전상훈;황인준
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2010년도 추계학술발표대회
    • /
    • pp.701-704
    • /
    • 2010
  • 본 논문에서는 블로그의 포스트로부터 주요 키워드를 추출하여 노래 가사 데이터와 유사도를 분석, 해당 블로그 포스트에 적합한 음악을 추천하는 기법을 제안한다. 또한, 블로거가 포스트마다 제시한 태그들도 주요한 키워드로서 활용한다. 이를 위해서, 첫째로 TF-IDF 기법을 사용하여 텍스트로 구성된 포스트의 중요 키워드를 추출한다. 둘째로 포스트의 태그와 추출된 키워드를 기반으로 유사한 노래 가사를 LSA 기법으로 검색하여 가장 높은 유사도를 갖는 음악을 선택, 적합한 음악으로써 추천한다. 사용자 만족도 평가 실험을 통해서 제안하는 기법이 실제 추천에 적합한지 검증한다.

단어 기반의 확률 모델을 이용한 단백질 기능 예측 (Function Prediction of Gene products by Term based Probabilistic Model)

  • Park, Dae-Won;Kwon, Hyuk-Chul
    • 한국생물정보학회:학술대회논문집
    • /
    • 한국생물정보시스템생물학회 2003년도 제2차 연례학술대회 발표논문집
    • /
    • pp.73-78
    • /
    • 2003
  • 유전 연구를 통해 밝혀지고 있는 단백질은 각각의 기능적 특성을 가지고 서로 영향을 주고받으며 상호 작용한다. 단백질의 기능적 특성은 생물체에서는 단백질이 나타내는 기능으로 단백질 이름은 이들 단백질의 기능을 정확히 나타낼 수 있도록 붙여진다. 기능적 특성에 의해 명명된 단백질은 단백질을 구성하는 단어도 단백질과 유사한 기능 특성을 가질 가능성이 높다. 이는 텍스트 기반의 연구에서 단어가 가지는 중요성에서 비롯된다. 본 논문에서는 단백질을 구성하는 단어들을 단백질의 기능적 특성으로 분류하고, 이 기능분포에 의해서 단백질의 기능을 역으로 예측하고 판단하고자 하였다.

  • PDF