• Title/Summary/Keyword: Text Similarity

검색결과 280건 처리시간 0.029초

문헌간 유사도를 이용한 자동분류에서 미분류 문헌의 활용에 관한 연구 (Utilizing Unlabeled Documents in Automatic Classification with Inter-document Similarities)

  • 김판준;이재윤
    • 정보관리학회지
    • /
    • 제24권1호
    • /
    • pp.251-271
    • /
    • 2007
  • 문헌간 유사도를 자질로 사용하는 분류기에서 미분류 문헌을 학습에 활용하여 분류 성능을 높이는 방안을 모색해 보았다. 자동분류를 위해서 다량의 학습문헌을 수작업으로 확보하는 것은 많은 비기 들기 때문에 미분류 문헌의 활용은 실용적인 면에서 중요하다. 미분류 문헌을 활용하는 준지도학습 알고리즘은 대부분 수작업으로 분류된 문헌을 학습데이터로 삼아서 미분류 문헌을 분류하는 첫 번째 단계와, 수작업으로 분류된 문헌과 자동으로 분류된 문헌을 모두 학습 데이터로 삼아서 분류기를 학습시키는 두 번째 단계로 구성된다. 이 논문에서는 문헌간 유사도 자질을 적용하는 상황을 고려하여 두 가지 준지도학습 알고리즘을 검토하였다. 이중에서 1단계 준지도학습 방식은 미분류 문헌을 문헌유사도 자질 생성에만 활용하므로 간단하며, 2단계 준지도학습 방식은 미분류 문헌을 문헌유사도 자질생성과 함께 학습 예제로도 활용하는 알고리즘이다. 지지벡터기계와 나이브베이즈 분류기를 이용한 실험 결과, 두 가지 준지도학습 방식 모두 미분류 문헌을 활용하지 않는 지도학습 방식보다 높은 성능을 보이는 것으로 나타났다. 특히 실행효율을 고려한다면 제안된 1단계 준지도학습 방식이 미분류 문헌을 활용하여 분류 성능을 높일 수 있는 좋은 방안이라는 결론을 얻었다.

HMM 기반 감정 음성 합성기 개발을 위한 감정 음성 데이터의 음색 유사도 분석 (Analysis of Voice Color Similarity for the development of HMM Based Emotional Text to Speech Synthesis)

  • 민소연;나덕수
    • 한국산학기술학회논문지
    • /
    • 제15권9호
    • /
    • pp.5763-5768
    • /
    • 2014
  • 하나의 합성기에서 감정이 표현되지 않는 기본 음성과 여러 감정 음성을 함께 합성하는 경우 음색을 유지하는 것이 중요해 진다. 감정이 과도하게 표현된 녹음 음성을 사용하여 합성기를 구현하는 경우 음색이 유지되지 못해 각 합성음이 서로 다른 화자의 음성처럼 들릴 수 있다. 본 논문에서는 감정 레벨을 조절하는 HMM 기반 음성 합성기를 구현하기 위해 구축한 음성데이터의 음색 변화를 분석하였다. 음성 합성기를 구현하기 위해서는 음성을 녹음하여 데이터베이스를 구축하게 되는데, 감정 음성 합성기를 구현하기 위해서는 특히 녹음 과정이 매우 중요하다. 감정을 정의하고 레벨을 유지하는 것은 매우 어렵기 때문에 모니터링이 잘 이루어져야 한다. 음성 데이터베이스는 일반 음성과 기쁨(Happiness), 슬픔(Sadness), 화남(Anger)의 감정 음성으로 구성하였고, 각 감정은 High/Low의 2가지 레벨로 구별하여 녹음하였다. 기본음성과 감정 음성의 음색 유사도 측정을 위해 대표 모음들의 각각의 스펙트럼을 누적하여 평균 스펙트럼을 구하고, 평균 스펙트럼에서 F1(제 1포만트)을 측정하였다. 감정 음성과 일반 음성의 음색 유사도는 Low-level의 감정 데이터가 High-level의 데이터 보다 우수하였고, 제안한 방법이 이러한 감정 음성의 음색 변화를 모니터링 할 수 있는 방법이 될 수 있음을 확인할 수 있었다.

온·오프라인 댓글 분석이 활용된 Word2Vec 기반 상품기획 모델연구: 버티컬 무소음마우스 사용자를 중심으로 (A Study on the Product Planning Model based on Word2Vec using On-offline Comment Analysis: Focused on the Noiseless Vertical Mouse User)

  • 안영휘
    • 디지털융복합연구
    • /
    • 제19권10호
    • /
    • pp.221-227
    • /
    • 2021
  • 본 논문에서는 버티컬 무소음 마우스 10,000건에 대한 웹크롤링을 통해 수집된 정형화된 데이터셋을 Word2Vec을 이용하여 단어 간 유사도분석을 시행하고 컴퓨터공학과 대학생 92명에게 5일 동안 제시된 상품을 사용하게 하고 자가보고식 설문 분석을 시행하도록 하였다. 설문 분석은 서술식 형태로 수집하여 단어빈도 분석과 단어 간 유사도분석에서 추출된 상위 50개 단어를 제시하고 선택하는 방식으로 이루어졌다. 전자상거래 사용자 상품평 유사도 분석결과 내용 중 클릭 키워드에 대한 장점으로 통증(.985), 디자인(.963)가 분석되었으며 단점은 가볍다(.952), 적응(.948)이었다. 서술식 빈도분석에서는 버티컬(123개), 통증(118개)이 가장 많이 선택 되었으며 장/단점 유사단어를 선택에 해당되는 장점에서는 버티컬(83개), 통증(75개) 선택 되었으며 단점에서는 적응(89개), 버튼(72개)이었다. 따라서 본 연구에서 적용한 방식을 상품기획 프로세스의 신상품 개발 및 기존 상품의 검토 전략으로 반영 시 중견기업, 중소기업의 의사결정자와 상품기획자는 의사결정에 중대한 자료로 활용 할 수 있을 것으로 기대된다.

GNN을 이용한 웹사이트 Hierarchy 유사도 분석 기반 해외 침해 사이트 분류 모델 연구 (A Study on the Classification Model of Overseas Infringing Websites based on Web Hierarchy Similarity Analysis using GNN)

  • 서주현;유선모;박종화;박진주;이태진
    • 융합보안논문지
    • /
    • 제23권2호
    • /
    • pp.47-54
    • /
    • 2023
  • 전 세계적으로 한류 콘텐츠가 유행하며 국내뿐만 아니라 해외에서도 국내 저작물의 저작권 침해 사례가 지속적으로 증가하고 있다. 이에 대응하기 위한 국내 불법 저작물 유통 사이트를 탐지하는 기술에 대한 연구가 활발하게 진행되고 있으며 최근 연구는 국내 불법 저작물 유통 사이트들이 광고 배너를 상당수 포함하고 있는 특징을 활용한 연구가 존재한다. 그러나 해외 불법 저작물 유통 사이트의 경우 광고 배너를 포함하지 않거나 국내 사이트에 비해 적은 양의 광고를 포함하고 있어 국내와 같은 탐지 기술의 적용이 제한적이다. 본 연구에서는 저작물 불법 공유 사이트가 게시물과 저작물의 이미지를 유사한 계층 구조로 포함하는 특징을 이용하여 링크 트리 및 텍스트 유사도 비교 기반의 탐지 기술을 제안한다. 대량의 링크로 작성된 대규모 트리의 정확한 유사도 비교를 위해 GNN(Graph Neural Network)를 활용한다. 본 연구의 실험에서 일반 사이트와 저작물 불법 유통 사이트를 분류에 95% 이상의 높은 정확도를 보였고 해당 알고리즘을 적용하여 불법 유통 사이트의 자동화된 탐지를 통해 신속한 저작권 침해 대응이 가능할 것으로 기대된다.

빅데이터 기반 추천시스템 구현을 위한 다중 프로파일 앙상블 기법 (A Multimodal Profile Ensemble Approach to Development of Recommender Systems Using Big Data)

  • 김민정;조윤호
    • 지능정보연구
    • /
    • 제21권4호
    • /
    • pp.93-110
    • /
    • 2015
  • 기존의 협업필터링 추천시스템 연구는 상품에 대한 고객의 평점(rating)이나 구매 여부 데이터로부터 하나의 프로파일을 생성하고 이를 기반으로 추천 성능을 향상시킬 수 있는 새로운 알고리즘을 개발하는 위주로 진행되어 왔다. 그러나 빅데이터 환경이 도래하면서 기업이 수집할 수 있는 고객 데이터가 풍부해지고 다양해짐에 따라, 보다 정확하게 고객의 선호도나 행태를 파악하는 것이 가능하게 되었고 이러한 데이터, 즉 퍼스널 빅데이터(personal big data)를 추천시스템에 활용하는 연구의 필요성이 대두되고 있다. 본 연구에서는 마케팅의 시장세분화 이론에 근거하여 퍼스널 빅데이터로부터 고객의 선호도나 행태를 다양한 관점에서 표현할 수 있는 5종의 다중 프로파일(multimodal profile)을 개발하고, 이를 활용하여 협업필터링 추천시스템의 성능을 개선하고자 한다. 제안하는 5종의 다중 프로파일은 프로파일 통합 유사도, 개별 프로파일 유사도 평균, 개별 프로파일 유사도 가중 평균이라는 세 가지 앙상블 기법을 통해 협업필터링의 이웃(neighborhood) 탐색과정에 적용된다. 실제 퍼스널 빅데이터에 본 연구에서 제안하는 방법론을 적용한 결과, 단일 프로파일을 사용하는 협업필터링 알고리즘보다 추천 성능이 상당히 개선되었으며 앙상블 방법 중에서는 개별 프로파일 유사도 가중 평균 기법이 가장 높은 추천 성능을 보여주었다. 본 연구는 빅데이터 환경에서 추천시스템을 개발하고자 할 때, 어떠한 성격의 데이터로부터 고객의 특성을 규명하는 프로파일을 만들고 이를 어떻게 결합하여 사용하는 것이 효과적인 지 처음으로 제안하였다는 점에서 그 의의가 있다.

오피니언 마이닝 기법을 이용한 사회적 재난의 시민 감성도 분석 (Citizen Sentiment Analysis of the Social Disaster by Using Opinion Mining)

  • 서민송;유환희
    • 대한공간정보학회지
    • /
    • 제25권1호
    • /
    • pp.37-46
    • /
    • 2017
  • 최근 우리나라는 사회적 요인에 의한 재난이 빈번하게 발생하고 있다. 어떤 위기가 도시민들을 위협할지 예측하기 어려워 우려가 높아지고 있다. 따라서 본 연구에서는 Python언어 기반 Tweepy 플러그인을 적용하여 트윗 데이터를 취득하는 프로그램을 개발하고, 자연어 처리 후 R Studio프로그램에서 텍스트 클러스터링 분석과 오피니언 마이닝 분석을 통하여 시민들의 건강에 영향을 미치는 성분이 검출된 '옥시'와 시민들에게 많은 공포감을 주었던 '묻지마 범죄'와 같은 사회적 재난에 대해 정신적 충격과 불안감을 평가하였다. 텍스트 클러스터링 분석에서 '옥시' 사건은 '정부의 대처능력이 세월호 사건과의 연관성', '옥시제품의 철수지시에도 여전한 판매' 등이 가장 높은 관심도를 보였다. 그리고 '묻지마 범죄' 사건은 '스크린 도어 사건, 세월호 사건 등 예측 못하는 사건에 대한 정부의 대응, 대책', '강남역, 부산의 범죄가 여성혐오로 인한 것' 등이 가장 높은 관심도를 보였다. 또한, 두 범죄를 비교 분석 하였을 때 묻지마 범죄에 대해 시민 감성도 평균 지수가 11.61%p 더 부정적이라는 것을 알 수 있었다.

영어 작문 자동채점에서 ConceptNet과 작문 프롬프트를 이용한 주제-이탈 문서의 자동 검출 (Automatic Detection of Off-topic Documents using ConceptNet and Essay Prompt in Automated English Essay Scoring)

  • 이공주;이경호
    • 정보과학회 논문지
    • /
    • 제42권12호
    • /
    • pp.1522-1534
    • /
    • 2015
  • 본 연구에서는 미리 구축해 놓은 학습데이터 없이도 입력된 작문이 주어진 작문 주제에 적합한 내용인지 아닌지를 자동으로 판단할 수 있는 방법을 제안한다. ConceptNet은 다양한 종류의 문서에서 추출한 자연언어 문장들로부터 구축된 그래프 형태의 지식베이스이다. 본 연구에서는 작문 주제에 해당하는 작문 프롬프트(essay prompt)와 ConceptNet만을 이용하여 문서의 주제-이탈 여부를 판별하는 방법을 제안한다. ConceptNet에서 두 개념간의 최단 경로를 찾고 이에 대한 의미 유사도를 계산하는 방법을 제안한다. 이를 이용하여 작문 프롬프트와 수험생 작문 내용을 ConceptNet의 개념들로 매핑하고 이 개념들 사이의 의미 유사도를 계산하여 작문 프롬프트와 수험생 작문 사이의 주제 부합 여부를 판단한다. 8개의 작문 시험을 수행하여 얻은 수험생 작문 데이터에 대하여 평가를 수행한 결과 기존의 연구에 비해 좋은 성능을 얻을 수 있었다. ConceptNet을 활용하면 유의미한 단순 추론이 가능하기 때문에 본 연구에서 제안한 방법은 추론을 요하는 작문 문제에도 적용 가능함을 보였다.

텍스트 마이닝을 이용한 주제기반의 기업인 네트워크 계층 분석 (Topic Based Hierarchical Network Analysis for Entrepreneur Using Text Mining)

  • 이동훈;김용화;김관호
    • 한국전자거래학회지
    • /
    • 제23권3호
    • /
    • pp.33-49
    • /
    • 2018
  • 다양한 고객의 요구를 만족시키기 위한 신제품 설계 및 개발의 필요성 때문에 중소기업 간의 융합 활동의 중요성은 증대하고 있다. 특히, 최고 의사결정을 가지는 중소기업 대표는 적합한 융합 활동 파트너를 구하기 위해 인맥관리는 필수적이다. 한편 기업인들은 많은 양의 인맥을 형성하는 것이 중요할 뿐만 아니라 유사한 토픽정보를 가진 기업인과의 인맥관계를 이해하는 것이 중요하다. 그러나 중소기업의 현황 부재와 산업분야별 기업인들의 기술과 특성을 나타낼 수 있는 토픽정보를 수집하는데 어려운 한계가 존재한다. 본 논문에서는 토픽 추출기법을 통해 이와 같은 문제점을 해결하고 3가지 측면에서 기업 네트워크를 분석한다. 구체적으로 C, S, T-Layer 모델이 있으며 각각의 모델은 인맥의 양, 인맥 중심성, 토픽 유사성을 분석한다. 실 데이터를 통한 실험 결과, 인맥의 양이 적은 경우 중심성이 높은 기업과 네트워크를 강화하여 인맥 네트워크를 활성화 시켜야 할 필요가 있고, 토픽 유사성이 낮은 경우 주제 기반의 네트워크를 활성화 시켜야 할 필요가 있다는 것을 실험을 통해 확인하였다.

점 행렬을 이용한 새로운 부분 영상 검색 기법 (A Novel Sub-image Retrieval Approach using Dot-Matrix)

  • 김준호;강경민;이도훈
    • 한국산학기술학회논문지
    • /
    • 제13권3호
    • /
    • pp.1330-1336
    • /
    • 2012
  • 영상 검색 방법은 텍스트 기반, 내용 기반, 영역 기반 영상 검색, 부분 영상 검색 방법 등 다양한 연구가 이루어지고 있다. 그 중에 부분 영상 검색은 질의 영상을 포함하는 대상 영상을 찾는 문제이다. 본 논문에서는 생물정보학에서 사용하는 점 행렬 방법을 이용한 새로운 부분 영상 검색 방법을 제안한다. 점 행렬은 두 DNA 서열 간에 유사도를 시각화하는 방법으로써 영상 검색에 적용하여 두 영상 간에 유사도를 비교하는 문제로 재정의한다. 이 알고리즘을 적용하기 위해서 이차원 배열 정보인 영상을 일차원 명암도 영상으로 변환한다. 두 일차원 명암도 영상을 정렬하여 생성된 점 행렬을 이용하여 부분 영상 후보 영역을 생성한다. 실험에는 10 개의 대상 영상과 대상 영상의 부분을 복사한 영상, 축소한 영상, 확대한 영상으로 5종류의 질의 영상을 사용하였다.

단어 유사도를 이용한 뉴스 토픽 추출 (News Topic Extraction based on Word Similarity)

  • 김동욱;이수원
    • 정보과학회 논문지
    • /
    • 제44권11호
    • /
    • pp.1138-1148
    • /
    • 2017
  • 토픽 추출은 문서 집합으로부터 그 문서 집합을 대표하는 토픽을 자동 추출하는 기술이며 자연어 처리의 중요한 연구 분야이다. 대표적인 토픽 추출 방법으로는 잠재 디리클레 할당과 단어 군집화 기반 토픽 추출방법이 있다. 그러나 이러한 방법의 문제점으로는 토픽 중복 문제와 토픽 혼재 문제가 있다. 토픽 중복 문제는 특정 토픽이 여러 개의 토픽으로 추출되는 문제이며, 토픽 혼재 문제는 추출된 하나의 토픽 내에 여러 토픽이 혼재되어 있는 문제이다. 이러한 문제를 해결하기 위하여 본 연구에서는 토픽 중복 문제에 대해 강건한 잠재 디리클레 할당으로 토픽을 추출하고 단어 간 유사도를 이용하여 토픽 분리 및 토픽 병합의 단계를 거쳐 최종적으로 토픽을 보정하는 방법을 제안한다. 실험 결과 제안 방법이 잠재 디리클레 할당 방법에 비해 좋은 성능을 보였다.