• 제목/요약/키워드: 단어 군집화

검색결과 81건 처리시간 0.032초

Homogeneous Centroid Neural Network에 의한 Tied Mixture HMM의 군집화 (Clustering In Tied Mixture HMM Using Homogeneous Centroid Neural Network)

  • 박동철;김우성
    • 한국통신학회논문지
    • /
    • 제31권9C호
    • /
    • pp.853-858
    • /
    • 2006
  • 음성인식에서 TMHMM(Tied Mixture Hidden Markov Model)은 자유 매개변수의 수를 감소시키기 위한 좋은 접근이지만, GPDF(Gaussian Probability Density Function) 군집화 오류에 의해 음성인식의 오류를 발생시켰다. 본 논문은 TMHMM에서 발생하는 군집화 오류를 최소화하기 위하여 HCNN(Homogeneous Centroid Neural Network) 군집화 알고리즘을 제안한다. 제안된 알고리즘은 CNN(Centroid Neural Network)을 TMHMM상의 음향 특징벡터에 활용하였으며, 다른 상태에 소속된 확률밀도가 서로 겹쳐진 형태의 이질군집 지역에 더 많은 코드벡터를 할당하기 위해서 본 논문에서 새로 제안이 제안되는 이질성 거리척도를 사용 하였다. 제안된 알고리즘을 한국어 고립 숫자단어의 인식문제에 적용한 결과, 기존 K-means 알고리즘이나 CNN보다 각각 14.63%, 9,39%의 오인식률의 감소를 얻을 수 있었다.

고속 이미지 검색을 위한 2진 시각 단어 생성 기법 (Binary Visual Word Generation Techniques for A Fast Image Search)

  • 이수원
    • 정보과학회 논문지
    • /
    • 제44권12호
    • /
    • pp.1313-1318
    • /
    • 2017
  • 다수의 지역 특징들을 취합하여 하나의 벡터로 표현하는 것은 이미지 검색의 핵심 기술이다. 이 과정에서 경사도 기반 특징에 비해 수십 배 빠르게 추출되는 2진 특징이 활용된다면 이미지 검색의 고속화가 가능하다. 이를 위해서는 2진 특징들을 군집하여 2진 시각 단어를 생성하는 기법에 대한 연구가 선행되어야 한다. 기존의 경사도 기반 특징들을 군집하는 전통적인 방식으로는 2진 특징들을 군집할 수 없기 때문이다. 이를 위해 본 논문은 2진 특징들을 군집하여 2진 시각 단어를 생성하는 기법들에 대해 연구한다. 실험을 통해 2진 특징의 활용이 이미지 검색에 미치는 정확도와 연산효율 사이의 상충관계에 대해 분석한 후, 제안한 기법들을 비교한다. 본 연구는 고속 이미지 검색을 필요로 하는 모바일 응용, 리얼 타임 응용, 웹 스케일 응용 등에 활용될 것으로 기대된다.

텍스트 데이터의 정보 손실을 방지하기 위한 군집화 기반 언더샘플링 기법 (A Clustering-based Undersampling Method to Prevent Information Loss from Text Data)

  • 김종휘;신사임;장진예
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.251-256
    • /
    • 2022
  • 범주 불균형은 분류 모델이 다수 범주에 편향되게 학습되어 소수 범주에 대한 분류 성능을 떨어뜨리는 문제를 야기한다. 언더 샘플링 기법은 다수 범주 데이터의 수를 줄여 소수 범주와 균형을 이루게하는 대표적인 불균형 해결 방법으로, 텍스트 도메인에서의 기존 언더 샘플링 연구에서는 단어 임베딩과 랜덤 샘플링과 같은 비교적 간단한 기법만이 적용되었다. 본 논문에서는 트랜스포머 기반 문장 임베딩과 군집화 기반 샘플링 방법을 통해 텍스트 데이터의 정보 손실을 최소화하는 언더샘플링 방법을 제안한다. 제안 방법의 검증을 위해, 감성 분석 실험에서 제안 방법과 랜덤 샘플링으로 추출한 훈련 세트로 모델을 학습하고 성능을 비교 평가하였다. 제안 방법을 활용한 모델이 랜덤 샘플링을 활용한 모델에 비해 적게는 0.2%, 많게는 2.0% 높은 분류 정확도를 보였고, 이를 통해 제안하는 군집화 기반 언더 샘플링 기법의 효과를 확인하였다.

  • PDF

이용자 중심의 이미지 접근과 이용 분석을 통한 차세대 멀티미디어 검색 패러다임 요소에 관한 연구 (Towards Next Generation Multimedia Information Retrieval by Analyzing User-centered Image Access and Use)

  • 정은경
    • 한국문헌정보학회지
    • /
    • 제51권4호
    • /
    • pp.121-138
    • /
    • 2017
  • 멀티미디어 정보환경의 발전과 다양한 요구를 지닌 정보이용자는 멀티미디어의 접근과 이용에 있어서 기존 정보검색 패러다임에서 중요시하지 않았던 요소를 사용하는 추세이다. 특히 이미지를 포함한 멀티미디어의 감정 접근과 이용은 다양한 정보환경에서 이루어지고 있다. 따라서 효율적으로 추상적 개념인 감정을 이용자에게 접근점으로 제공할 필요성이 증가한다. 본 연구는 감정으로 접근이 가능한 게티 이미지 뱅크의 이미지를 5가지 기본 감정으로 검색하여 부여된 색인어 총 22,675건을 추출하였다. 추출된 색인어는 전체감정, 긍정감정, 부정감정의 세 가지 데이터셋으로 구분하여 분석되었다. 분석을 위해서는 동시출현단어행렬로 작성되어 가중 네트워크와 군집화기법으로 시각화되었다. 분석결과를 살펴보면, 전체감정은 대분류로써 긍정감정, 부정감정, 가족의 3개 군집과 하위 20개의 군집으로 나타났다. 긍정감정은 10개의 군집이며, 부정감정은 10개의 군집으로 구성되었다. 이와 같은 가중 네트워크와 군집구성 분석을 통해, 세 가지 중요한 차세대 멀티미디어 검색을 위한 요소로 논의하였다. 첫째는 이미지 감정 표현을 위한 인물 색인어 특성이다. 둘째는 명시적 단어와 감정을 표현하는 함축적 단어와의 네트워크 구성을 통해서 상대적으로 색인이 용이한 명시적 단어만으로도 함축적 단어 추론 가능성이다. 셋째는 감정으로 표현하는 함축적 단어의 유사어/동의어로의 확장은 이용자 중심의 접근을 제공하는 측면에서 중요하다는 점이다.

딥러닝 기법을 이용한 낚시성 기사 제목 분류에 대한 연구 (A study on classification of hooking headlines using deep learning techniques)

  • 최용석;최한나;신지혜;정창민;안정연;유채영;임채은;이공주
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2015년도 제27회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.15-17
    • /
    • 2015
  • 본 논문은 낚시성 기사 제목과 비낚시성 기사 제목을 판별하기 위한 시스템을 제시한다. 서포트 벡터 머신(SVM)을 이용하여 기사 제목을 분류하며, 분류하는 기준은 딥러닝 기법중의 하나인 워드임베딩(Word Embedding), 군집화 알고리즘 중 하나인 K 평균 알고리즘(K-means)을 이용한다. 자질로서 기사 제목의 단어를 사용하였으며, 정확도가 83.78%이다. 결론적으로 낚시성 기사 제목에는 낚시를 유도하는 특별한 단어들이 존재함을 알 수 있다.

  • PDF

가중치를 이용한 효과적인 항공 단문 군집 방법 (DOCST: Document frequency Oriented Clustering for Short Texts)

  • 김주영;이지민;안순홍;이훈석
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2018년도 춘계학술발표대회
    • /
    • pp.331-334
    • /
    • 2018
  • 비정형 데이터의 대표적인 형태 중 하나인 텍스트 데이터 기계학습은 다양한 산업군에서 활용되고 있다. NOTAM 은 하루에 수 천개씩 생성되는 항공전문으로써 현재는 사람의 수작업으로 분석하고 있다. 기계학습을 통해 업무 효율성을 기대할 수 있는 반면, 축약어가 혼재된 단문이라는 데이터의 특성상 일반적인 분석에 어려움이 있다. 본 연구에서는, 데이터의 크기가 크지 않고, 축약어가 혼재되어 있으며, 문장의 길이가 매우 짧은 문서들을 군집화하는 방법을 제안한다. 주제를 기준으로 문서를 분류하는 LDA 와, 단어를 k 차원의 벡터공간에 표현하는 Word2Vec 를 활용하여 잡음이 포함된 단문 데이터에서도 효율적으로 문서를 군집화 할 수 있다.

LSI를 이용한 차원 축소 클러스터 기반 키워드 연관망 자동 구축 기법 (Automatic Construction of Reduced Dimensional Cluster-based Keyword Association Networks using LSI)

  • 유한묵;김한준;장재영
    • 정보과학회 논문지
    • /
    • 제44권11호
    • /
    • pp.1236-1243
    • /
    • 2017
  • 본 논문은 기존의 TextRank 알고리즘에 상호정보량 척도를 결합하여 군집 기반에서 키워드 추출하는 LSI-based ClusterTextRank 기법과 추출된 키워드를 Latent Semantic Indexing(LSI)을 이용한 연관망 구축 기법을 제안한다. 제안 기법은 문서집합을 단어-문서 행렬로 표현하고, 이를 LSI를 이용하여 저차원의 개념 공간으로 차원을 축소한다. 그 다음 k-means 군집화 알고리즘을 이용하여 여러 군집으로 나누고, 각 군집에 포함된 단어들을 최대신장트리 그래프로 표현한 후 이에 근거한 군집 정보량을 고려하여 키워드를 추출한다. 그리고나서 추출된 키워드들 간에 유사도를 LSI 기법을 통해 구한 단어-개념 행렬을 이용하여 계산한 후, 이를 키워드 연관망으로 활용한다. 제안 기법의 성능을 평가하기 위해 여행 관련 블로그 데이터를 이용하였으며, 제안 기법이 기존 TextRank 알고리즘보다 키워드 추출의 정확도가 약 14% 가량 개선됨을 보인다.

문서 영상 내 테이블 영역에서의 단어 추출 (Word Extraction from Table Regions in Document Images)

  • 정창부;김수형
    • 정보처리학회논문지B
    • /
    • 제12B권4호
    • /
    • pp.369-378
    • /
    • 2005
  • 문서 영상은 문서 구조 분석을 통하여 텍스트, 그림, 테이블 등의 세부 영역으로 분할 및 분류되는데, 테이블 영역에 있는 단어는 다른 영역의 단어보다 의미가 있기 때문에 주제어 검색과 같은 응용 분야에서 중요한 역할을 한다. 본 논문에서는 문서 영상의 테이블 영역에 존재하는 문자 성분을 단어단위로 추출하는 방법을 제안한다. 테이블 영역에서의 단어 추출은 실질적으로 테이블을 구성하는 셀 영역에서 단어를 추출하는 것이기 때문에 정확한 셀 추출 과정이 필요하다. 셀 추출은 연결 요소를 분석하여 테이블 프레임을 찾아내고, 교차점 검출은 전체가 아닌 테이블 프레임에 대해서만 수행한다. 잘못 검출된 교차점은 이웃하는 교차점과의 관계를 이용하여 수정하고, 최종 교차점 정보를 이용하여 셀을 추출한다. 추출된 셀 내부에 있는 텍스트 영역은 셀 추출 과정에서 분석한 문자성분의 연결 요소 정보를 재사용하여 결정하고, 결정된 텍스트 영역은 투영 프로파일을 분석하여 문자연로 분리된다. 마지막으로 분리된 문자열에 대하여 갭 군집화와 특수 기호 검출을 수행함으로써 단어 분리를 수행한다. 제안 방법의 성능 평가를 위하여 한글 논문 영상으로부터 추출한 총 In개의 테이블 영상에 대해 실험한 결과, $99.16\%$의 단어 추출 성공률을 얻을 수 있었다.

클러스터링을 고려한 다차원척도법의 개선: 군집 지향 척도법 (Improved Multidimensional Scaling Techniques Considering Cluster Analysis: Cluster-oriented Scaling)

  • 이재윤
    • 정보관리학회지
    • /
    • 제29권2호
    • /
    • pp.45-70
    • /
    • 2012
  • 개체들 사이의 관계를 저차원 공간에 매핑하는 다차원척도법을 수행하기 위한 다양한 방법과 알고리즘이 개발되어왔다. 그러나 PROXSCAL이나 ALSCAL과 같은 기존의 기법들은 50개 이상의 개체를 포함하는 데이터 집합을 대상으로 개체 간의 관계와 군집 구조를 시각화하는데 있어서 효과적이지 못한 것으로 나타났다. 이 연구에서 제안하는 군집 지향 척도법 CLUSCAL(CLUster-oriented SCALing)은 기존 방법과 달리 입력되는 데이터의 군집 구조를 고려하도록 고안되었다. 50명의 저자동시인용 데이터와 85개 단어의 동시출현 데이터에 대해서 적용해본 결과 제안한 CLUSCAL 기법은 군집 구조를 잘 식별할 수 있는 MDS 지도를 생성하는 유용한 기법임이 확인되었다.

클러스터 기반 키워드 랭킹 기법 (Cluster-based keyword Ranking Technique)

  • 유한묵;김한준
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2016년도 추계학술발표대회
    • /
    • pp.529-532
    • /
    • 2016
  • 본 논문은 기존의 TextRank 알고리즘에 상호정보량 척도를 결합하여 군집 기반에서 키워드 추출하는 ClusterTextRank 기법을 제안한다. 제안 기법은 k-means 군집화 알고리즘을 이용하여 문서들을 여러 군집으로 나누고, 각 군집에 포함된 단어들을 최소신장트리 그래프로 표현한 후 이에 근거한 군집 정보량을 고려하여 키워드를 추출한다. 제안 기법의 성능을 평가하기 위해 여행 관련 블로그 데이터를 이용하였으며, 제안 기법이 기존 TextRank 알고리즘보다 키워드 추출의 정확도가 약 13% 가량 개선됨을 보인다.