• Title/Summary/Keyword: Word Based

검색결과 2,426건 처리시간 0.027초

Word2vec을 이용한 오피니언 마이닝 성과분석 연구 (Performance Analysis of Opinion Mining using Word2vec)

  • 어균선;이건창
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2018년도 춘계 종합학술대회 논문집
    • /
    • pp.7-8
    • /
    • 2018
  • 본 연구에서는 Word2vec을 머신러닝 분류기를 이용해 효율적인 오피니언 마이닝 방법을 제안한다. 본 연구의 목적을 위해 BOW(Bag-of-Words) 방법과 Word2vec방법을 이용해 속성 셋을 구성했다. 구성된 속성 셋은 Decision tree, Logistic regression, Support vector machine, Random forest를 이용해 오피니언 마이닝을 수행했다. 연구 결과, Word2vec 방법과 RF분류기가 가장 높은 정확도를 나타냈다. 그리고 Word2vec 방법이 BOW방법 보다 각 분류기에서 높은 성능을 나타냈다.

  • PDF

의미 유사도를 활용한 Distant Supervision 기반의 트리플 생성 성능 향상 (Improving The Performance of Triple Generation Based on Distant Supervision By Using Semantic Similarity)

  • 윤희근;최수정;박성배
    • 정보과학회 논문지
    • /
    • 제43권6호
    • /
    • pp.653-661
    • /
    • 2016
  • 기존의 패턴기반 트리플 생성 시스템은 distant supervision의 가정으로 인해 오류 패턴을 생성하여 트리플 생성 시스템의 성능을 저하시키는 문제점이 있다. 이 문제점을 해결하기 위해 본 논문에서는 패턴과 프로퍼티 사이의 의미 유사도 기반의 패턴 신뢰도를 측정하여 오류 패턴을 제거하는 방법을 제안한다. 의미 유사도 측정은 비지도 학습 방법인 워드임베딩과 워드넷 기반의 어휘 의미 유사도 측정 방법을 결합하여 사용한다. 또한 한국어 패턴과 영어 프로퍼티 사이의 언어 및 어휘 불일치 문제를 해결하기 위해 정준 상관 분석과 사전 기반의 번역을 사용한다. 실험 결과에 따르면 제안한 의미 유사도 기반의 패턴 신뢰도 측정 방법이 기존의 방법보다 10% 높은 정확률의 트리플 집합을 생성하여, 트리플 생성 성능 향상을 증명하였다.

잡음 환경에 강인한 기동어 검출을 위한 삼중항 손실 기반 도메인 적대적 훈련 (Triplet loss based domain adversarial training for robust wake-up word detection in noisy environments)

  • 임형준;정명훈;김회린
    • 한국음향학회지
    • /
    • 제39권5호
    • /
    • pp.468-475
    • /
    • 2020
  • 단어의 특성을 잘 표현하는 음성 단어 임베딩은 기동어 인식에서 중요한 역할을 한다. 하지만 기동어 인식이 수행되는 환경에서 필연적으로 발생하는 다양한 종류의 잡음으로 인해 음성 단어 임베딩의 표현 능력이 손상될 수 있으며, 인식 성능의 저하를 초래할 수 있다. 본 논문에서는 음성 단어 임베딩에 영향을 줄 수 있는 환경적인 요인을 완화시키는 삼중항 손실 기반의 도메인 적대적 훈련 방식을 제안한다. 잡음 환경에서의 기동어 검출 실험을 통해 제안하는 방식이 기존의 도메인 적대적 훈련 방식을 효과적으로 개선하는 모습을 확인할 수 있었고, 잡음 환경에서의 기동어 검출을 위해 기존에 제안된 다른 방법과의 결합을 통해 제안하는 방식의 확장성을 확인할 수 있었다.

클라우드 컴퓨팅에서 Hadoop 애플리케이션 특성에 따른 성능 분석 (A Performance Analysis Based on Hadoop Application's Characteristics in Cloud Computing)

  • 금태훈;이원주;전창호
    • 한국컴퓨터정보학회논문지
    • /
    • 제15권5호
    • /
    • pp.49-56
    • /
    • 2010
  • 본 논문에서는 클라우드 컴퓨팅을 위해 Hadoop 기반의 클러스터를 구축하고, RandomTextWriter, WordCount, PI 애플리케이션을 수행함으로써 애플리케이션 특성에 따른 클러스터의 성능을 평가한다. RandomTextWriter는 주어진 용량만큼 임의의 단어를 생성하여 HDFS에 저장하는 애플리케이션이고, WordCount는 입력 파일을 읽어서 블록 단위로 단어 빈도수를 계산하는 애플리케이션이다. 그리고 PI는 몬테카를로법을 사용하여 PI 값을 유도하는 애플리케이션이다. 이러한 애플리케이션을 실행시키면서 데이터 블록 크기와 데이터 복제본 수 증가에 따른 애플리케이션의 수행시간을 측정한다. 시뮬레이션을 통하여 RandomTextWriter 애플리케이션은 데이터 복제본 수 증가에 비례하여 수행시간이 증가함을 알 수 있었다. 반면에 WordCount와 PI 애플리케이션은 데이터 복제본 수에 큰 영향을 받지 않았다. 또한 WordCount 애플리케이션은 블록 크기가 64~256MB 일 때 최적의 수행시간을 얻을 수있었다. 따라서 이러한 애플리케이션의 특성을 고려한 스케줄링 정책을 개발한다면 애플리케이션의 실행시간을 단축하여 클라우드 컴퓨팅 시스템의 성능을 향상시킬 수 있음을 보인다.

SDH와 SONET망의 동기화를 위한 포인터 해석기의 FPGA 구현 (FPGA Implementation of a Pointer Interpreter for SDH/SONET Network Synchronization)

  • 이상훈;박남천;신위재
    • 융합신호처리학회논문지
    • /
    • 제5권3호
    • /
    • pp.230-235
    • /
    • 2004
  • 본 논문에서는 동기식 광전송망인 SDH와 SONET망의 동기화를 위해 적용되는 포인터 해석기의 FPGA 구현을 다룬다. 설계된 포인터 해석기는 포인터 추출 모듈과 포인터 해석 모듈로 구성된다. 포인터 추출 모듈은 6480진 카운터, 시프트레지스터, 포인터 워드 동기화 블록으로 구성되며, 51.84 Mb/s AU-3/STS-1 프레임 데이터에서 프레임 동기신호에 의해 H1, H2 포인터 워드 값을 찾고 이를 8 분주하여 바이트 레벨의 6.48 Mb/s로 동기화 시킨다. 포인터 해석 모듈은 majority vote, 포인터 워드 유ㆍ무효 검사, 포인터 정렬판단, NORM, AIS, LOP 상태 검사 블록들로 구성되며, 포인터 추출 모듈에서 추출한 동기화된 포인터 워드를 포인터 상태 천이 알고리즘에 의하여 주요 포인터 상태인 LOP, AIS, NORM으로 해석하고 포인터 정렬을 판단한다. VHDL로 설계하여 Xilinx Virtex XCV200PQ240 FPGA 칩으로 구현된 포인터 해석기의 시뮬레이션 결과는 프레임 데이터에서의 포인터 워드의 정확한 추출과 추출된 포인터 값에 따른 각종 포인터 상태를 판단함을 보여주었다. 본 논문에서 제시한 포인터 해석기는 광전송시스템의 수신 종단노드에서 155 Mb/s STM-1/STS-3 프레임의 포인터 해석을 위해 적용할 수 있어 SDH와 SONET망 모두에 활용할 수 있는 이점이 있다.

  • PDF

한국어 격리단어 인식 시스템에서 HMM 파라미터의 화자 적응 (Speaker Adaptation in HMM-based Korean Isoklated Word Recognition)

  • 오광철;이황수;은종관
    • 대한전기학회논문지
    • /
    • 제40권4호
    • /
    • pp.351-359
    • /
    • 1991
  • This paper describes performances of speaker adaptation using a probabilistic spectral mapping matrix in hidden-Markov model(HMM) -based Korean isolated word recognition. Speaker adaptation based on probabilistic spectral mapping uses a well-trained prototype HMM's and is carried out by Viterbi, dynamic time warping, and forward-backward algorithms. Among these algorithms, the best performance is obtained by using the Viterbi approach together with codebook adaptation whose improvement for isolated word recognition accuracy is 42.6-68.8 %. Also, the selection of the initial values of the matrix and the normalization in computing the matrix affects the recognition accuracy.

어절 분석 기반 형태소 분석 시스템 개발에 관한 연구 (A Study on the Development of a Practical Morphological Analysis System Based on Word Analysis)

  • 조현양;최성필;최재황
    • 정보관리학회지
    • /
    • 제18권2호
    • /
    • pp.105-124
    • /
    • 2001
  • 본 연구에서는 정보검색시스템의 성능향상을 위하여 기존에 연구되었던 다양한 어절 분석 기법들을 바탕으로 어절 분석 속도의 최대화, 형태소 분석기의 모듈화 및 구조화 그리고 형태소의 정확한 분석을 위한 한국어 어절 분석 시스템을 개발하였다. 본 연구에서 개발된 시스템은 어절 분석 속도를 높일 수 있는 최적의 알고리즘을 구현하였으며, 모듈화된 하부 시스템의 유기적이고 효율적인 결합에 중점을 두로 각 모듈별 성능 및 속도 검증이 가능하도록 하였다. 또한, 재귀적 복협명사 분석을 탈피하여 시스템 부하를 줄이고 다층적 수사 패턴 인식에 기반한 수사 형태소 분석 시스템을 개발하였다. 개발된 어절 분석 시스템을 이용하여 색인 시스템을 구성하고 이를 기반으로 실험을 하였다.

  • PDF

음절 bigram를 이용한 띄어쓰기 오류의 자동 교정 (Automatic Correction of Word-spacing Errors using by Syllable Bigram)

  • 강승식
    • 음성과학
    • /
    • 제8권2호
    • /
    • pp.83-90
    • /
    • 2001
  • We proposed a probabilistic approach of using syllable bigrams to the word-spacing problem. Syllable bigrams are extracted and the frequencies are calculated for the large corpus of 12 million words. Based on the syllable bigrams, we performed three experiments: (1) automatic word-spacing, (2) detection and correction of word-spacing errors for spelling checker, and (3) automatic insertion of a space at the end of line in the character recognition system. Experimental results show that the accuracy ratios are 97.7 percent, 82.1 percent, and 90.5%, respectively.

  • PDF

Deep Neural Network 언어모델을 위한 Continuous Word Vector 기반의 입력 차원 감소 (Input Dimension Reduction based on Continuous Word Vector for Deep Neural Network Language Model)

  • 김광호;이동현;임민규;김지환
    • 말소리와 음성과학
    • /
    • 제7권4호
    • /
    • pp.3-8
    • /
    • 2015
  • In this paper, we investigate an input dimension reduction method using continuous word vector in deep neural network language model. In the proposed method, continuous word vectors were generated by using Google's Word2Vec from a large training corpus to satisfy distributional hypothesis. 1-of-${\left|V\right|}$ coding discrete word vectors were replaced with their corresponding continuous word vectors. In our implementation, the input dimension was successfully reduced from 20,000 to 600 when a tri-gram language model is used with a vocabulary of 20,000 words. The total amount of time in training was reduced from 30 days to 14 days for Wall Street Journal training corpus (corpus length: 37M words).

핵심어 인식기에서 단어의 음소레벨 로그 우도 비율의 패턴을 이용한 발화검증 방법 (Utterance Verification using Phone-Level Log-Likelihood Ratio Patterns in Word Spotting Systems)

  • 김정현;권석봉;김회린
    • 말소리와 음성과학
    • /
    • 제1권1호
    • /
    • pp.55-62
    • /
    • 2009
  • This paper proposes an improved method to verify a keyword segment that results from a word spotting system. First a baseline word spotting system is implemented. In order to improve performance of the word spotting systems, we use a two-pass structure which consists of a word spotting system and an utterance verification system. Using the basic likelihood ratio test (LRT) based utterance verification system to verify the keywords, there have been certain problems which lead to performance degradation. So, we propose a method which uses phone-level log-likelihood ratios (PLLR) patterns in computing confidence measures for each keyword. The proposed method generates weights according to the PLLR patterns and assigns different weights to each phone in the process of generating confidence measures for the keywords. This proposed method has shown to be more appropriate to word spotting systems and we can achieve improvement in final word spotting accuracy.

  • PDF