• 제목/요약/키워드: word learning

검색결과 672건 처리시간 0.024초

딥러닝을 이용한 기형도 시의 핵심 이미지 분석 (Deep Learning Application for Core Image Analysis of the Poems by Ki Hyung-Do)

  • 고광호
    • 문화기술의 융합
    • /
    • 제7권3호
    • /
    • pp.591-598
    • /
    • 2021
  • 전후방 단어들의 인접 여부 혹은 후방 단어들의 순서를 학습할 수 있는 통계 기법인 SVD, 딥러닝 기법인 CBOW, LSTM으로 단어벡터를 구할 수 있다. 이렇게 학습된 단어벡터를 기형도의 시에 적용하여 핵심 이미지를 대표하는 단어들과 유사도 높은 단어를 구해서 분석해 보았다. 시적 이미지와 어울리지 않는 단어들이 연산되기도 하지만 그 단어가 사용된 시적 맥락에서는 기준 단어와 유사한 이미지를 표현하고 있음을 알 수 있었다. 이러한 단어벡터를 활용하면 핵심 이미지를 대표하는 단어들의 관계와 유사한 관계의 다른 단어들도 유추할 수 있다. 따라서 통계 기법인 SVD 및 딥러닝 기법인 CBOW와 LSTM으로 구한 단어벡터의 유사도 및 유추 연산을 통해 대상 시를 다양하고 심도 깊게 분석할 수 있다.

A Distance Approach for Open Information Extraction Based on Word Vector

  • Liu, Peiqian;Wang, Xiaojie
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제12권6호
    • /
    • pp.2470-2491
    • /
    • 2018
  • Web-scale open information extraction (Open IE) plays an important role in NLP tasks like acquiring common-sense knowledge, learning selectional preferences and automatic text understanding. A large number of Open IE approaches have been proposed in the last decade, and the majority of these approaches are based on supervised learning or dependency parsing. In this paper, we present a novel method for web scale open information extraction, which employs cosine distance based on Google word vector as the confidence score of the extraction. The proposed method is a purely unsupervised learning algorithm without requiring any hand-labeled training data or dependency parse features. We also present the mathematically rigorous proof for the new method with Bayes Inference and Artificial Neural Network theory. It turns out that the proposed algorithm is equivalent to Maximum Likelihood Estimation of the joint probability distribution over the elements of the candidate extraction. The proof itself also theoretically suggests a typical usage of word vector for other NLP tasks. Experiments show that the distance-based method leads to further improvements over the newly presented Open IE systems on three benchmark datasets, in terms of effectiveness and efficiency.

한의학 고문헌 텍스트 분석을 위한 비지도학습 기반 단어 추출 방법 비교 (Comparison of Word Extraction Methods Based on Unsupervised Learning for Analyzing East Asian Traditional Medicine Texts)

  • 오준호
    • 대한한의학원전학회지
    • /
    • 제32권3호
    • /
    • pp.47-57
    • /
    • 2019
  • Objectives : We aim to assist in choosing an appropriate method for word extraction when analyzing East Asian Traditional Medical texts based on unsupervised learning. Methods : In order to assign ranks to substrings, we conducted a test using one method(BE:Branching Entropy) for exterior boundary value, three methods(CS:cohesion score, TS:t-score, SL:simple-ll) for interior boundary value, and six methods(BExSL, BExTS, BExCS, CSxTS, CSxSL, TSxSL) from combining them. Results : When Miss Rate(MR) was used as the criterion, the error was minimal when the TS and SL were used together, while the error was maximum when CS was used alone. When number of segmented texts was applied as weight value, the results were the best in the case of SL, and the worst in the case of BE alone. Conclusions : Unsupervised-Learning-Based Word Extraction is a method that can be used to analyze texts without a prepared set of vocabulary data. When using this method, SL or the combination of SL and TS could be considered primarily.

CNN을 적용한 한국어 상품평 감성분석: 형태소 임베딩을 중심으로 (Sentiment Analysis of Korean Reviews Using CNN: Focusing on Morpheme Embedding)

  • 박현정;송민채;신경식
    • 지능정보연구
    • /
    • 제24권2호
    • /
    • pp.59-83
    • /
    • 2018
  • 고객과 대중의 니즈를 파악하기 위한 감성분석의 중요성이 커지면서 최근 영어 텍스트를 대상으로 다양한 딥러닝 모델들이 소개되고 있다. 본 연구는 영어와 한국어의 언어적인 차이에 주목하여 딥러닝 모델을 한국어 상품평 텍스트의 감성분석에 적용할 때 부딪히게 되는 기본적인 이슈들에 대하여 실증적으로 살펴본다. 즉, 딥러닝 모델의 입력으로 사용되는 단어 벡터(word vector)를 형태소 수준에서 도출하고, 여러 형태소 벡터(morpheme vector) 도출 대안에 따라 감성분석의 정확도가 어떻게 달라지는지를 비정태적(non-static) CNN(Convolutional Neural Network) 모델을 사용하여 검증한다. 형태소 벡터 도출 대안은 CBOW(Continuous Bag-Of-Words)를 기본적으로 적용하고, 입력 데이터의 종류, 문장 분리와 맞춤법 및 띄어쓰기 교정, 품사 선택, 품사 태그 부착, 고려 형태소의 최소 빈도수 등과 같은 기준에 따라 달라진다. 형태소 벡터 도출 시, 문법 준수도가 낮더라도 감성분석 대상과 같은 도메인의 텍스트를 사용하고, 문장 분리 외에 맞춤법 및 띄어쓰기 전처리를 하며, 분석불능 범주를 포함한 모든 품사를 고려할 때 감성분석의 분류 정확도가 향상되는 결과를 얻었다. 동음이의어 비율이 높은 한국어 특성 때문에 고려한 품사 태그 부착 방안과 포함할 형태소에 대한 최소 빈도수 기준은 뚜렷한 영향이 없는 것으로 나타났다.

유아 언어학습용 단어게임 애플리케이션 분석 (Contents Analysis of Vocabulary Learning Game Application on Smart-Phone and Tablet PC for Young Children's Language Learning)

  • 현은자;연혜민;장주연;이은영
    • 한국콘텐츠학회논문지
    • /
    • 제13권11호
    • /
    • pp.551-561
    • /
    • 2013
  • 본 연구의 목적은 현재 사용되는 유아 언어학습용 단어게임 애플리케이션의 내용 및 수준을 평가하고, 한글과 영어 단어 게임 애플리케이션 간의 차이가 어떠한지를 파악하는 것이다. 분석대상은 스마트폰, 태블릿 PC 애플리케이션 다운로드 센터에서 제공하는 유아 언어학습용 단어게임 애플리케이션으로 영어단어게임 애플리케이션, 한글단어게임 애플리케이션 각 30개씩이다. 분석도구는 CTR(Children's Technology Review)에서 개발한 소프트웨어 평가 도구(Children's Software Evaluation Instrument), 박희숙, 이영주(2007)의 멀티미디어 콘텐츠 평가 준거, 최수의(2003)의 모바일 콘텐츠 평가 준거를 참고로 유아의 발달적 특성을 고려하여 수정 보완한 평가 준거를 사용하였다. 연구 결과, 전체 단어게임 애플리케이션의 분석결과는 평가영역별 중 교육적 가치에서 가장 높은 점수를 받았으나, 디자인의 특성에서는 가장 낮은 점수를 받았다. 한글 영어 단어게임 애플리케이션 간의 비교에서는 영어단어게임 애플리케이션이 한글단어게임 애플리케이션보다 전체적으로 모든 영역의 점수가 높았다. 본 연구의 결과는 유아를 위한, 발달적으로 적합한 게임 애플리케이션의 개발에 도움을 줄 수 있을 것이다.

워드 임베딩을 이용한 아마존 패션 상품 리뷰의 사용자 감성 분석 (User Sentiment Analysis on Amazon Fashion Product Review Using Word Embedding)

  • 이동엽;조재춘;임희석
    • 한국융합학회논문지
    • /
    • 제8권4호
    • /
    • pp.1-8
    • /
    • 2017
  • 현대 사회에서 패션 시장의 규모는 해외와 국내 모두 지속적으로 증가하고 있다. 전자상거래를 통해 상품을 구입하는 경우 다른 소비자들이 작성한 상품에 대한 평가 데이터는 소비자가 상품의 구입 여부를 결정하는데에 영향을 미친다. 기업의 입장에서도 상품에 대한 소비자의 평가 데이터를 분석하여 소비자의 피드백을 반영한다면 기업의 성과에 긍정적인 영향을 미칠 수 있다. 이에 본 논문에서는 아마존 패션 상품의 리뷰 데이터를 학습하여 형성된 워드임베딩 공간을 이용하여 사용자의 감성을 분석하는 모델을 구축하는 방법을 제안한다. 실험은 아마존 리뷰 데이터 570만건을 학습하여 형성된 워드임베딩 공간을 이용하여 긍정, 부정 리뷰 데이터의 개수에 따라 총 3개의 SVM 분류기 모델을 학습하는 방식으로 진행하였다. 실험 결과 긍정 리뷰 데이터 5만건, 부정 리뷰데이터 5만건을 이용하여 SVM 분류기를 학습하였을 때 88.0%로 가장 높은 정확도(accuracy)를 나타냈다.

Text Augmentation Using Hierarchy-based Word Replacement

  • Kim, Museong;Kim, Namgyu
    • 한국컴퓨터정보학회논문지
    • /
    • 제26권1호
    • /
    • pp.57-67
    • /
    • 2021
  • 최근 딥 러닝(Deep Learning) 분석에 이질적인 데이터를 함께 사용하는 멀티모달(Multi-modal) 딥러닝 기술이 많이 활용되고 있으며, 특히 텍스트로부터 자동으로 이미지를 생성해내는 Text to Image 합성에 관한 연구가 활발하게 수행되고 있다. 이미지 합성을 위한 딥러닝 학습은 방대한 양의 이미지와 이미지를 설명하는 텍스트의 쌍으로 구성된 데이터를 필요로 하므로, 소량의 데이터로부터 다량의 데이터를 생성하기 위한 데이터 증강 기법이 고안되어 왔다. 텍스트 데이터 증강의 경우 유의어 대체에 기반을 둔 기법들이 다수 사용되고 있지만, 이들 기법은 명사 단어의 유의어 대체 시 이미지의 내용과 상이한 텍스트를 생성할 가능성이 있다는 한계를 갖는다. 따라서 본 연구에서는 단어가 갖는 품사별 특징을 활용하는 텍스트 데이터 증강 방안, 즉 일부 품사에 대해 단어 계층 정보를 활용하여 단어를 대체하는 방안을 제시하였다. 또한 제안 방법론의 성능을 평가하기 위해 MSCOCO 데이터를 사용하여 실험을 수행하여 결과를 제시하였다.

영어 어말 폐쇄음의 유.무성인지 실마리에 관한 연구 -폐쇄음의 자음적 특징을 중심으로- (Clues to the voicing identification of word-final stops in English - focusing on their consonantal features -)

  • 고현주
    • 대한음성학회지:말소리
    • /
    • 제37호
    • /
    • pp.13-21
    • /
    • 1999
  • This study, as a successive study of Ko(1998a) which investigates the effect of vowel length contrast on the voicing of the word-final consonants in English, examines if other phonetic features of word-final stops themselves affect the Perception of their voicing. They are closure duration, voicing status during closure period, release portion. 68 Korean students learning English as a second language in Wonkwang University participate as subjects for this study. The results showed that they are not important clues to Korean students to the voicing identification of the word-final stops in English.

  • PDF

단어의미 추론에서 나타나는 아동의 마음이론 (Children's Inferring Word Meaning From Understanding of the Speaker's Mind)

  • 송영주
    • 아동학회지
    • /
    • 제27권2호
    • /
    • pp.167-180
    • /
    • 2006
  • This study investigated how children rely on the mind of the speaker to infer unfamiliar words. Sixty 3 to 5-year-old children were interviewed individually with word inference and false belief tasks. Children's sensitivity to the speakers' intentions and prior experiences increased with age. Unexpectedly, their performance was not different with the condition of mind construct. Children's inferring word meanings were positively, but not significantly, correlated with understanding others' false beliefs.

  • PDF

Word Embedding기반 Twitter 해시 태그 클러스터링 (Twitter Hashtags Clustering with Word Embedding)

  • 티엔윙안;양형정
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2019년도 춘계종합학술대회
    • /
    • pp.179-180
    • /
    • 2019
  • Nowadays, clustering algorithm is considered as a promising solution for lacking human-labeled and massive data of social media sites in numerous machine learning tasks. Many researchers propose disaster event detection systems have ability to determine special local events, such as missing people, public transport damage by clustering similar tweets and hashtags together. In this paper, we try to extend tweet hashtag feature definition by applying word embedding. The experimental results are described that word embedding achieve better performance than the reference method.

  • PDF