• 제목/요약/키워드: NLTK

검색결과 14건 처리시간 0.023초

KoNLTK: 한국어 언어 처리 도구 (KoNLTK: Korean Natural Language Toolkit)

  • 남규현;이현영;강승식
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.611-613
    • /
    • 2018
  • KoNLTK는 한국어와 관련된 다양한 언어자원과 언어처리 도구들을 파이썬 플랫폼에서 하나의 인터페이스 환경에서 제공하기 위한 언어처리 플랫폼이다. 형태소 분석기, 개체명 인식기, 의존 구조 파서 등 기초 분석 도구들과 단어 벡터, 감정 분석 등 응용 도구들을 제공하여 한국어 텍스트 분석이 필요한 연구자들의 편의성을 증대시킬 수 있다.

  • PDF

NLTKo 1.0: 한국어 언어처리 도구 (Natural Language Toolkit _ Korean)

  • 홍성태;차정원
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.554-557
    • /
    • 2021
  • NLTKo는 한국어 분석 도구들을 NLTK에 결합하여 사용할 수 있게 만든 도구이다. NLTKo는 전처리 도구, 토크나이저, 형태소 분석기, 세종 의미사전, 분류 및 기계번역 성능 평가 도구를 추가로 제공한다. 이들은 기존의 NLTK 함수와 동일한 방법으로 사용할 수 있도록 구현하였다. 또한 세종 의미사전을 제공하여 한국어 동의어/반의어, 상/하위어 등을 제공한다. NLTKo는 한국어 자연어처리를 위한 교육에 도움이 될 것으로 믿는다.

  • PDF

한글 토크나이징 라이브러리 모듈 분석 (Analysis of the Korean Tokenizing Library Module)

  • 이재경;서진범;조영복
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2021년도 춘계학술대회
    • /
    • pp.78-80
    • /
    • 2021
  • 현재 자연어 처리(NLP)에 대한 연구는 급속히 발전하고 있다. 자연어 처리는 인간이 일상생활에서 사용하는 언어의 의미를 분석하여 컴퓨터가 처리할 수 있도록 하는 기술로 음성인식, 맞춤법 검사, 텍스트 분류 등 여러 분야에 사용하고 있다. 현재 가장 많이 사용되는 자연어처리 라이브러리는 영어를 기준으로 한 NLTK로 한글처리에 단점을 가지고 있다. 따라서 본 논문에서는 한글 토크나이징(Tokenizing) 라이브러리인 KonLPy와 Soynlp를 소개 후 형태소 분석 및 처리 기법을 분석하고, KonLPy의 단점을 보완한 Soynlp와의 모듈을 비교·분석하여 향후 의료분야에 적합한 자연어 처리 모델로 활용하고자 한다.

  • PDF

Stock prediction using combination of BERT sentiment Analysis and Macro economy index

  • Jang, Euna;Choi, HoeRyeon;Lee, HongChul
    • 한국컴퓨터정보학회논문지
    • /
    • 제25권5호
    • /
    • pp.47-56
    • /
    • 2020
  • 주가지수는 한 국가의 경제 지표뿐만 아니라 투자판단의 지표로도 활용되므로 이를 예측하는 연구가 지속해서 진행되고 있다. 주가지수 예측을 하는 작업은 기술적, 경제적 및 심리적 요인 등이 반영된 것으로 예측의 정확도를 위해서는 복합적 요인을 고려해야 한다. 따라서 지수의 변동에 영향을 미치는 요인들을 선별하여 반영한 주가지수 예측모델연구가 필요하다. 이와 관련한 기존 연구에서는 시장의 변동을 만들어 내는 뉴스 정보 또는 거시 경제 지표를 각각 이용하거나, 몇 가지의 지표 조합만을 반영한 예측 연구가 대부분이었다. 따라서 본 연구에서는 미국 다우존스지수 예측을 위해 뉴스 정보의 감성 분석과 다양한 거시경제지표를 고려하여 효과적인 지표 조합을 제시하고자 한다. 뉴스 정보의 감성 분석은 최신 자연어처리 기법인 BERT와 NLTK VADER를 사용하고, 예측모델은 주가예측모델로 적합하다고 알려진 딥러닝 예측모델 LSTM을 적용하여 가장 효과적인 지표 조합을 제시했다.

Analysis of YouTube's role as a new platform between media and consumers

  • Hur, Tai-Sung;Im, Jung-ju;Song, Da-hye
    • 한국컴퓨터정보학회논문지
    • /
    • 제27권2호
    • /
    • pp.53-60
    • /
    • 2022
  • Youtube는 낮은 진입장벽과 영상물 규제 기준의 모호함으로 인하여 검증되지 않은 사실을 기반으로 한 가짜뉴스, 편파적 콘텐츠 등이 사실적으로 나타난다. 따라서 본 연구에서는 언론과 Youtube가 개인의 행동에 미치는 영향과 이들의 관계성을 분석하고자 한다. selenium, beautiful soup, Twitter API로 Youtube와 Twitter의 데이터를 무작위로 가져와 가장 자주 언급되는 키워드 31개를 분류한다. 분류된 31개의 키워드를 기반으로 Youtube, Twitter, 네이버 뉴스에서 데이터를 수집 후, NLTK(Natural Language Toolkit)의 Vader 모델로 긍정, 부정, 중립감정을 분류 및 수치화하여 분석 데이터로 사용했다. 데이터들의 상관성을 분석한 결과, 뉴스의 부정수치가 높아질수록 Youtube에서는 긍정적인 콘텐츠가 많아지는 것으로 분석되었다. 본 연구결과로, Youtube는 2차로 가공하여 전달되는 특성으로 인해 뉴스에서 나타나는 감정 지수와 일치하지는 않는다. 즉, 가공된 Youtube 콘텐츠는 소통의 창구인 Twitter의 긍정, 부정수치에도 직관적으로 영향을 미치게 된다. 본 연구결과는 사람들의 흥미와 본능을 자극하여 시선을 끄는 황색언론의 등장으로 정보의 정확한 판단이 어려워진 현 상황에서, 자극적이고 부정적인 영상으로 사회에 악영향을 끼치는 것으로 인식되어있는 Youtube가 도리어 개인의 식별력을 보조하는 역할을 하는 것으로 분석되었다.

영화 대본에서 감정 및 정서 분석: 사례 연구 (Emotion and Sentiment Analysis from a Film Script: A Case Study)

  • 유혜연;김문현;배병철
    • 디지털콘텐츠학회 논문지
    • /
    • 제18권8호
    • /
    • pp.1537-1542
    • /
    • 2017
  • 감정은 서사 생성과 이해 모두에서 중요한 역할을 한다. 본 논문은 플루칙의 감정 모델을 기반으로 영화 대본에서 8가지 감정 표현을 분석하였다. 먼저 각 장면별 수동으로 감정을 태깅하였고, 이 때 8가지 감정 중 분노, 공포, 그리고 놀람이 가장 우세하게 나타났는데, 이는 스릴러 영화 장르를 고려할 때 의미있다고 할 수 있다. 또한, 스토리에서 긴장이 가장 고조되는 클라이맥스에서 다양한 감정이 복합적으로 나타난다고 가정하였고, 대본 상에서 3 부분의 클라이맥스를 확인할 수 있었다. 그 다음으로 파이썬 (Python) 프로그래밍 언어 기반 자연어처리 도구인 NLTK (Natural Language ToolKit)의 감성 분석 도구를 이용하여 수동 감정 태깅과 비교한 결과, 분노와 공포 감정에서 높은 일치율을, 그리고 놀람, 기대, 혐오 감정에서는 낮은 일치율을 보임을 확인하였다.

영어 FrameNet의 수동번역을 통한 한국어 FrameNet 구축 개발 (Construction of Korean FrameNet through Manual Translation of English FrameNet)

  • 남세진;김영식;박정열;함영균;황도삼;최기선
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2014년도 제26회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.38-43
    • /
    • 2014
  • 본 논문은, 현존하는 영어 FrameNet 데이터를 기반으로 하여, FrameNet에 대한 전문 지식이 없는 번역가들을 통해 수행할 수 있는 한국어 FrameNet의 수동 구축 개발 과정을 제시한다. 우리 연구팀은 실제로, NLTK가 제공하는 영어 FrameNet 버전 1.5의 Full Text를 이루고 있는 5,945개의 문장들 중에서, Frame 데이터를 가진 4,025개의 문장들을 추출해내어, 번역가들에 의해 한국어로 수동번역 함으로써, 한국어 FrameNet 구축 개발을 향한 의미 있는 초석을 마련하였으며, 제시한 방법의 실효성을 입증하는 연구결과들을 웹에 공개하기도 하였다.

  • PDF

GNI Corpus Version 1.0: Annotated Full-Text Corpus of Genomics & Informatics to Support Biomedical Information Extraction

  • Oh, So-Yeon;Kim, Ji-Hyeon;Kim, Seo-Jin;Nam, Hee-Jo;Park, Hyun-Seok
    • Genomics & Informatics
    • /
    • 제16권3호
    • /
    • pp.75-77
    • /
    • 2018
  • Genomics & Informatics (NLM title abbreviation: Genomics Inform) is the official journal of the Korea Genome Organization. Text corpus for this journal annotated with various levels of linguistic information would be a valuable resource as the process of information extraction requires syntactic, semantic, and higher levels of natural language processing. In this study, we publish our new corpus called GNI Corpus version 1.0, extracted and annotated from full texts of Genomics & Informatics, with NLTK (Natural Language ToolKit)-based text mining script. The preliminary version of the corpus could be used as a training and testing set of a system that serves a variety of functions for future biomedical text mining.

Extracting and Clustering of Story Events from a Story Corpus

  • Yu, Hye-Yeon;Cheong, Yun-Gyung;Bae, Byung-Chull
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제15권10호
    • /
    • pp.3498-3512
    • /
    • 2021
  • This article describes how events that make up text stories can be represented and extracted. We also address the results from our simple experiment on extracting and clustering events in terms of emotions, under the assumption that different emotional events can be associated with the classified clusters. Each emotion cluster is based on Plutchik's eight basic emotion model, and the attributes of the NLTK-VADER are used for the classification criterion. While comparisons of the results with human raters show less accuracy for certain emotion types, emotion types such as joy and sadness show relatively high accuracy. The evaluation results with NRC Word Emotion Association Lexicon (aka EmoLex) show high accuracy values (more than 90% accuracy in anger, disgust, fear, and surprise), though precision and recall values are relatively low.

Design of Image Generation System for DCGAN-Based Kids' Book Text

  • Cho, Jaehyeon;Moon, Nammee
    • Journal of Information Processing Systems
    • /
    • 제16권6호
    • /
    • pp.1437-1446
    • /
    • 2020
  • For the last few years, smart devices have begun to occupy an essential place in the life of children, by allowing them to access a variety of language activities and books. Various studies are being conducted on using smart devices for education. Our study extracts images and texts from kids' book with smart devices and matches the extracted images and texts to create new images that are not represented in these books. The proposed system will enable the use of smart devices as educational media for children. A deep convolutional generative adversarial network (DCGAN) is used for generating a new image. Three steps are involved in training DCGAN. Firstly, images with 11 titles and 1,164 images on ImageNet are learned. Secondly, Tesseract, an optical character recognition engine, is used to extract images and text from kids' book and classify the text using a morpheme analyzer. Thirdly, the classified word class is matched with the latent vector of the image. The learned DCGAN creates an image associated with the text.