• 제목/요약/키워드: 한국어 텍스트 마이닝

검색결과 35건 처리시간 0.024초

Bidirectional GRU-GRU CRF 기반 참고문헌 메타데이터 인식 (Bidirectional GRU-GRU CRF based Citation Metadata Recognition)

  • 김선우;지선영;설재욱;정희석;최성필
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.461-464
    • /
    • 2018
  • 최근 학술문헌이 급격하게 증가함에 따라, 학술문헌간의 연결성 및 메타데이터 추출 등의 핵심 자원으로서 활용할 수 있는 참고문헌에 대한 활용 연구가 진행되고 있다. 본 연구에서는 국내 학술지의 참고문헌이 가진 각 메타데이터를 자동적으로 인식하여 추출할 수 있는 참고문헌 메타데이터 인식에 대하여, 연속적 레이블링 방법론을 기반으로 접근한다. 심층학습 기술 중 연속적 레이블링에 우수한 성능을 보이고 있는 Bidirectional GRU-GRU CRF 모델을 기반으로 참고문헌 메타데이터 인식에 적용하였으며, 2010년 이후의 10종의 학술지내의 144,786건의 논문을 활용하여 추출한 169,668건의 참고문헌을 가공하여 실험하였다. 실험 결과, 실험집합에 대하여 F1 점수 97.21%의 우수한 성능을 보였다.

  • PDF

질의 기반 사용자 감정상태 예측 (Query-based User Emotion Prediction)

  • 민혜진;강인호
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2014년도 제26회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.211-214
    • /
    • 2014
  • 본 연구에서는 질의를 기반으로 사용자의 감정상태를 예측하는 방법을 제안한다. 제안방법은 자극-감정 규칙베이스 구축, 규칙확률 값 기반 질의 랭킹, 질의 랭킹 기반 사용자 감정예측의 단계로 구성된다. 방법의 적절성을 검증하기 위하여 힘들다와 심심하다에 대한 결과로 사용자평가를 실시하였다. 힘들다의 결과에서는 힘들다 정도에 대한 점수가 높은 질의들을 지속적으로 검색하는 사용자들을 힘들다라고 판단할 수 있다고 분석되었다. 심심하다의 결과에서는 방법 간 유의미한 차이를 보이지 않았으나, 특정 개별질의의 지속적인 패턴을 분석하는 것이 좀 더 높은 점수를 얻은 것으로 평가되었다.

  • PDF

온톨로지 인스턴스 생성을 위한 상호참조 해결 연구 (Reference Resolution for Ontology Population)

  • 최미란;이창기;왕지현;장명길
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2007년도 제19회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.140-144
    • /
    • 2007
  • 시맨틱 웹 기술의 주축을 이루는 온톨로지의 구축시에 인스턴스를 생성하기 위하여 대상 문서를 구성하는 자연어 문장을 텍스트 마이닝 기술을 이용하여 트리플을 추출한다. 인스턴스를 생성할 때 보다 많은 정보를 추출하기 위해서 문장에 나타나는 상호참조 해결이 필요하다. 본 연구에서는 문서에서 많이 나타나는 명사구로 이루어진 대용어를 해석하기 위하여 언어 분석된 다양한 결과 정보를 이용한다. 본 연구에서는 계층적인 의미구조와 청킹을 이용한 규칙기반의 상호참조 해결 방법을 제안하고 실험을 통해 알고리즘의 정확도를 제시한다.

  • PDF

다국어 소셜미디어에 대한 감성분석 방법 개발: 한국어-중국어를 중심으로 (A Method of Analyzing Sentiment Polarity of Multilingual Social Media: A Case of Korean-Chinese Languages)

  • 최미나;진윤선;권오병
    • 지능정보연구
    • /
    • 제22권3호
    • /
    • pp.91-111
    • /
    • 2016
  • 소비자들이 소셜미디어 상에 기록한 글을 통해 기업은 제품 또는 기업 이미지에 대한 감성분석을 수행하는데 이는 소셜미디어 기반 마케팅에서 중요한 활동 중에 하나다. 특히 글로벌 소셜미디어의 경우 국적을 불문하고 다양한 고객이 늘어남에 따라 여러 언어권의 소비자들이 각자의 언어로 다양한 의견을 표명하고 있다. 이처럼 다양한 언어로 작성된 텍스트를 감성분석하기 위해서는 기존 방법과 달리 동일한 언어로 통일시켜야 하는 번역 작업이 필요하다. 하지만 번역을 하게 될 경우, 언어와 관련된 배경이나 문화, 용어사용의 차이 등으로 본래 문서에 있는 모든 단어나 문법을 정확히 표현할 수 없는 문제점이 있다. 따라서 본 연구에서는 다중 언어로 수집되는 텍스트를 번역하지 않고 해당 언어별로 텍스트를 분리한 다음 감성분석을 진행하여 각각의 극성치를 종합하는 방법을 제안하고자 한다. 본 연구에서 제안한 다국어 감성분석 알고리즘을 검증하기 위해 다중언어 문장을 한국어, 중국어로 번역한 감성분석의 극성치 편차인 RMSE 값을 비교하였다. 그 결과, 번역을 통한 다중언어의 감성분석보다 언어별로 분리한 감성값이 실제 감성값에 가장 근접하는 것으로 나타나 본 연구에서 제안한 방법론의 우수성을 입증하였다. 본 연구는 다수의 유사한 연구에서 사용했던 알고리즘을 사용하지 않고 원문 그대로 다중언어 감성분석을 시도했다는 점에서 의의가 있다.

Rating Prediction by Evaluation Item through Sentiment Analysis of Restaurant Review

  • So, Jin-Soo;Shin, Pan-Seop
    • 한국컴퓨터정보학회논문지
    • /
    • 제25권6호
    • /
    • pp.81-89
    • /
    • 2020
  • 우리가 SNS상에서 흔하게 접하는 온라인 리뷰에는, 소비자들의 선호도에 영향을 미치는 다양한 평가정보가 복합적으로 포함되어 있지만 이를 매우 간단한 형태의 수치(또는 평점)로 제공하는 것이 일반적이다. 이러한 리뷰에서, 소비자가 원하는 구체적인 정보를 얻고, 이를 구매를 위한 판단에 활용하기란 쉽지 않다. 따라서 본 연구에서는 한국어로 작성된 음식점 리뷰를 대상으로, 감성분석을 수행하여 평가항목별로 세분화된 평점을 제공 가능한 예측 방법론을 제안한다. 이를 위해, 음식점의 주요 평가항목으로 '음식', '가격', '서비스', '분위기'를 선정하고, 평가항목별 맞춤형 감성사전을 새롭게 구축한다. 또한 평가항목별 리뷰 문장을 분류하고 감성분석을 통해 세분화된 평점을 예측하여 소비자가 의사결정에 활용 가능한 추가적인 정보를 제공한다. 마지막으로, MAE와 RMSE를 평가지표로 사용하여 기존의 연구보다 제안기법의 평점 예측 정확도가 향상되었음을 보이며, 제안 방법론의 활용 사례도 제시한다.

텍스트 마이닝을 이용한 기사 내 부적합 문단 검출 시스템 (Detecting Improper Sentences in a News Article Using Text Mining)

  • 김규완;신현주;김선진;이현아
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2017년도 제29회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.294-297
    • /
    • 2017
  • SNS와 스마트기기의 발전으로 온라인을 통한 뉴스 배포가 용이해지면서 악의적으로 조작된 뉴스가 급속도로 생성되어 확산되고 있다. 뉴스 조작은 다양한 형태로 이루어지는데, 이 중에서 정상적인 기사 내에 광고나 낚시성 내용을 포함시켜 독자가 의도하지 않은 정보에 노출되게 하는 형태는 독자가 해당 내용을 진짜 뉴스로 받아들이기 쉽다. 본 논문에서는 뉴스 기사 내에 포함된 문단 중에서 부적합한 문단이 포함되었는지를 판정하기 위한 방법을 제안한다. 제안하는 방식에서는 자연어 처리에 유용한 Convolutional Neural Network(CNN)모델 중 Word2Vec과 tf-idf 알고리즘, 로지스틱 회귀를 함께 이용하여 뉴스 부적합 문단을 검출한다. 본 시스템에서는 로지스틱 회귀를 이용하여 문단의 카테고리를 분류하여 본문의 카테고리 분포도를 계산하고 Word2Vec을 이용하여 문단간의 유사도를 계산한 결과에 가중치를 부여하여 부적합 문단을 검출한다.

  • PDF

한국어 위키피디아를 이용한 분류체계 생성과 개체명 사전 자동 구축 (Automatic Construction of Class Hierarchies and Named Entity Dictionaries using Korean Wikipedia)

  • 배상준;고영중
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제16권4호
    • /
    • pp.492-496
    • /
    • 2010
  • 위키피디아는 개방형 백과사전으로서 수많은 편집자들에 의해 작성되기 때문에 빠른 시간에 방대한 양의 정보가 축적되고 있으며, 축적되는 정보의 신뢰성 또한 매우 높다. 본 논문에서는 이러한 장점을 가진 위키피디아의 여러 가지 세부정보를 이용하여 한국어 개체명 사전을 자동으로 구축하는 방법을 제안한다. 먼저 위키피디아의 각 엔트리(entry)의 분류정보를 사용하여 분류체계(class hierarchy)를 생성한다. 생성된 분류체계에 위키피디아 엔트리를 자동으로 매핑(mapping)시킨 다음, 분류체계에서 최상위 계층의 불확실성(entropy)을 계산한다. 마지막으로, 임계값 이상의 불확실성을 가지는 분류체계를 제거함으로써 정확률이 높은 개체명 사전을 구축한다. 본 논문에서 제안하는 방법으로 실험을 한 결과 최고 81.12%(83.94%:정확률,78.48%:재현율)의 F1-measure의 성능을 보였다.

웹마이닝을 활용한 사이클웨어 소비자 인식 분석 (Analysis of Consumer Awareness of Cycling Wear Using Web Mining)

  • 김춘정;이은주
    • 한국산학기술학회논문지
    • /
    • 제19권5호
    • /
    • pp.640-649
    • /
    • 2018
  • 본 연구는 빅데이터 분석방법 중 하나인 웹마이닝을 이용하여 사이클웨어의 요구성능 및 착용 현황 및 소비자 감성을 분석하였다. 이를 위해 네이버 카페인 '자전거로 출퇴근하는 사람들'을 대상으로 2006년~2017년 기간 동안 사이클웨어와 관련 있는 게시글과 댓글을 R 패키지를 사용하여 크롤링하였다. 수집된 데이터는 데이터 전처리 과정을 거쳐 선별된 15,321건의 문서를 데이터를 분석에 사용하였다. 추출된 데이터에서 텍스트는 한국어형태소분석기(KoNLP)를 사용하여 키워드를 추출한 후 TDM(Term Document Matrix)과 co-occurrence matrix로 변환하여 키워드별 출현 빈도수와 키워드 간 관계를 계산하였다. 사이클웨어에서 가장 출현빈도수가 높았던 키워드는 '타이츠'로 전문적인 사이클웨어에 대한 높은 관심을 나타내었으나 몸에 달라붙어 착용 시 민망하다는 의견이 많았다. 사이클웨어 '구매'와 관련하여 '가격', '사이즈', '브랜드' 등과 관련이 많았으며 '가격'과 관련하여 '저가'와 '가성비'에 대한 출현빈도수가 높았다. 이것은 최근 고가의 브랜드보다는 가격대비 성능을 만족시키는 실용적인 제품들이 선호되는 경향을 나타내주었다. 사이클웨어에서 소재의 흡한속건성이나 패드의 기능성, 불편함 등에 대한 소재나 디자인 등에 대한 개선이 요구되었다. 이처럼 웹마이닝을 이용하여 사이클웨어에 대한 소비자의 의견을 분석할 수 있었으며 기존의 설문조사와도 유사한 결과를 보여주었다. 그러므로 웹마이닝을 이용하여 소비자의 의견이나 요구사항을 실시간으로 분석하여 제품개발에 반영할 수 있는 객관적 지표로 사용할 수 있을 것으로 기대된다.

텍스트 마이닝을 이용한 감정 유발 요인 'Emotion Trigger'에 관한 연구 (A Study of 'Emotion Trigger' by Text Mining Techniques)

  • 안주영;배정환;한남기;송민
    • 지능정보연구
    • /
    • 제21권2호
    • /
    • pp.69-92
    • /
    • 2015
  • 최근 소셜 미디어의 사용이 폭발적으로 증가함에 따라 이용자가 직접 생성하는 방대한 데이터를 분석하기 위한 다양한 텍스트 마이닝(text mining) 기법들에 대한 연구가 활발히 이루어지고 있다. 이에 따라 텍스트 분석을 위한 알고리듬(algorithm)의 정확도와 수준 역시 높아지고 있으나, 특히 감성 분석(sentimental analysis)의 영역에서 언어의 문법적 요소만을 적용하는데 그쳐 화용론적 의미론적 요소를 고려하지 못한다는 한계를 지닌다. 본 연구는 이러한 한계를 보완하기 위해 기존의 알고리듬 보다 의미 자질을 폭 넓게 고려할 수 있는 Word2Vec 기법을 적용하였다. 또한 한국어 품사 중 형용사를 감정을 표현하는 '감정어휘'로 분류하고, Word2Vec 모델을 통해 추출된 감정어휘의 연관어 중 명사를 해당 감정을 유발하는 요인이라고 정의하여 이 전체 과정을 'Emotion Trigger'라 명명하였다. 본 연구는 사례 연구(case study)로 사회적 이슈가 된 세 직업군(교수, 검사, 의사)의 특정 사건들을 연구 대상으로 선정하고, 이 사건들에 대한 대중들의 인식에 대해 분석하고자 한다. 특정 사건들에 대한 일반 여론과 직접적으로 표출된 개인 의견 모두를 고려하기 위하여 뉴스(news), 블로그(blog), 트위터(twitter)를 데이터 수집 대상으로 선정하였고, 수집된 데이터는 유의미한 연구 결과를 보여줄 수 있을 정도로 그 규모가 크며, 추후 다양한 연구가 가능한 시계열(time series) 데이터이다. 본 연구의 의의는 키워드(keyword)간의 관계를 밝힘에 있어, 기존 감성 분석의 한계를 극복하기 위해 Word2Vec 기법을 적용하여 의미론적 요소를 결합했다는 점이다. 그 과정에서 감정을 유발하는 Emotion Trigger를 찾아낼 수 있었으며, 이는 사회적 이슈에 대한 일반 대중의 반응을 파악하고, 그 원인을 찾아 사회적 문제를 해결하는데 도움이 될 수 있을 것이다.

상황인식형 비즈니스 차트 추천기 개발을 위한 개방형 온라인 텍스트로부터의 시각화 규칙 추출 방법 연구 (A Method of Mining Visualization Rules from Open Online Text for Situation Aware Business Chart Recommendation)

  • ;권오병
    • 한국전자거래학회지
    • /
    • 제25권1호
    • /
    • pp.83-107
    • /
    • 2020
  • 데이터의 성격과 시각화의 목적에 따라 비즈니스 차트를 선택하는 것은 비즈니스 분석에 유용한 지식이다. 그러나 현재 시각화 도구에는 상황에 맞는 비즈니스 차트를 선택할 수 있는 기능이 부족하다. 또한 매번마다 시각화 방법에 대해 전문가의 도움을 요청하는 것은 비용과 시간이 소요된다. 따라서 본 연구의 목적은 온라인으로 게시된 문서로부터 비즈니스 차트 선정 규칙에 대한 지식을 추출하여 비즈니스 차트 생산성을 향상시키는 방법을 제안하는 것이다. 이를 위해 인터넷에서 비즈니스 차트를 묘사하는 한국어, 영어 및 중국어 비정형 데이터를 수집하고 TF-IDF를 사용하여 컨텍스트와 비즈니스 차트 간의 관계를 계산했다. 또한 Galois 래티스를 사용하여 비즈니스 차트 선택 규칙을 생성했다. 제안된 방법으로 생성된 규칙의 품질을 평가하기 위해 실험군과 대조군에 대해 실험을 수행했다. 그 결과 제안된 방법으로 의미 있는 규칙이 추출되었음을 확인했다. 본 연구의 결과물로 시각화 전문가의 도움 없이도 사무직 직원들이 비즈니스 차트를 효율적으로 선택할 수 있을 것으로 기대된다. 또한 작업 중인 문서를 기반으로 비즈니스 차트를 추천함으로 직원 교육에 유용할 것이다.