• 제목/요약/키워드: text vector

검색결과 286건 처리시간 0.027초

Multidimensional Analysis of Consumers' Opinions from Online Product Reviews

  • Taewook Kim;Dong Sung Kim;Donghyun Kim;Jong Woo Kim
    • Asia pacific journal of information systems
    • /
    • 제29권4호
    • /
    • pp.838-855
    • /
    • 2019
  • Online product reviews are a vital source for companies in that they contain consumers' opinions of products. The earlier methods of opinion mining, which involve drawing semantic information from text, have been mostly applied in one dimension. This is not sufficient in itself to elicit reviewers' comprehensive views on products. In this paper, we propose a novel approach in opinion mining by projecting online consumers' reviews in a multidimensional framework to improve review interpretation of products. First of all, we set up a new framework consisting of six dimensions based on a marketing management theory. To calculate the distances of review sentences and each dimension, we embed words in reviews utilizing Google's pre-trained word2vector model. We classified each sentence of the reviews into the respective dimensions of our new framework. After the classification, we measured the sentiment degrees for each sentence. The results were plotted using a radar graph in which the axes are the dimensions of the framework. We tested the strategy on Amazon product reviews of the iPhone and Galaxy smartphone series with a total of around 21,000 sentences. The results showed that the radar graphs visually reflected several issues associated with the products. The proposed method is not for specific product categories. It can be generally applied for opinion mining on reviews of any product category.

Writer verification using feature selection based on genetic algorithm: A case study on handwritten Bangla dataset

  • Jaya Paul;Kalpita Dutta;Anasua Sarkar;Kaushik Roy;Nibaran Das
    • ETRI Journal
    • /
    • 제46권4호
    • /
    • pp.648-659
    • /
    • 2024
  • Author verification is challenging because of the diversity in writing styles. We propose an enhanced handwriting verification method that combines handcrafted and automatically extracted features. The method uses a genetic algorithm to reduce the dimensionality of the feature set. We consider offline Bangla handwriting content and evaluate the proposed method using handcrafted features with a simple logistic regression, radial basis function network, and sequential minimal optimization as well as automatically extracted features using a convolutional neural network. The handcrafted features outperform the automatically extracted ones, achieving an average verification accuracy of 94.54% for 100 writers. The handcrafted features include Radon transform, histogram of oriented gradients, local phase quantization, and local binary patterns from interwriter and intrawriter content. The genetic algorithm reduces the feature dimensionality and selects salient features using a support vector machine. The top five experimental results are obtained from the optimal feature set selected using a consensus strategy. Comparisons with other methods and features confirm the satisfactory results.

다중 레이블 분류의 정확도 향상을 위한 스킵 연결 오토인코더 기반 레이블 임베딩 방법론 (Label Embedding for Improving Classification Accuracy UsingAutoEncoderwithSkip-Connections)

  • 김무성;김남규
    • 지능정보연구
    • /
    • 제27권3호
    • /
    • pp.175-197
    • /
    • 2021
  • 최근 딥 러닝 기술의 발전으로 뉴스, 블로그 등 다양한 문서에 포함된 텍스트 분석에 딥 러닝 기술을 활용하는 연구가 활발하게 수행되고 있다. 다양한 텍스트 분석 응용 가운데, 텍스트 분류는 학계와 업계에서 가장 많이 활용되는 대표적인 기술이다. 텍스트 분류의 활용 예로는 정답 레이블이 하나만 존재하는 이진 클래스 분류와 다중 클래스 분류, 그리고 정답 레이블이 여러 개 존재하는 다중 레이블 분류 등이 있다. 특히, 다중 레이블 분류는 여러 개의 정답 레이블이 존재한다는 특성 때문에 일반적인 분류와는 상이한 학습 방법이 요구된다. 또한, 다중 레이블 분류 문제는 레이블과 클래스의 개수가 증가할수록 예측의 난이도가 상승한다는 측면에서 데이터 과학 분야의 난제로 여겨지고 있다. 따라서 이를 해결하기 위해 다수의 레이블을 압축한 후 압축된 레이블을 예측하고, 예측된 압축 레이블을 원래 레이블로 복원하는 레이블 임베딩이 많이 활용되고 있다. 대표적으로 딥 러닝 모델인 오토인코더 기반 레이블 임베딩이 이러한 목적으로 사용되고 있지만, 이러한 기법은 클래스의 수가 무수히 많은 고차원 레이블 공간을 저차원 잠재 레이블 공간으로 압축할 때 많은 정보 손실을 야기한다는 한계가 있다. 이에 본 연구에서는 오토인코더의 인코더와 디코더 각각에 스킵 연결을 추가하여, 고차원 레이블 공간의 압축 과정에서 정보 손실을 최소화할 수 있는 레이블 임베딩 방법을 제안한다. 또한 학술연구정보서비스인 'RISS'에서 수집한 학술논문 4,675건에 대해 각 논문의 초록으로부터 해당 논문의 다중 키워드를 예측하는 실험을 수행한 결과, 제안 방법론이 기존의 일반 오토인코더 기반 레이블 임베딩 기법에 비해 정확도, 정밀도, 재현율, 그리고 F1 점수 등 모든 측면에서 우수한 성능을 나타냄을 확인하였다.

텍스트 및 영상의 멀티모달분석을 이용한 트위터 사용자의 감성 흐름 모니터링 기술 (Monitoring Mood Trends of Twitter Users using Multi-modal Analysis method of Texts and Images)

  • 김은이;고은정
    • 한국융합학회논문지
    • /
    • 제9권1호
    • /
    • pp.419-431
    • /
    • 2018
  • 본 논문은 개인 사용자의 트윗을 분석하여 사용자의 감정 흐름을 모니터링할 수 있는 새로운 방법을 제안한다. 본 논문에서는 사용자의 감성 흐름을 정확하게 예측하기 위해서 기존의 텍스트 위주의 시스템과 달리 본 연구에서는 사용자가 쓴 텍스트와 영상 등으로부터 감성을 인식하는 멀티 모달 분석 기법이 개발된다. 제안된 방법에서는 먼저 어휘분석 및 문맥을 이용한 텍스트분석기와 학습기반의 영상감성인식기를 이용하여 텍스트 및 영상 트윗에 숨겨진 개별 감성을 추출한다. 이후 이들은 규칙기반 통합 방법에 의해 날짜별로 통합되고, 마지막으로 개인의 감성흐름을 보다 직관적으로 관측할 수 있도록 감성흐름그래프로 시각화한다. 제안된 방법의 효용성을 평가하기 위해 두 단계의 실험이 수행되었다. 먼저 4만여 개의 트윗으로부터 제안된 방법의 정확도 평가 실험이 수행되고, 최신 트윗 분석 기술과 비교 분석되었다. 두 번째 실험에서는 40명의 우울증을 가진 사용자와 일반사용자를 구분할 수 있는지에 대한 실험이 수행된 결과, 제안된 기술이 실제 사용자의 감성흐름을 모니터하는데 효율적임을 증명하였다.

감정 단어의 의미적 특성을 반영한 한국어 문서 감정분류 시스템 (A Korean Document Sentiment Classification System based on Semantic Properties of Sentiment Words)

  • 황재원;고영중
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제37권4호
    • /
    • pp.317-322
    • /
    • 2010
  • 본 논문은 감정단어(Sentiment Word)의 의미적 특성을 반영하여 한국어 문서 감정분류 시스템의 성능을 향상시킬 수 있는 방법을 제안한다. 감정단어는 감정을 가지는 단어를 의미하며, 감정단어들의 집합은 감정자질(Sentiment Feature)로써 감정분류를 위한 중요한 어휘 자원이다. 감정자질은 일반적으로 사용될 때와 특정 영역(Domain)에서 사용될 때에 그 감정 정도의 차이를 가진다. 감정자질이 일반적으로 사용될 때 그 감정 정도는 검색 엔진을 통해 얻을 수 있는 스니핏(Snippet)을 통해 추정할 수 있으며, 특정 영역에서 사용될 때의 감정 정도는 실험 말뭉치를 이용하여 추정할 수 있다. 이렇게 추정된 감정자질의 감정 정도 수치를 의미지향성이라고 하며, 문서내의 문장의 감정 강도를 추정하기 위해 이용된다. 문장의 감정 강도가 추정되면 문장 감정 강도를 감정자질의 가중치에 반영하게 된다. 본 논문은 지지 벡터 기계(Support Vector Machine)를 이용하여 일반적, 영역 의존적, 일반적/영역 의존적 의미지향성을 반영한 경우에 대해 성능을 평가한다. 평가 결과, 앞의 3가지 경우에 모두 성능 향상을 얻었으며 일반적/영역 의존적 의미지향성을 반영한 경우, 일반적인 정보 검색에서 사용하는 내용어(Content Word) 기반의 자질을 사용한 경우보다 3.1%의 성능 향상을 얻을 수 있었다.

라이프로그 관리 시스템에서 블루투스 장치를 이용한 효과적인 사진 검색 방법 (Effective Picture Search in Lifelog Management Systems using Bluetooth Devices)

  • 정은호;이기용;김명호
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제16권4호
    • /
    • pp.383-391
    • /
    • 2010
  • 라이프로그 관리 시스템이란 개인의 일상 생활에 관련된 모든 정보를 저장하고, 이에 대한 관리 및 검색 기능을 제공하는 시스템이다. 본 논문은 라이프로그를 검색하는 방법 중, 현실 세상에서 발생한 사용자와 다른 사람들과의 사회적 접촉에 대한 정보를 키워드로 하여 관련된 라이프로그를 검색할 수 있도록 하는 방법을 제안한다. 이를 위하여 휴대폰의 근거리 무선 통신 장치를 이용하여 현실 세상에서 발생한 사용자의 사회적 접촉 정보를 자동으로 수집하는 방법과, 수집된 사회적 접촉 정보를 이용하여 주어진 인물과 관계된 사진을 검색할 수 있도록 하는 방법을 제안한다. 블루투스 장치와 인물의 관계를 추론하기 위하여 인물 정보가 기록된 기존 라이프로그를 이용, 인물과 블루투스 장치가 동시에 관찰되는 빈도수를 계산하여 사람-블루투스 매트릭스를 만든다. 실험 결과, 실제 사용자의 오프라인 만남 정보 중에서, 빈도수 계산 시각에 발생한 모든 오프라인 만남 정보의 20%의 정보만으로도 블루투스 장치와 그 소유주의 관계를 90% 이상의 정확도로 알아 낼 수 있었다. 또한 매트릭스에서 인물에 해당하는 벡터와 라이프로그가 생성된 시점에 스캔된 블루투스 장치들을 벡터 정보 검색 방법으로 비교하여 주어진 인물과 관련된 라이프로그를 검색함으로써, 제안하는 검색 방법은 기존의 검색 방법에 비하여 더 많은 사진을 반환할 뿐만 아니라 기존에는 불가능했던 검색어와의 유사도에 따른 정렬을 가능하게 한다.

아파트 하자 보수 시설공사 세부공종 머신러닝 분류 시스템에 관한 연구 (Classifying Sub-Categories of Apartment Defect Repair Tasks: A Machine Learning Approach)

  • 김은혜;지홍근;김지나;박은일;엄재용
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제10권9호
    • /
    • pp.359-366
    • /
    • 2021
  • 대한민국 건설사들은 아파트 하자 정보를 축적하고 보수작업을 관리하기 위한 시스템을 운영하는데 상당한 인력과 비용을 투자하고 있다. 본 연구에서는 하자 접수 상세내용 텍스트 데이터를 이용하여 하자 보수 시설공사에 따른 세부공종을 분류하는 머신러닝 모델을 제안한다. 두 가지 단어 임베딩(Bag-of-words, Term Frequency-Inverse Document Frequency (TF-IDF))과 두 가지 분류기(Support Vector Machine, Random Forest)를 통해 한국어로 작성된 65만건 이상의 하자 접수데이터로부터 하자보수 시설공사 세부공종을 분류했다. 특히, 이번 연구에서는 특정 시설공사(마감공사)의 9개 세부공종(가전제품, 도배공사, 도장공사, 미장공사, 석공사, 수장공사, 옥내가구공사, 주방기구공사, 타일공사)을 분류하는 이진분류 모델과 다중 분류 모델을 연구했다. 그 결과, TF-IDF와 Random Forest를 사용한 두가지 분류 모델에서 90%이상의 정확도, 정밀도, 재현율 및 F1점수를 확인했다.

머신러닝을 활용한 뇌졸중 환자의 기능적 결과 예측: 체계적 고찰 (Predicting Functional Outcomes of Patients With Stroke Using Machine Learning: A Systematic Review)

  • 배수영;;남상훈;홍익표
    • 재활치료과학
    • /
    • 제11권4호
    • /
    • pp.23-39
    • /
    • 2022
  • 목적 : 본 연구는 뇌졸중 환자의 기능적 결과를 예측하기 위한 인구통계학적 및 임상학적 특징과 머신러닝의 사용을 체계적으로 분석하고 요약하기 위해 수행되었다. 연구방법 : PubMed, CINAHL과 Web of Science를 사용하여 2010년부터 2021년 사이에 게재된 연구를 검색하였다. 주요 검색어는 "machine learning OR data mining AND stroke AND function OR prediction OR/AND rehabilitation"을 사용하였다. 뇌 이미지 처리 기법만을 분석한 연구, 딥러닝만 적용한 연구와 전체 본문을 열람할 수 없는 연구는 제외되었다. 결과 : 검색한 결과, 총 9편의 국내외 논문을 선정했다. 선정된 논문에서 가장 많이 사용된 머신러닝 알고리즘은 서포트 벡터 머신(support vector machine, 19.05%)과 랜덤포레스트(random forest, 19.05%)였다. 9개 중 7개의 연구에서 뇌졸중 환자의 기능을 예측하기 위해 중요하다고 추출된 변수를 결과로 제시했다. 그 결과, 5개(55.56%)의 연구에서 뇌졸중 환자의 기능을 예측하기 위해 환자의 임상적 특성이 아닌 modified ranking scale (mRS) 및 functional independence measure (FIM)과 같은 초기 또는 퇴원 평가 점수가 중요하다고 도출되었다. 결론 : 이 연구는 mRS 및 FIM과 같은 뇌졸중 환자의 초기 또는 퇴원 평가 점수가 임상적 특성보다 기능적 결과에 더 많은 영향을 미칠 수 있음을 나타냈다. 따라서, 뇌졸중 환자의 기능적 결과를 향상시키기 위한 최적의 중재를 개발하고 적용하기 위해서는 뇌졸중 환자의 초기 및 퇴원 시 기능적 결과를 평가하고 검토하는 것이 필요하다.

BERT를 활용한 속성기반 감성분석: 속성카테고리 감성분류 모델 개발 (Aspect-Based Sentiment Analysis Using BERT: Developing Aspect Category Sentiment Classification Models)

  • 박현정;신경식
    • 지능정보연구
    • /
    • 제26권4호
    • /
    • pp.1-25
    • /
    • 2020
  • 대규모 텍스트에서 관심 대상이 가지고 있는 속성들에 대한 감성을 세부적으로 분석하는 속성기반 감성분석(Aspect-Based Sentiment Analysis)은 상당한 비즈니스 가치를 제공한다. 특히, 텍스트에 속성어가 존재하는 명시적 속성뿐만 아니라 속성어가 없는 암시적 속성까지 분석 대상으로 하는 속성카테고리 감성분류(ACSC, Aspect Category Sentiment Classification)는 속성기반 감성분석에서 중요한 의미를 지니고 있다. 본 연구는 속성카테고리 감성분류에 BERT 사전훈련 언어 모델을 적용할 때 기존 연구에서 다루지 않은 다음과 같은 주요 이슈들에 대한 답을 찾고, 이를 통해 우수한 ACSC 모델 구조를 도출하고자 한다. 첫째, [CLS] 토큰의 출력 벡터만 분류벡터로 사용하기보다는 속성카테고리에 대한 토큰들의 출력 벡터를 분류벡터에 반영하면 더 나은 성능을 달성할 수 있지 않을까? 둘째, 입력 데이터의 문장-쌍(sentence-pair) 구성에서 QA(Question Answering)와 NLI(Natural Language Inference) 타입 간 성능 차이가 존재할까? 셋째, 입력 데이터의 QA 또는 NLI 타입 문장-쌍 구성에서 속성카테고리를 포함한 문장의 순서에 따른 성능 차이가 존재할까? 이러한 연구 목적을 달성하기 위해 입력 및 출력 옵션들의 조합에 따라 12가지 ACSC 모델들을 구현하고 4종 영어 벤치마크 데이터셋에 대한 실험을 통해 기존 모델 이상의 성능을 제공하는 ACSC 모델들을 도출하였다. 그리고 [CLS] 토큰에 대한 출력 벡터를 분류벡터로 사용하기 보다는 속성카테고리 토큰의 출력 벡터를 사용하거나 두 가지를 함께 사용하는 것이 더욱 효과적이고, NLI 보다는 QA 타입의 입력이 대체적으로 더 나은 성능을 제공하며, QA 타입 안에서 속성이 포함된 문장의 순서는 성능과 무관한 점 등의 유용한 시사점들을 발견하였다. 본 연구에서 사용한 ACSC 모델 디자인을 위한 방법론은 다른 연구에도 비슷하게 응용될 수 있을 것으로 기대된다.

평면적 어휘 자질들을 활용한 확장 혼합 커널 기반 관계 추출 (Relation Extraction based on Extended Composite Kernel using Flat Lexical Features)

  • 최성필;정창후;최윤수;맹성현
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제36권8호
    • /
    • pp.642-652
    • /
    • 2009
  • 본 논문에서는 기존의 관계 추출 성능을 향상시키기 위해서 기존의 자질 기반 방법에서 추구하였던 개체 주변 문맥 다양성 정보의 추출 및 적용과 커널 기반 방법의 강점인 관계 인스턴스에 대한 구문 구조적 자질 정보의 통합 활용을 통한 확장된 혼합 커널을 제안한다. ACE RDC 코퍼스를 활용한 실험에서, 기존의 합성곱 구문 트리 커널 기반 혼합 커널을 기반으로 총 9 종류의 평면적 어휘 자질 집합을 정의하고 이를 적용함으로써 성능 향상에 기여하는 어휘 자질 유형을 파악할 수 있었으며, 적은 규모의 학습 집합으로도 현재 최고 수준의 성능에 필적하는 결과를 얻을 수 있었다. 결론적으로 관계 추출을 위한 세 가지 핵심 정보, 즉 개체 자질, 구문 구조적 자질, 주변 문맥 어휘 자질을 통합 적용하면 관계 추출의 성능을 향상시킬 수 있음을 알 수 있었다.