• 제목/요약/키워드: Word2Vec

검색결과 220건 처리시간 0.026초

확장된 사용자 유사도를 이용한 CF-기반 건강기능식품 추천 시스템 (A CF-based Health Functional Recommender System using Extended User Similarity Measure)

  • 홍세인;정의주;김재경
    • 지능정보연구
    • /
    • 제29권3호
    • /
    • pp.1-17
    • /
    • 2023
  • 정보통신기술의 발전과 디지털 기기의 대중화로 인해, 온라인 시장의 규모가 커지고 있다. 그 결과 고객들은 상품을 선택하는데 많은 시간과 비용이 소요되는 정보 과부하(Information Overload) 문제에 직면하고 있다. 따라서 고객이 선호할만한 상품을 추천해 주는 추천 시스템은 필수적인 도구가 되었으며 협업 필터링(Collaborative Filtering) 기법은 가장 널리 쓰이는 추천 방법이다. 전통적인 추천 시스템은 평점과 같은 정량적인 데이터만을 사용하기 때문에 추천의 정확도는 높지 않다. 이와 같은 문제를 해결하기 위해 요즘에는 사용자 리뷰와 같은 정성적 데이터를 반영하는 연구가 활발히 진행되고 있다. 협업 필터링의 일반적인 절차는 사용자-상품 행렬 생성, 이웃 집단 탐색, 추천 목록 생성 3단계로 구성되며 코사인 같은 사용자 유사도를 사용하여 목표 고객의 이웃을 탐색하며, 추천 상품 목록을 생성한다. 본 연구에서는 이웃 집단 탐색 및 추천 목록 생성 단계에서 사용하는 사용자 간의 유사도를 기존의 사용자 평점을 이용한 유사도에 고객의 리뷰 데이터를 사용하는 확장된 사용자 유사도를 제시한다. 리뷰를 정량화 하기 위해 본 연구에서는 텍스트 마이닝을 활용한다. 즉, 리뷰 데이터에 TF-IDF, Word2Vec, 그리고 Doc2Vec 기법을 사용하여 두 사용자 간의 리뷰 유사도를 구한 후 사용자 평점을 사용한 유사도와 리뷰 유사도를 결합한 확장된 유사도를 생성하는 것이다. 이를 검증하기 위해 전자상거래 사이트인 Amazon의 'Health and Personal Care'의 사용자 평점과 리뷰 데이터를 사용하였다. 실험 결과, 사용자 간 유사도를 산출할 때 기존의 평점에 기반한 유사도만을 사용하는 것보다, 사용자 리뷰의 유사도를 추가로 반영한 확장된 유사도를 사용하면 추천의 정확도가 높아진다는 것을 확인했다. 또한, 여러 텍스트 마이닝 기법 중에서 TF-IDF 기법을 사용한 확장된 유사도를 이웃 집단 탐색 및 추천 목록 생성단계에서 사용할 때의 성능이 가장 좋게 나타났다.

과학의 본성 관련 문헌들의 단어수준 워드임베딩 모델 적용 가능성 탐색 -정성적 성능 평가를 중심으로- (The Study on Possibility of Applying Word-Level Word Embedding Model of Literature Related to NOS -Focus on Qualitative Performance Evaluation-)

  • 김형욱
    • 과학교육연구지
    • /
    • 제46권1호
    • /
    • pp.17-29
    • /
    • 2022
  • 본 연구의 목적은 NOS 관련 주제를 대상으로 컴퓨터가 얼마나 효율적이고 타당하게 학습할 수 있는지에 대하여 정성적으로 탐색하고자 한 연구이다. 이를 위해 NOS와 관련되는 문헌(논문초록 920편)을 중심으로 말뭉치를 구성하였으며, 최적화된 Word2Vec (CBOW, Skip-gram)모델의 인자를 확인하였다. 그리고 NOS의 4가지 영역(Inquiry, Thinking, Knowledge, STS)에 따라 단어수준 워드임베딩 모델 비교평가를 수행하였다. 연구 결과, 선행연구와 사전 성능 평가에 따라 CBOW 모델은 차원 200, 스레드 수 5, 최소빈도수 10, 반복횟수 100, 맥락범위 1로 결정되었으며, Skip-gram 모델은 차원수 200, 스레드 수 5, 최소빈도수 10, 반복횟수 200, 맥락범위 3으로 결정되었다. NOS의 4가지 영역에 적용하여 확인한 모델별 유사도가 높은 단어의 종류는 Skip-gram 모델이 Inquiry 영역에서 성능이 좋았다. Thinking 및 Knowledge 영역에서는 두 모델별 임베딩 성능 차이는 나타나지 않았으나, 각 모델별 유사도가 높은 단어의 경우 상호 영역 명을 공유하고 있어 제대로 된 학습을 하기 위해 다른 모델의 추가 적용이 필요해 보였다. STS 영역에서도 지나치게 문제 해결과 관련된 단어를 나열하면서 포괄적인 STS 요소를 탐색하기에 부족한 임베딩 성능을 지닌 것으로 평가되었다. 본 연구를 통해 NOS 관련 주제를 컴퓨터에게 학습시켜 과학교육에 활용할 수 있는 모델과 인공지능 활용에 대한 전반적인 시사점을 줄 수 있을 것으로 기대된다.

탄소중립 기술의 미래신호 탐색연구: 국내 뉴스 기사 텍스트데이터를 중심으로 (Detecting Weak Signals for Carbon Neutrality Technology using Text Mining of Web News)

  • 정지송;노승국
    • 산업융합연구
    • /
    • 제21권5호
    • /
    • pp.1-13
    • /
    • 2023
  • 우리나라는 기후변화 위기에 대응하기 위해 2050 탄소중립을 선언하였으며, 이를 위해 다양한 감축 계획 및 입법화 과정을 진행 중이다. 탄소중립의 실현은 산업기술 전반에서의 근본적 변화를 필요로 하기 때문에 이를 위한 구체적 대응체계 마련이 매우 중요하다. 본고는 탄소중립 관련 산업기술 확보 경쟁에서 선제적으로 대비하기 위하여 글로벌 탄소중립 기술분야의 현황과 발전 트렌드를 파악하고자 한다. 이를 위해, 탄소중립 관련 온라인 뉴스기사 데이터를 웹 크롤링하여 수집하였고, 미래신호분석방법론과 인공신경망 딥러닝 기술인 Word2Vec알고리즘을 적용하여 탄소중립 기술 트렌드를 분석 및 예측하였다. 분석결과, 탄소 과배출 업종인 철강업 및 석유화학 분야의 기술고도화가 요구되고 있었으며, 전기차 분야에의 투자 타당성 확보와 기술 고급화가 추세인 것으로 드러났다. 이에 대한 정부의 적극적인 지원과 글로벌한 기술협력/인프라 조성이 밑받침되어야 할 것으로 보인다. 그 외에도 탄소중립 관련 인력양성이 시급한 것으로 나타났으며, 기업에서 필요한 탄소중립 인력을 양성할 수 있도록 간접지원정책 마련의 필요성을 확인할 수 있었다.

머신러닝 기반의 신약 재창출 관련 연구 동향 분석 (Analysis of Research Trends Related to drug Repositioning Based on Machine Learning)

  • 유소연;임규건
    • 경영정보학연구
    • /
    • 제24권1호
    • /
    • pp.21-37
    • /
    • 2022
  • 신약을 개발하는 한 가지 방법의 하나인 신약 재창출(Drug Repositioning)은 이미 사람들에게 사용할 수 있도록 승인된 약물들이 다른 용도로 사용되도록 하여 새로운 적응증을 발견하는 유용한 방법이다. 최근에는 머신러닝 기술의 발달로 방대한 생물학적 정보를 분석하여 신약 개발에 활용하는 경우가 증가하고 있다. 신약 재창출에 머신러닝 기술을 활용하면 효과적인 치료법을 신속하게 찾아내는 데 도움을 줄 것이다. 현재 심각한 급성 호흡기 증후군인 코로나바이러스(COVID-19)에 의한 신종 질병으로 전 세계가 힘든 시간을 보내고 있다. 이미 임상적으로 승인된 약물의 용도를 변경하는 신약 재창출은 COVID-19 환자를 치료하기 위한 치료제의 대안이 될 수 있다. 본 연구는 머신러닝 기법을 활용하여 신약 재창출 분야에 대한 연구 동향을 살펴보고자 한다. Pub Med에서 웹 스크래핑 기법을 사용하여 'Drug Repositioning'이라는 키워드로 총 4,821건의 논문을 수집하였다. 데이터 전처리 후, 4,419건의 논문을 대상으로 빈도분석, LDA 기반 토픽모델링, Random Forest 분류 분석 및 예측 성능평가를 수행하였다. Word2vec 모델을 기반으로 연관어를 분석하였고, PCA 차원 축소 후 K-Means 군집화하여 레이블을 생성한 후, t-SNE 알고리즘을 이용하여 논문이 형성하고 있는 그룹을 시각화하고, LDA 결과에 계층적 군집화를 적용하여 히트맵으로 시각화하였다. 본 연구는 신약 재창출과 관련된 연구 주제가 무엇인지를 파악하고, 머신러닝 알고리즘을 사용하여 대량의 문헌에서 의미 있는 주제를 도출하고 시각화하는 방법을 제시하였다. 향후 신약 재창출 분야의 연구나 개발 전략을 수립하기 위한 기초자료로 활용되는 데 도움을 줄 것이라고 기대한다.

보건의료 빅데이터에서의 자연어처리기법 적용방안 연구: 단어임베딩 방법을 중심으로 (A Study on the Application of Natural Language Processing in Health Care Big Data: Focusing on Word Embedding Methods)

  • 김한상;정여진
    • 보건행정학회지
    • /
    • 제30권1호
    • /
    • pp.15-25
    • /
    • 2020
  • While healthcare data sets include extensive information about patients, many researchers have limitations in analyzing them due to their intrinsic characteristics such as heterogeneity, longitudinal irregularity, and noise. In particular, since the majority of medical history information is recorded in text codes, the use of such information has been limited due to the high dimensionality of explanatory variables. To address this problem, recent studies applied word embedding techniques, originally developed for natural language processing, and derived positive results in terms of dimensional reduction and accuracy of the prediction model. This paper reviews the deep learning-based natural language processing techniques (word embedding) and summarizes research cases that have used those techniques in the health care field. Then we finally propose a research framework for applying deep learning-based natural language process in the analysis of domestic health insurance data.

복합 문서의 의미적 분해를 통한 다중 벡터 문서 임베딩 방법론 (Multi-Vector Document Embedding Using Semantic Decomposition of Complex Documents)

  • 박종인;김남규
    • 지능정보연구
    • /
    • 제25권3호
    • /
    • pp.19-41
    • /
    • 2019
  • 텍스트 데이터에 대한 다양한 분석을 위해 최근 비정형 텍스트 데이터를 구조화하는 방안에 대한 연구가 활발하게 이루어지고 있다. doc2Vec으로 대표되는 기존 문서 임베딩 방법은 문서가 포함한 모든 단어를 사용하여 벡터를 만들기 때문에, 문서 벡터가 핵심 단어뿐 아니라 주변 단어의 영향도 함께 받는다는 한계가 있다. 또한 기존 문서 임베딩 방법은 하나의 문서가 하나의 벡터로 표현되기 때문에, 다양한 주제를 복합적으로 갖는 복합 문서를 정확하게 사상하기 어렵다는 한계를 갖는다. 본 논문에서는 기존의 문서 임베딩이 갖는 이러한 두 가지 한계를 극복하기 위해 다중 벡터 문서 임베딩 방법론을 새롭게 제안한다. 구체적으로 제안 방법론은 전체 단어가 아닌 핵심 단어만 이용하여 문서를 벡터화하고, 문서가 포함하는 다양한 주제를 분해하여 하나의 문서를 여러 벡터의 집합으로 표현한다. KISS에서 수집한 총 3,147개의 논문에 대한 실험을 통해 복합 문서를 단일 벡터로 표현하는 경우의 벡터 왜곡 현상을 확인하였으며, 복합 문서를 의미적으로 분해하여 다중 벡터로 나타내는 제안 방법론에 의해 이러한 왜곡 현상을 보정하고 각 문서를 더욱 정확하게 임베딩할 수 있음을 확인하였다.

Out-of-Vocabulary 단어에 강건한 병렬 Tri-LSTM 문장 임베딩을 이용한 감정분석 (Sentiment Analysis using Robust Parallel Tri-LSTM Sentence Embedding in Out-of-Vocabulary Word)

  • 이현영;강승식
    • 스마트미디어저널
    • /
    • 제10권1호
    • /
    • pp.16-24
    • /
    • 2021
  • word2vec 등 기존의 단어 임베딩 기법은 원시 말뭉치에 출현한 단어들만을 대상으로 각 단어를 다차원 실수 벡터 공간에 고정된 길이의 벡터로 표현하기 때문에 형태론적으로 풍부한 표현체계를 가진 언어에 대한 단어 임베딩 기법에서는 말뭉치에 출현하지 않은 단어들에 대한 단어 벡터를 표현할 때 OOV(out-of-vocabulary) 문제가 빈번하게 발생한다. 문장을 구성하는 단어 벡터들로부터 문장 벡터를 구성하는 문장 임베딩의 경우에도 OOV 단어가 포함되었을 때 문장 벡터를 정교하게 구성하지 못하는 문제점이 있다. 특히, 교착어인 한국어는 어휘형태소와 문법형태소가 결합되는 형태론적 특성 때문에 미등록어의 임베딩 기법은 성능 향상의 중요한 요인이다. 본 연구에서는 단어의 형태학적인 정보를 이용하는 방식을 문장 수준으로 확장하고 OOV 단어 문제에 강건한 병렬 Tri-LSTM 문장 임베딩을 제안한다. 한국어 감정 분석 말뭉치에 대해 성능 평가를 수행한 결과 한국어 문장 임베딩을 위한 임베딩 단위는 형태소 단위보다 문자 단위가 우수한 성능을 보였으며, 병렬 양방향 Tri-LSTM 문장 인코더는 86.17%의 감정 분석 정확도를 달성하였다.

Implicit Rating과 워드투벡터를 이용한 비디오 월 컨트롤러의 영상 설정 (Video Arrangement for Video Wall Controller Using Implicit Rating and Word2Vec)

  • 김성진
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 춘계학술발표대회
    • /
    • pp.414-416
    • /
    • 2022
  • 비디오 월 컨트롤러의 멀티스크린에 여러 영상을 동시에 표출하는 경우 운영자는 표출할 영상들을 미리 설정해두고 필요할 때 이를 불러와서 표출한다. 비디오 월 컨트롤러의 운용 상황에 따라 표출하는 영상이 달라질 수 있지만, 관련성이 높은 영상들로 레이아웃을 구성하여 표출하는 것이 일반적인 운용 방식이다. 등록되어 있는 영상의 개수가 많지 않은 소규모의 시스템에서는 영상을 선택하고 설정하는 작업이 간단하지만, 영상의 개수가 늘어날수록 영상의 설정과 관리에 많은 시간과 비용이 소요된다. 따라서 본 논문에서는 Implicit Rating과 워드투벡터를 이용하여 비디오 월 컨트롤러에 표출할 영상을 자동으로 설정하는 모델을 제안한다.

단어의 의미와 순서를 고려하는 문서색인방법을 이용한 CNN 기반 한글문서분류 (Classification of Korean Documents Based on CNN Using Document Indexing Method based on Word Meaning and Order)

  • 김남훈;양형정
    • 한국컴퓨터교육학회 학술대회
    • /
    • 한국컴퓨터교육학회 2017년도 하계학술대회
    • /
    • pp.41-45
    • /
    • 2017
  • 본 논문에서는 컨볼루션 신경망 네트워크(CNN:Convolution Neural Network)을 기반으로 단어의 의미와 순서를 고려하는 문서 색인 방법을 이용하여 한글 문서 분류 방법을 제안한다. 먼저 문서를 형태소 분석하여 어절 단위로 분리 한 후, 불용어를 처리 하고, 문서의 단어 의미를 고려하는 문서 표현하고, 문서의 단어 순서까지 고려하여 CNN의 입력으로 사용하였다. 실험결과 CNN 분류기를 기반으로 본 논문에서 제안하는 문서 색인 방법은 TF-IDF를 이용하는 방법보다 4.2%, Word2vec만 단독으로 사용하는 것보다 1.4%의 성능 상승을 이루었다. 이러한 결과를 통해 본 논문에서 제안하는 방법이 문서범주화 데이터 셋에서 문서 분류 성능향상에 영향을 미친다는 것을 확인하였다.

  • PDF

단어 임베딩을 이용한 단위성 의존명사 분별 (Disambiguation of Counting Unit Noun using Word Embedding)

  • 이주상;옥철영
    • 한국어정보학회:학술대회논문집
    • /
    • 한국어정보학회 2016년도 제28회 한글및한국어정보처리학술대회
    • /
    • pp.246-248
    • /
    • 2016
  • 단위성 의존명사는 수나 분량 따위를 나타내는 의존명사로 혼자 사용할 수 없으며 수사나 수관형사와 함께 사용하는 의존명사이다. 단위성 의존명사가 2가지 이상인 동형이의어의 경우 기존의 인접 어절을 이용한 동형이의어 분별 모델에서는 동형이의어 분별에 어려움이 있다. 본 논문에서는 단위성 의존명사 분별을 위해 단어 임베딩을 사용했으며 총 115,767개의 단어를 벡터로 표현하였으며 분별할 의존명사 주변에 등장한 명사들과의 유사도를 계산하여 단위성 의존명사를 분별하였다. 단어 임베딩을 이용한 단위성 의존명사 분별이 효과가 있음을 보았다.

  • PDF