• 제목/요약/키워드: Word2Vec

검색결과 218건 처리시간 0.029초

Word2Vec을 이용한 웹 문서 클러스터링 시스템 구현 (Implementation of a Web Document Clustering System Using Word2Vec)

  • 이현석;안성훈;이용환;천명재;박혁주;박미화;이용규
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2016년도 추계학술발표대회
    • /
    • pp.26-29
    • /
    • 2016
  • 웹 문서 추천 시스템에서는 유사한 내용의 문서임에도 불구하고 URL이 달라서 다른 문서로 인식하여 사용자에게 추천하는 데이터 희소성 문제가 있다. 여기서 기존 연구들은 이 문제에 대한 해결 방법으로 TF-IDF를 이용하였으나 비용 및 시간의 한계가 있으며 유의어 분류 문제가 있다. 본 논문에서는 Word2Vec을 이용한 웹문서 학습 시스템을 통해 문제를 해결한다. 제안 시스템은 언론사의 뉴스를 수집하고 이를 정형화된 형식으로 분석하여 가공하는 전처리 과정을 거친 후 Word2Vec 학습을 통해 문서 벡터를 생성하고 이를 K-Means 클러스터링으로 유사 문서군으로 분류한다. 이 시스템을 이용하면 데이터 희소성 문제를 해결할 뿐만 아니라 연산량이 TF-IDF에 비해 줄어들고 유의어 분류 시 유사도가 높아지는 강점이 있다.

Modeling of Convolutional Neural Network-based Recommendation System

  • Kim, Tae-Yeun
    • 통합자연과학논문집
    • /
    • 제14권4호
    • /
    • pp.183-188
    • /
    • 2021
  • Collaborative filtering is one of the commonly used methods in the web recommendation system. Numerous researches on the collaborative filtering proposed the numbers of measures for enhancing the accuracy. This study suggests the movie recommendation system applied with Word2Vec and ensemble convolutional neural networks. First, user sentences and movie sentences are made from the user, movie, and rating information. Then, the user sentences and movie sentences are input into Word2Vec to figure out the user vector and movie vector. The user vector is input on the user convolutional model while the movie vector is input on the movie convolutional model. These user and movie convolutional models are connected to the fully-connected neural network model. Ultimately, the output layer of the fully-connected neural network model outputs the forecasts for user, movie, and rating. The test result showed that the system proposed in this study showed higher accuracy than the conventional cooperative filtering system and Word2Vec and deep neural network-based system suggested in the similar researches. The Word2Vec and deep neural network-based recommendation system is expected to help in enhancing the satisfaction while considering about the characteristics of users.

온·오프라인 댓글 분석이 활용된 Word2Vec 기반 상품기획 모델연구 (A Study on the Product Planning Model based on Word2Vec using On-offline Comment Analysis)

  • 안영휘;정진영;박구락
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2021년도 제64차 하계학술대회논문집 29권2호
    • /
    • pp.79-80
    • /
    • 2021
  • 인터넷은 우리 경제를 디지털 경제로 변화시키며 전자상거래도 증가하고 있다. 따라서 구매자가 전자상거래에서 남기는 긍정적인, 부정적인 상품평은 상품기획의 주요 정보가 될 수 있다. 본 논문에서는 버티컬 무소음 마우스 10,000개에 대한 정형화된 데이터셋을 Word2Vec을 이용하여 유사도 분석, 온라인 상품평 빈도분석 상위 50개 단어를 제시하여 실제 상품을 사용한 후 설문조사 시행을 하였다. 온라인 상품평 유사도 분석결과 클릭 키워드에 대한 장점으로 통증(.986), 디자인(.982)가 분석되었으며 단점은 적응(.866), 불편(.854)이었다. 오프라인 상품평에서는 장점으로 디자인(17명), 단점으로 불편(11명)이었다. 또한 온라인과 오프라인의 상품평을 비교함으로써 구매자의 긍정, 부정의 의미를 교차 확인하여 유의미한 정보를 제시 하였다고 볼수 있다. 따라서 본 연구에서 제시하는 상품기획 프로세스를 신상품 개발 및 기존 상품의 개선 전략으로 적용할 수 있겠다.

  • PDF

Word2vec 기반의 기술융합기회 발굴 연구: 웨어러블 기술사례를 중심으로 (Identifying Technology Convergence Opportunities Based on Word2Vec: The Case of Wearable Technology)

  • 박진우;송지훈
    • 한국산업융합학회 논문집
    • /
    • 제26권5호
    • /
    • pp.833-844
    • /
    • 2023
  • As technology convergence is recognized as a driver of innovation, the identification of technology convergence opportunities is critical to expanding a firm's technology portfolio. Recently, wearable technology has emerged as an important factor in creating new business opportunities and providing technology investment alternatives for firms in the era of Industry 4.0. Against this background, this study provides a new patent analysis framework for identifying and proposing technology convergence opportunities in the wearable field. Using 8,621 patents filed between 2011 and 2021, a case study was conducted to identify technological convergence opportunities by applying Word2Vec algorithm. The analysis framework can be divided into four stages, with the final stage recommending potential technology convergence opportunities for a specific candidate firm's technology area by calculating similarities between technology codes. This study aims to better understand the current status of wearable technology development as well as to propose a new methodology for capturing technology convergence opportunities in the wearable industry. The case study result suggests that the convergence of healthcare and ICT may provide new development opportunities. Furthermore, the results are expected to provide alternative perspectives on the development of new markets and technologies using wearable technology and can support the strategic decision-making on future technology planning in the wearable field.

빅데이터 분석을 이용한 이러닝 수강 후기 분석 (e-Learning Course Reviews Analysis based on Big Data Analytics)

  • 김장영;박은혜
    • 한국정보통신학회논문지
    • /
    • 제21권2호
    • /
    • pp.423-428
    • /
    • 2017
  • 인터넷과 스마트 기기의 사용량 증가로 인해 다양한 교육정보와 많은 양의 데이터가 생성되어 빠르게 확산되고 있다. 최근 이러닝 이용률이 증가하면서 발생하는 빅데이터를 활용하여 학습자들의 교육 성과와 교육 시스템의 효과성을 극대화 하는 것을 목표로 하는 교육 데이터 관련 연구 분야에 대한 관심이 높아지고 있으며 온라인에서 학습자들이 학습한 수많은 기록과 데이터들이 정보로 쌓이게 된다. 이에 본 논문에서는 이러닝 학습자들이 시스템에 남긴 수강 기록을 기반으로 학습자 현황에 대해 객관적으로 파악할 수 있도록 신경망 알고리즘인 Word2Vec을 적용하여 단어 간 유사도를 구하고 클러스터링 알고리즘을 이용하여 군집화 하였다. Word2vec을 이용하여 학습을 시키면 연관된 의미의 단어가 나타나게 되고 학습을 반복해 나가는 과정에서 점차 가까운 벡터를 지니게 된다. 또한 클러스터 알고리즘을 이용하여 명사, 동사, 형용사, 부사가 중심점에서 최소의 거리를 두고 같은 거리에 위치해 있음을 실험 검증하였다.

명품 하울 유튜브 영상 댓글에 나타난 상대적 박탈감 여부와 특징 분석 - TF-IDF, Word2vec, LDA, LSTM을 이용한 현대인의 감정 분석을 중심으로 - (Analysis of whether the feeling of relative deprivation is shown in the comments of the Luxury Howl YouTube video - Focusing on modern sentiment analysis using TF-IDF, Word2vec, LDA and LSTM -)

  • 최정민;오하영
    • 한국정보통신학회논문지
    • /
    • 제25권3호
    • /
    • pp.355-360
    • /
    • 2021
  • 최근 유튜브가 큰 인기를 얻고 있다. 많은 연구에 따르면 소셜 미디어에서 상대적 박탈감이 나타나듯이 본 연구에서는 유튜브에서도 상대적 박탈감이 나타나는지 확인해보고자 한다. 그중에서도 유튜버의 경제적 지위를 잘 드러내는 명품 하울 영상을 중심으로 연구를 진행하였다. 명품 하울이란 많은 양의 명품 제품을 구매하여 보여주는 콘텐츠를 의미한다. LDA, TF-IDF, Word2Vec 기법을 이용하여 유튜브 댓글 분석을 진행하였다. 추가로 LSTM 학습 모델을 기반으로 댓글을 긍정적 그룹과 부정적 그룹으로 분류하였다. 연구 결과에 따르면 다수의 댓글이 긍정적인 의미를 내포하지만, 상대적 박탈감 등을 나타내는 부정적 의미의 키워드를 가진 댓글도 나타났다. 이러한 댓글에서는 자신과 유튜버의 경제적 모습을 비교하는 표현이 등장하였다. 특히 유튜버의 나이가 상대적으로 어리거나 스스로 명품제품을 구매할 능력이 되지 않은 것으로 보이면 상대적 박탈감을 표현하는 댓글이 증가하였다. 따라서 본 연구에서는 유튜브도 다른 소셜 미디어와 같이 이용자가 상대적 박탈감을 느낀 다는 것을 확인 할 수 있었다.

텍스트 마이닝을 통한 건설공사 공문 잠재적 리스크 유형 분석 (Analysis of Potential Construction Risk Types in Formal Documents Using Text Mining)

  • 엄세호;차기춘;박선규;박승희;박종호
    • 대한토목학회논문집
    • /
    • 제43권1호
    • /
    • pp.91-98
    • /
    • 2023
  • 건설프로젝트에서 발생되는 리스크는 공기지연 및 비용증가에 큰 영향을 끼치기 때문에 다양한 리스크를 파악하기 위한 노력이 이루어지고 있다. 그러나 시공단계의 리스크 분석은 공종 및 수행단계에 국한되거나, 경험 의존적 의사결정이 주로 수행되고 있다. 데이터 기반의 분석도 일부 사례에 적용되고 있을 뿐이다. 따라서 본 연구에서는 시공사 또는 발주처에 중요한 요인들이 포함되어 있을 것으로 판단되는 수발신공문을 대상으로 군집분석과 Word2Vec 알고리즘을 적용하였다. 군집분석을 통해 6개 유형으로 1차 분류를 수행하였으며, Word2Vec을 통해 157개의 공문 발생 유형을 도출하였다. 도출된 연관어의 속성별 분석을 위하여 새로운 5개의 범주를 적용하였으며, 이를 통해 공문 발생 유형이 잠재적인 건설 리스크 요인으로 발전 가능한지 검토하였다. 텍스트 마이닝을 통한 3단계의 공문 발생 유형 분석 결과는 건설현장의 공정관리를 위한 기초 자료로써 도움 될 것으로 판단된다.

단어의 위치정보를 이용한 Word Embedding (Word Embedding using word position information)

  • 황현선;이창기;장현기;강동호
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2017년도 제29회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.60-63
    • /
    • 2017
  • 자연어처리에 딥 러닝을 적용하기 위해 사용되는 Word embedding은 단어를 벡터 공간상에 표현하는 것으로 차원축소 효과와 더불어 유사한 의미의 단어는 유사한 벡터 값을 갖는다는 장점이 있다. 이러한 word embedding은 대용량 코퍼스를 학습해야 좋은 성능을 얻을 수 있기 때문에 기존에 많이 사용되던 word2vec 모델은 대용량 코퍼스 학습을 위해 모델을 단순화 하여 주로 단어의 등장 비율에 중점적으로 맞추어 학습하게 되어 단어의 위치 정보를 이용하지 않는다는 단점이 있다. 본 논문에서는 기존의 word embedding 학습 모델을 단어의 위치정보를 이용하여 학습 할 수 있도록 수정하였다. 실험 결과 단어의 위치정보를 이용하여 word embedding을 학습 하였을 경우 word-analogy의 syntactic 성능이 크게 향상되며 어순이 바뀔 수 있는 한국어에서 특히 큰 효과를 보였다.

  • PDF

단어의 위치정보를 이용한 Word Embedding (Word Embedding using word position information)

  • 황현선;이창기;장현기;강동호
    • 한국어정보학회:학술대회논문집
    • /
    • 한국어정보학회 2017년도 제29회 한글및한국어정보처리학술대회
    • /
    • pp.60-63
    • /
    • 2017
  • 자연어처리에 딥 러닝을 적용하기 위해 사용되는 Word embedding은 단어를 벡터 공간상에 표현하는 것으로 차원축소 효과와 더불어 유사한 의미의 단어는 유사한 벡터 값을 갖는다는 장점이 있다. 이러한 word embedding은 대용량 코퍼스를 학습해야 좋은 성능을 얻을 수 있기 때문에 기존에 많이 사용되던 word2vec 모델은 대용량 코퍼스 학습을 위해 모델을 단순화 하여 주로 단어의 등장 비율에 중점적으로 맞추어 학습하게 되어 단어의 위치 정보를 이용하지 않는다는 단점이 있다. 본 논문에서는 기존의 word embedding 학습 모델을 단어의 위치정보를 이용하여 학습 할 수 있도록 수정하였다. 실험 결과 단어의 위치정보를 이용하여 word embedding을 학습 하였을 경우 word-analogy의 syntactic 성능이 크게 향상되며 어순이 바뀔 수 있는 한국어에서 특히 큰 효과를 보였다.

  • PDF

온라인 구전과 마케팅 성과의 다이나믹스 연구 : 모바일 게임 앱 리뷰를 중심으로 (The Dynamics of Online word-of-mouth and Marketing Performance : Exploring Mobile Game Application Reviews)

  • 김인규;차성수
    • 한국콘텐츠학회논문지
    • /
    • 제20권12호
    • /
    • pp.36-48
    • /
    • 2020
  • 본 연구는 모바일앱 온라인 리뷰의 구전내용의 다이나믹스(Dynamics)를 확인하기 위해 내용분석을 실시하였다. 이를 통해 모바일앱 구전 단어 간의 관계를 알아보고 모바일앱 특성에 따라 분류하여 비교 조사하였다. 분석대상은 게임 앱 카테고리 내 10개의 앱으로 선정하였다. 수집된 해당 모바일앱 리뷰는 꾸준한 인기를 가진 Trend형 게임앱과 짧은 인기를 보인 Fad형 게임앱, 무료앱, 유료앱으로 분류하였다. 이후 형태소 분석 등 전처리 과정을 거친 데이터를 기반으로 텍스트마이닝과 Word2Vec 분석을 시도하였다. 연구결과, 앱 리뷰의 양은 순위변동과 상관관계에 있는 것으로 나타났다. 그러나 초기 10일간 변화는 상관관계가 낮거나 없는 것으로 나타났다. 이는 출시 직후 앱개발사의 단기 마케팅활동이 순위를 형성하는데 영향을 주기 때문으로 판단된다. 꾸준한 인기를 얻은 Trend형 게임앱과 짧은 인기를 얻은 Fad형 게임앱 간 리뷰내용의 다이나믹스(Dynamics)도 확인할 수 있었다.