• 제목/요약/키워드: Text clustering

검색결과 205건 처리시간 0.026초

Word2Vec을 활용한 제품군별 시장규모 추정 방법에 관한 연구 (A Study on Market Size Estimation Method by Product Group Using Word2Vec Algorithm)

  • 정예림;김지희;유형선
    • 지능정보연구
    • /
    • 제26권1호
    • /
    • pp.1-21
    • /
    • 2020
  • 인공지능 기술의 급속한 발전과 함께 빅데이터의 상당 부분을 차지하는 비정형 텍스트 데이터로부터 의미있는 정보를 추출하기 위한 다양한 연구들이 활발히 진행되고 있다. 비즈니스 인텔리전스 분야에서도 새로운 시장기회를 발굴하거나 기술사업화 주체의 합리적 의사결정을 돕기 위한 많은 연구들이 이뤄져 왔다. 본 연구에서는 기업의 성공적인 사업 추진을 위해 핵심적인 정보 중의 하나인 시장규모 정보를 도출함에 있어 기존에 제공되던 범위보다 세부적인 수준의 제품군별 시장규모 추정이 가능하고 자동화된 방법론을 제안하고자 한다. 이를 위해 신경망 기반의 시멘틱 단어 임베딩 모델인 Word2Vec 알고리즘을 적용하여 개별 기업의 생산제품에 대한 텍스트 데이터를 벡터 공간으로 임베딩하고, 제품명 간 코사인 거리(유사도)를 계산함으로써 특정한 제품명과 유사한 제품들을 추출한 뒤, 이들의 매출액 정보를 연산하여 자동으로 해당 제품군의 시장규모를 산출하는 알고리즘을 구현하였다. 실험 데이터로서 통계청의 경제총조사 마이크로데이터(약 34만 5천 건)를 이용하여 제품명 텍스트 데이터를 벡터화 하고, 한국표준산업분류 해설서의 산업분류 색인어를 기준으로 활용하여 코사인 거리 기반으로 유사한 제품명을 추출하였다. 이후 개별 기업의 제품 데이터에 연결된 매출액 정보를 기초로 추출된 제품들의 매출액을 합산함으로써 11,654개의 상세한 제품군별 시장규모를 추정하였다. 성능 검증을 위해 실제 집계된 통계청의 품목별 시장규모 수치와 비교한 결과 피어슨 상관계수가 0.513 수준으로 나타났다. 본 연구에서 제시한 모형은 의미 기반 임베딩 모델의 정확성 향상 및 제품군 추출 방식의 개선이 필요하나, 표본조사 또는 다수의 가정을 기반으로 하는 전통적인 시장규모 추정 방법의 한계를 뛰어넘어 텍스트 마이닝 및 기계학습 기법을 최초로 적용하여 시장규모 추정 방식을 지능화하였다는 점, 시장규모 산출범위를 사용 목적에 따라 쉽고 빠르게 조절할 수 있다는 점, 이를 통해 다양한 분야에서 수요가 높은 세부적인 제품군별 시장정보 도출이 가능하여 실무적인 활용성이 높다는 점에서 의의가 있다.

텍스트 마이닝을 활용한 Youtube 광고에 대한 소비자 인식 분석 (A Study on Analysis of consumer perception of YouTube advertising using text mining)

  • 엄성원
    • 경영과정보연구
    • /
    • 제39권2호
    • /
    • pp.181-193
    • /
    • 2020
  • 본 연구는 최근에 이슈가 되고 있는 텍스트마이닝을 활용하여 소비자 인식을 분석한 연구이다. 이를 위해 삼성갤럭시 Youtube 광고에 대한 소비자 리뷰 분석을 통해 소비자들이 가지고 있는 삼성 갤럭시에 대한 인식을 분석하였다. 분석을 위해 Youtube 광고의 소비자 리뷰 1,819개를 추출하였다. 이를 데이터 전처리 과정을 거쳐 광고와 관련된 키워드를 명사, 형용사, 부사로 분류하여 추출하였다. 이후 빈도 분석 및 감성 분석을 실시하였으며 마지막으로 구조적 등위성 분석을 통한 군집화를 실시하였다. 본 연구 결과를 간략히 요약하면 다음과 같다. 첫 번째 가장 많이 언급된 단어는 갤럭시 노트(n=217), 좋음(n=135), 펜(n=40), 기능(n=29) 등으로 나타났다. 이는 소비자들이 광고를 통해 "갤럭시 노트", "좋음", "펜", "기능"은 삼성 핸드폰 제품에 대해 기능적인 면이 좋고, 노트 펜에 대해서 긍정적으로 높게 인식한다고 판단할 수 있다. 추가적으로 "삼성페이", "혁신", "디자인", "아이폰" 등에 대한 인식은 삼성 핸드폰에 대해 혁신적인 디자인과 삼성페이의 기능적인 면에서 상당히 좋은 평가를 하는 것을 알 수 있다. 두 번째, Youtube 광고에 대한 감성분석 결과이다. 감성 분석 결과 감성강도 비율이 긍정(75.95%)로 부정(24.05%)보다 높게 나타났다. 이는 소비자들이 삼성 갤럭시 모바일폰에 대해 긍정적으로 인식하고 있음을 의미한다. 감성 키워드 분석 결과 긍정키워드의 경우는 "좋다", "후하다", "혁신적", "최고다", "빠르다", "예쁘다" 등으로 나타났으며, 부정키워드의 경우는 "겁난다", "울고싶다", "불편", "아쉽다", "싫다" 등이 추출되었다. 본 연구이 시사점은 기존 광고에 대한 소비자 인식 연구를 살펴보면 대부분 정량적 분석 방법에 의한 연구가 대부분이었다. 본 연구에서는 광고에 대한 정량적 연구 방법에서 탈피하여 정성적 연구를 통해 소비자 인식분석을 시도하였다. 이는 향후 연구에도 많은 영향을 미칠 것으로 판단되며, 정성적 연구를 통해 소비자 인식 연구의 출발점이 될 것으로 확신한다.

키워드 자동 생성에 대한 새로운 접근법: 역 벡터공간모델을 이용한 키워드 할당 방법 (A New Approach to Automatic Keyword Generation Using Inverse Vector Space Model)

  • 조원진;노상규;윤지영;박진수
    • Asia pacific journal of information systems
    • /
    • 제21권1호
    • /
    • pp.103-122
    • /
    • 2011
  • Recently, numerous documents have been made available electronically. Internet search engines and digital libraries commonly return query results containing hundreds or even thousands of documents. In this situation, it is virtually impossible for users to examine complete documents to determine whether they might be useful for them. For this reason, some on-line documents are accompanied by a list of keywords specified by the authors in an effort to guide the users by facilitating the filtering process. In this way, a set of keywords is often considered a condensed version of the whole document and therefore plays an important role for document retrieval, Web page retrieval, document clustering, summarization, text mining, and so on. Since many academic journals ask the authors to provide a list of five or six keywords on the first page of an article, keywords are most familiar in the context of journal articles. However, many other types of documents could not benefit from the use of keywords, including Web pages, email messages, news reports, magazine articles, and business papers. Although the potential benefit is large, the implementation itself is the obstacle; manually assigning keywords to all documents is a daunting task, or even impractical in that it is extremely tedious and time-consuming requiring a certain level of domain knowledge. Therefore, it is highly desirable to automate the keyword generation process. There are mainly two approaches to achieving this aim: keyword assignment approach and keyword extraction approach. Both approaches use machine learning methods and require, for training purposes, a set of documents with keywords already attached. In the former approach, there is a given set of vocabulary, and the aim is to match them to the texts. In other words, the keywords assignment approach seeks to select the words from a controlled vocabulary that best describes a document. Although this approach is domain dependent and is not easy to transfer and expand, it can generate implicit keywords that do not appear in a document. On the other hand, in the latter approach, the aim is to extract keywords with respect to their relevance in the text without prior vocabulary. In this approach, automatic keyword generation is treated as a classification task, and keywords are commonly extracted based on supervised learning techniques. Thus, keyword extraction algorithms classify candidate keywords in a document into positive or negative examples. Several systems such as Extractor and Kea were developed using keyword extraction approach. Most indicative words in a document are selected as keywords for that document and as a result, keywords extraction is limited to terms that appear in the document. Therefore, keywords extraction cannot generate implicit keywords that are not included in a document. According to the experiment results of Turney, about 64% to 90% of keywords assigned by the authors can be found in the full text of an article. Inversely, it also means that 10% to 36% of the keywords assigned by the authors do not appear in the article, which cannot be generated through keyword extraction algorithms. Our preliminary experiment result also shows that 37% of keywords assigned by the authors are not included in the full text. This is the reason why we have decided to adopt the keyword assignment approach. In this paper, we propose a new approach for automatic keyword assignment namely IVSM(Inverse Vector Space Model). The model is based on a vector space model. which is a conventional information retrieval model that represents documents and queries by vectors in a multidimensional space. IVSM generates an appropriate keyword set for a specific document by measuring the distance between the document and the keyword sets. The keyword assignment process of IVSM is as follows: (1) calculating the vector length of each keyword set based on each keyword weight; (2) preprocessing and parsing a target document that does not have keywords; (3) calculating the vector length of the target document based on the term frequency; (4) measuring the cosine similarity between each keyword set and the target document; and (5) generating keywords that have high similarity scores. Two keyword generation systems were implemented applying IVSM: IVSM system for Web-based community service and stand-alone IVSM system. Firstly, the IVSM system is implemented in a community service for sharing knowledge and opinions on current trends such as fashion, movies, social problems, and health information. The stand-alone IVSM system is dedicated to generating keywords for academic papers, and, indeed, it has been tested through a number of academic papers including those published by the Korean Association of Shipping and Logistics, the Korea Research Academy of Distribution Information, the Korea Logistics Society, the Korea Logistics Research Association, and the Korea Port Economic Association. We measured the performance of IVSM by the number of matches between the IVSM-generated keywords and the author-assigned keywords. According to our experiment, the precisions of IVSM applied to Web-based community service and academic journals were 0.75 and 0.71, respectively. The performance of both systems is much better than that of baseline systems that generate keywords based on simple probability. Also, IVSM shows comparable performance to Extractor that is a representative system of keyword extraction approach developed by Turney. As electronic documents increase, we expect that IVSM proposed in this paper can be applied to many electronic documents in Web-based community and digital library.

토픽모델링을 활용한 COVID-19 학술 연구 기반 연구 주제 분류에 관한 연구 (A study on the classification of research topics based on COVID-19 academic research using Topic modeling)

  • 유소연;임규건
    • 지능정보연구
    • /
    • 제28권1호
    • /
    • pp.155-174
    • /
    • 2022
  • 2020년 1월부터 2021년 10월 현재까지 COVID-19(치명적인 호흡기 증후군인 코로나바이러스-2)와 관련된 학술 연구가 500,000편 이상 발표되었다. COVID-19와 관련된 논문의 수가 급격하게 증가함에 따라 의료 전문가와 정책 담당자들이 중요한 연구를 신속하게 찾는 것에 시간적·기술적 제약이 따르고 있다. 따라서 본 연구에서는 LDA와 Word2vec 알고리즘을 사용하여 방대한 문헌의 텍스트 자료로부터 유용한 정보를 추출하는 방안을 제시한다. COVID-19와 관련된 논문에서 검색하고자 하는 키워드와 관련된 논문을 추출하고, 이를 대상으로 세부 주제를 파악하였다. 자료는 Kaggle에 있는 CORD-19 데이터 세트를 활용하였는데, COVID-19 전염병에 대응하기 위해 주요 연구 그룹과 백악관이 준비한 무료 학술 자료로서 매주 자료가 업데이트되고 있다. 연구 방법은 크게 두 가지로 나뉜다. 먼저, 47,110편의 학술 논문의 초록을 대상으로 LDA 토픽 모델링과 Word2vec 연관어 분석을 수행한 후, 도출된 토픽 중 'vaccine'과 관련된 논문 4,555편, 'treatment'와 관련된 논문 5,791편을 추출한다. 두 번째로 추출된 논문을 대상으로 LDA, PCA 차원 축소 후 t-SNE 기법을 사용하여 비슷한 주제를 가진 논문을 군집화하고 산점도로 시각화하였다. 전체 논문을 대상으로 찾을 수 없었던 숨겨진 주제를 키워드에 따라 문헌을 분류하여 토픽 모델링을 수행한 결과 세부 주제를 찾을 수 있었다. 본 연구의 목표는 대량의 문헌에서 키워드를 입력하여 특정 정보에 대한 문헌을 분류할 수 있는 방안을 제시하는 것이다. 본 연구의 목표는 의료 전문가와 정책 담당자들의 소중한 시간과 노력을 줄이고, 신속하게 정보를 얻을 수 있는 방법을 제안하는 것이다. 학술 논문의 초록에서 COVID-19와 관련된 토픽을 발견하고, COVID-19에 대한 새로운 연구 방향을 탐구하도록 도움을 주는 기초자료로 활용될 것으로 기대한다.

한국어 정보 검색에서 의미적 용어 불일치 완화 방안 (Alleviating Semantic Term Mismatches in Korean Information Retrieval)

  • 윤보현;박성진;강현규
    • 한국정보처리학회논문지
    • /
    • 제7권12호
    • /
    • pp.3874-3884
    • /
    • 2000
  • 정보검색시스템은 색인어와 질의어가 정확히 일치하지 않더라도 사용자 질의에 적합한 문서를 검색할 수 있어야 한다. 그러나, 색인어와 질의어간의 용어 불일치는 검색성능의 개선에 심각한 장애요소로 작용해 왔다. 따라서, 본 논문에서는 문서 코퍼스의 단어들간에 자동 용어 정규화를 수행하고, 용어 정규화의 산물을 한국어 정보검색 시스템에 적용하는 방안을 제시한다. 용어 불일치를 완화하기 위해 두가지 용어 정규화, 동치부류와 공기단어 클러스터를 수행한다. 첫째, 음역어, 절차오류, 그리고 동의어를 위해 문맥 유사도를 이용하여 동치부류로 구축하는 작업이다. 둘째, 상호정보와 단어 문맥의 조합을 이용하여 단어 유사도를 계산하고 문맥 기반 용어를 정규화한다. 그런 다음, K-means 알고리즘을 이용하여 자율 클러스터링을 수행하고 공기단어 클러스터를 구축한다. 본 논문에서는 이러한 용어 정규화의 산물들을 용어 불일치를 완화하기 위해 질의어 확장과정에서 사용한다. 다시 말해서 동치부류와 공기단어 클러스터는 새로운 용어로 질의를 확장하는 자원으로서 사용된다. 이러한 질의확장으로 사용자는 질의어에 음역어를 추가하여 질의어를 포괄적으로 만들거나 특정어를 추가하여 질의어를 세밀하게 만들 수 있다. 질의어 확장을 위해 두 가지 상호보완적인 방법인 용어 제시와 용어 적합성 피드백을 이용한다. 실험 결과는 제안된 시스템이 의미적 용어 불일치를 완화할 수 있고, 적절한 유사도 값을 제공할 수 있음을 보여준다. 결과적으로 제안한 시스템이 정보 검색 시스템의 검색 효율을 향상시킬 수 있음을 알 수 있다.

  • PDF

기술과학 분야 학술문헌에 대한 학습집합 반자동 구축 및 자동 분류 통합 연구 (Semi-automatic Construction of Learning Set and Integration of Automatic Classification for Academic Literature in Technical Sciences)

  • 김선우;고건우;최원준;정희석;윤화묵;최성필
    • 정보관리학회지
    • /
    • 제35권4호
    • /
    • pp.141-164
    • /
    • 2018
  • 최근 학술문헌의 양이 급증하고, 융복합적인 연구가 활발히 이뤄지면서 연구자들은 선행 연구에 대한 동향 분석에 어려움을 겪고 있다. 이를 해결하기 위해 우선적으로 학술논문 단위의 분류 정보가 필요하지만 국내에는 이러한 정보가 제공되는 학술 데이터베이스가 존재하지 않는다. 이에 본 연구에서는 국내 학술문헌에 대해 다중 분류가 가능한 자동 분류 시스템을 제안한다. 먼저 한국어로 기술된 기술과학 분야의 학술문헌을 수집하고 K-Means 클러스터링 기법을 활용하여 DDC 600번 대의 중분류에 맞게 매핑하여 다중 분류가 가능한 학습집합을 구축하였다. 학습집합 구축 결과, 메타데이터가 존재하지 않는 값을 제외한 총 63,915건의 한국어 기술과학 분야의 자동 분류 학습집합이 구축되었다. 이를 활용하여 심층학습 기반의 학술문헌 자동 분류 엔진을 구현하고 학습하였다. 객관적인 검증을 위해 수작업 구축한 실험집합을 통한 실험 결과, 다중 분류에 대해 78.32%의 정확도와 72.45%의 F1 성능을 얻었다.

패션 영역에서 디지털 전환 관련 연구동향 및 지식구조 (Research Trends and Knowledge Structure of Digital Transformation in Fashion)

  • 최영현;정진하;이규혜
    • 디지털융복합연구
    • /
    • 제19권3호
    • /
    • pp.319-329
    • /
    • 2021
  • 본 연구에서는 정보학적 접근을 통해 디지털 전환을 다룬 국내 패션 관련 연구동향과 지식구조를 밝히는 것을 목적으로 하였다. 국내 학술연구에서 나타난 관련 연구의 연도별, 학술지별 현황을 파악하고, 네트워크 분석을 통해 주요 연구 주제어를 도출하며, 시기별 주요 연구 동향과 지식 구조를 분석했다. 2010년부터 2020년까지 국내 학술 플랫폼에 게재된 159편의 연구를 수집했고, Python 3.7을 통해 데이터를 정제했으며, NodeXL 1.0.1을 통해 중심성 측정 및 네트워크 구현을 진행했다. 분석 결과 관련 연구는 2016년을 기점으로 활발하게 진행되었으며, 주로 의류학, 예술학 학술지에 밀집된 것으로 나타났다. 온라인 플랫폼, AR/VR이 가장 많이 언급되는 주제어로 나타났으며, 소비자 심리분석, 마케팅 전략 제시, 사례 분석이 주요 연구 방법으로 사용되고 있었다. 군집화를 통해 의류학의 세부 분과별 주요 연구 내용을 도출할 수 있었다. 시기별 주요 주제 분석 결과, 시간이 지남에 따라 소비자 중심의 연구에서 플랫폼이나 서비스에 대한 전략 제시 또는 디자인 개발 연구로 보다 다양하게 변화하고 있었다. 본 연구는 디지털 전환에 대한 패션 분야의 통찰력을 높이는데 기여하고, 관련 주제의 연구를 설계하는데 기초연구로 사용될 수 있을 것이다.

소셜미디어에 나타난 코로나 바이러스(COVID-19) 인식 분석 (Trend Analysis of Corona Virus(COVID-19) based on Social Media)

  • 윤상후;정상윤;김영아
    • 한국산학기술학회논문지
    • /
    • 제22권5호
    • /
    • pp.317-324
    • /
    • 2021
  • 본 연구는 국내 소셜미디어를 기반으로 코로나 확산 시기에 따른 코로나19 관심사 변화를 텍스트 기반으로 살펴 보았다. 연구자료는 2020년 1월 20일부터 8월 15일까지 네이버와 다음의 블로그와 카페에 올라온 글이다. 코로나 확산시기는 총 3단계로 분류하였다. 중국에서 발견된 코로나19가 한국에 확산되기 시작한 1월 20일부터 2월 17일을 '전조기', 대구를 중심으로 본격적 확산을 진행된 2월 18일부터 4월 20일을 '심각기', 그리고 일 확진자 수가 안정화되는 4월 21일부터 8월 15일을 '안정기'로 명명하였다. 코로나19와 연관된 상위 50개 단어를 추출하여 TF-IDF를 이용하여 군집 분석 하였다. 분석결과 전조기는 코로나 '상황'에 관련된 텍스트가 많았고, 심각기에는 '국가'와 '감염경로'에 관련된 텍스트가 많았다. 안정기에는 '치료'가 주로 언급되었다. 시기와 무관하게 공통적으로 언급이 많이 된 단어는 '감염', '마스크', '사람', '발생', '확진', '정보'이다. 시기별 감정의 변화를 살펴보면 시간이 지남에 따라 긍정의 비율이 높아지고 있다. 카페와 블로그는 글쓴이의 생각과 주관이 담긴 글을 인터넷을 통해 공유하므로 코로나19로 인한 비대면 시대의 주요 정보공유 공간이다. 그러나 정보전달의 선택성과 임의성이 존재하므로 소셜미디어에서 생산되는 정보를 비판적으로 바라보는 시각이 필요하다.

Analyzing the Factors of Gentrification After Gradual Everyday Recovery

  • Yoon-Ah Song;Jeongeun Song;ZoonKy Lee
    • 한국컴퓨터정보학회논문지
    • /
    • 제28권8호
    • /
    • pp.175-186
    • /
    • 2023
  • 본 연구는 단계적 일상회복 이후 상권 회복세와 함께 임대료가 급상승한 시점에 주목하여 젠트리피케이션 분석 모형을 구축하고 그 특징을 살펴보는 것이 목적이다. 최근 국내에서는 팬데믹 이후 거리두기의 영향으로 대규모 상권보다는 소규모 상권이 형성되었다. 바로 핫플레이스라고 알려진 골목상권이다. 핫플레이스는 다양한 미디어와 사회관계망서비스를 통해 집객효과를 누리며 인기를 끌고 있다. 그에 따라 유동인구가 증가하면서 상권이 활성화 되고 임대료가 급상승하는 현상이 발생하고 있다. 하지만 소상공인의 경우 임대료 급상승은 매출 증가로도 감당하지 못해 해당 지역을 이탈하는 젠트리피케이션 현상으로 이어질 수 있다. 따라서 본 연구에서는 상권이 다시 활성화되면서 임대료가 급상승하는 시점을 찾아 그 이전과 이후를 분석하고자 한다. 먼저 젠트리피케이션에 관련하여 언급되는 토픽을 탐색하기 위해 텍스트 데이터를 수집한 후 LDA 토픽 모델링을 실시한다. 이를 참고하여 상권 단위로 데이터를 수집하고 젠트리피케이션 분석 모형을 구축한 다음 특징을 분석한다. 팬데믹으로 상권이 침체된 이후 재활성화 되고 있는 시점에 본 모형을 통한 젠트리피케이션 분석이 소상공인 정책에 기여할 수 있기를 바란다.

비정형 텍스트 데이터를 활용한 융합연구개발의 정책 동향 분석 (Analysis of Policy Trends in Convergence Research and Development Using Unstructured Text Data)

  • 이지예;신재은
    • 지식경영연구
    • /
    • 제25권2호
    • /
    • pp.177-191
    • /
    • 2024
  • 현대사회의 다양하고 복잡한 사회적 문제를 해결하기 위해서는 융합적 시각의 문제 분석과 해결책 모색이 필요하다. 이러한 의미에서 융합연구의 중요성이 더욱 강조되고 있으며 효율성과 효과성 제고를 위한 전략적 접근이 요구되고 있다. 본 연구에서는 융합연구개발 활성화 기본계획의 텍스트 분석을 통하여 융합연구 정책의 시기별 특성과 시기별 토픽의 연관성과 변화추이를 확인하고 이를 통해 기본계획이 제시하는 정책적 변화를 이해하고자 하였다. TF-IDF 분석, 토픽 모델링(LDA), 그리고 네트워크(CONCOR) 분석 등 다양한 분석 방법을 활용하여 각 시기별 핵심 토픽을 도출하여 정책 변화 추이를 파악하였다. 분석결과, 시기별 토픽의 군집화와 토픽의 변화를 확인하였고 융합연구 생태계 조성과 당면한 과제 해결을 위한 융합연구의 방향성을 제시하고 있다는 것을 파악할 수 있었다. 본 연구 결과는 향후 거시적 관점에서 융합연구개발 활성화 정책 수립 시에 정책의 변화에 대한 새로운 통찰을 제공함으로써 정부, 기업, 학계, 연구기관 등 다양한 이해관계자들에게 중요한 시사점을 제공할 수 있을 것으로 기대한다.