• 제목/요약/키워드: TF-IDF analysis

검색결과 193건 처리시간 0.024초

문단 가중치 분석 기반 본문 영역 선정 알고리즘 (Keyword Weight based Paragraph Extraction Algorithm)

  • 이종원;유성종;김도안;정회경
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2018년도 춘계학술대회
    • /
    • pp.462-463
    • /
    • 2018
  • 기존의 문서 분석 시스템들은 형태소 분석기나 TF-IDF 기법을 통해 단어 위주의 분석을 진행하였다. 이러한 시스템들은 키워드들의 가중치를 계산하여 주요 키워드를 도출할 수 있는 장점이 있다. 이에 반해 문서의 내용을 분석하기에는 구조적인 한계로 인해 부적합한 실정이다. 이를 해결하기 위해 본 논문에서 제안하는 알고리즘은 문서 내에 있는 문단들의 가중치를 계산한 뒤 문단들을 영역별로 분할한다. 그리고 분할된 영역별로 중요도를 계산하여 해당 문서 내에 가장 중요한 문단들이 있는 영역을 사용자에게 알려준다. 이를 통해 사용자는 기존의 문서 분석 시스템들을 사용할 때보다 문서를 분석하기에 적합한 서비스를 제공받을 것으로 사료된다.

  • PDF

단어 임베딩(Word Embedding) 기법을 적용한 키워드 중심의 사회적 이슈 도출 연구: 장애인 관련 뉴스 기사를 중심으로 (A Study on the Deduction of Social Issues Applying Word Embedding: With an Empasis on News Articles related to the Disables)

  • 최가람;최성필
    • 정보관리학회지
    • /
    • 제35권1호
    • /
    • pp.231-250
    • /
    • 2018
  • 본 논문에서는 온라인 뉴스 기사에서 자동으로 추출된 키워드 집합을 활용하여 특정 시점에서의 세부 주제별 토픽을 추출하고 정형화하는 새로운 방법론을 제시한다. 이를 위해서, 우선 다량의 텍스트 집합에 존재하는 개별 단어들의 중요도를 측정할 수 있는 복수의 통계적 가중치 모델들에 대한 비교 실험을 통해 TF-IDF 모델을 선정하였고 이를 활용하여 주요 키워드 집합을 추출하였다. 또한 추출된 키워드들 간의 의미적 연관성을 효과적으로 계산하기 위해서 별도로 수집된 약 1,000,000건 규모의 뉴스 기사를 활용하여 단어 임베딩 벡터 집합을 구성하였다. 추출된 개별 키워드들은 임베딩 벡터 형태로 수치화되고 K-평균 알고리즘을 통해 클러스터링 된다. 최종적으로 도출된 각각의 키워드 군집에 대한 정성적인 심층 분석 결과, 대부분의 군집들이 레이블을 쉽게 부여할 수 있을 정도로 충분한 의미적 집중성을 가진 토픽들로 평가되었다.

한글 워드임베딩과 아프리오리를 이용한 검색 시스템의 질의어 확장 (Query Extension of Retrieve System Using Hangul Word Embedding and Apriori)

  • 신동하;김창복
    • 한국항행학회논문지
    • /
    • 제20권6호
    • /
    • pp.617-624
    • /
    • 2016
  • 한글 워드임베딩은 명사 추출과정을 거치지 않으면, 학습에 필요하지 않은 단어까지 학습하게 되어 효율적인 임베딩 결과를 도출할 수 없다. 본 연구는 한글 워드임베딩, 아프리오리, 텍스트 마이닝을 이용하여, 특정 도메인에서 질의어 확장에 의해 보다 효율적으로 답변을 검색할 수 있는 모델을 제안하였다. 워드임베딩과 아프리오리는 질의어에 대해서 의미와 맥락에 따라 연관 단어를 추출하여, 질의어를 확장하는 단계이다. 한글 텍스트 마이닝은 명사 추출, TF-IDF, 코사인 유사도를 이용하여, 유사답변 추출과 사용자에게 답변하는 단계이다. 제안모델은 특정 도메인의 답변을 학습하고, 연관성 높은 질의어를 확장함으로서 답변의 정확성을 높일 수 있다. 향후 연구과제로서, 데이터베이스에 저장된 사용자 질의를 분석하고, 보다 연관성 높은 질의어를 추출하는 연구가 필요하다.

멀티모달 기반 악성코드 유사도 계산 기법 (Multi-Modal Based Malware Similarity Estimation Method)

  • 유정도;김태규;김인성;김휘강
    • 정보보호학회논문지
    • /
    • 제29권2호
    • /
    • pp.347-363
    • /
    • 2019
  • 사람의 DNA가 변하지 않는 것과 같이 사이버상의 악성코드도 변하지 않는 고유의 행위 특징을 갖고 있다. APT(Advanced Persistent Threat) 공격에 대한 방어수단을 사전에 확보하기 위해서는 악성코드의 악성 행위 특징을 추출해야 한다. 이를 위해서는 먼저 악성코드 간의 유사도를 계산하여 유사한 악성코드끼리 분류할 수 있어야 한다. 본 논문에서는 Windows OS 상에서 동작하는 악성코드 간의 유사도 계산 방법으로 'TF-IDF 코사인 유사도', 'Nilsimsa 유사도', '악성코드 기능 유사도', 'Jaccard 유사도'를 사용해 악성코드의 유형을 예측해보고, 그 결과를 보인다. 실험결과, 유사도 계산 방식마다 악성코드 유형에 따라 예측률의 차이가 매우 컸음을 발견할 수 있었다. 모든 결과에 월등한 정확도를 보인 유사도는 존재하지 않았으나, 본 실험결과를 이용하여 특정 패밀리의 악성코드를 분류할 때 어떤 유사도 계산 방식을 활용하는 것이 상대적으로 유리할지를 결정할 때 도움이 될 것으로 판단된다.

GRI를 이용한 지속가능보고서 구성 분석: 공,사 기업 관점으로 (Analysis of Sustainability Report Content Using GRI: Public and Private Enterprise Perspective)

  • 윤지혜;이종화
    • 지식경영연구
    • /
    • 제23권3호
    • /
    • pp.153-171
    • /
    • 2022
  • 세계적으로 ESG경영 열풍이 불면서 국내,외 기업들은 자발적으로 지속가능경영을 선언하고 전략을 수립하여 적극적으로 대응하고 있다. 금융위원회에서는 ESG경영을 나타내는 지속가능보고서 공시를 단계적으로 의무화하고 있으며, 앞으로 중소기업까지 확대될 것이다. 지속가능보고서의 정보공개는 주로 국제표준 GRI, SASB, TCFD로 활용되며, 국내 다수 기업이 GRI Standards 가이드라인을 사용하고 있다. 본 연구에서는 지속가능보고서의 구성체계를 살펴보고 GRI Standards를 기준으로 공기업과 사기업을 비교하여 유형별 지속가능경영을 분석하고자 한다. TF-IDF 모델링을 통해 분석 결과 공기업은 '사회', '노동' 분야에 초점을 두었으며, 사기업은 '경제', '환경' 분야에 집중하는 것으로 나타났다. 또한 전자·정보통신 산업은 '제품책임'에 중점을 두는 것으로 나타났다. 본 연구의 결과는 지속가능경영을 등급에 따라 수치화하여 분석한 기존 연구와는 달리 비정형데이터인 지속가능보고서를 분석함으로써 ESG경영에 관심을 갖는 연구자 및 관리자에게 유용한 이론적, 실무적 시사점을 제공할 것으로 기대된다.

감정 기반 블로그 문서 분류를 위한 부정어 처리 및 단어 가중치 적용 기법의 효과에 대한 연구 (A Study on Negation Handling and Term Weighting Schemes and Their Effects on Mood-based Text Classification)

  • 정유철;최윤정;맹성현
    • 인지과학
    • /
    • 제19권4호
    • /
    • pp.477-497
    • /
    • 2008
  • 일상생활에서 많이 쓰이는 블로그 문서를 분석하는 것은 다양한 웹 응용서비스를 연결할 수 있는 중요한 단초를 제시하므로, 블로그 문서에 담긴 감정을 파악하는 것을 매우 유용한 일이다. 본 논문에서는 블로그 문서에 존재하는 감정을 보다 정확하게 분류하기 위해 부정어 처리와 새로운 단어 가중치의 적용이 성능에 미치는 영향에 대해 탐구한다. 특히, 감정단서(clue)가 내재된 정규화된 부정어 n-gram을 통해 부정어 처리를 고도화하고 말뭉치기반 단어 가중치 계산법(Corpus-specific Term Weighting, CSTW)을 통해 감정 분류 성능향상을 살펴보기로 한다. 검증을 위해 블로그 문서들로 정답 말뭉치를 구축하고 감정 흐름 분석(Enhanced Mood Flow Analysis, EMFA)과 지지벡터기계기반 감정 분류(Support Vector Machine based Mood Classification, SVMMC)의 두 가지 분류기법에 대해 실험을 하였다. 정규화된 부정어 n-gram의 적용은 EMFA에서 점진적인 감정 분류 성능 향상을 보여주었으며, CSTW의 적용은 TF*IDF나 TF에 비해 보다 높은 감정 분류 성능을 나타내었다.

  • PDF

사용자 영화평의 감정어휘 분석을 통한 영화검색시스템 (Movie Retrieval System by Analyzing Sentimental Keyword from User's Movie Reviews)

  • 오성호;강신재
    • 한국산학기술학회논문지
    • /
    • 제14권3호
    • /
    • pp.1422-1427
    • /
    • 2013
  • 본 논문에서는 사용자가 작성한 영화평으로부터 추출한 감정어휘에 기반한 영화검색시스템을 제안한다. 먼저, 사용자의 영화평을 형태소분석하고 수작업으로 감정어휘사전을 구축한다. 그 다음, 검색의 대상이 되는 영화별로 감정어휘사전에 포함되어 있는 감정어휘들의 가중치를 TF-IDF를 이용하여 계산한다. 이러한 결과를 이용하여 제안 시스템은 영화의 감정 분류를 결정하고, 랭킹하여 사용자에게 보여주게 된다. 사용자들은 영화평을 읽지 않고도, 감정 어휘로 구성된 질의어를 입력하여 원하는 영화를 찾을 수 있게 된다.

빅데이터와 텍스트마이닝을 이용한 부동산시장 동향분석 (Analysis of Real Estate Market Trend Using Text Mining and Big Data)

  • 전해정
    • 디지털융복합연구
    • /
    • 제17권4호
    • /
    • pp.49-55
    • /
    • 2019
  • 본 연구는 빅데이터 분석방법인 텍스트마이닝을 이용한 부동산시장 동향분석에 관한 연구로 자료는 2016년 8월부터 2017년 8월까지의 포털사이트인 네이버에 게시된 인터넷 뉴스를 통해 수집하였다. TF-IDF 분석결과, 주택, 분양, 가구, 시장, 지역 순으로 빈도가 높게 나타났고 대출, 정부, 대책, 규제 등 정책과 관련된 단어들도 많이 추출되었으며 지역관련 단어는 서울의 출현빈도가 가장 많은 것으로 나타났다. 지역과 관련된 단어 조합은 '서울-강남', '서울-수도권', '강남-재건축', '서울-재건축'의 출현빈도가 많은 것으로 나타나 강남지역 재건축에 대한 사람들의 관심과 기대가 높은 것을 알 수 있다.

채용정보 분석을 통한 비즈니스 직무 스펙 연구 (Research on Business Job Specification through Employment Information Analysis)

  • 이종화;이현규
    • 한국정보시스템학회지:정보시스템연구
    • /
    • 제31권1호
    • /
    • pp.271-287
    • /
    • 2022
  • Purpose This research aims to study the changes in recruitment needed for the growth and survival of companies in the rapidly changing industry. In particular, we built a real company's worklist accounting for the rapidly advancing data-driven digital transformation, and presented the capabilities and conditions required for work. Design/methodology/approach we selected 37 jobs based on NCS to develop the employment search requirements by analyzing the business characteristics and work capabilities of the industry and company. The business specification indicators were converted into a matrix through the TF-IDF process, and the NMF algorithm is used to extract the features of each document. Also, the cosine distance measurement method is utilized to determine the similarity of the job specification conditions. Findings Companies tended to prefer "IT competency," which is a specification related to computer use and certification, and "experience competency," which is a specification for experience and internship. In addition, 'foreign language competency' was additionally preferred depending on the job. This analysis and development of job requirements would not only help companies to find the talents but also be useful for the jobseekers to easily decide the priority of their specification activities.

비정형 빅데이터를 이용한 COVID-19 주요 이슈 분석 (Analysis of Major COVID-19 Issues Using Unstructured Big Data)

  • 김진솔;신동훈;김희웅
    • 지식경영연구
    • /
    • 제22권2호
    • /
    • pp.145-165
    • /
    • 2021
  • 2019년 12월 말, 전 세계를 혼란에 빠트린 코로나바이러스감염증-19(COVID-19)의 팬데믹이 시작되었다. 이러한 위기를 극복하고 피해를 최소화하기 위해 정부와 기관에서는 기존의 정책지원 효과를 극대화하고 변화하는 사회를 반영한 전방위적 대응책 마련이 필요하다. 사회적으로 부각되는 논제와 관심사항의 주제를 파악하기 위해, 본 연구는 소셜미디어의 빅데이터를 통해 코로나19와 관련된 주요 생각, 태도, 감정 등을 파악한다. 특히 정부의 대응에 관한 대중의 견해를 알기 위해 '정부 대응방향'을 기준으로 시기를 나누어 분석을 진행했다. 분석에 활용한 데이터는 네이버를 통해 2019년 12월 31일부터 2020년 12월 12일까지 수집되었다. 또한, 분석을 위해 텍스트마이닝 기법 중 TF-IDF 키워드 추출과 LDA 토픽모델링을 활용하였다. 그 결과, 8개의 코로나19 관련 주요 이슈가 도출되었으며, 이러한 이슈 사항과 주요 키워드를 기반으로 해당 분야에서의 코로나19 및 감염병 대응 정책 전략을 제시하였다. 본 연구는 코로나19 팬데믹과 같은 위기상황에 정부와 관련 기관이 국민의 필요와 요구에 따른 정확한 대응책을 마련하는 데 기초자료를 제공했다는 점에서 의의를 가진다.