• 제목/요약/키워드: 키워드 추출 방법

검색결과 355건 처리시간 0.026초

키워드 기반 주제중심 분석을 이용한 비정형데이터 처리 (Unstructured Data Processing Using Keyword-Based Topic-Oriented Analysis)

  • 고명숙
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제6권11호
    • /
    • pp.521-526
    • /
    • 2017
  • 데이터는 데이터 형식이 다양하고 방대할 뿐만 아니라 그 생성 속도가 매우 빨라 기존의 데이터 처리 방식이 아닌 새로운 관리 및 분석 방법이 요구된다. 소셜 네트워크 상의 온라인 문서에서 인간의 언어로 쓰여진 비정형 텍스트에서 Text Mining기법을 사용하여 유용한 정보를 추출할 수 있다. 소셜미디어에 남긴 정치, 경제, 문화에 대한 메시지에 대한 경향을 파악하는 것이 어떤 주제에 관심을 가지고 있는지를 파악할 수 있는 요소가 된다. 본 연구에서는 주제 중심 분석 기법을 이용하여 주어진 키워드에 관한 온라인 뉴스를 대상으로 텍스트 마이닝을 수행하였다. LDA(Latent Dirichiet Allocation)를 이용하여 웹문서로부터 정보를 추출하고 이로부터 사람들이 실제로 주어진 키워드에 대하여 어떤 주제에 관심이 있고 관련된 핵심 가치 중 어떤 주제를 중심으로 전파되고 있는지를 분석하였다.

키워드 추출 알고리즘을 이용한 이용 약관 요약 방법 설계 (Designing Method for Summarization of the Terms & Conditions using Keyword Extraction Algorithm)

  • 이규은;김상원;김기천
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2019년도 추계학술발표대회
    • /
    • pp.823-826
    • /
    • 2019
  • 소비자 개개인의 취향에 부합하는 맞춤형 서비스가 기업들에게 중요한 과제로 대두되고 있다. 이 같은 기대에 부응하기 위해 기업은 막대한 양의 데이터를 수집하고 그를 기반으로 서비스를 제공하려 노력하고 있다. 하지만, 데이터 수집 과정에서 어떤 정보가 어떻게 수집되는지를 명확히 아는 소비자는 극히 드물다. 소비자가 원하는 정보는 이용 약관에 명시되어 있지만, 정작 약관을 꼼꼼히 읽어보고 그에 동의하는 경우는 그리 많지 않기 때문이다. 이 때문에 소비자들이 원치 않는 정보가 수집되어도 이의를 제기하기 힘든 사태가 발생하기도 한다. 본 논문에서는 몇 가지 자연어 처리 기술을 이용하여 키워드를 추출해 약관의 핵심적인 내용을 요약 정리하는 알고리즘을 제안한다. 이를 통해 약관의 핵심 요악을 제공하여 이러한 소비자의 불이익을 줄일 수 있을 것으로 기대한다.

효율적인 문서 구성을 위한 TF-IDF 알고리즘 기반 문서 제안 시스템의 설계 (Design of Document Suggestion System based on TF-IDF Algorithm for Efficient Organization of Documentation)

  • 김영훈;박승민;조대수
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2022년도 제66차 하계학술대회논문집 30권2호
    • /
    • pp.527-528
    • /
    • 2022
  • 빠르게 변하는 환경에 맞춰 평생 교육이 일반화되고 개인에게 요구되는 학습량은 많아지고 있으며 높아진 학습량에 맞게 학습 시간 단축과 효율적인 학습을 위한 학습 방법을 선택하는 것이 중요해지고 있다. 본 논문에서는 학습 정리를 위해 작성한 문서를 분석하여 해당 문서와 관련된 문서를 제안하고 본 문서와 엮어 학습을 위한 문서 묶음을 만들 수 있는 시스템을 제안한다. 문서의 유사도, 중요도를 구할 수 있는 TF-IDF를 이용하여 문서를 분석해 키워드를 추출한 다음 그와 관련된 문서를 제안하고 문서 묶음을 만들어 조회할 수 있도록 한다. 이 시스템은 학습 정리 시 관련 문서를 함께 볼 수 있도록 하고, 필요하다면 묶음으로 만들어 효과적인 학습을 위한 도구로 이용할 수 있다.

  • PDF

베이지안 네트워크와 멀티 레이어 퍼셉트론을 이용한 모바일 스팸 문자 메시지 필터링 방법 (A Method for Spam SMS Filtering Using Bayesian Network and Multi Layer Perceptron)

  • 홍승범;김문현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2011년도 추계학술발표대회
    • /
    • pp.283-286
    • /
    • 2011
  • 스팸 메시지는 불특정 다수에게 보내지는 광고성 메시지로서 최근 들어 그 양이 증가하고 있는 추세이다. 본 논문에서는 모바일 환경에서의 스팸 메시지 필터링을 위한 시스템을 제안하며 기존 환경에서 자주 사용되었던 키워드 기반 필터링 시스템의 단점을 해결하고자 고안되었다. 베이지안 네트워크를 통해 스팸 메시지들의 패턴을 추출하고 추출된 패턴을 멀티 레이어 퍼셉트론을 이용해 학습하여 메시지들을 분류한다. 이 시스템을 통해 약 93.5%의 필터링 정확도률을 얻었으며 키워드 선택 대신 스팸 메시지를 선택해 학습시킴으로서 사용하기 쉽고 사용자에 맞는 시스템을 구성할 수 있었다.

효율적인 키워드 검색을 지원하는 학습자료의 구조화 방법 연구 (A Study on Structuring Method of Study Data Supporting Efficient Keyword Search)

  • 김은경;최진오
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2005년도 춘계종합학술대회
    • /
    • pp.1063-1066
    • /
    • 2005
  • 다양한 학습 자료를 저장해두고 검색하는 시스템들은 주로 키워드 검색을 지원하고 있다. 여기서, 키워드 매칭 방식은 같은 분야의 자료라 하더라도 사용자가 입력한 키워드와 정확한 매칭이 되지 않을 경우 검색되지 못하는 문제점을 안고 있다. 또한 학습 테스트를 위한 학습 문제 자료는 키워드로 검색하기에는 포함한 정보의 양이 너무 적어 적용되기 어렵다. 본 논문에서는 이러한 문제점을 해결하기 위하여 학습문서를 입력할 때 문서에 포함되어 있는 각 단어들을 형태소 분석에 의하여 중요 명사들을 추출하고 데이터베이스화하는 기법을 도입하고 미리 마련한 유사한 용어 지식 데이터베이스를 활용하여 지능적이고 효율적인 학습자료 검색 기법을 제안한다.

  • PDF

인문학 및 사회과학 분야 국내 학술논문의 저자키워드 출현빈도와 피인용횟수의 상관관계 연구 (A Study on the Correlation between the Appearance Frequency of Author Keyword and the Number of Citation in the Humanities and Social Science Journal Articles of the Korea Citation Index (KCI))

  • 고영만;송민선;김비연;민혜령
    • 정보관리학회지
    • /
    • 제30권2호
    • /
    • pp.227-243
    • /
    • 2013
  • 본 연구의 목적은 저자키워드의 출현빈도와 해당 키워드가 속한 논문들의 총피인용횟수 간 상관관계 여부를 확인하고자 하는 것이다. 연구의 배경은 인문사회과학 분야 학술용어사전을 구축하는데 있어서 실제 연구에서의 활용도가 높고 다른 키워드와의 의미적 연관관계가 많은 학술용어를 추출하기 위한 방법론을 개발해 보고자 하는 것이다. 본 연구의 목적을 이루기 위해 한국연구재단 한국학술지인용색인(KCI)에 수록된 2007년에서 2011년까지의 인문학 및 사회과학 분야 학술지 논문의 저자키워드와 피인용횟수를 분석하였다. 분석 결과 저자키워드의 출현빈도와 해당 키워드가 속한 논문들의 총피인용횟수는 통계적으로 상관관계가 있으며, 저자키워드의 출현빈도가 늘어날수록 논문의 총피인용횟수도 많아지는 것으로 나타났다.

프로파일링에 기초한 키워드 유형별 지적구조 분석에 관한 연구 - 국외 오픈액세스 분야를 중심으로 - (A Study on the Intellectual Structure Analysis by Keyword Type Based on Profiling: Focusing on Overseas Open Access Field)

  • 김판준
    • 한국문헌정보학회지
    • /
    • 제55권4호
    • /
    • pp.115-140
    • /
    • 2021
  • 본 연구는 국외 오픈액세스 분야를 대상으로 LISTA 데이터베이스에서 추출한 키워드 집합을 두 가지 유형(통제키워드, 비통제키워드)으로 구분하고, 각 키워드 유형별로 프로파일링에 기초한 지적구조 분석을 수행한 결과를 검토하였다. 또한, 이를 동시출현단어 분석에 기초한 지적구조 분석의 결과와 비교하였다. 이를 통해 지적구조 분석의 또 다른 방법인 프로파일링에서도 이와 유사한 결과가 도출되는 지를 살펴보고, 동시출현단어 분석과 프로파일링의 차이점을 검토하고자 하였다. 그 결과, 두 가지 키워드 유형별로 프로파일링에 기초한 지적구조 분석의 결과는 동시출현단어 분석과 유사한 차이가 있었다. 또한 프로파일링과 동시출현단어 분석에 기초한 지적구조 분석의 결과 간에도 주목할 만한 차이가 있었다. 따라서 키워드를 사용하는 지적구조 분석은 연구 목적에 따라 키워드 유형별 특성을 고려하여야 하며, 특정 분야의 연구 동향을 보다 명확하게 파악하기 위해서는 동시출현단어 분석보다 프로파일링에 기초한 지적구조 분석을 사용하는 것이 더 나은 결과를 기대할 수 있다.

유해어 필터링을 위한 자질어 추출 알고리즘에 관한 연구 (Study of Feature Extraction Algorithm for Harmful word Filtering)

  • 정정훈;이원휘;이신원;안동언;정성종
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2006년도 한국컴퓨터종합학술대회 논문집 Vol.33 No.1 (B)
    • /
    • pp.7-9
    • /
    • 2006
  • 유해 정보란 정보의 홍수 속에서 무차별적으로 제공되는 음란, 폭력 등의 내용을 담고 있는 정보를 말한다. 이러한 유해 정보들로부터 청소년 등 사회적으로 보호를 받아야 할 인터넷 이용자들을 보호하기 위한 장치가 필요하다. 현재 다양한 방법이 제안되고 연구되고 있다. 본 연구에서는 유해 문서의 필터링을 기법 중 키워드 필터링에서 사용되는 유해어 사전을 위한 자질어 추출 알고리즘에 대해서 비교/연구하였다. 키워드 필터링에서 자질어는 필터링의 성능에 많은 영향을 미친다. 따라서 필터링의 성능을 높이기 위한 자질어 추출 알고리즘 선택은 매우 중요하다. 이에 본 논문에서는 다양한 알고리즘을 비교 분석하여 정확하고 효율적인 자질어 추출 알고리즘 조합을 찾고자 하였다. 그 결과 CHI/TF-IDF 조합이 높은 성능을 보였으며 92%의 정확도를 얻을 수 있었다.

  • PDF

음절 n-gram 기반의 미등록 어휘 추정기 구현 (Out of Vocabulary Word Extractor based on a Syllable n-gram)

  • 신준수;홍초희
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2013년도 제25회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.139-141
    • /
    • 2013
  • 다양한 콘텐츠가 생성됨에 따라 신조어 및 미등록어도 다양한 형태로 나타나고 있다. 이러한 신조어 및 미등록어는 텍스트 처리 단계에서 오분석 되어 성능 저하의 원인이 된다. 본 논문은 이러한 문제를 해결하기 위해서 대량의 문서로부터 신조어 및 미등록 어휘를 추정하는 방법에 대해서 제안한다. 제안 방법은 대량의 문서로부터 음절 n-gram을 추출한 뒤, 각 n-gram에서 n을 한음절 축소 및 확장 시켜, (n+1)gram, (n-1)gram을 추가적으로 추출한다. 추출된 음절 n-gram을 기준으로 (n+1)gram, (n-1)gram과의 빈도 차이를 계산하여 빈도차가 급격하게 발생하는 구간을 신조어 및 미등록 어휘로 추정한다. 실험결과 신조어 뿐만 아니라 트위터, 미투데이 등과 같은 도메인에 종속적인 미등록 어휘도 추출되는 것을 확인할 수 있었다.

  • PDF

빅 데이터 분석을 활용한 창조경제 키워드에 대한 패턴 (A Pattern on Keyword of the Creative Economy through Utilizing Big Data Analysis)

  • 진찬용;남수태
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2016년도 춘계학술대회
    • /
    • pp.143-144
    • /
    • 2016
  • 빅 데이터 분석은 기존 데이터베이스 관리 도구로부터 데이터를 수집, 저장, 관리, 분석할 수 있는 역량을 말한다. 또한, 대량의 정형 또는 비정형 데이터 집합으로부터 가치를 추출하고 결과를 분석하는 기술을 의미한다. 대부분의 빅 데이터 분석 기술 방법들은 기존 통계학과 전산학에서 사용되던 데이터 마이닝, 기계 학습, 자연 언어 처리, 패턴 인식 등이 해당된다. 글로벌 리서치 기관들은 빅 데이터를 2011년 이래로 최근 가장 주목받는 신기술로 지목해오고 있다. 따라서 대부분의 산업에서 기업들은 빅 데이터의 적용을 통해 가치 창출을 위한 노력을 기하고 있다. 본 연구에서는 다음 커뮤니케이션의 빅 데이터 분석도구인 소셜 매트릭스를 활용하여 키워드 분석을 통해 창조경제 키워드 의미를 분석하고자 한다. 또한, 분석결과를 바탕으로 이론적 실무적 시사점을 제시하고자 한다.

  • PDF