• 제목/요약/키워드: 단어출현빈도

검색결과 133건 처리시간 0.022초

효과적인 정보검색을 위한 개념망의 구축 (Construction of Concept Network Useful for Effective Information Retrieval)

  • 주성은;구상회
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 가을 학술발표논문집 Vol.29 No.2 (2)
    • /
    • pp.295-297
    • /
    • 2002
  • 본 연구에서는 정보 검색의 효과를 향상시키기 위한 방안으로 개념망을 제안한다. 개념망은 주어진 문서의 집합에서 제시된 주요 개념을 추출하고, 추출된 개념들 사이의 관련성을 분석하여, 관련성이 높은 개념 사이에는 링크를 설정함으로써 개념을 노드로 하는 네트워크를 구성한 것이다. 개념 추출과 링크 설정은 문서에 출현하는 명사의 출현 빈도를 근거로 하였다. 사용자가 정보검색을 위하여 키워드를 입력하면 본 시스템은 입력된 키워드를 중심으로 구축된 개념망을 제시한다. 사용자는 제시된 개념망을 조사함으로써, 자신이 입력한 단어가 검색하고자 하는 목표개념을 적절히 반영한 단어인지 확인할 수 있고, 새로운 검색어를 추가하거나 기존의 것을 수정함으로써 검색의 효과를 향상시킬 수 있다.

  • PDF

빅데이터와 텍스트마이닝을 이용한 부동산시장 동향분석 (Analysis of Real Estate Market Trend Using Text Mining and Big Data)

  • 전해정
    • 디지털융복합연구
    • /
    • 제17권4호
    • /
    • pp.49-55
    • /
    • 2019
  • 본 연구는 빅데이터 분석방법인 텍스트마이닝을 이용한 부동산시장 동향분석에 관한 연구로 자료는 2016년 8월부터 2017년 8월까지의 포털사이트인 네이버에 게시된 인터넷 뉴스를 통해 수집하였다. TF-IDF 분석결과, 주택, 분양, 가구, 시장, 지역 순으로 빈도가 높게 나타났고 대출, 정부, 대책, 규제 등 정책과 관련된 단어들도 많이 추출되었으며 지역관련 단어는 서울의 출현빈도가 가장 많은 것으로 나타났다. 지역과 관련된 단어 조합은 '서울-강남', '서울-수도권', '강남-재건축', '서울-재건축'의 출현빈도가 많은 것으로 나타나 강남지역 재건축에 대한 사람들의 관심과 기대가 높은 것을 알 수 있다.

자동색인을 위한 학습기반 주요 단어(핵심어) 추출에 관한 연구 (Learning-based Automatic Keyphrase Indexing from Korean Scientific LIS Articles)

  • 김혜진;정유경
    • 한국정보관리학회:학술대회논문집
    • /
    • 한국정보관리학회 2017년도 제24회 학술대회 논문집
    • /
    • pp.15-18
    • /
    • 2017
  • 학술 데이터베이스를 통해 방대한 양의 텍스트 데이터에 대한 접근이 가능해지면서, 많은 데이터로부터 중요한 정보를 자동으로 추출하는 것에 대한 필요성 또한 증가하였다. 특히, 텍스트 데이터로부터 중요한 단어나 단어구를 선별하여 자동으로 추출하는 기법은 자료의 효과적인 관리와 정보검색 등 다양한 응용분야에 적용될 수 있는 핵심적인 기술임에도, 한글 텍스트를 대상으로 한 연구는 많이 이루어지지 않고 있다. 기존의 한글 텍스트를 대상으로 한 핵심어 또는 핵심어구 추출 연구들은 단어의 빈도나 동시출현 빈도, 이를 변형한 단어 가중치 등에 근거하여 핵심어(구)를 식별하는 수준에 그쳐있다. 이에 본 연구는 한글 학술논문의 초록으로부터 추출한 다양한 자질 요소들을 학습하여 핵심어(구)를 추출하는 모델을 제안하였고 그 성능을 평가하였다.

  • PDF

과학기술 정책기조 변화 분석과 국가 연구개발 투자방향 연구 (The Analysis of S&T Policy Changes and Investment Direction of National R&D)

  • 최종일;김정언
    • 디지털융복합연구
    • /
    • 제10권2호
    • /
    • pp.11-23
    • /
    • 2012
  • 본 연구는 우리나라 과학기술정책 기조 변화에 관한 중장기적 비교 분석을 통해 정책기조의 변화를 파악하고 있다. 과학계량학(scientometrics)적 접근 방법을 이용하여 국가연구개발투자 효율성 관련 정책의 기조변화 및 이슈를 유형화하고, 시기별 과학기술투자 효율화 정책 기조의 방향을 분석한다. 정책기조의 변화 분석은 과학기술혁신5개년계획(1999-2002)부터 MB정부 과학기술기본계획(2008-현재)의 과학기술기본계획 문서를 이용하여, 과학기술투자 효율화 정책기조 변화에 관해서 공통단어분석을 수행하고 있다. 구체적으로 한 단락 안에 연구개발투자 효율성과 관련된 공통출현단어들을 추출하여 단어별로 빈도수, 상대빈도, 시기별 관련성 등을 분석한다. 연구개발투자 효율성과 공통으로 출현하는 공통출현단어의 순위유사성 분석과 중복률 분석을 종합하면, 연구개발투자 효율성 관련 정책기조의 변화는 Regime 1(과학기술혁신 5개년 계획과 참여정부 과학기술기본계획), Regime 2(과학기술기본계획과 참여정부 과학기술기본계획), Regime 3(MB 정부의 과학기술기본계획)로 구분할 수 있었다.

A study on the perception of 3D virtual fashion before and after COVID-19 using textmining

  • Cho, Hyun-Jin
    • 한국컴퓨터정보학회논문지
    • /
    • 제27권12호
    • /
    • pp.111-119
    • /
    • 2022
  • 본 연구는 빅데이터 분석을 이용하여 코로나19 전후의 3D가상패션에 대한 인식의 변화를 알아보기 위하여 코로나19 발생 전인 2017년 1월1일부터 발생 이후인 2022년 10월30일까지 소셜미디어 네이버, 다음, 구글, 유튜브에서 추출한 3D 가상패션 관련 주요 단어들을 대상으로 텍스톰을 이용하여 빅데이터 자료를 수집하였다. 수집된 단어는 정제 과정을 거친 후 워드클라우드, 단어의 빈도, 연결중심성, 네트워크 시각화와 CONCOR 분석을 실시하였다. 3D 가상패션을 키워드로 32,461개의 단어를 추출하여 분석한 결과 패션, 가상, 기술의 출현빈도와 중심성이 가장 높게 나타났으며 디지털, 디자인, 의상, 활용, 제조의 출현빈도도 높게 나타났다. 이를 통해 3D 가상패션이 기술의 발달과 더불어 산업 전반에 활용되고 있음을 알 수 있었다. 특히 코로나19 이후 가장 부각되는 주요 단어는 메타버스와 3D 교육으로서 패션산업에서의 요구도가 높게 나타나고 있다.

한국어 동형이의어 태깅 시스템 구현 (Implementation Tagging System of Korea Homonym)

  • 김준수;최호섭;이왕우;옥철영
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2002년도 제14회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.24-30
    • /
    • 2002
  • 본 논문은 한국어 정보처리에서 발생하는 단어 중의성 문제를 해결하기 위하여, 사전 뜻풀이 말뭉치에서 추출하여 구축한 의미정보 데이터베이스(Semantic Information Database)와 이를 활용한 단어 중의성 해결 모델을 이용한 실용적인 동형이의어 태깅 시스템 개발을 목적으로 한다. 중 소규모의 국어사전 150,000여 개의 표제어 전체의 뜻풀이에 품사 태그를 부착한 117만 어절 규모의 뜻풀이 말뭉치를 구축한 후 사전에 등재된 14,000여 개의 동형이의어 중 뜻풀이에 나타나는 8,164개의 동형이의어에 표제어 어깨번호를 이용한 의미 태그를 부착함으로써, 대량의 동형이의어 분별을 위한 공기(coocurrence)하는 단어와 빈도(frequency)정보를 추출하여 데이터베이스화 할 수 있었다. 본 동형이의어 태깅 시스템의 정확률 측정과 문제점 발견을 위해 (21세기 세종 계획) 프로젝트에서 제공하는 150만 어절 의미 태그 부착 말뭉치를 대상으로 실험한 결과 세종 150만 의미 태그 부착 말뭉치에 고빈도로 출현하는 469개 어휘(총 출현 횟수 249.249개)에 대한 정확률이 91.58%로 나타났다.

  • PDF

동시출현단어 분석을 통한 국내외 정보학 학회지 연구동향 파악 (A Study on the Research Trends in Domestic/International Information Science Articles by Co-word Analysis)

  • 김하진;송민
    • 정보관리학회지
    • /
    • 제31권1호
    • /
    • pp.99-118
    • /
    • 2014
  • 이 연구는 국내외 정보학 분야 학회지 동향을 파악하기 위하여 1990년부터 2013년까지 국내 정보관리학회지와 국외 JASIST의 논문 제목과 초록을 대상으로 텍스트 마이닝 기법을 통한 명사, 명사구 동시출현 분석을 수행하였다. 전 기간을 5구간으로 나누고 전체적인 동향을 살펴보기 위해 고빈도 동시출현단어를 분석하였으며, 세부 주제를 파악하기 위해 상위 키워드와 동시에 출현하는 단어를 분석하였다. 마지막으로 과거와 다르게 새로운 키워드가 등장하는 2010년 이후 동향을 중점적으로 네트워크 분석을 수행하였다. 분석 결과 전반적으로 국내의 경우 정보관리학회지는 도서관, 정보 서비스, 정보 이용자, 정보 자료 조직 주제 분야가 많이 차지하고 있었고 JASIST는 정보 검색, 정보 이용자, 웹 관련 정보학, 계량 정보학 중심으로 연구가 진행되었다.

텍스트 마이닝 기법을 이용한 경찰청 업무 트렌드 분석 (Analysis of the National Police Agency business trends using text mining)

  • 선현석;임창원
    • 응용통계연구
    • /
    • 제32권2호
    • /
    • pp.301-317
    • /
    • 2019
  • 최근 통계적인 기법을 이용하여 대량으로 생산되고 있는 텍스트 데이터를 통해 다양한 인사이트 발굴을 하기 위한 연구가 활발히 진행되고 있다. 본 연구는 경찰청에서 생산하는 텍스트 데이터를 통해 연도별 경찰청의 업무 트렌드를 파악하고, 각 지방청별로 생산되는 문서에서 주요 키워드를 파악하여 지방청 간의 업무 특성을 비교하고자 하였다. 의미 있는 결론을 도출하기 위해 각 자료 특성에 맞는 전처리 과정을 시행하고 문서별 단어 빈도수를 계산하였다. 문서에 나타난 키워드의 단순 출현 빈도로는 해당 키워드가 문서에서 갖는 중요도를 설명하기 힘들기 때문에 단어-역문서 가중치를 이용하여 각 단어에 대한 빈도수를 새롭게 계산하였고 단어의 문서별 및 연도별 빈도 비교를 위해 L2 정규화 기법을 이용하였다. 이러한 분석은 향후 경찰청 업무 개선 정책에 새롭게 활용될 수 있는 기초 자료로 사용될 수 있으며, 경찰청 업무 효율성 향상 및 청내 업무 개선 수요 파악을 위한 방법으로 활용될 수 있다.

날짜 정보를 이용한 가중치 계산 방법을 적용한 자동 문서분류 (Term Weighting Using Date Information and Its Appliance in Automatic Text Classification)

  • 심보준;박진우;서정연
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2007년도 제19회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.169-173
    • /
    • 2007
  • 문장을 구성하는 단어들은 문장의 의미를 표출하는 데에 있어서 모두 같은 크기의 중요도를 갖지는 않는다. 따라서, 정보검색 분야에서는 오랫동안 단어에 부여할 서로 다른 가중치를 구하는 다양한 전략을 연구해 왔다. 매우 일반적인 기능어들은 불용어로 분류하여 고려 대상에서 제외하기도 하고, 개체명 추출기를 이용하여 고유명사에 높은 가중치를 부여하거나, TF-IDF와 같이 단어가 문서 집합에 출현하는 양상과 빈도를 고려하여 가중치를 구하는 전략을 사용하기도 한다. 이와 같은 연구들에서는 같은 단어라면 어떤 상황에서도 변하지 않는 가중치를 가지게 된다. 본 논문에서는 같은 단어라 할지라도 날짜에 따라서, 어떤 날짜에는 중요한 단어이므로 높은 가중치를 받지만, 다른 날짜에는 낮은 가중치를 부여하는 전략을 제안하고 있다. 이 방법은 모든 정보검색 작업에서 사용할 수 있는 범용적인 전략이다. 본 연구에서는 특히, 문서분류 작업에 제안 방법을 적용했을 때, 제안 방법을 적용하지 않은 기본 시스템보다 분류 정확성이 더 향상되는 것을 실험을 통해서 확인하였다.

  • PDF

의사 N-gram 언어모델을 이용한 핵심어 검출 시스템에 관한 연구 (A Study on Keyword Spotting System Using Pseudo N-gram Language Model)

  • 이여송;김주곤;정현열
    • 한국음향학회지
    • /
    • 제23권3호
    • /
    • pp.242-247
    • /
    • 2004
  • 일반적인 핵심어 검출 시스템에서는 필러모델과 핵심어모델을 연결단어 인식 네트워크로 구성하여 핵심어 검출에 사용한다. 이것은 대량의 텍스트 데이터를 이용한 대어휘 연속 음성인식에서 구해지는 단어의 출현빈도의 언어모델을 핵심어 검출 시스템에서 효과적으로 구성할 수가 없는 어려움이 있기 때문이다. 이를 해결하기 위하여 본 논문에서는 의사 N-gram 언어모델을 이용한 핵심어 검출 시스템을 제안하고 핵심어와 필러모델의 출현빈도의 변화에 따른 핵심어 검출 성능을 조사하였다. 그 결과, 핵심어와 필러모델의 출현확률을 0.2:0.8의 비율에서 CA (Correctly Accept for Keyword: 핵심어를 제대로 인정한 경우)가 91.1%, CR (Correctly Reject for OOV: 비핵심어에 대해 제대로 거절한 경우)는 91.7%로써, 일반적인 연결단어인식 네트워크를 이용한 방법보다 제안된 방법이 CA-CR 평균 인식률의 에러감소율 (Error Reduction Rate)에서 14%향상되어 핵심어 검출에서의 언어모델 도입의 효과를 확인할 수 있었다.