• 제목/요약/키워드: 바이그램 분석

검색결과 93건 처리시간 0.026초

고품질 바이그램을 이용한 문서 범주화 성능 향상 (Improving Text Categorization with High Quality Bigrams)

  • 이찬도;탄체이드멩;왕유안팡
    • 정보처리학회논문지B
    • /
    • 제9B권4호
    • /
    • pp.415-420
    • /
    • 2002
  • 본 논문은 정보이익을 사용하여 고품질 바이그램을 생성하는 효율적 문서 범주화 알고리즘을 제안한다. 실험 결과 유니그램에 적은 수의 바이그램을 추가해서 나이브 베이즈 분류기에 적용했을 때 문서 범주화 성공률은 상당히 향상되었다. 결과 분석은 제안한 알고리즘이 양의 문서를 분류하는데 더 우수하다는 것을 제시한다.

텍스트마이닝 방법론을 활용한 웨어러블 관련 키워드의 트렌드 분석 (Analyzing the Trend of Wearable Keywords using Text-mining Methodology)

  • 김민정
    • 디지털융복합연구
    • /
    • 제18권9호
    • /
    • pp.181-190
    • /
    • 2020
  • 본 연구는 신문기사로부터 수집한 웨어러블 관련 텍스트를 대상으로 텍스트마이닝을 수행하여 웨어러블 관련 키워드의 트렌드를 분석하였다. 이를 위해 1992년부터 2019년까지 신문기사 11,952건을 수집하여 빈도분석과 바이그램 분석을 적용하였다. 빈도분석 결과 삼성전자, LG전자, 애플이 최상위 빈도어로 추출되었으며 스마트워치, 스마트밴드가 기기 측면에서 지속적으로 등장하였음을 알 수 있었다. 또한 IT전시회가 매년 고빈도어로 나타났으며 차세대 기술 관련 키워드와 융합된 내용이 기사화되는 것을 볼 수 있었다. 바이그램 분석 결과, 세계-최초, 세계-최대 같은 단어 묶음이 지속적으로 등장하였으며 이슈나 이벤트가 발생할 때마다 관련된 새로운 단어 묶음이 도출됨을 확인할 수 있었다. 이러한 웨어러블 관련 키워드의 트렌드 추이 파악은 웨어러블 동향과 향후 방향성을 이해하는데 유용할 것이다.

토픽 모델링 및 바이그램 네트워크 분석 기법을 통한 여대생의 건강관리 및 웨어러블 디바이스 인식에 관한 연구 (Analyzing Female College Student's Recognition of Health Monitoring and Wearable Device Using Topic Modeling and Bi-gram Network Analysis)

  • 정우경;신동희
    • 정보관리학회지
    • /
    • 제38권4호
    • /
    • pp.129-152
    • /
    • 2021
  • 본 연구는 토픽 모델링 및 네트워크 분석 기법을 활용하여 여대생들의 웨어러블 디바이스에 대한 인식 및 선호도 분석, 건강관리에 대한 요구를 분석함으로써 여대생에게 맞는 웨어러블 디바이스 개발 방안을 제시하였다. 이를 위하여 S여자대학교 재학생들이 사용하는 커뮤니티에서 건강관리 및 웨어러블 디바이스와 관련된 게시글 2,457건을 수집하였고. 수집된 게시글과 댓글 데이터를 전처리한 뒤 LDA 기반의 토픽 모델링을 실시하였다. 토픽 모델링 기법을 통해 건강관리 및 웨어러블 디바이스와 관련하여 여대생들의 주요 쟁점들을 도출하고, 관련 키워드가 포함된 포스팅에 대해 바이그램 분석과 네트워크 분석을 수행하여 여대생들이 웨어러블 기기에 대해 가지고 있는 견해를 파악하고자 한다.

음절 바이그램과 CRFs를 이용한 의학 전문 용어 추출 (Biomedical Terminology Extraction using Syllable Bigram and CRFs)

  • 송수민;신준수;김학수
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2010년도 춘계학술발표대회
    • /
    • pp.505-507
    • /
    • 2010
  • 웹(Web)상에 전문용어를 포함한 문서가 증가함에 따라 전문용어를 자동으로 추출하는 연구가 계속해서 이루어지고 있다. 기존 연구에서는 전문용어를 추출하는 단계에서 대부분 형태소 분석기를 이용한다. 그러나 전문용어의 특성으로 인해 형태소 분석 단계에서 오분석 되는 경우가 발생한다. 이러한 문제를 해결하기 위해서 본 논문에서는 음절 바이그램과 CRFs(Conditional Random Fields)를 이용하여 의학 전문 용어를 추출하는 방법을 제안한다. 네이버 지식인의 의사 답변 문서 2000개로부터 5-fold cross validation을 이용하여 실험하였다. 실험 결과 정확률은 평균 68.91%, 재현율은 평균 71.25%로 나타났으며 F-measure는 70.06%로 나타났다.

국소 문맥을 이용한 형태적 중의성 해소 (Morphological disambiguation using Local Context)

  • 이충희;윤준태;송만석
    • 한국인지과학회:학술대회논문집
    • /
    • 한국인지과학회 2000년도 한글 및 한국어 정보처리
    • /
    • pp.48-55
    • /
    • 2000
  • 본 논문은 국소문맥을 사용하여 만들어진 Decision List를 통해 단어의 형태적 중의성을 제거하는 방법을 기술한다. 최초 종자 연어(Seed Collocation)로 1차 Decision List를 만들어 실험 말뭉치에 적용하고 태깅된 결과를 자가 학습하는 반복과정에 의해 Decision List의 수행능력을 향상시킨다. 이 방법은 단어의 형태적 중의성 제거에 일정 거리의 연어가 가장 큰 영향을 끼친다는 직관에 바탕을 두며 사람의 추가적인 교정을 필요로 하지 않는 비교사 방식(대량의 원시 말뭉치에 기반한)에 의해 수행한다. 학습을 통해 얻어진 Decision List는 연세대 형태소 분석기인 MORANY의 형태소 분석 결과에 적용되어 태깅시 성능을 향상시킨다. 실험 말뭉치에 있는 중의성을 가진 12개의 단어들에 본 알고리즘을 적용하여 긍정적인 결과(90.61%)를 얻었다. 은닉 마르코프 모델의 바이그램(bigram) 모델과 비교하기 위하여 '들었다' 동사만을 가지고 실험하였는데 바이그램 모델의 태깅결과(72.61%)보다 뛰어난 결과(94.25%)를 얻어서 본 모델이 형태적 중의성 해소에 유용함을 확인하였다.

  • PDF

국소 문맥을 이용한 형태적 중의성 해소 (Morphological disambiguation using Local Context)

  • 이충희;윤준태;송만석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2000년도 제12회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.48-55
    • /
    • 2000
  • 본 논문은 국소문맥을 사용하여 만들어진 Decision List를 통해 단어의 형태적 중의성을 제거하는 방법을 기술한다. 최초 종자 연어(Seed Collocation)로 1차 Decision List를 만들어 실험 말뭉치에 적용하고 태깅된 결과를 자가 학습하는 반복과정에 의해 Decision List의 수행능력을 향상시킨다. 이 방법은 단어의 형태적 중의성 제거에 일정 거리의 연어가 가장 큰 영향을 끼친다는 직관에 바탕을 두며 사람의 추가적인 교정을 필요로 하지 않는 비교사 방식(대량의 원시 말뭉치에 기반한)에 의해 수행한다. 학습을 통해 얻어진 Decision List는 연세대 형태소 분석기인 MORANY의 형태소 분석 결과에 적용되어 태깅시 성능을 향상시킨다. 실험 말뭉치에 있는 중의성을 가진 12개의 단어들에 본 알고리즘을 적용하여 긍정적인 결과(90.61%)를 얻었다. 은닉 마르코프 모델의 바이그램(bigram) 모델과 비교하기 위하여 '들었다' 동사만을 가지고 실험하였는데 바이그램 모델의 태깅결과(72.61%)보다 뛰어난 결과 (94.25%)를 얻어서 본 모델이 형태적 중의성 해소에 유용함을 확인하였다.

  • PDF

백오프 통계정보를 이용한 미등록어 포함 복합명사의 분해 (Segmenting Korean Nominal Compounds with an Unknown Morpheme Using Back-off Statistics)

  • 박재한;김명선;노대욱;나동열
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2004년도 제16회 한글.언어.인지 한술대회
    • /
    • pp.65-72
    • /
    • 2004
  • 본 논문에서는 백오프 통계 정보를 이용하여 일반적인 복합명사 뿐만 아니라 외래어 미등록어를 포함한 복합명사도 잘 분해하는 방법을 제안한다. 본 시스템은 입력으로 형태소분석기가 내주는 많은 분석 후보들을 받는다. 단음절 명사를 포함한 분석 후보도 포함되므로 입력 분석 후보의 수는 대단히 많게 된다. 본 모듈의 주요 작업은 이 중에서 가장 좋은 분석후보를 선택하는 것이 된다. 미등록어가 포함된 경우 이에 부합되는 분석 후보를 잘 선택하는 시스템의 개발을 목표로 한다. 이를 위해서 본 시스템에서 사용하는 주요 정보는 단어간 어휘 바이그램 통계정보이다. 또한 외래어 미등록어의 인식 정확성을 높이기 위해 음절 바이그램 정보도 이용한다. 통계정보는 대량의 품사 태깅 말뭉치에서 추출하였다. 데이터 부족 문제를 해소하기 위해서 우리는 백오프(back-off) 평탄화(smoothing) 기법을 이용하였다. 미등록어가 포함된 복합명사의 분석 후보의 수를 줄이기 위한 기술도 연구하였다.

  • PDF

히스토그램 분포 분류를 통한 효율적인 세포 이미지 분할 시스템 (An Efficient Segmentation System for Cell Images By Classifying Distributions of Histogram)

  • 조미경
    • 한국정보통신학회논문지
    • /
    • 제18권2호
    • /
    • pp.431-436
    • /
    • 2014
  • 세포 분할 작업은 세포 이미지의 배경으로부터 세포 영역을 추출하는 작업으로 배양과정에 있는 살아있는 세포를 이미지화하여 분석하는 바이오 이미징 분야에서 기초적인 작업들 중 하나이다. 선명한 이미지의 경우 바이모덜 히스토그램 분포를 가지므로 Otsu와 같은 전역임계값 알고리즘을 이용하여 쉽게 세포분할 작업을 수행할 수 있지만 희미한 이미지의 경우는 정확한 세포 분할을 하기가 어렵다. 본 논문에서는 입력된 세포이미지의 히스토그램을 분석하여 히스토그램 분포에 따라 분류한 후 바이모덜 분포를 가지는 이미지의 경우 전역임계값 알고리즘을 적용하고 유니모덜 분포를 가지는 이미지의 경우 영역을 분할하여 부분 영역별로 다른 임계값을 적용하는 새포 분할 시스템을 개발하였다. 실험결과 제안한 시스템은 바이모덜 분포를 가지는 세포이미지 뿐만 아니라 유니모덜 분포를 가지는 세포 이미지에 대해서도 정확한 세포 분할 작업을 수행하였다.

바이그램 색인에 기반한 한-일 교차언어검색 (Korean-Japanese Cross Lingual Information Retrieval Based on Bi-gram Indexing)

  • 이규찬;강인수;나승훈;이종혁
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 한국컴퓨터종합학술대회 논문집 Vol.32 No.1 (B)
    • /
    • pp.448-450
    • /
    • 2005
  • 교차언어검색 시스템은 다양한 언어자원을 필요로 한다. 여기서는 한-일 대역어 사전과 일본어 문서의 바이그램 색인만을 이용해서 교차언어검색을 수행하는 방법을 제시한다. 한국어로 된 자연어 질의에서 형태소분석기 등의 도움 없이 간단하게 일본어 대역어 리스트를 생성할 수 있는 방법과, 검색의 성능을 올릴 수 있도록 대역어에 가중치를 부여하는 방법을 제안한다. 그리고 실험을 통해 제시한 방법을 평가하고 분석한다.

  • PDF

한국어 정보검색을 위한 색인어 추출방법에 관한 연구 (A Study on Extraction for Korean Information Retrieval System)

  • 최순우;김상범;임해창
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2003년도 제15회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.73-80
    • /
    • 2003
  • 본 논문에서는 색인 방법에 따른 한국어 정보검색시스템의 성능차이를 살펴보고 이를 분석하여 보다 검색성능을 높이기 위한 색인어 추출방법을 제안한다. 이를 위해 기존의 대표적인 색인법이라 할 수 있는 명사단위 색인법, 형태소 단위 색인법, 바이그램 단위 색인법, 어절단위 색인법에 대하여 실험을 통한 비교분석을 하였고, 질의별 분석을 통해 검색성능에 영향을 주는 요소들을 찾아내었다. 그 결과 빈칸, 면사분해, 명사, 동사, 형용사, 숫자등을 포함한 실질 형태소, 형식형태소의 제거, 외래어 등 추정명사의 분해 및 발음확장, 후방 단음절 명사로 구성된 복합명사의 분해, 의미를 변절시키는 바이그램 제거, 분해된 명사 수에 따른 복합명사 첨가 및 제거 등이 그 요소임을 확인할 수 있었다. 이를 토대로 각 색인법의 장점을 살려 색인 및 검색을 수행하여 보았다. 제안하는 방법은 동일한 실험집합에서 일관성 있은 성능향상을 가져다 줌을 알 수 있었다.

  • PDF