• 제목/요약/키워드: 연관단어

검색결과 252건 처리시간 0.033초

그래프 마이닝을 이용한 뉴스 데이터 분석 기법 (News Data Analysis Technique using Graph Mining)

  • 이창주;박기성;한용구;이영구
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 춘계학술발표대회
    • /
    • pp.730-733
    • /
    • 2015
  • 대용량의 인터넷 뉴스 데이터로부터 유용한 정보를 찾기 위해 연관 키워드, 핫 키워드 분석과 같은 다양한 분석 기술들이 연구되고 있다. 기존의 토픽 모델 기반의 기법은 키워드들간의 연관성을 제대로 표현하지 못하여 마이닝한 연관 키워드와 핫 키워드의 정확도가 낮은 문제점이 있다. 최근, 뉴스 데이터를 뉴스 내의 단어를 버텍스로, 같은 문장내의 단어들을 에지로 연결하는 그래프 기반의 모델링기법이 연구되었다. 이러한 뉴스 그래프 DB에서 그래프 마이닝 기술을 적용하면 연관 키워드, 핫 키워드를 마이닝 할 수 있다. 본 논문은 그래프 마이닝 기술 기반의 효과적인 뉴스 데이터 분석 기술을 제안한다. 실제 뉴스 데이터를 통해 마이닝한 유용한 뉴스 그래프 패턴들을 보이고 뉴스 데이터 분석에 효과적으로 활용될 수 있음을 보인다.

단어 근접도를 반영한 단어 그래프 기반 질의 확장 (Query Expansion based on Word Graph using Term Proximity)

  • 장계훈;조승현;이경순
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2010년도 추계학술발표대회
    • /
    • pp.754-757
    • /
    • 2010
  • 질의 확장은 초기 검색결과에서 질의와 연관된 단어를 선택하여 질의를 확장함으로써 검색 성능을 향상시키는 기법이다. 페이지 랭크(PageRank) 알고리즘은 웹문서 사이의 링크구조를 이용하여 문서들의 상대적인 중요성을 측정하기 위해 제안되었다. 본 논문에서는 문서들 사이의 관계가 아니라 문서 안에서 단어 그래프(Word Graph)를 통해 단어들 사이의 상대적인 중요성을 계산하였다. 질의와 가까이 위치한 단어들 사이의 관계를 단어 그래프에 적용하여 중요도를 계산하고 확장단어를 선택한다. 본 논문의 유효성을 검증하기 위해 웹문서 집합인 TREC WT10g 에 대해 실험하였고, 적합모델(Relevance Model)보다 MAP(Mean Average Precision)가 4.1% 향상되었다.

디지털 포렌식에서 텍스트 마이닝 기반 침입 흔적 로그 추천 (A Text Mining-based Intrusion Log Recommendation in Digital Forensics)

  • 고수정
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제2권6호
    • /
    • pp.279-290
    • /
    • 2013
  • 디지털 포렌식에서의 로그 데이터는 사용자의 과거 행적에 대한 추적을 목적으로 대용량의 형태로 저장된다는 특성을 가지고 있다. 이러한 대용량의 로그 데이터를 단서가 없이 수동으로 분석하는 절차는 조사관들에게는 어려운 일이다. 본 논문에서는 포렌식 분석을 하는 조사관들에게 믿을 만한 증거를 추천하기 위하여 대용량의 로그 집합으로부터 해킹 흔적을 추출하는 텍스트 마이닝 기술을 제안한다. 학습 단계에서는 훈련 로그 집합을 대상으로 전처리를 한 후, Apriori 알고리즘을 이용하여 침입 흔적 연관 단어를 추출하고, 신뢰도와 지지도를 병합하여 각 연관단어의 침입 흔적 확률을 계산한다. 또한, 침입 흔적 확률의 정확도를 높이기 위하여 스팸 메일의 여과에 사용된 Robinson의 신뢰도 계산 방법을 이용하여 확률에 가중치를 추가하며, 최종적으로 침입 흔적 연관 단어 지식 베이스를 구축한다. 테스트 단계에서는 연관 단어 지식 베이스를 기반으로 테스트 로그 집합에 대해 피셔(Fisher)의 역 카이제곱 분류 알고리즘을 적용하여 침입 흔적 로그일 확률과 정상 로그일 확률을 계산하고, 이를 병합하여 침입 흔적 로그를 추출한다. 추출된 로그를 조사관에게 침입 흔적이 있는 로그로서 추천한다. 제안한 방법은 비구조화된 대용량의 로그 데이터를 대상으로 데이터의 의미를 명확하게 분석할 수 있는 학습 방법을 사용함으로써 데이터의 모호성으로 인해 발생하는 정확도 저하 문제를 보완할 수 있으며, 피셔의 역 카이제곱 분류 알고리즘을 이용하여 추천함으로써 오분류율(false positive)을 감소시키고 수동으로 증거를 추출하는 번거로움을 줄일 수 있다는 장점을 갖는다.

문서의 주제어별 가중치 부여와 단어 군집을 이용한 한국어 문서 자동 분류 시스템 (An Automatic Classification System of Korean Documents Using Weight for Keywords of Document and Word Cluster)

  • 허준희;최준혁;이정현;김중배;임기욱
    • 정보처리학회논문지B
    • /
    • 제8B권5호
    • /
    • pp.447-454
    • /
    • 2001
  • 새로운 문서를 기존에 존재하는 클래스들에 할당하는 방법을 문서의 자동 분류라고 한다. 문서의 자동 분류는 뉴스 그룹의 기사분류, 웹 문서의 범주화, 전자 메일의 순서화, 사용자의 관심을 학습하여 보다 정확한 정보 검색을 제시하는데 사용될수 있다. 본 논문에서는 한국어 문서분류의 정확도를 높이기 위하여 문서내의 모든 단어들에 대한 확률값을 사용하여, 문서를 분류하는 기존의 방법과 달리 문서의 주제어를 선정하여 주제어로 선정된 단어들에 가중치를 부여하고 그렇지 않은 단어들에 대해서는 제거하너가 낮은 가중치를 부여하는 베이지안 분류자를 사용한다. 문서에는 특징으로 추출된 단어가 적어 문서를 분류하기 위한 만족할 만한 정보를 제공하지 못할 경우에 부족한 문서의 특징을 보충하기 위하여 말뭉치로부터 자동 단어 군집화를 통해 형성된 연관 단어 군집을 사용한다. 이러한 방법을 한국어 문서에 적용한 결과 기존의 베이지안 확률을 사용한 분류법보다 향상된 분류 정확도를 얻을 수 있었다.

  • PDF

이미지 단어집과 관심영역 자동추출을 사용한 이미지 분류 (Image Classification Using Bag of Visual Words and Visual Saliency Model)

  • 장현웅;조수선
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제3권12호
    • /
    • pp.547-552
    • /
    • 2014
  • 플리커, 페이스북과 같은 대용량 소셜 미디어 공유 사이트의 발전으로 이미지 정보가 매우 빠르게 증가하고 있다. 이에 따라 소셜 이미지를 정확하게 검색하기 위한 다양한 연구가 활발히 진행되고 있다. 이미지 태그들의 의미적 연관성을 이용하여 태그기반의 이미지 검색의 정확도를 높이고자 하는 연구를 비롯하여 이미지 단어집(Bag of Visual Words)을 기반으로 웹 이미지를 분류하는 연구도 다양하게 진행되고 있다. 본 논문에서는 이미지에서 배경과 같은 중요도가 떨어지는 정보를 제거하여 중요부분을 찾는 GBVS(Graph Based Visual Saliency)모델을 기존 연구에 사용할 것을 제안한다. 제안하는 방법은 첫 번째, 이미지 태그들의 의미적 연관성을 이용해 1차 분류된 데이터베이스에 SIFT알고리즘을 사용하여 이미지 단어집(BoVW)을 만든다. 두 번째, 테스트할 이미지에 GBVS를 통해서 이미지의 관심영역을 선택하여 테스트한다. 의미연관성 태그와 SIFT기반의 이미지 단어집을 사용한 기존의 방법에 GBVS를 적용한 결과 더 높은 정확도를 보임을 확인하였다.

노년층과 청년층의 상위범주어 과제 수행력 비교 (Comparison of Performance on Superordinate Word Tasks in Elderly and Young Adults)

  • 김형무;윤지혜
    • 재활복지
    • /
    • 제20권4호
    • /
    • pp.229-246
    • /
    • 2016
  • 본 연구에서는 노년층 40명과 청년층 43명을 대상으로 상위범주어 선택과제를 실시하여 정반응 및 반응시간을 비교하였고, 상위범주어 쓰기과제를 실시하여 정반응 및 오류양상의 차이를 비교하였다. 분석결과, 첫째, 상위범주어 선택 및 쓰기 과제 모두 노년층은 청년층 보다 정반응수가 더 적었다. 둘째, 노년층은 상위범주어 선택과제에서의 반응시간이 유의미하게 느렸다. 셋째, 상위범주어 쓰기과제의 오류양상에서는 노년층은 무관오류보다 연관 오류를 더 빈번하게 보였다. 노년층이 선택과제와 쓰기과제에서 더 낮은 정반응 수를 보인 결과는 정상적인 노화가 진행되면서 의미어휘사전 내 정보 간의 연결이 약화되거나 활성화가 저하되기 때문이라고 볼 수 있다. 반응시간이 긴 이유는 노화에 따른 뇌의 신경생리적 변화와 인지처리 속도 저하에 기인할 수 있다. 목표 상위범주어와 연관된 단어를 산출하는 오류를 보인 것은 비록 노년층이 단어를 완벽히 산출할 수는 없을지라도 목표 단어의 어휘집에 접근하여 의미적으로 연관된 단어를 에둘러 산출하고 목표단어가 가지고 있는 특성들에 대해 우회적으로 설명하는 방식을 취하고 있음을 시사한다.

문장 및 단어 중요도를 통한 한국어 문서 연관 이미지 검색 (Relevant Image Retrieval of Korean Documents based on Sentence and Word Importance)

  • 김남규;강신재
    • 한국산학기술학회논문지
    • /
    • 제20권3호
    • /
    • pp.43-48
    • /
    • 2019
  • 텍스트로만 이루어진 글에서 알지 못하는 단어가 나온다면, 글을 읽는 도중 집중이 되지 않고 내용을 이해함에 있어 어려움이 생긴다. 또한 이미 알고 있는 단어라도 아이들의 경우 경험이 적기 때문에 글에서 상황을 묘사하는 표현이 생소하거나 애매하다면 머릿속에 떠올리기 힘들다. 이에 본 논문에서는 글을 이해를 돕고 독자의 흥미를 증가시키기 위해서 글의 텍스트들을 분석하여 중요하다고 판단되는 내용을 선택하고, 이 내용과 가장 관련 있는 이미지를 웹에서 자동으로 가져와 연결하여 보여주는 시스템을 구현하고자 한다. 시스템의 구현은 글을 문단 단위로 나누어 글을 분석하고, 문단마다 중요한 문장을 선택한 후, 중요한 문장 내에서 이 문장을 가장 잘 표현할 수 있는 중요한 단어들을 선택하여 웹에서 연관 이미지를 검색하고, 검색된 이미지 결과를 이전에 나눈 각 문단마다 연결시켜준다. 실험으로 글에서 중요한 문장을 선택하는 방법과 문장 내 중요한 단어를 선택하는 방법을 제시하였다. 실험한 결과, 선택된 이미지 3개와 해당 중요 문장과의 연관 여부를 정확률로 평가하였을 때 60%의 성능을 얻을 수 있었다.

연관 관계와 TF*IDF를 이용한 검색 결과 Re-Ranking (Re-ranking for Search result using association relationship and TF*IDF)

  • 이정훈;전서현
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2010년도 한국컴퓨터종합학술대회논문집 Vol.37 No.1(C)
    • /
    • pp.349-352
    • /
    • 2010
  • 질의를 이용한 정보 검색 기술에서 단어 의미의 모호성에 의해 사용자가 검색 하고자 하는 주제 이외의 문서 까지 검색되고 있다. 이러한 문제는 모바일기기의 검색 환경에서 두드러진다. 모바일에서의 검색은 문서의 로딩속도가 느리며 작은 화면에 의해 스크롤이 잦다. 그러므로 원하는 검색 결과가 검색 첫 페이지 이외에 위치하거나, 또는 페이지 하단에 위치할 경우 검색 결과를 확인하는 대에 많은 시간과 노력이 필요하다. 이러한 문제를 해결하기위해선 단어 의미의 모호성을 해결하고 사용자가 검색하고자하는 주제의 검색결과를 검색 상위에 위치시킬 수 있는 방법을 필요로 한다. 이 연구에서는 연관 단어 추출과 TF*IDF를 이용하여, 검색결과를 re-ranking하는 방법을 제시한다.

  • PDF

상위어 시퀀스의 클러스터링을 이용한 단어의 의미 애매성 해소 (Word Sense Disambiguation using Hypernym Sequence Clustering)

  • 정창후;최윤수;최성필;윤화묵
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2009년도 추계학술발표대회
    • /
    • pp.935-936
    • /
    • 2009
  • 본 논문에서는 과학기술문서에 존재하는 기술용어와 이들 간의 연관관계를 설명하는 디스크립터를 찾아서 [subject predicate object] 형태의 트리플을 생성하는 애플리케이션을 개발할 때 발생하는 단어 의미 애매성 해소 문제를 다룬다. 기술용어가 가지고 있는 연관관계를 결정하기 위해서 워드넷의 신셋 정보를 사용하는데 이 방법은 동사를 워드넷에 매핑할 때와 상위어 관계로 전이할 때 여러 개의 의미에 매핑되는 문제점이 발생한다. 이것을 해결하기 위해서 상위어 시퀀스 클러스터링을 이용한 단어의 의미 애매성 해결 방안을 제시한다. 이 방법을 사용함으로써 워드넷 매핑과 상위어 전이 시에 발생하는 다중 매핑 문제를 동시에 해결할 수 있다.

SNS기반 유해사이트 판단 및 수집 시스템 (The system of collecting and judgement of harmful site in SNS)

  • 장정현;나스리디노프 아지즈
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 춘계학술발표대회
    • /
    • pp.812-815
    • /
    • 2017
  • 소셜 미디어를 이용하는 사용자의 수가 증가함에 따라 소셜 미디어에서 공유되고 있는 유해 정보(불법, 음란)의 심각성의 대두되고 있다. 기존의 단어 DB기반의 유해 사이트 판별 방법은 단어 DB의 갱신 문제점과 유해 정보와 낮은 연관성을 가진 단어가 DB에 저장되는 문제점을 가지고 있었다. 또한 링크 주소를 짧게 해주는 Short URL 서비스를 고려하지 않아 잘못된 웹 문서를 판별 대상으로 삼을 수 있는 문제점이 있다. 본 논문에서 제안하는 유해 사이트 판별 방법은 기 구축한 유해 단어 DB에서 유해 단어를 추출하고, 추출된 단어를 포함하는 소셜 미디어상의 유해 게시물을 조회한다. 유해 단어 DB를 구축하는 방법으로, 유해 게시물 조회시 내용에 포함되는 해시태그를 저장하는 방법을 사용하여 게시물 수집과 동시에 유해 단어 DB를 갱신시킨다. 또한 유해 게시물 내용에 있는 URL 링크의 웹 문서를 문자열로 치환하여, 해당 문자열내의 유해 단어 DB에 있는 유해 단어의 등장 빈도 수를 계산하고 이를 기준치와 비교하여 유해도를 판단한다. Short URL을 사용한 URL 링크인 경우 HTTP 응답 메시지의 헤더 부에 존재하는 실제 목적지 URL 주소를 가져와 유해도 검사를 실시한다.