• 제목/요약/키워드: Document Filtering

검색결과 96건 처리시간 0.022초

전공분류표, 사용자 프로파일, LSI를 이용한 검색 모델 (Retrieval Model using Subject Classification Table, User Profile, and LSI)

  • 우선미
    • 정보처리학회논문지D
    • /
    • 제12D권5호
    • /
    • pp.789-796
    • /
    • 2005
  • 현재 대부분의 도서관 정보검색 시스템들은 키워드 정합매칭(exacting matching) 방법으로 검색 서비스를 제공하고 있으므로, 검색 결과의 양이 방대하고 비적합한 결과가 많이 포함되어 있다. 따라서 본 논문에서는 키워드기반 검색 엔진의 단점을 보완하고 현재 도서관 검색 환경을 고려하여 보다 적합한 결과를 사용자에게 신속하게 제공하기 위하여 전공분류표와 사용자 프로파일을 이용한 검색 모델 SULRM(Retrieval Model using Subject Classification Table, User Profile & LSI)을 제안한다. SULRM은 키워드 검색 결과로 얻은 자료들을 분류된 자료의 경우와 미분류된 자료의 경우로 나누어, 분류된 자료의 경우에는 전공분류표를 생성하여 자료 필터링을 수행하고, 미분류된 자료의 경우에는 사용자 프로파일과 LSI(Latent Semantic Indexing)을 이용하여 자료의 순위를 결정해서 사용자에게 제시한다. 실험평가는 우리 대학의 디지털 도서관을 실험환경으로 하여 필터링 방법, 사용자 프로파일 갱신 방법, 그리고 문서순위결정 방법의 성능을 측정한다.

문서 단위 순위화를 통한 XML 문서에 대한 키워드 검색 성능 향상 (Accelerating Keyword Search Processing over XML Documents using Document-level Ranking)

  • 이형동;김형주
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제33권5호
    • /
    • pp.538-550
    • /
    • 2006
  • XML 문서에 대한 키워드 검색은 사용자로 하여금 XML 문서의 복잡한 구조에 관한 지식 없이 쉽게 정보를 검색할 수 있게 해준다. 또한 사용자의 정보 요구에 대해 해당 정보를 포함하는 문서 전체를 반환하는 기존의 정보 검색 시스템과 달리 문서 내의 해당 정보를 포함하는 문서 조각을 결과로 반환함으로써 보다 빠르게 원하는 정보를 얻을 수 있도록 도와준다. 이러한 특징은 XML 문서 검색 시스템이 XML 문서를 문서 단위가 아닌 세부적인 엘리먼트 단위로 처리함으로써 가능하다. 하지만 이로 인해 대용량 문서들에 대한 질의 처리 부담 역시 가중되었다. 본 논문에서는 엘리먼트 단위 질의 처리의 비용을 줄이기 위해 XML 문서에 대한 문서 단위 순위화 기법을 제안하는데, 이는 결과물의 점수에 영향을 미치는 질의 키워드들의 문서 내에서의 근접도를 경로 노드 집합 정보와 이에 대한 유사도를 통해 구함으로써 엘리먼트 단위 질의 처리 결과를 예측하고 문서 단위 점수를 계산한다. 이러한 문서 중심의 뷰는 대용량 문서에 대한 순위화 혹은 필터링을 가능하게 해주며, 우리는 문서 단위 인덱스를 통해 순위가 높은 문서를 우선적으로 처리함으로써 Top-k 질의에 대해 검색 성능을 높였으며, 실험을 통해 해당 기법의 유효성과 성능 향상을 검증하였다.

문서필터링을 위한 질의어 확장과 가중치 부여 기법 (Query Expansion and Term Weighting Method for Document Filtering)

  • 신승은;강유환;오효정;장명길;박상규;이재성;서영훈
    • 정보처리학회논문지B
    • /
    • 제10B권7호
    • /
    • pp.743-750
    • /
    • 2003
  • 본 논문에서는 문서 필터링을 위한 질의어 확장과 가중치 부여 기법을 제안한다. 문서 필터링은 웹 검색 엔진들에 대한 검색 결과의 정확률 향상을 목적으로 한다. 문서 필터링을 위한 질의어 확장은 개념망, 백과사전, 유사도 상위 10% 문서를 이용하며, 각각의 확장 질의어에 가중치를 부쳐하여 질의어와 문서들간의 유사도를 계산한다. 첫 번째 단계에서 개념망과 백과사전을 이용하여 초기 질의어에 대한 1차 확장 질의어를 생성하고, 1차 확장 질의엉 가중치를 부여하여 질의어와 문서들간의 유사도를 계산한다. 다음 단계에서는 높은 유사도를 갖는 상위 10% 문서들을 이용하여 2타 확장 질의어를 생성하고, 2차 확장 질의어에 가중치를 부쳐하여 질의어와 문서들간의 유사도를 계산한다. 다음으로 1차 유사도와 2차 유사도를 결합하여 문서들을 재순위화하고, 임계치보다 낮은 유사도를 갖는 문서들을 필터링함으로써 웹 검색 엔진들의 검색 결과 정확률을 향상시킨다. 실험에서 이러한 문서 필터링을 위한 질의어 확장과 가중치 부여 기법은 정확률-재현율과 F-measure를 이용하여 성능 평가를 할 때 정보 검색 효율성에서 주목할 만한 성능 향상을 보였다.

유해어 필터링과 SVM을 이용한 유해 문서 분류 시스템 (Harmful Document Classification Using the Harmful Word Filtering and SVM)

  • 이원휘;정성종;안동언
    • 정보처리학회논문지B
    • /
    • 제16B권1호
    • /
    • pp.85-92
    • /
    • 2009
  • 오늘날 웹이 일반화되면서 사람들은 원하는 정보를 웹을 통해 얻고, 또한 제공하고 있다. 웹이 다양한 정보의 제공과 습득의 장이라는 편의성을 제공하고 있지만, 반면에 너무 많은 정보, 무분별한 유해 정보의 범람 등 여러 가지 문제를 내포하고 있다. 현재 유해 웹 문서를 분류하기 위한 다양한 방법이 연구되고 사용되고 있다. 그러나 각각의 방법들이 갖는 단점들로 인해 획기적인 성과를 내지 못하고 있다. 본 논문에서는 유해 정보로부터 사회적으로 보호를 받아야 할 사용자들을 보호하기 위한 수단으로 유해 웹 문서 차단 방법에 대해 제안하고자 한다. 본 논문에서는 키워드 필터링과 SVM 알고리즘을 이용한 2단계 분류 과정을 통해 분류의 정확률을 높이고자 하였다.

원문정보공개 지원을 위한 민감정보 필터링 요건에 관한 연구 (A Study on Sensitive Information Filtering Requirements for Supporting Original Information Disclosure)

  • 오진관;오세라;최광훈;임진희
    • 한국기록관리학회지
    • /
    • 제17권1호
    • /
    • pp.51-71
    • /
    • 2017
  • 원문정보공개 서비스를 개시한 후 한해 천만 건에 가까운 전자 결재문서가 온라인을 통해 공개되고 있다. 하지만 대량의 전자결재문서를 정보공개 업무담당자가 모두 확인하여 원문정보공개 서비스를 수행하는 것은 현실적으로 불가능한 상황이다. 이에 따라 최근 일부 공공기관에서는 개인정보 필터링 도구를 활용하여 문서 생산단계에서 정형화된 개인정보를 필터링하고 있으나 비정형화된 민감정보는 관리되지 않고 있다. 본 연구에서는 원문정보공개 지원을 위해 사용 중인 필터링 도구 분석을 통해 필터링 도구의 고도화 방향을 설정하였으며, 필터링 도구 활용단계가 추가된 결재문서 본문 작성과 원문정보공개 프로세스를 재설계하였다.

세그먼트 기반의 XML 문서 필터링 (XML Document Filtering based on Segments)

  • 권준호;;문봉기;이석호
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제35권4호
    • /
    • pp.368-378
    • /
    • 2008
  • 최근 XML 문서 필터링에 기반한 출판-구독(publish-subscribe) 시스템이 많은 관심을 받고 있다. 전형적인 출판-구독 시스템에서, 구독자들은 XPath 언어로 명세된 프로파일로 자신들의 관심을 표현하고, 새로운 내용들은 사용자 프로파일에 대하여 매칭 여부를 판단하여 관심을 가지고 있는 사용자들에게만 배달된다. 구독자의 수와 그들의 프로파일이 증가할수록, 시스템의 확장성이 출판-구독 시스템의 중요한 성공 요소가 된다. 이 논문에서는 FiST 시스템을 확장한 세그먼트 기반의 XML 문서 필터링 시스템인 SFiST 시스템을 제안한다. SFiST 시스템은 XML 문서 필터링에서 중복된 처리를 없애기 위해서 가지형 패턴의 사용자 프로파일에서 세그먼트를 추출하여 해시 기반의 세그먼트 테이블에 저장하고 유지한다. 이 세그먼트는 사용자 프로파일을 터스 시퀀스 형태로 표현하는데 이용되고, 효율적인 필터링을 위한 컴팩트 시퀀스 인덱스에도 사용된다. 실험을 통하여 세그먼트 기반의 SFiST 시스템이 이전의 연구인 FiST 시스템보다 좋은 성능을 가지고 있음을 보였다.

XML 정보검색의 효율적 전처리를 위한 문서여과 알고리즘 (Document Filtering Algorithm for Efficient Preprocessing of XML Information Retrieval)

  • 공용해;김명숙
    • 한국산학기술학회논문지
    • /
    • 제6권1호
    • /
    • pp.1-11
    • /
    • 2005
  • 본 논문은 다수의 XML문서들을 대상으로 하는 XML 정보검색에서, XML의 효율적 질의검색을 위한 전처리 방법을 제안한다. 기존의 전처리 방법은 질의의 키워드에 대하여 XML 문서를 파싱하거나, 질의와 XML 문서로부터 생성된 시그너처 정보를 비교하여 XML 문서를 여과한다. 그러나 이러한 방법은 질의에 종속적이며 다량의 XML 문서들이 존재할 경우 매우 비효율적이다. 이를 위하여, 본 연구는 온톨로지를 사용하여 서로 다른 구조와 속성을 갖지만 동일 영역의 정보를 포함하고 있는 XML 문서에 적용 가능한 포괄적 DTD를 생성하고, 이를 이용하여 검색 영역에 포함되지 않는 불필요한 XML문서를 여과한다. 예제 XML 문서를 적용하여 제안한 문서여과 알고리즘의 성능을 테스트한다.

  • PDF

사용자 정보에 기반한 XML문서 전달 시스템 (A Personalized XML Documents Delivery System)

  • 유상원;이형동;김형주
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제9권5호
    • /
    • pp.487-497
    • /
    • 2003
  • 그동안 메일이나 뉴스등을 필터링하여 사용자에게 전달해 주는 많은 시스템들이 개발되었다. 이 시스템들이 필터링하는 문서들은 일반 덱스트나 HTML으로 작성된 것들이었다. 새로운 정보 교환 표준으로 떠오르고 있는 XML은 문서를 필터링하는 시스템들에 있어서도 다른 접근 방법을 요구하고 있다. 본 논문에서 구현한 시스템은 XML이 가진 스키마 표현 능력과 구조 정보를 이용하여 사용자 정보를 기술하는 방법을 제안한다. 사용자 정보는 DTD로부터 추출된 정보를 이용하여 DTD를 따르는 문서내의 특정 부분을 가리킬 수 있도록 만들어진다. 또한 기존의 필터링 시스템이 문서단위의 필터링에 초점을 맞추고 있는 것을 개선하기 위해 문서에서 사용자가 원하는 부분만을 제공하고 있다. 사용자 정보는 XML질의에 반영되어 XML로 이루어진 문서에서 일부분을 얻어내는데 사용된다.

단어 빈도와 α-cut에 의한 연관 웹문서 분류를 이용한 추천 시스템 (Recommendation System using Associative Web Document Classification by Word Frequency and α-Cut)

  • 정경용;하원식
    • 한국콘텐츠학회논문지
    • /
    • 제8권1호
    • /
    • pp.282-289
    • /
    • 2008
  • 협력적 필터링을 개선하기 위하여 많은 기술들이 개발되고 실용화되었으나 아이템의 연관 관계를 정확하게 반영하지는 못한다. 본 논문에서는 협력적 필터링의 문제점을 보완하기 위하여 단어 빈도와 ${\alpha}$-cut에 의한 연관 웹문서 분류를 이용한 추천 시스템을 제안한다. 제안된 방법은 형태소 분석을 통한 웹문서에서 단어를 추출하고 빈도 가중치를 계산한다. 추출된 단어를 Apriori 알고리즘을 이용해서 연관 규칙을 생성하고 신뢰도에 단어 빈도 가중치를 적용한다. 그리고 연관 규칙 하이퍼그래프 분할을 이용하여 연관 단어간의 유사도를 계산한다. 마지막으로 유사 클래스를 기반으로 연관 웹문서를 ${\alpha}$-cut을 이용하여 분류하고 개선된 코사인 유사도를 이용하여 유사도를 계산한다. 실험 결과 제안한 방법이 기존의 방법들보다 우수함을 확인하였다.

사용자 맞춤의 문서 요약을 제공하는 정보 여과 에이전트 시스템 (The Information Filtering Agent System with a Customized Document Summary)

  • 조영희;김교정
    • 한국지능정보시스템학회:학술대회논문집
    • /
    • 한국지능정보시스템학회 2000년도 춘계정기학술대회 e-Business를 위한 지능형 정보기술 / 한국지능정보시스템학회
    • /
    • pp.377-386
    • /
    • 2000
  • 현재의 정보 과적재(information overload) 상황은 대량의 정보 가운데서 사용자의 관련 정보에 대한 요청을 도와 불필요한 정보로부터 막기 위한 도구가 매우 필요한 실정이다. 이러한 도구중 대표적으로 사용되는 웹 검색 엔진과 같은 정보 검색 시스템의 단점은 적합한 검색용어를 선택해야만 하는 점과, 결과에 대한 효율적인 요약이 제공되지 않는다는 점이다.따라서 본 논문에서는 이러한 검색 엔진에서의 단점을 보완하여 사용자를 정보 과잉 상황에서의 불필요한 정보로부터 보호하기 위해, 사용자의 프로파일을 기반으로 하여 정보를 개인화된 요약과 함께 제공하는 정보 여과 에이전트(information filtering agent)인 '사용자 맞춤의 문서 요약을 제공하는 정보 여과 에이전트 시스템'을 제안한다.

  • PDF