• 제목/요약/키워드: 대용량 검색 엔진

검색결과 45건 처리시간 0.029초

계층적 캐슁 기법을 이용한 대용량 웹 검색 엔진의 구현 (Implementation of a large-volume Web search engine using the multi-level data caching)

  • 임성채
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2007년도 한국컴퓨터종합학술대회논문집 Vol.34 No.1 (C)
    • /
    • pp.87-91
    • /
    • 2007
  • 논문에서는 6,000만개 웹 페이지의 색인 데이터에 대해 일 600만 질의를 처리하는 대용량 웹 검색 시스템을 위해 구현된 계층적 캐슁 기법을 소개한다. 논문에서 설명된 시스템 구조 및 알고리즘은 실제 상용 웹 검색 엔진에서 구현되고 운영 결과를 통해 그 유용성이 입증된 것들로서, 구현된 시스템과 유사성을 가지는 대용량 데이터 처리 시스템에 적용 가능할 것이다. 본 논문에서는 기존에 많이 소개되지 않았던 웹 검색 엔진의 운영 절차 및 웹 질의 처리 시스템에 대한 기술적 내용이 기술되었으며, 기술된 내용을 통해 웹 검색 엔진에 대해 보다 정확한 이해가 가능해 질 것이다.

  • PDF

역파일에 기반한 웹 검색 엔진의 랭킹 시스템 구현 (Implementation of a Ranking System for the Web Search Engine based on Inverted Files)

  • 임성채;안준선
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2007년도 가을 학술발표논문집 Vol.34 No.2 (C)
    • /
    • pp.35-40
    • /
    • 2007
  • 역파일을 사용한 색인 기법은 정보 검색 분야에서 널리 사용되었으며, 최근 대용량 검색 시스템으로 사용되고 있는 웹 검색 엔진에서도 적응되고 있다. 본 논문에서는 웹 검색 엔진의 특성에 완친 구현된 역파일 기법 기반의 웹 문서 색인 파일의 구조와 디스크에 저장된 대용량의 역파일 색인을 기반으로 웹 페이지의 검색 적합도를 계산하는 랭킹 시스템을 설명한다. 이를 통하여 상용 웹 검색 엔진의 랭킹 시스템과 디스크 자원 사용의 최소화 기법을 제시한다.

  • PDF

대용량 멀티미디어 객체를 위한 객체 저장 엔진의 설계 및 구현 (Desing and Implementation of Object Storage Engine for Large Multimedia Objects)

  • 진기성;장재우
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 가을 학술발표논문집 Vol.27 No.2 (1)
    • /
    • pp.48-50
    • /
    • 2000
  • 최근 텍스트, 이미지, 오디오, 비디오와 같은 멀티미디어 객체를 다루는 연구는 국내외적으로 활발하게 진행되고 있으나, 이러한 멀티미디어 객체들을 효율적으로 저장 및 검색하기 위한 하부저장 시스템에 대한 연구는 미흡한 실정이다. 본 연구에서는 이러한 대용량 멀티미디어 객체들을 효율적으로 저장 및 검색하기 위한 구조를 분석하고 다양한 이질적 객체들을 위한 객체 관리자 및 대용량 텍스트를 위한 역화일 관리자를 설계한다. 아울러, 기존의 하부저정 구조인 SHORE 저장시스템에 통합하여 DBMS 측면에서 제공하는 동시성 제어, 회복기법 등을 지원할 수 있는 객체저장 엔진을 구현한다.

  • PDF

대용량 멀티미디어 데이터의 효율적인 검색엔진 설계

  • 이광형;민소연
    • 한국산학기술학회:학술대회논문집
    • /
    • 한국산학기술학회 2009년도 춘계학술발표논문집
    • /
    • pp.503-506
    • /
    • 2009
  • 본 논문에서는 대용량 멀티미디어 데이터에 대한 사용자의 다양한 의미검색을 지원하는 비디오 검색 시스템의 설계를 제안한다. 제안하는 시스템은 주석기반검색과 특징기반 검색을 각각의 에이전트를 통하여 자동으로 처리하였다. 먼저 주석기반검색은 사용자의 검색어를 입력하게 되면 가중치를 적용하여 의미를 더욱 구체화 하여 오류율을 최소화 하였으며, 특징기반검색은 주석기반검색에서 선택된 키프레임에 의해 데이터베이스의 영상들과 유사도를 검사하여 검색하였다. 시스템의 구현결과 기본시스템보다 0.5%의 재현율의 향상과 97.8%의 정확률을 나타내었다.

  • PDF

구조 정보 검색을 위한 XML 저장관리시스템 설계 및 구현 (Design and Implementation of an XML Repository System for Structural Retrieval)

  • 이종설
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1999년도 가을 학술발표논문집 Vol.26 No.2 (1)
    • /
    • pp.36-38
    • /
    • 1999
  • 본 논문에서는 대용량의 XML 문서를 효과적으로 저장, 관리 및 구조 기반 검색이 가능한 XML 저장관리시스템을 설계하고 구현한다. 구현한 XML 저장관리시스템은 관계형 모델을 기반으로 하고, XML 문서 전체를 저장하는 비분할 저장 모델을 사용하며, DTD에 따라 스키마가 생성되는 동적 스키마 생성 모델을 특징으로 한다. 본 논문의 XML 저장관리 시스템은 BRS 검색엔진과 ORACLE을 기반으로 하며 질의처리기 및 검색결과생성기, XML 객체관리자, XML 인덱스관리자, 구조검색엔진 등으로 구성된다. 이를 통하여 내용 및 애트리뷰트 검색 뿐만 아니라 다양한 구조 정보검색을 효율적으로 지원한다.

  • PDF

DBMS을 활용한 파일 검색엔진 연구 (A Study on File Search Engine Based on DBMS)

  • 김형석;유헌창
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2016년도 추계학술발표대회
    • /
    • pp.548-551
    • /
    • 2016
  • 기존 그리드 기반의 전통적인 RDBMS는 비구조적 데이터에 대한 색인이 지원되지 않았다. 이러한 제약 조건들로 인해 파일 문서 및 비 구조화된 데이터의 검색 엔진으로는 부적합하였다. 최근에 다양한 검색 오픈소스(Solr, Lucene)등으로 검색 엔진이 개발되어 활용되고 있지만, 검색한 결과와 기존 데이터의 연동이 쉽지 않고 구조 변경이 어려우며, 사용자의 다양한 요구 사항 수용이 쉽지 않은 단점을 가지고 있다. 따라서 본 연구에서는 빠른 검색을 위한 색인 (index) 최적화와 대용량 데이터 처리를 위한 파티션 기반 데이터의 분할 및 정복 (divide and conquer) 처리, 이중화된 검색어 색인 기능을 구현하였다. 또한 동의어 사전을 구축하여 연관 관계 분석이 가능하도록 DB를 구축하여 검색어와 동의어의 상호 관계성을 유지하였으며 오픈 소스보다 발전한 형태의 검색 엔진을 개발하는 것을 목표로 하였다. 본 연구를 위해 약 400만건 이상의 다양한 포맷 (Ms-office, Hwp, Pdf, Text)등의 파일 문서를 샘플로 실험을 진행하였다.

데이터베이스 관리 시스템에 기반한 웹검색엔진의 구현 (Web Search Engine based on Database Management System)

  • 강병주;이지동;최기선
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1997년도 제9회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.211-218
    • /
    • 1997
  • 웹검색엔진은 색인되는 웹문서가 많아질수록 시스템 확장성(scalability)이라든지, 데이터베이스 유지 관리의 용이성, 데이터의 안전성 문제, 등의 많은 문제가 웹검색엔진에 부담으로 주어지게 된다. 반면에 인트라넷(intranet)용 검색엔진의 경우는 확장성보다는 검색엔진 자체의 개발의 용이성이 더욱 중요하다. Oracle $ConText^{TM}$는 오라클 사(社의) RDBMS인 $Oracle7^{TM}$의 정보검색 확장 옵션으로 텍스트를 Oracle7의 기본 데이터 타입으로 사용될 수 있게 한다. Oracle7+ConText는 대용량의 문서 베이스와 개발의 용이성을 동시에 보장할 수 있는 매우 훌륭한 웹검색엔진 개발 도구이다. 우리는 이를 검증하기 위하여 Oracle7+ConText에 기반한 WEBSECT(Web Search Engine With ConText)라는 웹검색엔진을 개발하였다. 본 논문은 WEBSECT의 개발과 시험 운영을 통해 데이터베이스에 기반한 웹검색엔진의 우수한 확장성과 텍스트 애플리케이션 개발의 용이성 등을 소개한다.

  • PDF

대용량 멀티미디어 객체를 위한 객체저장엔진의 설계 및 구현 (Design and Implementation of Object Storage Engine for Large Multimedia Objects)

  • 진기성;장재우
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제8권4호
    • /
    • pp.376-388
    • /
    • 2002
  • 최근 멀티미디어 객체를 다루는 연구는 국내외적으로 활발하게 진행되고 있으나, 이러한 멀티미디어 객체들을 효율적으로 저장 및 검색하기 위한 하부저장 시스템에 대한 연구는 미흡한 실정이다. 본 연구에서는 이러한 대용량 멀티미디어 객체들을 효율적으로 저장 및 검색하기 위한 객체 저장 엔진을 구현한다. 이를 위해, 비정형 멀티미디어 객체의 저장을 위한 객체 관리자와, 비정형 텍스트 객체의 색인을 위한 역화일 관리자를 설계한다. 아울러, 설계된 객체 관리자와 역화일 관리자를 기존의 하부저장 구조인 SHORE 저장시스템에 통합하여 DBMS 측면에서 제공하는 동시성 제어, 회복기법 등을 지원할 수 있는 객체 저장 엔진을 구현한다. 마지막으로, 구현된 객체저장엔진의 유용성을 검증하기 위해 논문검색시스템 TIROS(Thesis Information Retrieval system using Object Storage engine)를 구축한다.

시멘틱 검색 엔진 설계 및 구현 (A Design and Implementation of the Semantic Search Engine)

  • 허선영;김은경
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2008년도 한국컴퓨터종합학술대회논문집 Vol.35 No.1 (C)
    • /
    • pp.331-335
    • /
    • 2008
  • 시맨틱 웹은 정보의 의미를 개념으로 정의하고 개념들 간의 관계성을 표현함으로써, 문서들 간의 단순 연결이 아닌 의미 연결을 통해서 보다 정확하고 효율적인 정보 검색이 가능하게 된다. 이러한 시맨틱 웹의 비전이 구체화되기 위해서는 웹 온톨로지(Web Ontology)를 기반으로 의미 정보로 구성된 시맨틱 문서들에 대한 추론을 통해서 웹상에 존재하는 엄청난 정보들 간의 관련성을 파악하고 사용자가 요구하는 정보를 보다 효율적으로 검색할 수 있는 시스템이 필수적이다. W3C에서 제안한 OWL은 대표적인 온톨로지 언어이다. 시맨틱 웹 상에서 OWL 데이타를 효율적으로 검색하기 위해서는 잘 구성되어진 저장 스키마를 구축해야 한다. 본 논문에서는 Jena2의 경우, 단일 테이블에 문서의 정보를 저장하기 때문에 단순 선택 연산 (Simple Selection), 조인 연산이 요구되는 질의에 대한 성능이 저하되고 대용량의 OWL데이터의 처리에 있어 성능이 저하되는 문제를 해결하기 위하여 본 논문에서는 OWL 문서의 의미를 Class, Property, Individual로 분류하여 각각의 데이터 정보들을 테이블에 저장하기 위한 다중 변환기와 OWL 변환기 기능을 가진 시멘텍 검색 엔진을 설계 및 구현하였다. 본 검색 엔진을 테스트한 결과, 단순정보검색 질의 시 Jena2에서 비정규화된 테이블 구조로 저장할 때보다 질의 응답 속도를 향상 시킬 수 있었고, 조인 연산 시 두 테이블의 크기로 인한 조인비용이 발생하는 문제점을 해결함으로써 빠른 검색 및 질의 속도를 보장할 수 있었다.

  • PDF

FAST-lNV를 이용한 정보검색 시스템에서의 B-트리의 병렬접근에 대한 연구 (A Parallel Approach on the B-tree for an Information Retrieval System using FAST-INV)

  • 김수영;고지현;박순철
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2001년도 추계학술발표논문집 (상)
    • /
    • pp.263-266
    • /
    • 2001
  • 인터넷 상의 문서양이 기하급수적으로 증가하면서 검색엔진의 성능평가가 대두되고 있다. 이를 위해 검색엔진 인덱스 모듈부분의 좋은 성능이 요구되는데 빠른 대용량 역파일 구성을 위한 알고리즘을 사용하게 되면 인덱스 속도를 향상시킬 수 있다. 그러나, 병렬처리가 되지 않는 문헌벡터화일 제작시 트리검색 모듈에서 병목 현상이 발생하게 된다. 본 논문에서는 병목현상이 발생하는 트리를 병렬로 접근함으로써 시스템의 병목현상을 해소하고 인덱스 시스템의 전체적인 성능을 개선찬 수 있는 방안을 연구한다.

  • PDF