• 제목/요약/키워드: 질의필터링

검색결과 134건 처리시간 0.04초

정보검색기반 질의응답 시스템 설계 (Design of a QA System based on Information Retrieval)

  • 김민경;안혁주;김학수
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 춘계학술발표대회
    • /
    • pp.816-818
    • /
    • 2015
  • 본 논문에서는 질의유형을 통한 검색기반 질의응답 시스템을 구현하기 위한 설계방법을 제안한다. 이를 위해 위키피디아 문서의 링크 데이터를 이용하여 색인 대상문서와 데이터베이스를 구축하는 색인 모델과 2-포아송 모델을 이용하여 얻은 문서들을 색인 데이터베이스를 통해 필터링하여 정답 후보문장을 추출하는 검색모델, 키워드 패턴 매칭 기반 질의유형 분류 모델을 설계하였다.

맵리듀스를 이용한 효율적인 k-NN 조인 질의처리 알고리즘 (Efficient k-Nearest Neighbor Join Query Processing Algorithm using MapReduce)

  • 윤들녁;장미영;장재우
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2014년도 추계학술발표대회
    • /
    • pp.767-770
    • /
    • 2014
  • 대용량 데이터를 분석하기 위한 맵리듀스 기반 k-NN 조인 질의처리 알고리즘은 최근 데이터 마이닝 및 분석을 기반으로 하는 응용 분야에서 매우 중요하게 활용되고 있다. 그러나, 대표적인 연구인 보로노이 기반 k-NN 조인 질의처리 알고리즘은 보로노이 인덱스 구축 비용이 매우 크기 때문에 대용량 데이터에 적합하지 못하다. 아울러 보로노이 셀 정보를 저장하기 위해 사용하는 R-트리는 맵리듀스 환경의 분산 병렬 처리에 적합하지 않다. 따라서 본 논문에서는 새로운 그리드 인덱스 기반의 k-NN 조인 질의 처리 알고리즘을 제안한다. 첫째, 높은 인덱스 구축 비용 문제를 해결하기 위해, 데이터 분포를 고려한 동적 그리드 인덱스 생성 기법을 제안한다. 둘째, 맵리듀스 환경에서 효율적으로 k-NN 조인 질의를 수행하기 위해, 인접셀 정보를 시그니처로 활용하는 후보영역 탐색 및 필터링 알고리즘을 제안한다. 마지막으로 성능 평가를 통해 제안하는 기법이 질의 처리 시간 측면에서 기존 기법에 비해 최대 3배 높은 질의 처리 성능을 나타냄을 보인다.

공간 슬라이딩 윈도우 집계질의의 정확도 향상을 위한 그리드 해쉬 기반의 부하제한 기법 (Load Shedding Method based on Grid Hash to Improve Accuracy of Spatial Sliding Window Aggregate Queries)

  • 백성하;이동욱;김경배;정원일;배해영
    • 한국공간정보시스템학회 논문지
    • /
    • 제11권2호
    • /
    • pp.89-98
    • /
    • 2009
  • 데이터 스트림은 다양한 입력속도로 끊임없이 입력되고 데이터 스트림을 저장하는 메모리상의 저장공간은 유한하기 때문에 때때로 저장공간을 초과하는 데이터가 입력되는 경우가 발생한다. 이 문제를 해결하기 위해 초과되는 데이터의 일부를 버려 메모리 초과를 방지하는 부하제한 기법이 연구되었다. 기존의 부하제한 기법은 데이터의 편차에 따른 최적의 샘플링 비율을 갖는 랜덤 샘플링을 사용한다. 그러나 이 기법은 공간적 특성을 고려하지 않기 때문에 공간 질의에 사용되는 데이터와 사용되지 않는 데이터를 구분하지 않고 샘플링 한다. 그래서 공간 질의가 포함되는 u-GIS 환경에서는 질의 정확도가 감소하는 문제가 발생하였다. 본 논문에서는 공간 질의와 비공간 질의가 동시에 발생하는 u-GIS 환경에서 질의 정확도를 보다 향상 시키는 부하제한 기법을 연구하였다. 이 기법은 동시에 실행되는 공간 질의의 공간적 이용도에 따라 차등적으로 샘플링을 하여, 질의에 이용될 확률이 낮은 데이터를 샘플링을 한다. 제안된 부하제한 기법은 공간질의가 존재하는 경우 질의 정확도를 크게 향상 시켰고, 샘플링 중 공간 필터링 연산을 적용하여 질의처리 속도도 일부 향상 시켰다.

  • PDF

RFID 데이터 스트림의 효율적인 필터링 기법 (Efficient Filtering Method for RFID Data Streams)

  • 윤홍원
    • 한국콘텐츠학회논문지
    • /
    • 제7권10호
    • /
    • pp.27-35
    • /
    • 2007
  • RFID 기술은 객체의 추적이나 SCM 시스템에서 중요한 역할을 하고 있으며 RFID 응용에서는 새로운 데이터 관리 방법을 필요로 하고 있다. RFID 데이터는 자동으로 빠르게 생성되며 객체의 실시간 모니터링이나 추적에 사용되고 있다. 이러한 RFID 응용의 대부분은 이벤트가 발생할 때 타임스탬프를 가지는 특성이 있다. 본 논문에서는 RFID 객체를 모니터링하고 상태 변화의 이력을 관리하기 위하여 시간지원 RFID 데이터 모델을 제시하고 이 모델에 기반을 둔 비활성 데이터의 필터링 기법을 제안하다. 제안한 시간지원 RFID 데이터 모델은 RFID 객체를 모니터링할 수 있는 핵심 연산을 포함하고 있으며, 비활성 데이터의 필터링 기법을 통하여 질의 처리의 속도가 향상됨을 보였다.

GR-tree: 무선 센서 네트워크에서 에너지 효율적인 분산 공간색인기법 (The GR-tree: An Energy-Efficient Distributed Spatial Indexing Scheme in Wireless Sensor Networks)

  • 김민수;장인성
    • Spatial Information Research
    • /
    • 제19권5호
    • /
    • pp.63-74
    • /
    • 2011
  • 최근 특정 공간영역 내에 포함되는 센서노드들만의 센싱정보를 에너지 효율적으로 수집하는 센서 네트워크 기반 공간질의처리에 대한 관심이 증가하고 있다. 이러한 센서 네트워크 기반 공간질의처리의 가장 단순한 방법은 모든 센서노드의 위치와 센싱정보를 서버로 수집한 다음, 서버에서 공간질의를 처리하는 Centralized 방법이다. 이 방법은 간단하다는 장점은 있지만, 모든 센서노드를 접근하기 위하여 소요되는 높은 무선통신 비용으로 인하여 센서노드의 에너지 효율성이 크게 떨어지는 단점을 가지고 있다. 이러한 Centralized 방법을 보완하기 위하여 센서노드에서 분산 공간 필터링을 수행하여 센서노드 간의 무선통신 횟수를 감소시키는 In-network 기반 분산 공간색인기법들이 제안되어 왔다. 그러나, 이러한 분산 공간색인기법들은 대부분 서버에서 이용되던 기존 공간색인기법들을 센서 네트워크에 단순히 적용하였기 때문에, In-network 환경에서 공간 필터링의 효과와 센서노드들 간의 무선 라우팅을 동시에 최적화하지 못하는 단점을 가지고 있다. 이에 본 논문에서는 In-network 환경에서 공간 필터링을 최적화하면서 동시에 센서노드들 간의 라우팅을 보장할 수 있는 GR-tree의 새로운 분산 공간색인기법을 제안하고자 한다. GR-tree 방법은 R-tree와 유사하게 MBR 기반의 트리를 구성하며, 센서노드들 간의 무선 라우팅 및 공간적인 인접성을 보장하면서 MBR들 간의 겹침을 최소화할 수 있는 특징을 가지고 있다. 끝으로, GR-tree와 기존 방법들의 다양한 성능 비교 실험을 통하여 제안된 방법의 효율성을 보여주고자 한다.

시맨틱 웹 기술을 활용한 초등학교 학습자료 검색 시스템 (Elementary Educational Contents Retrieval System Using Semantic Web Technology)

  • 이희경;전우천
    • 한국정보교육학회:학술대회논문집
    • /
    • 한국정보교육학회 2004년도 하계학술대회
    • /
    • pp.622-630
    • /
    • 2004
  • 웹의 활용이 보편화되면서 웹을 통한 자료의 검색이 증가하고 있으나, 웹상의 방대한 자료 중에서 학습자가 꼭 필요한 학습자료를 찾는 것은 쉬운 일이 아니다. 검색엔진을 이용하면 원하는 정보를 어느 정도 찾을 수 있으나 사용자 의존적인 검색엔진의 특성상 결과가 만족스럽지 못한 경우도 있으며 연관이 없는 정보를 필터링하기 위해 최종적인 내용을 찾기까지 많은 시간을 낭비하는 경우가 많다. 이에 털 연구에서는 자원의 의미정보를 구조화하여 정보의 효율적인 검색, 통합, 재사용을 가능하도록 하는 시맨틱 웹 (Semantic Web)기술을 활용하여 초등학교 학습자료에 적합한 온톨로지 (Ontology)를 구축하여 이를 기반으로 초등학교 학습자료를 검색할 수 있는 시스템을 설계하고 구현하였다. 본 검색시스템의 특징은 다음과 같다. 첫째, 학습자료와 연관된 사용자 질의어를 보다 상세하게 입력받는다. 둘째, 사용자 질의어를 바탕으로 온톨로지에 질의하여 검색결과를 얻는다. 셋째, 검색하고자 하는 내용의 의미를 분석하여 요구된 의미에 적합한 자료만을 검색결과로 제시한다.

  • PDF

온톨로지 기반 DTD 필터링 및 정합에 의한 XML 질의 시스템 (Ontology based XML Query System by DTD Filtering and Matching)

  • 김명숙;노영주;공용해
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2005년도 춘계학술발표대회
    • /
    • pp.557-560
    • /
    • 2005
  • XML 문서의 논리적인 구조와 의미적 태그의 사용은 구조와 내용에 기반 한 검색을 가능하게 하는 반면, 동일한 정보라 하더라도 구조와 형식이 매우 다양하게 표현되므로 정보검색에 어려움을 초래한다. 효율적인 XML 정보검색을 위해, 본 논문은 온톨로지를 기반으로 검색에 적합한 문서만을 선별하는 문서여과 방법, 대상문서에 적합한 최소한의 질의생성을 위한 온톨로지 정합 방법 그리고 문서에 내재된 의미적 정보의 검색을 위한 정합된 온톨로지 기반의 질의확장 방법을 각각 제안하였다. 제안한 방법의 효과 및 효율은 예제 XML 및 DTD 문서를 대상으로 실험되었다.

  • PDF

다중 특징값의 조합을 이용한 자동적 이미지 카테고리화 방법 (Automatic Image Categorization using Combination of Multiple Features)

  • 양승지;윤정현;노용만
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2002년도 추계학술발표논문집 (상)
    • /
    • pp.39-42
    • /
    • 2002
  • 본 논문에서는 내용 기반 이미지 검색 및 필터링 시스템을 위한 카테고리 식별 방법을 제안한다. 제안된 방법에서는 식별 가능한 카테고리를 사전에 정의하고, 정의된 카테고리를 대표할 수 있는 이미지들을 수집한다. 다음으로, 이들로부터 다중의 내용 기반 특징값을 추출하고, 추출된 특징값들로 카테고리 데이터베이스를 구성한다. 카테고리를 식별할 질의 이미지가 입력으로 들어오면, 질의 이미지로부터 추출된 다중 특징값들을 각 카테고리의 단일 특징값과 각각 비교함으로써, 카테고리를 대표하는 다중의 유사도 거리값을 측정한다. 각 카테고리를 대표하는 다중의 유사도 거리값들은 두 가지 연산 방법에 의해 조합되는데, 조합 방법은 각각의 단일 특징값이 각 카테고리 식별에 미치는 영향을 고려하여 정의된다. 최종적으로, 각 카테고리의 조합된 유사도 거리값을 비교한 다음, 가장 유사도가 큰 카테고리를 해당 질의 이미지의 카테고리로 식별한다.

  • PDF

LBSNS를 위한 Virtual Grid 및 필터링기법의 설계 및 구현 (Design and Implementation of Virtual Grid and Filtering Technique for LBSNS)

  • 이은식;조대수
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2011년도 추계학술대회
    • /
    • pp.91-94
    • /
    • 2011
  • 기존의 SNS(Social Networking Service)서비스에 LBS(Location-Based Service)서비스가 부가된 LBSNS(Location-Based Social Networking Service)서비스들이 상용화되면서 큰 인기를 얻고 있다. 트위터는 그러한 서비스의 대표적인 예라고 볼 수 있다. 트위터의 현재 위치기반서비스는 자신이 원하는 지역정보와 상관없는 정보를 구독하게 하는 구조로 되어 있다. 팔로잉한 사용자는 단순히 개인적인 선호도에 의해 지역정보가 추가된 메시지를 트윗하지만 구독하는 입장의 팔로워는 자신이 원하지 않는 지역정보를 받아 볼 수도 있다. 이러한 사항을 개선하기 위해 공간조인을 이용한 필터링 기법이 제안되었다. 필터링 기법을 위한 우선적인 작업은 바로 각각의 사용자와 트윗들에 위치정보가 추가되어져야 한다. 여기서 위치정보는 MBR(Minimum Bounding Rectangle)로 표현된다. 위치정보는 동적속성 또는 정적속성으로 나누어진다. 동적인 경우를 예를 들어보면 사용자가 지속적으로 움직이는 상황을 들 수 있다. 이 때 발생되는 대량의 연속질의는 사용자가 많은 SNS의 특성상 서버에 많은 부하를 줄 수 있다. 본 논문에서는 구글 맵 상에서 Virtual Grid를 생성하여 문제를 해결 하였고 성능 평가 결과 Virtual Grid를 사용하지 않았을 때 보다 질의 발생 빈도수가 줄어들었다.

  • PDF

개인화된 웹 검색을 위한 선호 기준 분석 (Analysis of Preference Criteria for Personalized Web Search)

  • 이수정
    • 컴퓨터교육학회논문지
    • /
    • 제13권1호
    • /
    • pp.45-52
    • /
    • 2010
  • 웹 문서 수의 급증으로 인해 인터넷을 검색할 때마다 발생하는 정보의 과부하 문제가 심각하게 부각되었다. 웹 검색 결과를 개선하기 위하여 개발된 기존의 알고리즘들은 주로 사용자의 질의어 및 선호어와 문서의 링크수를 이용하였다. 본 연구에서는 실험을 통하여 이 두가지 요소들을 이용한 검색 결과의 성능을 알아보고 이들 요소들 외에 선호하는 웹문서의 선택 기준을 조사 분석하였다. 실험 결과 질의어 및 선호어를 이용한 개인화된 검색 결과는 현 검색 엔진에 비해 최대 약 1.7배의 성능 향상을 가져 왔으며, 링크수를 이용한 검색 결과는 최대 약 1.3배의 향상을 보였다. 사용자가 웹문서를 선호하는 기준은 문서 내용이 최우선이었으나, 가독성과 문서가 포함한 이미지도 큰 비중을 차지하였다. 따라서 질의어 및 선호어 개수 이외에 각 사용자의 성향에 부합하는 객관적 데이터를 추가적으로 활용한다면 웹 검색 개인화 알고리즘의 성능이 크게 향상될 수 있을 것이다.

  • PDF