• 제목/요약/키워드: string search

검색결과 73건 처리시간 0.022초

가변길이 그램의 역리스트 생성을 이용한 효율적인 유사 문자열 검색 기법 (An Efficient String Similarity Search Technique based on Generating Inverted Lists of Variable-Length Grams)

  • 김종익
    • 정보과학회 논문지
    • /
    • 제43권11호
    • /
    • pp.1275-1280
    • /
    • 2016
  • 유사 문자열 검색을 위해 기존의 기법들은 우선 후보 문자열 집합을 생성한 후에 후보 문자열을 검증하는 방법을 사용한다. 이때, 유사 문자열 검색의 성능을 결정짓는 가장 중요한 요소는 후보 생성 방법이다. 기존의 기법들은 질의 문자열로부터 고정길이 q-그램들을 선택하고, 선택된 q-그램에 해당하는 역리스트를 이용해 후보 문자열을 생성한다. 본 논문에서는 질의 문자열 내의 가변길이 그램들을 사용하여 후보 문자열을 생성할 수 있는 기법과 질의 문자열로부터 최적의 가변길이 그램들의 조합을 선택하는 동적 프로그래밍 알고리즘을 제안한다. 실험을 통해 제안하는 기법이 기존의 기법들 보다 유사 문자열 검색의 성능을 향상시킴을 보인다.

정규 표현식을 이용한 패턴 매칭 엔진 개발 (Development of the Pattern Matching Engine using Regular Expression)

  • 고광만;박홍진
    • 한국콘텐츠학회논문지
    • /
    • 제8권2호
    • /
    • pp.33-40
    • /
    • 2008
  • 스트링 패턴 매칭 알고리즘은 특정 검색어, 키워드를 검색하는 속도에서는 우수성이 다양한 방법으로 입증되었지만 다양한 패턴에 대해서는 기존의 알고리즘으로는 한계를 가지고 있다. 본 논문에서는 정규 표현식을 이용하여 특정 키워드를 포함하여 다양한 패턴의 검색어에 대해서도 효율적인 패턴 매칭을 수행하여 패턴 검색의 효율을 높이고자 한다. 이러한 연구는 기존의 단순한 키워드 매칭에 비해 각종 유해한 스트링 패턴을 효과적으로 검색할 수 있으며 스트링 패턴 매칭 속도에서도 기존의 알고리즘에 비해 우수성을 갖는다. 본 연구에서 제안한 LEX로부터 생성된 스트링 검색 엔진은 패턴 검색 속도에 대한 실험에서 패턴의 수가 1000개 이상인 경우에서는 BM&AC 알고리즘보다 효율적이지만 키워드 검색에서는 유사한 결과를 얻었다.

연산자 LIKE의 새로운 한글 탐색 패턴 (A New Korean Search Pattern of the Operator LIKE)

  • 박성철;노은향;박영철;박종철
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제34권3호
    • /
    • pp.244-260
    • /
    • 2007
  • 데이타베이스 언어인 SQL의 연산자 LIKE는 문자열을 탐색하기 위한 연산자로서 문자열 양식을 설정함으로써 그에 부합하는 칼럼값들을 식별할 수 있게 한다. 표음문자인 한글의 각 음절은 초성과 중성으로 구성되거나 초성, 중성, 그리고 종성으로 구성된다. 본 논문은 연산자 LIKE의 한글 음절의 탐색 양식으로서 한글 음절로 표현되는 기존 양식에 추가하여 한글의 초성과 중성에 기반한 새로운 양식을 제안한다. 제안하는 한글 탐색 양식은 특정 초성을 가지는 한글 음절들, 특정 중성을 가지는 한글 음절들, 또는 특정 초성과 중성을 가지는 한글 음절들을 탐색할 수 있게 한다. 제안하는 한글 탐색 양식을 SQL의 기존 연산자들로 표현하는 것은 실질적으로 많은 불편을 수반하며 DBMS의 문자 집합에 따라 응용 프로그램의 호환성 문제를 초래할 수 있다. 본 논문은 제안하는 한글 탐색 양식을 고려한 연산자 LIKE의 수행 알고리즘을 한글과 한자에 대한 정보 교환용 부호계의 국가 표준인 KS X 1001로 표현된 문자들을 기반으로 제시한다.

외부 메모리에서 문자열을 효율적으로 탐색하기 위한 인덱스 자료 구조 (An Index Data Structure for String Search in External Memory)

  • 나중채;박근수
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제32권11_12호
    • /
    • pp.598-607
    • /
    • 2005
  • 본 논문에서는 새로운 외부 메모리 인덱스 자료 구조인 접미사 B-tree를 제안한다. 접미사 B-tree는 String B-tree와 마찬가지로 문자열을 키로 가지는 B-tree이다. String B-tree의 노드는 복잡한 Patricia ie로 구현된 반면, 접미사 B-tree의 노드는 일반적인 B-tree처럼 배열로 구현되어 보다 간단하고 구현하기 쉽다. 그럼에도 불구하고 접미사 B-tree에서 배열을 이용하여 String B-tree만큼 효율적으로 분기를 찾을 수 있다. 결과적으로 문자열 알고리즘 분야에서 기본적이고 중요한 문제인 문자열 매칭을 String B-tree와 동일한 디스크 접근을 사용하여 수행할 수 있다.

정규식 구문과 상관분석 기법을 통합한 정보 검색 모듈 개발 (Development of Information Search Module by Integrating Regular Expression and Correlation Analysis Method)

  • 김봉현
    • 한국정보통신학회논문지
    • /
    • 제17권3호
    • /
    • pp.634-640
    • /
    • 2013
  • 기존의 패턴 및 데이터베이스 검색, 페이지 단위 문자열 검색 기법은 단순 검색 방식으로 오탐율이 많아 검색 결과에 대한 신뢰성이 떨어진다. 또한, 동일 조건을 다른 검색 기법에 추가로 시행함으로 인해 자원 낭비 및 시간 낭비를 초래하고 있다. 따라서 본 논문에서는 정규식 구문과 상관분석 기법의 통합적 연계 방식을 적용시킨 정보 검색 모듈을 개발하였다. 이를 통해 기존의 문자열 검색기법의 문제로 지적되어 온 오탐율을 줄임으로써 경제적인 효과 및 신뢰성을 확보하는 보안형 정보 검색 기술을 연구하였다.

모음 열을 이용한 발화 검증 (An Utterance Verification using Vowel String)

  • 유일수;노용완;홍광석
    • 융합신호처리학회 학술대회논문집
    • /
    • 한국신호처리시스템학회 2003년도 하계학술대회 논문집
    • /
    • pp.46-49
    • /
    • 2003
  • The use of confidence measures for word/utterance verification has become art essential component of any speech input application. Confidence measures have applications to a number of problems such as rejection of incorrect hypotheses, speaker adaptation, or adaptive modification of the hypothesis score during search in continuous speech recognition. In this paper, we present a new utterance verification method using vowel string. Using subword HMMs of VCCV unit, we create anti-models which include vowel string in hypothesis words. The experiment results show that the utterance verification rate of the proposed method is about 79.5%.

  • PDF

계층형 집약 이진 트리의 검색 성능 개선 (Enhancing Retrieval Performance for Hierarchical Compact Binary Tree)

  • 김성완
    • 창의정보문화연구
    • /
    • 제5권3호
    • /
    • pp.345-353
    • /
    • 2019
  • 문자열 탐색을 위한 자료구조로 널리 사용되는 이진 트라이를 선형 이진 비트열로 표현하여 저장 공간 효율성을 높이기 위한 여러 연구들이 제안되었다. 한 개의 이진 트라이를 기반으로 생성된 이진 집약 트리기법은 입력 키 집합의 크기가 커지면 이진 비트열이 매우 길어지게 되어 키 탐색 시간이 크게 증가한다. 키 탐색 범위를 축소하고자 여러 개의 작은 크기의 이진 집약 트리를 계층적으로 표현한 계층적 집약 이진트리 기법이 제안되었으나 키 탐색 시 근본적으로 이진 비트열을 순차적으로 접근하여 처리하므로 탐색 범위에 포함되는 이진 비트열의 개수와 길이에 따라 검색 시간이 비례하여 증가한다. 본 논문에서는 포화이진 트라이로 표현된 여러 개의 이진 집약 트리를 계층적으로 구성하고, 키 탐색 범위에 해당하는 이진 비트열 경로를 간단한 숫자 변환을 통해 결정할 수 있도록 하여 검색 성능을 높였다. 최악의 시·공간 복잡도 계산을 이용한 성능 평가를 통해 검색 및 키 삽입 또는 삭제에 대해 제안 방법이 가장 높은 성능을 보여 주었다. 공간 사용량은 제안 방법이 기존의 방법에 비해 약 67%~68%의 공간만을 필요로 하여 가장 우수한 공간 효율성을 보이는 것으로 분석되었다.

절단검색을 지원하는 전자사전 구조 (An Electronic Dictionary Structure supporting Truncation Search)

  • 김철수
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제9권1호
    • /
    • pp.60-69
    • /
    • 2003
  • 역화일을 파일구조로 이용하는 정보 검색 시스템에서는 검색자가 검색할 분야의 완전 단어를 알고 있어야 검색이 가능하다. 그러나 검색자가 완전 단어가 아닌 단어의 부분 문자열을 알고 있는 경우가 많다. 이럴 경우 부분 문자열을 포함하는 색인어들을 검색할 수 있다면 관련 문서들을 검색할 수 있다. 또한 검색된 문헌 수가 너무 적을 경우 부분 문자열을 포함하는 단어를 색인어로 가지는 모든 문서들을 검색하기 위한 방법이 필요하다. 이런 요건들을 충족시키기 위해서는 사용자는 용어 절단 방법을 이용하여 질의어를 구성할 수 있어야 하고, 검색 시스템은 절단 검색을 지원할 수 있는 전자 사전이 필요하다. 본 논문에서는 절단검색을 효율적으로 지원할 수 있는 전자 사전 구조를 설계하고 구현한다. 이 전자 사전은 저장된 단어 수에 관계없이 주어진 한 개의 단어 검색 시간 및 역 문자열로 구성된 단어 검색 시간이 빠르고 일정하다. 절단검색을 효율적으로 지원하기 위하여 트라이 구조를 이용하였으며, 빠른 검색 시간을 지원하기 위해 배열을 이용한 방법을 사용하였다. 절단된 용어의 검색 과정에서 확장할 문자열의 길이를 최소화하여 검색 시간을 줄였다.

비트맵 필터를 이용한 효율적인 역 리스트 탐색 기법 (Efficient Inverted List Search Technique using Bitmap Filters)

  • 권인택;김종익
    • 정보처리학회논문지D
    • /
    • 제18D권6호
    • /
    • pp.415-422
    • /
    • 2011
  • 텍스트 데이터는 표현 방식의 차이, 타이핑 오류 등을 포함하고 있어 정확히 일치하는 검색으로는 유용한 정보를 얻기 어렵다. 따라서 유사도 기반 검색 방법이 많이 연구되고 있으며 효율적인 유사도 기반 검색을 위해 텍스트 데이터에 대한 역 리스트를 구성한다. 그리고 이를 병합하여 질의와 일정 기준 이상 유사한 데이터를 찾는다. 본 논문에서는 Suffix 필터링 과정에서 역 리스트의 탐색 비용을 줄이기 위해 역 리스트의 통계 정보인 비트맵 필터를 사용하는 기법을 제안한다. 제안하는 기법은 비트맵 필터를 사용하여 Suffix 필터링 과정에서 역 리스트의 탐색 여부를 결정하여 불필요한 역 리스트 탐색을 회피함으로써 역 리스트 병합 비용을 줄인다. 실험을 통하여 제안된 기법이 기존의 연구에서 제안된 Suffix 필터링 알고리즘보다 더 효율적임을 보인다.

POI(Point Of Interest) 데이터 검색에서 문자열 유사도 측정 정확도 향상 기법 (Accuracy Improvement Methods for String Similarity Measurement in POI(Point Of Interest) Data Retrieval)

  • 고은별;이종우
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제20권9호
    • /
    • pp.498-506
    • /
    • 2014
  • 교통의 발달로 활동범위가 넓은 현대인들은 네비게이션과 지도 앱을 통한 길찾기 검색을 자주 이용한다. 하지만 기존 검색 시스템에서는 부정확한 질의어가 입력되면 원하는 결과를 출력하지 못한다. 이 문제를 해결하기 위해 집합-기반 POI 검색 알고리즘이 등장했고 이어 문자열 유사도 측정 기법, 중복 글자를 고려한 검색 알고리즘이 연구되었다. 본 논문에서는 이전에 연구된 문자열 유사도 측정 알고리즘의 정확도를 향상시킨 기법을 제안한다. 기존 문자열 유사도 측정 기법에서 고려하지 않았던 고유어의 추정단계와 중복 단어를 고려한 블록 및 블록 나열 순서 구하기를 추가하고 측정 기법을 수식화한다. 이를 통해 측정방법을 체계적으로 표현하고 일반화함으로써 POI 검색 결과의 정확도를 향상시킨다. 실험을 통해 본 논문에서 제시하는 기법이 검색 결과 및 검색 순위의 정확도를 향상시킨다는 것을 확인하였다.