• 제목/요약/키워드: 문자열 매칭

검색결과 50건 처리시간 0.044초

문장대문장 학습을 이용한 음차변환 모델과 한글 음차변환어의 발음 유사도 기반 부분매칭 방법론 (A Transliteration Model based on the Seq2seq Learning and Methods for Phonetically-Aware Partial Match for Transliterated Terms in Korean)

  • 박주희;박원준;서희철
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.443-448
    • /
    • 2018
  • 웹검색 결과의 품질 향상을 위해서는 질의의 정확한 매칭 뿐만이 아니라, 서로 같은 대상을 지칭하는 한글 문자열과 영문 문자열(예: 네이버-naver)의 매칭과 같은 유연한 매칭 또한 중요하다. 본 논문에서는 문장대문장 학습을 통해 영문 문자열을 한글 문자열로 음차변환하는 방법론을 제시한다. 또한 음차변환 결과로 얻어진 한글 문자열을 동일 영문 문자열의 다양한 음차변환 결과와 매칭시킬 수 있는 발음 유사성 기반 부분 매칭 방법론을 제시하고, 위키피디아의 리다이렉트 키워드를 활용하여 이들의 성능을 정량적으로 평가하였다. 이를 통해 본 논문은 문장대문장 학습 기반의 음차 변환 결과가 복잡한 문맥을 고려할 수 있으며, Damerau-Levenshtein 거리의 계산에 자모 유사도를 활용하여 기존에 비해 효과적으로 한글 키워드들 간의 부분매칭이 가능함을 보였다.

  • PDF

웨이블릿 트리를 이용한 문자열 매칭 위치의 효율적인 히스토그램 계산 (Efficient Histogram Calculation for String Matching Occurrences Using Wavelet Trees)

  • 김성환;탁해성;조환규
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2014년도 춘계학술발표대회
    • /
    • pp.61-64
    • /
    • 2014
  • 문자열 매칭은 긴 텍스트 문자열 상에 짧은 질의 문자열이 나타나는 모든 위치를 찾는 문제이다. 텍스트 문자열이 고정되어 있는 경우에는 접미사 트리나 접미사 배열과 같은 자료구조를 이용하여 보다 효율적인 문자열 매칭을 수행할 수 있다. 이 때 사용자 인터페이스에 관련되어, 또는 다른 통계적 처리를 수행하기 위하여 주어진 질의 문자열의 출현 위치에 대한 히스토그램을 계산할 필요성이 있다. 그러나 질의 문자열의 출현 횟수가 많은 경우 각 출현 위치를 모두 순회하며 집계해야 하므로 시간적으로 매우 비효율적이다. 본 논문에서는 웨이블릿 트리를 이용하여 접미사 배열을 색인함으로써 히스토그램 계산에 있어서 질의 문자열의 출현 횟수와는 시간적으로 독립적인 집계 기법을 제안한다. 또한 실험을 통하여 질의 문자열의 출현 횟수가 많을수록 제안 기법의 성능이 우수함을 보인다.

CAM과 비트 분리 문자열 매처를 이용한 DPI를 위한 2단의 문자열 매칭 엔진의 개발 (A Memory-Efficient Two-Stage String Matching Engine Using both Content-Addressable Memory and Bit-split String Matchers for Deep Packet Inspection)

  • 김현진;최강일
    • 한국통신학회논문지
    • /
    • 제39B권7호
    • /
    • pp.433-439
    • /
    • 2014
  • 본 논문은 DPI (deep packet insepction)를 위한 CAM (content-addressable memory)과 병렬의 비트 분리(bit-split) 문자열 매처(matcher)를 이용한 2단의 문자열 매칭 엔진의 구조를 제안한다. 긴 타겟 패턴은 같은 길이의 서브 패턴으로 잘라지게 되고, 각 서브패턴은 1단의 CAM에 매핑된다. CAM으로부터의 매칭 인덱스의 시퀀스를 사용하여 2단에서 긴 패턴의 매칭 여부를 알 수 있다. CAM과 비트 분리 문자열 매처를 사용하여 이 기종의 메모리를 사용했을 경우에 메모리 요구량을 크게 줄일 수 있다.

네트워크 침입 탐지 시스템에서 고속 패턴 매칭기의 설계 및 구현 (Design and Implementation of High-Speed Pattern Matcher in Network Intrusion Detection System)

  • 윤여찬;황선영
    • 한국통신학회논문지
    • /
    • 제33권11B호
    • /
    • pp.1020-1029
    • /
    • 2008
  • 본 논문은 네트워크 침입 탐지 시스템에서 고속 패턴 매칭 알고리듬과 그 구조를 제안한다. 제안된 알고리듬은 실시간 입력 패킷에서 특정 패턴을 검사하며 정확한 문자열, 문자열 값의 범위, 그리고 문자열 값의 조합 등을 검색한다. 본 연구에서는 입력 패킷과 패턴은 동시에 겹치는 문자열들을 검색하기 위해 상태 전이 그래프로 모델링 하였으며 상태 전이 그래프는 구현 복잡도를 줄이기 위해 입력 임플리컨트 단위로 분할하였다. 제안된 패턴 매칭구조는 상태 전이 그래프와 입력된 문자열을 입력으로 사용한다. 제안된 패턴 매칭기는 VHDL 언어로 모델링하여 구현하였으며, 성능 분석을 통하여 제안된 기법의 적절성을 검증하였다.

k개의 오차를 허용하는 순위 패턴 매칭 (Order preserving matching with k mismatches)

  • 이인복
    • 스마트미디어저널
    • /
    • 제9권2호
    • /
    • pp.33-38
    • /
    • 2020
  • 순위 패턴 매칭 문제는 패턴과 텍스트가 주어졌을 때, 텍스트의 부분 문자열 중 패턴과 순위 동형을 만족하는 것들을 찾는 문제이다. 이 논문에서는 순위 패턴 매칭에 k개의 오차를 허용하는 문제를 푸는 알고리즘을 제안한다. 제안하는 알고리즘은 기존의 알고리즘에 비하여 간단하고 구현이 쉬우며, 평균적인 경우 선형 시간 복잡도를 가진다. 또한 실험을 통해서, 제안된 알고리즘이 현실적인 데이터에 대해서 효율적으로 동작함을 보인다.

DNA 서열을 위한 빠른 매칭 기법 (Fast Matching Method for DNA Sequences)

  • 김진욱;김은상;안융기;박근수
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제36권4호
    • /
    • pp.231-238
    • /
    • 2009
  • DNA 서열은 각 종을 나타내는 근본적인 정보이며, 다른 종 간의 DNA 서열 비교는 중요한 작업이다. DNA 서열은 길이가 매우 길며 또 종의 종류도 다양하기 때문에, DNA 서열 비교에서는 빠른 매칭 뿐만 아니라 효율적인 저장도 중요한 요소이다. 즉, 인코딩 된 DNA 서열에 적합한 빠른 문자열 매칭 방법이 필요하다. 본 논문에서는 매칭 시 디코딩이 필요하지 않은 인코딩 된 DNA 서열을 위한 빠른 매칭 알고리즘을 제시한다. 제시하는 알고리즘은 네 문자 한 바이트 인코딩을 이용하며 서픽스 기법과 다중 패턴 매칭 기법을 접목하고 있다. 실험 결과로는 본 논문에서 제시하는 방법이 AGREP보다 약 다섯배 빠름을 보이는데, 이는 알려진 알고리즘들 중에서 가장 빠른 결과이다.

Dynamic Time Warping을 이용한 컨테이너 식별자 인식 성능 향상 (A Performance Enhancement of Container ISO-code Recognition using Dynamic Time Warping)

  • 이상린;구경모;차의영
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2007년도 추계종합학술대회
    • /
    • pp.977-980
    • /
    • 2007
  • 본 논문은 인식된 컨테이너 식별자 문자열과 컨테이너 작업리스트를 비교하여 작업리스트와 인식된 컨테이너 식별자 문자열을 매칭하는 효율적인 방법을 소개하고자 한다. Dynamic Time Warping 기법을 이용하여 오인식되거나 인식이 되지 않은 문자에 대하여 오독률을 최소화할 수 있는 효율적인 방법을 제안한다. 기존의 문자열 비교방식에 비하여 제안하는 방법을 사용하였을 경우 더 나은 성능을 보였다.

  • PDF

외부 메모리에서 문자열을 효율적으로 탐색하기 위한 인덱스 자료 구조 (An Index Data Structure for String Search in External Memory)

  • 나중채;박근수
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제32권11_12호
    • /
    • pp.598-607
    • /
    • 2005
  • 본 논문에서는 새로운 외부 메모리 인덱스 자료 구조인 접미사 B-tree를 제안한다. 접미사 B-tree는 String B-tree와 마찬가지로 문자열을 키로 가지는 B-tree이다. String B-tree의 노드는 복잡한 Patricia ie로 구현된 반면, 접미사 B-tree의 노드는 일반적인 B-tree처럼 배열로 구현되어 보다 간단하고 구현하기 쉽다. 그럼에도 불구하고 접미사 B-tree에서 배열을 이용하여 String B-tree만큼 효율적으로 분기를 찾을 수 있다. 결과적으로 문자열 알고리즘 분야에서 기본적이고 중요한 문제인 문자열 매칭을 String B-tree와 동일한 디스크 접근을 사용하여 수행할 수 있다.

접미사 배열을 이용한 Suffix-Prefix가 일치하는 모든 쌍 찾기 (Finding All-Pairs Suffix-Prefix Matching Using Suffix Array)

  • 한선미;우진운
    • 정보처리학회논문지A
    • /
    • 제17A권5호
    • /
    • pp.221-228
    • /
    • 2010
  • 최근 문자열 연산들이 계산 생물학 및 인터넷의 보안, 검색 분야에 응용되면서 효율적인 문자열 연산을 위한 다양한 자료구조와 알고리즘이 연구되고 있다. suffix-prefix가 일치하는 모든 쌍 찾기는 두 개 이상의 문자열이 주어질 때 각 쌍의 문자열에 대해 가장 긴 suffix와 일치하는 prefix를 찾는 것으로 가장 짧은 슈퍼스트링을 검출하는 근사 알고리즘에서 사용될 뿐만 아니라 생물정보학, 데이터 압축 분야에서도 중요하게 사용된다. 본 논문에서는 접미사 배열을 이용하는 suffix-prefix가 일치하는 모든 쌍 찾기 알고리즘을 제안하며 O($k{\cdot}m$) 시간 복잡도를 가진다. 접미사 배열 알고리즘이 접미사 트리 알고리즘 보다 소요 시간과 메모리 면에서 더 우수함을 실험을 통해서 제시한다.

네트워크 침입 탐지 시스템에서 다중 엔트리 동시 비교기를 이용한 고속패턴 매칭기의 설계 및 구현 (Design and Implementation of High-Speed Pattern Matcher Using Multi-Entry Simultaneous Comparator in Network Intrusion Detection System)

  • 전명재;황선영
    • 한국통신학회논문지
    • /
    • 제40권11호
    • /
    • pp.2169-2177
    • /
    • 2015
  • 본 논문은 네트워크 침입 탐지 시스템에서 CAM 및 해시 구조 기반 알고리듬의 비용 한계를 극복하기 위해 RAM을 이용한다. RAM을 이용한 기존 알고리듬의 다중 엔트리 처리 시 실시간 처리속도 지연 문제를 보완한 새로운 패턴 매칭기를 제안한다. 제안된 패턴 매칭기는 Merge FSM 알고리듬을 적용하여 스테이트의 수를 줄이고, RAM을 사용하기 위해 스테이트 블록과 엔트리 블록을 포함한다. 입력된 문자열과 비교할 엔트리문자열이 여러개 존재할 때 엔트리 블록에서 입력된 문자열과 엔트리 문자열들을 동시에 비교한다. 제안된 패턴 매칭기는 Snort 2.9 규칙을 이용하여 검증하였다. 실험결과 기존 탐색 방법과 비교하여 메모리 접근 빈도가 15.8% 감소하였고, 전체 메모리 크기는 2.6% 증가하였으며, 처리속도는 47.1% 증가하였다.