• 제목/요약/키워드: string similarity

검색결과 47건 처리시간 0.019초

Developing JSequitur to Study the Hierarchical Structure of Biological Sequences in a Grammatical Inference Framework of String Compression Algorithms

  • Galbadrakh, Bulgan;Lee, Kyung-Eun;Park, Hyun-Seok
    • Genomics & Informatics
    • /
    • 제10권4호
    • /
    • pp.266-270
    • /
    • 2012
  • Grammatical inference methods are expected to find grammatical structures hidden in biological sequences. One hopes that studies of grammar serve as an appropriate tool for theory formation. Thus, we have developed JSequitur for automatically generating the grammatical structure of biological sequences in an inference framework of string compression algorithms. Our original motivation was to find any grammatical traits of several cancer genes that can be detected by string compression algorithms. Through this research, we could not find any meaningful unique traits of the cancer genes yet, but we could observe some interesting traits in regards to the relationship among gene length, similarity of sequences, the patterns of the generated grammar, and compression rate.

Word Similarity Calculation by Using the Edit Distance Metrics with Consonant Normalization

  • Kang, Seung-Shik
    • Journal of Information Processing Systems
    • /
    • 제11권4호
    • /
    • pp.573-582
    • /
    • 2015
  • Edit distance metrics are widely used for many applications such as string comparison and spelling error corrections. Hamming distance is a metric for two equal length strings and Damerau-Levenshtein distance is a well-known metrics for making spelling corrections through string-to-string comparison. Previous distance metrics seems to be appropriate for alphabetic languages like English and European languages. However, the conventional edit distance criterion is not the best method for agglutinative languages like Korean. The reason is that two or more letter units make a Korean character, which is called as a syllable. This mechanism of syllable-based word construction in the Korean language causes an edit distance calculation to be inefficient. As such, we have explored a new edit distance method by using consonant normalization and the normalization factor.

비트맵 필터를 이용한 효율적인 역 리스트 탐색 기법 (Efficient Inverted List Search Technique using Bitmap Filters)

  • 권인택;김종익
    • 정보처리학회논문지D
    • /
    • 제18D권6호
    • /
    • pp.415-422
    • /
    • 2011
  • 텍스트 데이터는 표현 방식의 차이, 타이핑 오류 등을 포함하고 있어 정확히 일치하는 검색으로는 유용한 정보를 얻기 어렵다. 따라서 유사도 기반 검색 방법이 많이 연구되고 있으며 효율적인 유사도 기반 검색을 위해 텍스트 데이터에 대한 역 리스트를 구성한다. 그리고 이를 병합하여 질의와 일정 기준 이상 유사한 데이터를 찾는다. 본 논문에서는 Suffix 필터링 과정에서 역 리스트의 탐색 비용을 줄이기 위해 역 리스트의 통계 정보인 비트맵 필터를 사용하는 기법을 제안한다. 제안하는 기법은 비트맵 필터를 사용하여 Suffix 필터링 과정에서 역 리스트의 탐색 여부를 결정하여 불필요한 역 리스트 탐색을 회피함으로써 역 리스트 병합 비용을 줄인다. 실험을 통하여 제안된 기법이 기존의 연구에서 제안된 Suffix 필터링 알고리즘보다 더 효율적임을 보인다.

스트링 매칭과 해시 검색을 이용한 겹쳐진 이차원 물체의 인식 (The Recognition of Occluded 2-D Objects Using the String Matching and Hash Retrieval Algorithm)

  • 김관동;이지용;이병곤;안재형
    • 한국정보처리학회논문지
    • /
    • 제5권7호
    • /
    • pp.1923-1932
    • /
    • 1998
  • 본 논문은 아이콘 인덱싱 메커니즘(Icon indexing Mechanism)을 이용한 물체 인식 시스템을 구성함에 있어 기존의 모델을 계층적으로 찾아가는 탐색 트리의 방법을 보완하여 해시 테이블을 작성함으로써 모델의 검색에 필요한 시간을 줄이는 방법을 제안하고자 한다. 본 논문에서는 인접하는 다섯 개의 장점을 이용하여 매칭에 필요한 모델을 구조적 단위의 스트링으로 선정하였으며, 모델 스트링들간의 유사성을 측정하기 위하여 스트링 매칭 알고리듬을 이용하였다. 그리고 이들 스트링중 유사성이 가장 높은 스트링을 참조 스트링으로 선정하여, 참조 스트링으로부터의 각 스트링간의 거리를 해시의 킷값으로 이용하여 검색에 필요한 해시 테이블을 검색한다. 검색 결과 입력 영상으로부터 구해진 하나의 특권 스트링은 하나 혹은 여러 개의 모델에 대한 가설을 생성할 수 있으며, 이를 다시 해싱을 통하여 검색된 모델 스트링들과의 거리를 재계산하여 이 값이 주어진 임계값보다 작은 모델스트링과 최종 매칭이 되는 것으로 간주하였다. 실험결과 모델을 계층적으로 찾아가는 기존의 방식이 평균 8-10번의 거리를 계산해야만 매칭을 행할 수 있었음에 반해 제안한 방법은 2-3번의 거리 계산만으로 매칭을 행할 수 있었다.

  • PDF

XML 문서의 구조와 내용을 고려한 유사도 측정 (Similarity Measure based on XML Document's Structure and Contents)

  • 김우생
    • 한국멀티미디어학회논문지
    • /
    • 제11권8호
    • /
    • pp.1043-1050
    • /
    • 2008
  • XML(Extensible Markup Language)은 인터넷 상에서 데이터 표현과 교환을 위한 표준으로 자리 잡고 있다. 웹의 발전과 함께 XML문서들이 정보 검색, 문서 관리, 데이터 마이닝 등의 응용에서 폭 넓게 사용되면서 구조적으로 정보가 풍부한 이러한 문서들을 자동으로 처리하고 검색하는 기술들이 요구되고 있다. 본 연구에서는 XML 문서 의 구조와 내용을 고려하여 유사한 문서들을 검색하는 새로운 방법을 제안한다. XML 문서의 구조적 유사성은 간단한 스트링 매칭 기법으로 찾고, 문서 내용의 유사성은 문서 요소(element)들의 이름과 경로를 고려한 가중치를 통해 찾는 방법으로 전체의 시간 복잡도는 비교되는 두 문서의 크기에 선형적으로 비례한다.

  • PDF

다중 이벤트 센서 기반 스마트 홈에서 사람 행동 분류를 위한 효율적 의사결정평면 생성기법 (Efficient Hyperplane Generation Techniques for Human Activity Classification in Multiple-Event Sensors Based Smart Home)

  • 장준서;김보국;문창일;이도현;곽준호;박대진;정유수
    • 대한임베디드공학회논문지
    • /
    • 제14권5호
    • /
    • pp.277-286
    • /
    • 2019
  • In this paper, we propose an efficient hyperplane generation technique to classify human activity from combination of events and sequence information obtained from multiple-event sensors. By generating hyperplane efficiently, our machine learning algorithm classify with less memory and run time than the LSVM (Linear Support Vector Machine) for embedded system. Because the fact that light weight and high speed algorithm is one of the most critical issue in the IoT, the study can be applied to smart home to predict human activity and provide related services. Our approach is based on reducing numbers of hyperplanes and utilizing robust string comparing algorithm. The proposed method results in reduction of memory consumption compared to the conventional ML (Machine Learning) algorithms; 252 times to LSVM and 34,033 times to LSTM (Long Short-Term Memory), although accuracy is decreased slightly. Thus our method showed outstanding performance on accuracy per hyperplane; 240 times to LSVM and 30,520 times to LSTM. The binarized image is then divided into groups, where each groups are converted to binary number, in order to reduce the number of comparison done in runtime process. The binary numbers are then converted to string. The test data is evaluated by converting to string and measuring similarity between hyperplanes using Levenshtein algorithm, which is a robust dynamic string comparing algorithm. This technique reduces runtime and enables the proposed algorithm to become 27% faster than LSVM, and 90% faster than LSTM.

레벤스타인 거리에 기초한 위치 정확도를 이용한 고립 단어 인식 결과의 비유사 후보 단어 제외 (Exclusion of Non-similar Candidates using Positional Accuracy based on Levenstein Distance from N-best Recognition Results of Isolated Word Recognition)

  • 윤영선;강점자
    • 말소리와 음성과학
    • /
    • 제1권3호
    • /
    • pp.109-115
    • /
    • 2009
  • Many isolated word recognition systems may generate non-similar words for recognition candidates because they use only acoustic information. In this paper, we investigate several techniques which can exclude non-similar words from N-best candidate words by applying Levenstein distance measure. At first, word distance method based on phone and syllable distances are considered. These methods use just Levenstein distance on phones or double Levenstein distance algorithm on syllables of candidates. Next, word similarity approaches are presented that they use characters' position information of word candidates. Each character's position is labeled to inserted, deleted, and correct position after alignment between source and target string. The word similarities are obtained from characters' positional probabilities which mean the frequency ratio of the same characters' observations on the position. From experimental results, we can find that the proposed methods are effective for removing non-similar words without loss of system performance from the N-best recognition candidates of the systems.

  • PDF

분자구조 유사도를 활용한 약물 효능 예측 알고리즘 연구 (A Study on the Prediction of Drug Efficacy by Using Molecular Structure)

  • 정화영;송창현;조혜연;기재홍
    • 대한의용생체공학회:의공학회지
    • /
    • 제43권4호
    • /
    • pp.230-240
    • /
    • 2022
  • Drug regeneration technology is an efficient strategy than the existing new drug development process, which requires large costs and time by using drugs that have already been proven safe. In this study, we recognize the importance of the new drug regeneration aspect of new drug development and research in predicting functional similarities through the basic molecular structure that forms drugs. We test four string-based algorithms by using SMILES data and searching for their similarities. And by using the ATC codes, pair them with functional similarities, which we compare and validate to select the optimal model. We confirmed that the higher the molecular structure similarity, the higher the ATC code matching rate. We suggest the possibility of additional potency of random drugs, which can be predicted through data that give information on drugs with high molecular similarities. This model has the advantage of being a great combination with additional data, so we look forward to using this model in future research.

다양한 스마트폰 키패드 환경에서 유사 단어 검색을 위한 수정된 편집 거리 계산 방법 (Modified Edit Distance Method for Finding Similar Words in Various Smartphone Keypad Environment)

  • 송영길;김학수
    • 한국콘텐츠학회논문지
    • /
    • 제11권12호
    • /
    • pp.12-18
    • /
    • 2011
  • 대부분의 스마트폰은 터치패드 기반의 가상 키패드를 사용한다. 가상 키패드는 기기의 화면 크기나 입력 방법의 물리적인 한계로 입력 오류가 자주 발생한다. 이 문제를 해결하기 위해 유사 단어를 찾기 위한 많은 연구가 있었다. 본 논문에서는 편집 거리 방법을 다양한 가상 키패드를 고려하여 수정하는 방법을 제안한다. 제안 방법은 다양한 키패드에서 발생하는 입력 오류를 효과적으로 해결하기 위해, 입력 문자열을 사용자가 실제 누르게 되는 입력열로 변환하고, 가상 키패드의 특성에 따라 편집 비용을 수정하였다. 다양한 키패드에서 실험한 결과 제안 방법이 일반적인 편집 거리 방법을 이용한 것 보다 좋은 성능을 보였다.

컬러 분포와 WordNet상의 유사도 측정을 이용한 의미적 이미지 검색 (Semantic Image Retrieval Using Color Distribution and Similarity Measurement in WordNet)

  • 최준호;조미영;김판구
    • 정보처리학회논문지B
    • /
    • 제11B권4호
    • /
    • pp.509-516
    • /
    • 2004
  • 의미기반 이미지 검색에서의 의미적 내용 인식은 주석 위주의 텍스트 정보를 이용하는 것이 일반적이다. 이러한 텍스트 정보 기반 이미지 검색은 전통적인 검색 방법인 키워드 검색 기술을 그대로 사하여 쉽게 구현할 수 있으나, 텍스트의 개념적 매칭이 아닌 스트링 매칭이므로 주석 처리된 단어와 정확한 매칭이 없다면 검색할 수 없는 단점이 있었다. 이에 본 논문에서는 Ontology의 일종인 WordNet을 이용하여 깊이, 정보량, 링크 타입, 밀도 등을 고려한 단어간 의미 유사도를 측정하여 패턴 매칭의 문제점을 해결하고자 한다. 또한, 이미지의 컬러 분포 유사도를 측정하여 저차원 특징과 결합한 의미적 이미지 검색이 가능하도록 설계하였다. 제안된 검색 방안에 대해 'Microsoft Design Gallery Live'의 주석을 포함한 이미지를 대상으로 실험한 결과, 기존 의미기반 검색 시스템보다 향상된 결과를 확인하였다.