• Title/Summary/Keyword: 인접 단어

Search Result 39, Processing Time 0.023 seconds

Implementation of Search Method based on Sequence and Adjacency Relationship of User Query (사용자 검색 질의 단어의 순서 및 단어간의 인접 관계에 기반한 검색 기법의 구현)

  • So, Byung-Chul;Jung, Jin-Woo
    • Journal of the Korean Institute of Intelligent Systems
    • /
    • v.21 no.6
    • /
    • pp.724-729
    • /
    • 2011
  • Information retrieval is a method to search the needed data by users. Generally, when a user searches some data in the large scale data set like the internet, ranking-based search is widely used because it is not easy to find the exactly needed data at once. In this paper, we propose a novel ranking-based search method based on sequence and adjacency relationship of user query by the help of TF-IDF and n-gram. As a result, it was possible to find the needed data more accurately with 73% accuracy in more than 19,000 data set.

Character Grouping using 3-D Neighborhood Graph on Raster Map (래스터 지도상에서 3차원 인접 그래프를 이용한 문자 그룹핑)

  • Gang, Yong-Bin;Ok, Se-Yeong;Jo, Hwan-Gyu
    • Journal of KIISE:Software and Applications
    • /
    • v.26 no.2
    • /
    • pp.273-283
    • /
    • 1999
  • 래스터 지도에서 직선 또는 곡선과 중첩되어 있는 경우의 문자는 추출하기가 쉽지 않다. 따라서 본 논문에서는 고립되어 있는 문자뿐만 아니라 문자이외의 요소와 중첩되어 있는 문자도 효과적으로 추출할수 있는 분할 정복(divide and conquer) 개념에 기반한 문자 추출방법을 제시한다. 이를 위해 먼저 이미지의 연결 요소로부터 볼록다각형(convex hull)을 생성한다. 그리고 이 다각형이 충분한게 문자영역만을 포함할때가지 볼록 다각형을 이등분하면서 가장 긴 선분(투사 선분)을 기준으로 두 영역으로 분할한다. 다음으로 문자를 추출하기 위해서 이 선분을 기준으로 연결 요소상의 픽셀의 밀집도를 계산하는 알고리즘(프로파일링)을 적용한다. 또한 지도상에서 추출된 개별적인 문자들을 의미있는 단어들로 묶기(grouping)한 새로운 알고리즘을 소개한다. 특히 지도상에 나타나는 문자의 종류는 매우 다양하고 또한 이 문자들이 놓여있는 방향 역시 일정하지 않기 때문에 이러한 단어를 찾는 kd법은 쉽지 않다. 이를 위해 본 논문에서는 3차원 인접 그래프(3-D neighborhood graph)G를 소개한다. 이 그래프 G에서 각 노드는 하나의 분리된 문자를 나타내며 자신의 크기와 위치에 따라서 3차원 공간상에서 위치하게된다. 따라서, 크기가 큰 (작은)문자들은 보다 큰 (작은) z값을 가지고 되며 이 그래프 G에서 서로 인접한 노드들을 연결함으로써 지도상에 존재하는 서로 다른 종류의 문자 스트링을 추출할수 있다. 실험결과는 서로 다른 지도 이미지에 대해서 약 95% 이상의 단어 추출율을 보여준다.

Word Embedding using Semantic Restriction of Predicate (용언의 의미 제약을 이용한 단어 임베딩)

  • Lee, Ju-Sang;Ock, Cheol-Young
    • Annual Conference on Human and Language Technology
    • /
    • 2015.10a
    • /
    • pp.181-183
    • /
    • 2015
  • 최근 자연어 처리 분야에서 딥 러닝이 많이 사용되고 있다. 자연어 처리에서 딥 러닝의 성능 향상을 위해 단어의 표현이 중요하다. 단어 임베딩은 단어 표현을 인공 신경망을 이용해 다차원 벡터로 표현한다. 본 논문에서는 word2vec의 Skip-gram과 negative-sampling을 이용하여 단어 임베딩 학습을 한다. 단어 임베딩 학습 데이터로 한국어 어휘지도 UWordMap의 용언의 필수논항 의미 제약 정보를 이용하여 구성했으며 250,183개의 단어 사전을 구축해 학습한다. 실험 결과로는 의미 제약 정보를 이용한 단어 임베딩이 유사성을 가진 단어들이 인접해 있음을 보인다.

  • PDF

Text Categorization Using TextRank Algorithm (TextRank 알고리즘을 이용한 문서 범주화)

  • Bae, Won-Sik;Cha, Jeong-Won
    • Journal of KIISE:Computing Practices and Letters
    • /
    • v.16 no.1
    • /
    • pp.110-114
    • /
    • 2010
  • We describe a new method for text categorization using TextRank algorithm. Text categorization is a problem that over one pre-defined categories are assigned to a text document. TextRank algorithm is a graph-based ranking algorithm. If we consider that each word is a vertex, and co-occurrence of two adjacent words is a edge, we can get a graph from a document. After that, we find important words using TextRank algorithm from the graph and make feature which are pairs of words which are each important word and a word adjacent to the important word. We use classifiers: SVM, Na$\ddot{i}$ve Bayesian classifier, Maximum Entropy Model, and k-NN classifier. We use non-cross-posted version of 20 Newsgroups data set. In consequence, we had an improved performance in whole classifiers, and the result tells that is a possibility of TextRank algorithm in text categorization.

Related Term Extraction with Proximity Matrix for Query Related Issue Detection using Twitter (트위터를 이용한 질의어 관련 이슈 탐지를 위한 인접도 행렬 기반 연관 어휘 추출)

  • Kim, Je-Sang;Jo, Hyo-Geun;Kim, Dong-Sung;Kim, Byeong Man;Lee, Hyun Ah
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.3 no.1
    • /
    • pp.31-36
    • /
    • 2014
  • Social network services(SNS) including Twitter and Facebook are good resources to extract various issues like public interest, trend and topic. This paper proposes a method to extract query-related issues by calculating relatedness between terms in Twitter. As a term that frequently appears near query terms should be semantically related to a query, we calculate term relatedness in retrieved documents by summing proximity that is proportional to term frequency and inversely proportional to distance between words. Then terms, relatedness of which is bigger than threshold, are extracted as query-related issues, and our system shows those issues with a connected network. By analyzing single transitions in a connected network, compound words are easily obtained.

Disambiguation of Counting Unit Noun using Word Embedding (단어 임베딩을 이용한 단위성 의존명사 분별)

  • Lee, Ju-Sang;Ock, Cheol-Young
    • 한국어정보학회:학술대회논문집
    • /
    • 2016.10a
    • /
    • pp.246-248
    • /
    • 2016
  • 단위성 의존명사는 수나 분량 따위를 나타내는 의존명사로 혼자 사용할 수 없으며 수사나 수관형사와 함께 사용하는 의존명사이다. 단위성 의존명사가 2가지 이상인 동형이의어의 경우 기존의 인접 어절을 이용한 동형이의어 분별 모델에서는 동형이의어 분별에 어려움이 있다. 본 논문에서는 단위성 의존명사 분별을 위해 단어 임베딩을 사용했으며 총 115,767개의 단어를 벡터로 표현하였으며 분별할 의존명사 주변에 등장한 명사들과의 유사도를 계산하여 단위성 의존명사를 분별하였다. 단어 임베딩을 이용한 단위성 의존명사 분별이 효과가 있음을 보았다.

  • PDF

Disambiguation of Counting Unit Noun using Word Embedding (단어 임베딩을 이용한 단위성 의존명사 분별)

  • Lee, Ju-Sang;Ock, Cheol-Young
    • Annual Conference on Human and Language Technology
    • /
    • 2016.10a
    • /
    • pp.246-248
    • /
    • 2016
  • 단위성 의존명사는 수나 분량 따위를 나타내는 의존명사로 혼자 사용할 수 없으며 수사나 수관형사와 함께 사용하는 의존명사이다. 단위성 의존명사가 2가지 이상인 동형이의어의 경우 기존의 인접 어절을 이용한 동형이의어 분별 모델에서는 동형이의어 분별에 어려움이 있다. 본 논문에서는 단위성 의존명사 분별을 위해 단어 임베딩을 사용했으며 총 115,767개의 단어를 벡터로 표현하였으며 분별할 의존명사 주변에 등장한 명사들과의 유사도를 계산하여 단위성 의존명사를 분별하였다. 단어 임베딩을 이용한 단위성 의존명사 분별이 효과가 있음을 보았다.

  • PDF

Japanese-to-Korean Inflected Word Translation Using Connection Relations of Two Neighboring Words (인접 단어들의 접속정보를 이용한 일한 활용어 번역)

  • Kim, Jung-In;Lee, Kang-Hyuk
    • Korean Journal of Cognitive Science
    • /
    • v.15 no.2
    • /
    • pp.33-42
    • /
    • 2004
  • There are many syntactic similarities between Japanese and Korean language. These similarities enable us to build Japanese-Korean translation systems without depending cm sophisticated syntactic analysis and semantic analysis. To further improve translation accuracy, we have been developing a Japanese-Korean translation system using these similarities for several years. However, there still remain some problems with regard to translation of inflected words, processing of multi-translatable words and so on. In this paper, we propose a new method for Japanese-Koran machine translation by using the relationships of two neighboring words. To solve the problems, we investigate the connection rules of auxiliary verb priority. And we design the translation table, which consists of entry tables and connection form tables. for unambiguous words, we can translate a Japanese word to the corresponding Korean word in terms of direct-matching method by consulting the only entry table. Otherwise we have to evaluate the connection value computed from connection form tables and then we can select the most appropriate target word.

  • PDF

Profiling and Co-word Analysis of Teaching Korean as a Foreign Language Domain (프로파일링 분석과 동시출현단어 분석을 이용한 한국어교육학의 정체성 분석)

  • Kang, Beomil;Park, Ji-Hong
    • Journal of the Korean Society for information Management
    • /
    • v.30 no.4
    • /
    • pp.195-213
    • /
    • 2013
  • This study aims at establishing the identity of teaching Korean as a Foreign Language (KFL) domain by using journal profiling and co-word analysis in comparison with the relevant and adjacent domains. Firstly, by extracting and comparing topic terms, we calculate the similarity of academic journals of the three domains, KFL, teaching Korean as a Native Language (KNL), and Korean Linguistics (KL). The result shows that the journals of KFL form a distinct cluster from the others. The profiling analysis and co-word analysis are then conducted to visualize the relationship among all the three domains in order to uncover the characteristics of KFL. The findings show that KFL is more similar to KNL than to KL. Finally, the comparison of knowledge structures of these three domains based on the co-word analysis demonstrates the uniqueness of KFL as an independent domain in relation with the other relevant domains.

Japanese-Korean Machine Translation System Using Connection Forms of Neighboring Words (인접 단어들의 접속정보를 이용한 일한 기계번역 시스템)

  • Kim, Jung-In
    • Journal of Korea Multimedia Society
    • /
    • v.7 no.7
    • /
    • pp.998-1008
    • /
    • 2004
  • There are many syntactic similarities between Japanese and Korean languages. Using these similarities, we can make out the Japanese-Korean translation system without most of syntactic analysis and semantic analysis. To improve the translation rates greatly, we have been developing the Japanese-Korean translation system using these similarities from several years ago. However, the system remains some problems such as a translation of inflected words, processing of multi-translatable words and so on. In this paper, we suggest the new method of Japanese-Korean translation by using relations of two neighboring words. To solve the problems, we investigated the connection rules of auxiliary verbs priority. And we design the translation table which is consists of entry tables and connection forms tables. A case of only one translation word, we can translate a Korean to Japanese by direct matching method use of only entry table, otherwise we have to evaluate the connection value by connection forms tables and then we can select the best translation word.

  • PDF