• Proceedings of the Korea Information Processing Society Conference
• /
• 2012.11a
• /
• pp.1710-1712
• /
• 2012

최근 Twitter를 비롯한 소셜 네트워크 서비스의 급속한 확산으로 인해, 많은 수의 SNS 메시지가 실시간으로 생성되고 있다. 이러한 SNS상에서의 단문 글들을 실시간으로 분석하여 최신의 트렌드를 추출해 낼 수 있다면, 사용자에게 유용한 정보를 제공하는 것이 가능하다. 본 논문에서는 다량의 Tweet글들에 대한 실시간 분석을 바탕으로 트렌드를 추출하고 연관된 키워드를 제공하는 기법을 제안한다. 제안하는 기법은 실시간으로 생성되는 Tweet내에서 영어의 언어적 특성을 활용하여 최근 이슈화된 트렌드 키워드를 추출해낸다. 또한, Tweet 내에서 각 트렌드 키워드간 관계를 분석하여 연관 키워드를 제공하며, 동시에 Wikipedia와 Google에서의 검색을 통하여 다른 형태의 연관 키워드도 추출한다. 이 모든 과정은 제안된 트렌드 추출 알고리즘을 통해 실시간으로 제공된다. 제안된 기법을 바탕으로 시스템을 구현하고 다양한 실험을 통하여 키워드의 유효성 및 처리 속도 면에서 시스템의 성능을 평가한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2013.11a
• /
• pp.1160-1161
• /
• 2013

현대에 이르러 개인의 힘으로는 해결하기 난해한 문제들이 갈수록 많아지고 있다. 따라서 문제를 해결하기 위한 정보의 유통 구조도 기존의 수직적이고 단방향적인 구조에서 수평적이고 양방향적인 구조로 변화하고 있다. 이에 맞추어 웹 2.0 플랫폼이 대두되었고 위키피디아, 지식 검색 등 집단의 힘을 빌려 문제를 해결하는 방법들이 주목을 받고 있다. 하지만 집단의 힘에 기대어 정보를 생산하는 것이 언제나 옳고 효율적이라고 말할 수 없다. 누구든 참여할 수 있다는 특징으로 인해 악용되는 부작용도 있을뿐더러 전문적인 의견이 필요한 영역의 경우에는 일반 지식의 힘이 도움이 못 되는 경우도 발생할 수 있다. 따라서 본 연구에서는 대중들에게 쉽게 사용되고 있는 검색 사이트와 집단 지성의 대표 사례 중 하나인 위키 피디아를 통해 집단 지성의 힘이 충분히 발휘될 수 있는 문제의 영역에 대해 탐색하고자 한다.

• The Journal of Information Systems
• /
• v.30 no.2
• /
• pp.57-78
• /
• 2021

Purpose In this study, first, we try to make embedding results that reflect the characteristics of both professional and general documents. In addition, when disparate documents are put together as learning materials for natural language processing, we try to propose a method that can measure the degree of reflection of the characteristics of individual domains in a quantitative way. Approach For this study, the Korean Supreme Court Precedent documents and Korean Wikipedia are selected as specialized documents and general documents respectively. After extracting the most similar word pairs and similarities of unique words observed only in the specialized documents, we observed how those values were changed in the process of embedding with general documents. Findings According to the measurement methods proposed in this study, it was confirmed that the degree of specificity of specialized documents was relaxed in the process of combining with general documents, and that the degree of dissolution could have a positive correlation with the size of general documents.

• International Journal of Computer Science & Network Security
• /
• v.22 no.8
• /
• pp.399-403
• /
• 2022

Natural texts are analyzed to obtain their intended meaning to be classified depending on the problem under study. One way to represent words is by generating vectors of real values to encode the meaning; this is called word embedding. Similarities between word representations are measured to identify text class. Word embeddings can be created using word2vec technique. However, recently fastText was implemented to provide better results when it is used with classifiers. In this paper, we will study the performance of well-known classifiers when using both techniques for word embedding with Arabic dataset. We applied them to real data collected from Wikipedia, and we found that both word2vec and fastText had similar accuracy with all used classifiers.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2011.04a
• /
• pp.297-299
• /
• 2011

자연어 처리 분야 중 현재 가장 활용도가 높은 분야는 질의어 추천기능, 단어 자동 완성 기능 등으로 정보검색에서 사용자가 입력한 문자들을 바탕으로 질의어를 완성해주는 것이다. 이러한 기능을 위해서는 문서 내용을 고려한 N-Gram 데이터 구축이 필수적이다. 본 논문에서는 문서 편집기나 검색엔진의 질의어 추천 등에 많이 활용되는 N-Gram 데이터의 전문용어별 구축을 위해 위키피디아 문서를 이용하는 방안을 제시하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2011.11a
• /
• pp.361-364
• /
• 2011

오늘날, 웹 공간에서는 사진과 같은 멀티미디어 자료를 공유하기 위하여 다양한 방법으로 문서의 정보를 표현하고 있다. 이러한 정보를 이용하기 위해 제목, 내용등에서 형태소 분석을 통해 의미가 있는 단어들을 이용하는 경우도 있지만 그 문서 혹은 자료와 관련있는 태그를 기입하고 활용하는 것이 보편화 되어 있다. 본 연구에서는 위키피디아 문서를 이용하여 이미지 태그들 사이의 연관성을 활용하여 이미지 검색 순위를 조정하였다. 약 1000만건의 문서로 이루어진 위키피디아를 이용하여 태그들의 연관성을 계산하였으며, 실험결과 태그 기반의 이미지를 검색 할 때 향상된 결과를 얻을 수 있었다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.233-236
• /
• 2020

개체 연결 태스크는 문장 내에 등장하는 멘션(Mention)들을 위키피디아(Wikipedia)와 같은 지식 베이스 상의 실제 개체에 연결하는 태스크이다. 본 논문에서는 각 멘션을 시멘틱(Semantic)으로 분류하여 각 시멘틱별 추가 학습을 진행할 수 있는 Adapter Memory Network 모델을 제안한다. 이는 각 시멘틱 별 학습을 하나의 통합된 과정으로 진행하도록 하는 모델이며, 본 논문에서는 Adapter Memory Network 모델을 통해 기존 개체 연결 태스크에서 높은 성능을 보이는 NIL 멘션 탐지와 개체 연결의 통합 모델의 성능을 향상시켰음을 보인다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.20-23
• /
• 2020

개체 연결이란 문서에서 등장한 멘션(Mention)들을 지식 기반(Knowledge Base)상의 하나의 개체에 연결하는 문제를 말한다. 개체 연결은 개체를 찾는 멘션 탐지(mention detection)과정과 인식된 멘션에 대해 중의성을 해결하여 하나의 개체를 찾는 개체 중의성 해결(Entity disambiguation)과정으로 구성된다. 본 논문에서는 개체 정보를 강화하기 위해 wikipedia2vec정보를 결합하여 Entity 정보를 강화하고 문장 내에 모든 개체 정보를 활용하기 위해 집합적 개체를 정의하고 그래프 구조를 표현하기 위해 GNN을 활용하여 기존보다 높은 성능을 이끌어내었다.

• Educational Technology International
• /
• v.9 no.1
• /
• pp.49-77
• /
• 2008

As clearly suggested in the case of Wikipedia, collective intelligence is predicted to develop into the most important platform of knowledge and information in the future society. But it just remains at the level of activities for group projects in the present frame of education and so it doesn't lead to creating collective intelligence. This study looks into an 'information repository model of collective intelligence' that makes it possible to deliver an education process a priori of Shared Knowledge Reservoir to "Junior Digital Nomad", who is definitely and will be in existence, and that further enables them to be active there in reality. Based on this storage model, it suggests a practicable web system model; Junior Maphistory e-encyclopedia, which is appropriately consistent with the features of Web 2.0 and can grow into a general historical and geographical information service.

• East Asian mathematical journal
• /
• v.40 no.3
• /
• pp.307-318
• /
• 2024

This paper explores the application of matrix factorization, specifically CUR decomposition, in the clustering of Korean language documents by topic. It addresses the unique challenges of Natural Language Processing (NLP) in dealing with the Korean language's distinctive features, such as agglutinative words and morphological ambiguity. The study compares the effectiveness of Latent Semantic Analysis (LSA) using CUR decomposition with the classical Singular Value Decomposition (SVD) method in the context of Korean text. Experiments are conducted using Korean Wikipedia documents and newspaper data, providing insight into the accuracy and efficiency of these techniques. The findings demonstrate the potential of CUR decomposition to improve the accuracy of document clustering in Korean, offering a valuable approach to text mining and information retrieval in agglutinative languages.