• Title/Summary/Keyword: 키워드 추출 방법

Search Result 355, Processing Time 0.03 seconds

Methodology for Issue-related R&D Keywords Packaging Using Text Mining (텍스트 마이닝 기반의 이슈 관련 R&D 키워드 패키징 방법론)

  • Hyun, Yoonjin;Shun, William Wong Xiu;Kim, Namgyu
    • Journal of Internet Computing and Services
    • /
    • v.16 no.2
    • /
    • pp.57-66
    • /
    • 2015
  • Considerable research efforts are being directed towards analyzing unstructured data such as text files and log files using commercial and noncommercial analytical tools. In particular, researchers are trying to extract meaningful knowledge through text mining in not only business but also many other areas such as politics, economics, and cultural studies. For instance, several studies have examined national pending issues by analyzing large volumes of text on various social issues. However, it is difficult to provide successful information services that can identify R&D documents on specific national pending issues. While users may specify certain keywords relating to national pending issues, they usually fail to retrieve appropriate R&D information primarily due to discrepancies between these terms and the corresponding terms actually used in the R&D documents. Thus, we need an intermediate logic to overcome these discrepancies, also to identify and package appropriate R&D information on specific national pending issues. To address this requirement, three methodologies are proposed in this study-a hybrid methodology for extracting and integrating keywords pertaining to national pending issues, a methodology for packaging R&D information that corresponds to national pending issues, and a methodology for constructing an associative issue network based on relevant R&D information. Data analysis techniques such as text mining, social network analysis, and association rules mining are utilized for establishing these methodologies. As the experiment result, the keyword enhancement rate by the proposed integration methodology reveals to be about 42.8%. For the second objective, three key analyses were conducted and a number of association rules between national pending issue keywords and R&D keywords were derived. The experiment regarding to the third objective, which is issue clustering based on R&D keywords is still in progress and expected to give tangible results in the future.

Development and Evaluation of Information Extraction Module for Postal Address Information (우편주소정보 추출모듈 개발 및 평가)

  • Shin, Hyunkyung;Kim, Hyunseok
    • Journal of Creative Information Culture
    • /
    • v.5 no.2
    • /
    • pp.145-156
    • /
    • 2019
  • In this study, we have developed and evaluated an information extracting module based on the named entity recognition technique. For the given purpose in this paper, the module was designed to apply to the problem dealing with extraction of postal address information from arbitrary documents without any prior knowledge on the document layout. From the perspective of information technique practice, our approach can be said as a probabilistic n-gram (bi- or tri-gram) method which is a generalized technique compared with a uni-gram based keyword matching. It is the main difference between our approach and the conventional methods adopted in natural language processing that applying sentence detection, tokenization, and POS tagging recursively rather than applying the models sequentially. The test results with approximately two thousands documents are presented at this paper.

An Efficient Frequent Melody Indexing Method to Improve Performance of Query-By-Humming System (허밍 질의 처리 시스템의 성능 향상을 위한 효율적인 빈번 멜로디 인덱싱 방법)

  • You, Jin-Hee;Park, Sang-Hyun
    • Journal of KIISE:Databases
    • /
    • v.34 no.4
    • /
    • pp.283-303
    • /
    • 2007
  • Recently, the study of efficient way to store and retrieve enormous music data is becoming the one of important issues in the multimedia database. Most general method of MIR (Music Information Retrieval) includes a text-based approach using text information to search a desired music. However, if users did not remember the keyword about the music, it can not give them correct answers. Moreover, since these types of systems are implemented only for exact matching between the query and music data, it can not mine any information on similar music data. Thus, these systems are inappropriate to achieve similarity matching of music data. In order to solve the problem, we propose an Efficient Query-By-Humming System (EQBHS) with a content-based indexing method that efficiently retrieve and store music when a user inquires with his incorrect humming. For the purpose of accelerating query processing in EQBHS, we design indices for significant melodies, which are 1) frequent melodies occurring many times in a single music, on the assumption that users are to hum what they can easily remember and 2) melodies partitioned by rests. In addition, we propose an error tolerated mapping method from a note to a character to make searching efficient, and the frequent melody extraction algorithm. We verified the assumption for frequent melodies by making up questions and compared the performance of the proposed EQBHS with N-gram by executing various experiments with a number of music data.

Social awareness of Arduino and artificial intelligence using big data analysis

  • Eun-Sang, Lee
    • Journal of the Korea Society of Computer and Information
    • /
    • v.28 no.1
    • /
    • pp.189-199
    • /
    • 2023
  • This study aimed to identify the development direction of Arduino-based boards relating to artificial intelligence based on social awareness identified using big data analytical methods. For the purpose, big data were extracted through the Textom website, focusing on keywords that included 'Arduino + artificial intelligence' and 'Arduino + AI', and these data were refined and analyzed using the Textom website and the UNICET program. In this study, big data analyses, including frequency analysis, TF-IDF analysis, Degree Centrality analysis, N-gram analysis, and CONCOR analysis, were performed. The analyses' results confirmed that keywords relating to education and coding education, keywords relating to making and experience based on Arduino, and keywords relating to programs were the main keywords used in Arduino- and artificial intelligence-related Internet documents, and clusters were formed based on these keywords confirmed. The social awareness of Arduino and artificial intelligence was evaluated, and the direction of board development was identified based on this social awareness. This study is meaningful in that it identified various factors of board development based on the general public's social awareness, which was evaluated using a big data analysis method. This study may serve as a point of reference for future researchers or developers wishing to understand user needs using big data analysis methods.

Automatic Topic Identification Based on the Ontology for Web Documents (온톨로지 기반의 웹 문서 자동 주제 식별)

  • Choi In-Dae;Nam In-Gil;Bu Ki-Dong
    • Journal of Korea Society of Industrial Information Systems
    • /
    • v.9 no.3
    • /
    • pp.38-45
    • /
    • 2004
  • The goal of this research is to develop a method of identifying a topic of a given text by looking at relationship of keywords defined in an ontology hierarchy. The keywords which are extracted from important sentences of the given text are mapped onto their correspond concepts which exist in the hierarchy. After all the words are mapped, the correspond concepts will be generalized into one single concept. The single concept will most likely be the topic of text. Our research have an approach that promotes both satisfaction in term of robustness and accuracy using ontologies and word frequency. So, this attempts are done in what they call as a hybrid approach. We try to take the challenge by using knowledge-statistical base approach. Experimental results show that proposed method outperforms the existing method using knowledge-base only.

  • PDF

Experiments on Pseudo Relevance Feedback in Probabilistic Information Retrieval Model (확률적 정보 검색 모델에서의 유사 적합성 피드백 실험)

  • Cho, Bong-Hyun;Lee, Chang-Kee;An, Joo-Hui;Lee, Gary Geun-Bae
    • Annual Conference on Human and Language Technology
    • /
    • 2001.10d
    • /
    • pp.183-190
    • /
    • 2001
  • 본 논문은 확률기반 자연어 검색 시스템 POSNIR/E를 이용한 여러 가지 유사 적합성 피드백 방법들이 검색 시스템의 성능 향상에 기여할 수 있는 정도를 보여주고, 확률 기반 정보 검색 시스템에 적합한 유사 적합성 피드백 수행 방법을 제시한다. POSNIR/E는 한국어 자연어 검색 시스템, POSNIR를 기반으로 만들어진 영어 자연어 검색 시스템이다. 이 시스템은 성능 향상을 위한 질의 확장의 방법으로 검색 단계에서 유사 적합성 피드백을 사용한다. 검색 단계에서 영어 태거에 의해 태깅된 사용자 질의로부터 질의어를 추출하고 초기 검색을 수행한다. 유사 적합성 피드백을 위하여 초기 검색 결과 중 상위 5개의 문서에 나타나는 키워드를 중요도에 따라 내림차순 정렬하여 상위 10개의 키워드를 초기 질의어에 확장한다. 이렇게 확장된 질의어로 최종 검색을 수행한다. TREC 평가용 테스트 컬렉션 WT10g와 TREC-9의 질의 적합문서 집합을 이용하여 여러 가지 TSV 함수를 사용하여 검색 성능을 평가 하였다. 실험 결과 유사 적합성 피드백을 사용할 경우 TSV 함수에 확률 모델의 CF 요소 뿐만 아니라 TF 요소 등을 적용 시킬 경우 성능 향상에 기여할 수 있음을 알 수 있었다. 또한 색인어와 검색어로 단일어 뿐만 아니라 복합어도 사용할 경우 성능이 향상됨을 알 수 있다.

  • PDF

지능형 전자상거래를 위한 온톨로지의 효율적인 생성

  • Kim, Tae-Seok;Yang, Jin-Hyeok;Lee, Ji-Hong;Son, Jong-Su;Jeong, In-Jeong
    • Proceedings of the Korea Inteligent Information System Society Conference
    • /
    • 2005.11a
    • /
    • pp.273-279
    • /
    • 2005
  • 월드와이드웹 (WWW) 기반의 전자상거래는 주로 데이터베이스를 기반으로 서비스를 제공하고 있다. 그러나 월드와이드웹 기반의 전자상거래는 단순 키워드 검색에만 의존하고 있다. 이러한 검색은 데이터베이스 자체로는 의미적인 정보를 효과적으로 처리하기에는 많은 문제점이 있다. 1999년 말에 의미적인 정보를 효과적으로 처리하기 할 수 있는 시맨틱 웹 이 제안되었다. 시맨틱 웹은 의미적인 정보를 담고 있는 지식베이스(Knowledge Bases)인 온톨로지를 기반으로 하고 있다. 그러나 온툴로지의 생성은 많은 부분을 휴리스틱에 의존하고 있기 때문에 많은 시간과 비용이 소비된다. 따라서 우리는 이와 같은 문제를 해결하기 위하여 데이터베이스에서 온톨로지를 생성하는 방법을 제안한다. 데이터베이스는 도메인을 잘 나타내고 있는 정보의 저장소이므로 데이터베이스로부터의 온톨로지 생성은 분석, 설계 등의 사전 작업이 필요하지 않아 시간과 비용의 소비를 줄 일 수 있는 장점이 있다. 우리는 데이터베이스에서 스키마를 추출, 뼈대그래프$^{1}$ 를 생성하고 개념그래프로 확장하여 도메인을 잘 나타낼 수 있는 온톨로지를 생성하는 알고리즘을 제안하고 제안된 알고리즘을 통하여 온톨로지를 생성을 함으로서 제안된 생성 방법을 검증한다. 제안한 방법으로 생성된 온톨로지는 단순 키워드 검색에서 의미적인 검색을 할 수 있는 시맨틱 웹 서비스의 기반이 되므로 의미적 검색이 가능한 전자상거래 서비스를 구축하는데 시간과 비용의 소비를 줄임으로 차세대 전자상거래의 초석이 된다.

  • PDF

Design and Implementation of a Content-Based Multimedia Information Retrieval System for Cyber Museums (사이버 박물관을 위한 내용 기반 멀티키디어 정보검색 시스템의 설계 및 구현)

  • Sim, Chun-Bo;Song, Gwang-Taek;Jang, Jae-U
    • Journal of KIISE:Computing Practices and Letters
    • /
    • v.5 no.1
    • /
    • pp.88-98
    • /
    • 1999
  • 사이버 박물관과 같은 응용 분야에서는 기존의 단순 속성, 텍스트 키워드 검색 이외에 색상, 형태, 질감과 같은 이미지 특징을 기반으로 하는 효율적인 내용-기반 검색이 요구된다. 본 논문에서는 사이버 박물관을위한 내용-기반 멀티미디어 정보검색 시스템을 설계 및 구현한다. 이를 위해, 박물관 문화재중에서 특히 도자기 이미지 객체에 대해 색상과 형태에 기반한 효율적인 이미지 특징벡터 추출방법을 제안한다. 아울러, 단순 속성 검색에대해서는 B+-트리, 텍스트 키워드 검색에 대해서는 역화일 기법, 그리고 이미지 특징 검색에 대해서는 TV-트리(Telescopic Vector)를 지원하는 통합 검색 기법을 제안한다. 그리고 UNIX OS와 X11R5 라이브러리 환경에서 표준 C 언어를 사용하여 내용 -기반 멀티미디어 정보검색 시스템을 구현한다.

A Logical Framework for Image Object Representation (이미지 개체 표현을 위한 논리적 프레임워크)

  • Choi, Jun-Ho;Kim, Sung-Suk;Choi, Chang;Kim, Pan-Koo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2005.05a
    • /
    • pp.197-200
    • /
    • 2005
  • 의미 기반 영상 검색은 Color, Texture, Region 정보, Spatial Color Distribution 등의 저차원 특징 정보와 이미지 데이터에 의미를 부여하기 위해 주석 처리하는 것이 일반적이다. 그리고 부여된 키워드나 시소러스와 같은 어휘 사전을 이용하여 의미기반 정보검색을 수행하고 있지만, 기존의 키워드기반 텍스트 정보검색의 한계를 벗어나지 못하는 문제를 야기 시킨다. 따라서 본 논문에서는 WordNet 어휘 사전을 확장한 개념적 어휘 체계를 갖는 대형 Ontology를 기반으로 하여 이미지 데이터 내의 객체 인식과 추출된 객체간의 관계를 정의하여 이를 논리적으로 표현할 수 있는 방법을 제시하고자 한다.

  • PDF

Quest ion and Answer ing System of Educational Administration Using Natural Language Processing (자연어처리를 이용한 교육행정의 질의응답시스템)

  • Lee Mi-Na;Youn Sung-Dae
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2005.11b
    • /
    • pp.805-807
    • /
    • 2005
  • 정보통신 기술의 발달로 일반기업체 뿐만 아니라 공공기관 등 행정업무가 필요한 곳에서는 대부분 웹사이트를 통해 사용자에게 원하는 정보를 제공해 주고 있다. 그러므로 대부분의 상업용 사이트들은 사용자에게 보다 편리하게 정보를 제공해 주기 위하여 다양한 정보검색의 접근 방법을 사용하고 있다. 그러나 현재 교육행정의 업무처리 분야에서 정보제공은 웹사이트의 단순 키워드검색을 통하여 사용자가 직접 정보를 찾는 방식으로 이루어지고 있다. 본 논문에서는 자연어처리를 사용한 교육행정의 질의응답시스템을 제안한다. 사용자 질의의 의도를 분석하여 기본사전과 매칭한 후에 추출된 사용자 질의정보를 통해 자동으로 정답 데이터뷰를 생성하여 사용자 의도에 알맞는 정확한 정답을 제공하도록 하였다. 또한 동적인 FAQ 관리기능인 히스토리를 통해서 한번 질의한 정답을 신속히 제공하도록 하였다. 제안한 시스템의 효용성을 검증하기 위해 교육행정정보를 제공하는 간단한 질의응답시스템을 구현하여 적용해본 결과 일반 키워드 검색에서보다 정확하게 정답을 제공해 주는 것을 확인할 수 있었다.

  • PDF