• 제목/요약/키워드: text extraction

검색결과 452건 처리시간 0.029초

Design and Implementation of Web Crawler with Real-Time Keyword Extraction based on the RAKE Algorithm

  • Zhang, Fei;Jang, Sunggyun;Joe, Inwhee
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 추계학술발표대회
    • /
    • pp.395-398
    • /
    • 2017
  • We propose a web crawler system with keyword extraction function in this paper. Researches on the keyword extraction in existing text mining are mostly based on databases which have already been grabbed by documents or corpora, but the purpose of this paper is to establish a real-time keyword extraction system which can extract the keywords of the corresponding text and store them into the database together while grasping the text of the web page. In this paper, we design and implement a crawler combining RAKE keyword extraction algorithm. It can extract keywords from the corresponding content while grasping the content of web page. As a result, the performance of the RAKE algorithm is improved by increasing the weight of the important features (such as the noun appearing in the title). The experimental results show that this method is superior to the existing method and it can extract keywords satisfactorily.

자연영상에서 교통 표지판의 기울기 보정 및 덱스트 추출 (Skew Compensation and Text Extraction of The Traffic Sign in Natural Scenes)

  • 최규담;김성동;최기호
    • 한국ITS학회 논문지
    • /
    • 제3권2호
    • /
    • pp.19-28
    • /
    • 2004
  • 본 논문은 자연영상에서 얻은 교통표지판의 기울기를 보정하고 텍스트를 추출하는 방법을 제안한다. 본 연구는 명도 이미지를 대상으로 모든 과정이 4단계로 이루어진다. 첫째, 자연 영상에서 에지 검출을 위한 전처리 및 Canny 에지 추출을 수행하며, 둘째, 영상의 기울기를 추출하기 위해 허프 변환에 대한 전처리와 후처리를 한 후, 셋째로 잡음영상과 선을 제거하고 텍스트가 가지고 있는 특징을 이용하여 후보영역 검출을 한다 마지막으로 검출된 텍스트 후보영역 안에서 지역적 이진화를 수행한 후, 불필요한 비텍스트 연결 요소를 추려내기 위해 텍스트와 비텍스트 간의 연결요소에 나타나는 특징 차이를 이용하여 텍스트 추출을 수행한다 100장의 샘플영상을 대상으로 실험한 결과 82.54$\%$ 텍스트 추출률과 79.69$\%$ 추출 정확도를 가짐으로써 기존의 런 길이 평활화 방법이나 퓨리어 변환을 이용한 방법보다 더 정확한 텍스트 추출 향상을 보였다. 또한 기울어진 각도 추출에서도 94.3$\%$의 추출률로 기존의 Hough 변환만을 이용한 방법보다 약 26$\%$의 향상을 보였다. 본 연구는 시각 장애인 보행 보조 시스템이나 무인 자동차 운행에 있어 위치 정보를 제공하는데 활용할수 있을 것이다.

  • PDF

디지털 비디오를 위한 획기반 자막 추출 알고리즘 (A Stroke-Based Text Extraction Algorithm for Digital Videos)

  • 정종면;차지훈;김규헌
    • 한국지능시스템학회논문지
    • /
    • 제17권3호
    • /
    • pp.297-303
    • /
    • 2007
  • 본 논문에서는 디지털 비디오를 위한 획기반 자막 추출 알고리즘을 제안한다. 제안된 알고리즘은 자막 탐지, 자막 위치 찾기 자막 분리 단계와 분리된 자막에 대한 기하학적 검증 과정으로 구성된다. 자막 탐지 단계는 연속적으로 입력되는 프레임 중 자막이 존재하는 프레임을 찾는 단계로써, 주어진 프레임으로부터 자막이 될 가능성이 높은 점, 즉 씨앗점을 추출한 다음 씨앗점에 대하여 모폴로지 연산을 수행한다. 자막 위치 찾기 단계는 자막이 존재하는 프레임에서 자막의 위치를 찾는 단계로써, 씨앗점을 포함하는 에지에 대한 모폴로지 연산과 프로젝션을 통해 수행된다. 자막 분리 단계에서는 자막과 배경의 색상 분포와 복잡한 배경을 고려하여 자막을 강건하게 분리한다. 마지막으로 자막에 대한 사전 정보를 이용하여 분리된 자막에 대한 기하학적 검증 과정을 수행하여 최종 결과를 얻는다.

색상레이어를 이용한 스팸메일 영상에서의 텍스트 영역 추출 (Extraction of Text Regions from Spam-Mail Images Using Color Layers)

  • 김지수;김수형;한승완;남택용;손화정;오성열
    • 정보처리학회논문지B
    • /
    • 제13B권4호
    • /
    • pp.409-416
    • /
    • 2006
  • 본 논문에서는 스팸메일 영상에서 텍스트 영역의 추출을 위한 색상 레이어기반의 알고리즘을 제안한다. CLTE(color layer-based text extraction)는 색상 레이어를 사용하여 영상을 8개로 나눈다. 8개 각각의 영상에서 연결요소를 추출한 후, 연결요소의 크기에 의해서 텍스트 영역과 비텍스트 영역을 분류하고 텍스트 영역을 추출한다. 또한, 추출된 텍스트 영역으로부터 회손된 획 정보를 복구하는 알고리즘을 제안한다. 이진영상내의 한글 문자에는 두 가지 형태의 손상된 획이 존재한다. 첫째 중성 획에 해당하는 'ㅣ' 나 'ㅡ' 등의 획들이 지워지는 경우와, 둘째 초 종성 획에 해당하는 'ㅁ' 이나 'ㅇ'이 흑화소로 채워지는 경우가 있다. 제안한 알고리즘은 이러한 두 가지 손상된 획들을 복구해준다. 200개의 스팸메일 영상을 사용한 실험 결과 제안한 알고리즘이 기존의 텍스트 추출 알고리즘보다 10% 이상 우수함을 관측하였다.

해리스 코너 검출기를 이용한 비디오 자막 영역 추출 (Text Region Extraction from Videos using the Harris Corner Detector)

  • 김원준;김창익
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제34권7호
    • /
    • pp.646-654
    • /
    • 2007
  • 최근 많은 TV 영상에서 시청자의 시각적 편의와 이해를 고려하여 자막을 삽입하는 경우가 늘어나고 있다. 본 논문에서는 자막을 비디오 내 하단부에 위치하는 인위적으로 추가된 글자 영역으로 정의한다. 이러한 자막 영역의 추출은 비디오 정보 검색(video information retrieval)이나 비디오 색인(video indexing)과 같은 응용에서 글자 추출을 위한 첫 단계로 널리 쓰인다. 기존의 자막 영역 추출은 자막의 색, 자막과 배경의 자기 대비, 에지(edge), 글자 필터 등을 이용한 방법을 사용하였다. 그러나 비디오 영상내 자막이 갖는 낮은 해상도와 복잡한 배경으로 인해 자막 추출에 어려움이 있다. 이에 본 논문은 코너검출기(corner detector)를 이용한 효율적인 비디오 자막 영역 추출 방법을 제안하고자 한다. 제안하는 알고리즘은 해리스 코너 검출기를 이용한 코너 맵 생성, 코너 밀도를 이용한 자막 영역 후보군 추출, 레이블링(labeling)을 이용한 최종 자막 영역 결정, 노이즈(noise) 제거 및 영역 채우기의 네 단계로 구성된다. 제안하는 알고리즘은 색 정보를 이용하지 않기 때문에 여러 가지 색으로 표현되는 자막 영역 추출에 적용가능하며 글자 모양이 아닌 글자의 코너를 이용하기 때문에 언어의 종류에 관계없이 사용 될 수 있다. 또한 프레임간 자막 영역 업데이트를 통해 자막 영역 추출의 효율을 높였다. 다양한 영상에 대한 실험을 통해 제안하는 알고리즘이 효율적인 비디오 자막 영역 추출 방법임을 보이고자 한다.

복잡한 영상 내의 문자영역 추출을 위한 텍스춰와 연결성분 방법의 결합 (Hybrid Approach of Texture and Connected Component Methods for Text Extraction in Complex Images)

  • 정기철
    • 대한전자공학회논문지SP
    • /
    • 제41권6호
    • /
    • pp.175-186
    • /
    • 2004
  • 본 논문은 복잡한 컬러 영상에서의 문자 추출을 위한 텍스춰와 연결성분 방법의 결합된 방법을 제안한다. 자동 학습 방법으로 구축된 다층 신경망(multilayer perceptron)은 부트스트랩 학습 방법을 사용함으로써 별도의 특징값 추출 단계 없이 다양한 환경의 입력 영상에 대한 검출률(recall rate)을 향상시키며, 검출률을 향상함으로써 발생되는 정확도(precision rate) 저하 문제는, NMF(Non-negative matrix factorization)를 이용한 연결 성분 방법을 사용함으로써 극복한다. 문자의 존재 비율이 낮은 입력영상에 대하여 CAMShift 알고리즘을 이용한 영역 마킹 방법을 사용함으로써, 두 방법을 결합함으로써 야기되는 속도 저하 문제의 해결을 시도하였다. 이와 같이 텍스춰와 연결성분 방법을 결합함으로써 강건하고 효율적인 시스템을 구성할 수 있었다.

문자열 검출을 위한 슬라브 영역 추정 (Slab Region Localization for Text Extraction using SIFT Features)

  • 최종현;최성후;윤종필;구근휘;김상우
    • 전기학회논문지
    • /
    • 제58권5호
    • /
    • pp.1025-1034
    • /
    • 2009
  • In steel making production line, steel slabs are given a unique identification number. This identification number, Slab management number(SMN), gives information about the use of the slab. Identification of SMN has been done by humans for several years, but this is expensive and not accurate and it has been a heavy burden on the workers. Consequently, to improve efficiency, automatic recognition system is desirable. Generally, a recognition system consists of text localization, text extraction, character segmentation, and character recognition. For exact SMN identification, all the stage of the recognition system must be successful. In particular, the text localization is great important stage and difficult to process. However, because of many text-like patterns in a complex background and high fuzziness between the slab and background, directly extracting text region is difficult to process. If the slab region including SMN can be detected precisely, text localization algorithm will be able to be developed on the more simple method and the processing time of the overall recognition system will be reduced. This paper describes about the slab region localization using SIFT(Scale Invariant Feature Transform) features in the image. First, SIFT algorithm is applied the captured background and slab image, then features of two images are matched by Nearest Neighbor(NN) algorithm. However, correct matching rate can be low when two images are matched. Thus, to remove incorrect match between the features of two images, geometric locations of the matched two feature points are used. Finally, search rectangle method is performed in correct matching features, and then the top boundary and side boundaries of the slab region are determined. For this processes, we can reduce search region for extraction of SMN from the slab image. Most cases, to extract text region, search region is heuristically fixed [1][2]. However, the proposed algorithm is more analytic than other algorithms, because the search region is not fixed and the slab region is searched in the whole image. Experimental results show that the proposed algorithm has a good performance.

An Efficient Damage Information Extraction from Government Disaster Reports

  • Shin, Sungho;Hong, Seungkyun;Song, Sa-Kwang
    • 인터넷정보학회논문지
    • /
    • 제18권6호
    • /
    • pp.55-63
    • /
    • 2017
  • One of the purposes of Information Technology (IT) is to support human response to natural and social problems such as natural disasters and spread of disease, and to improve the quality of human life. Recent climate change has happened worldwide, natural disasters threaten the quality of life, and human safety is no longer guaranteed. IT must be able to support tasks related to disaster response, and more importantly, it should be used to predict and minimize future damage. In South Korea, the data related to the damage is checked out by each local government and then federal government aggregates it. This data is included in disaster reports that the federal government discloses by disaster case, but it is difficult to obtain raw data of the damage even for research purposes. In order to obtain data, information extraction may be applied to disaster reports. In the field of information extraction, most of the extraction targets are web documents, commercial reports, SNS text, and so on. There is little research on information extraction for government disaster reports. They are mostly text, but the structure of each sentence is very different from that of news articles and commercial reports. The features of the government disaster report should be carefully considered. In this paper, information extraction method for South Korea government reports in the word format is presented. This method is based on patterns and dictionaries and provides some additional ideas for tokenizing the damage representation of the text. The experiment result is F1 score of 80.2 on the test set. This is close to cutting-edge information extraction performance before applying the recent deep learning algorithms.

웹 영상에 포함된 문자 영역의 추출 (Text Extraction In WWW Images)

  • 김상현;심재창;김중수
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2000년도 하계종합학술대회 논문집(4)
    • /
    • pp.15-18
    • /
    • 2000
  • In this paper, we propose a method for text extraction in the Web images. Our approach is based on contrast detecting and pixel component ratio analysis in mouse position. Extracted data with OCR can be used for real time dictionary call or language translation application in Web browser.

  • PDF

Biomedical Ontologies and Text Mining for Biomedicine and Healthcare: A Survey

  • Yoo, Ill-Hoi;Song, Min
    • Journal of Computing Science and Engineering
    • /
    • 제2권2호
    • /
    • pp.109-136
    • /
    • 2008
  • In this survey paper, we discuss biomedical ontologies and major text mining techniques applied to biomedicine and healthcare. Biomedical ontologies such as UMLS are currently being adopted in text mining approaches because they provide domain knowledge for text mining approaches. In addition, biomedical ontologies enable us to resolve many linguistic problems when text mining approaches handle biomedical literature. As the first example of text mining, document clustering is surveyed. Because a document set is normally multiple topic, text mining approaches use document clustering as a preprocessing step to group similar documents. Additionally, document clustering is able to inform the biomedical literature searches required for the practice of evidence-based medicine. We introduce Swanson's UnDiscovered Public Knowledge (UDPK) model to generate biomedical hypotheses from biomedical literature such as MEDLINE by discovering novel connections among logically-related biomedical concepts. Another important area of text mining is document classification. Document classification is a valuable tool for biomedical tasks that involve large amounts of text. We survey well-known classification techniques in biomedicine. As the last example of text mining in biomedicine and healthcare, we survey information extraction. Information extraction is the process of scanning text for information relevant to some interest, including extracting entities, relations, and events. We also address techniques and issues of evaluating text mining applications in biomedicine and healthcare.