• 대한산업공학회지
• /
• 제40권1호
• /
• pp.18-33
• /
• 2014

A Word is the smallest unit for text analysis, and the premise behind most text-mining algorithms is that the words in given documents can be perfectly recognized. However, the newly coined words, spelling and spacing errors, and domain adaptation problems make it difficult to recognize words correctly. To make matters worse, obtaining a sufficient amount of training data that can be used in any situation is not only unrealistic but also inefficient. Therefore, an automatical word extraction method which does not require a training process is desperately needed. WordRank, the most widely used unsupervised word extraction algorithm for Chinese and Japanese, shows a poor word extraction performance in Korean due to different language structures. In this paper, we first discuss why WordRank has a poor performance in Korean, and propose a customized WordRank algorithm for Korean, named KR-WordRank, by considering its linguistic characteristics and by improving the robustness to noise in text documents. Experiment results show that the performance of KR-WordRank is significantly better than that of the original WordRank in Korean. In addition, it is found that not only can our proposed algorithm extract proper words but also identify candidate keywords for an effective document summarization.

• 디지털콘텐츠학회 논문지
• /
• 제18권4호
• /
• pp.777-785
• /
• 2017

실세계에서 텍스트가 포함 된 장면은 텍스트를 추출하고 인식하여 많은 정보를 얻을 수 있으므로, 장면의 텍스트 영역을 추출하고 인식하는 기술들은 꾸준히 발전하고 있다. 장면에서 텍스트 영역을 추출하는 기술은 크게 텍스쳐를 기반으로 하는 방법과 연결요소방법, 그리고 이 둘을 적절히 혼합하는 방법들로 구분 할 수 있다. 텍스처를 기반으로 하는 방법은 영상의 색상, 명도 등의 정보를 이용하여 텍스트가 다른 요소와는 다른 값을 갖는다는 것을 기반으로 한다. 연결 요소 방법은 장면의 각 화소마다 인접해 있는 유사 화소를 연결 요소로 만들어 기하학적인 특성을 이용하여 판별한다. 본 논문에서는 텍스트 영역 추출의 정확도를 높이기 위해 영상의 기울기를 검출하고 보정한 후 에지를 적응적으로 변경하는 방법을 제안한다. 제안 방법은 영상의 기울기를 보정한 후 텍스트가 포함 된 정확한 영역만 추출하기 때문에 MSER보다 15%, EEMSER보다 10% 더 정확하게 영역을 얻었다.

• 한국융합학회논문지
• /
• 제8권8호
• /
• pp.33-40
• /
• 2017

본 논문은 이미지에서 효과적인 문자검출을 위해 색상단순화 및 윤곽선에서의 패턴 분석을 통한 문자 검출방법을 제안한다. 윤곽선 기반방법을 사용하는 문자검출 알고리즘은 단순한 배경의 이미지에서는 우수한 성능을 보이지만, 복잡한 배경의 이미지에서는 성능이 떨어지는 단점이 있다. 따라서 제안하는 방법은 복잡한 배경에서의 비문자영역을 최소화하기 위해 이미지 단순화 및 패턴분석을 통한 문자 검출 알고리즘을 제안한다. 먼저 이미지에서의 문자영역 부분을 검출하기 위하여 전처리 과정으로 K-means 군집화를 사용하여 이미지의 색상을 단순화하고, 색상 단순화 과정에서의 물체의 경계의 흐릿해짐을 개선하기 위해 고주파통과필터를 통해 물체의 경계를 강화한다. 그 후 모폴로지 기법의 팽창과 침식의 차이를 이용하여 물체의 윤곽선을 검출하고, 획득한 영역의 윤곽선 부분의 정보(높이, 너비 면적)를 구한 후 패턴분석을 통해 조건을 줌으로써 문자 후보영역을 판별하여 문자가 아닌 불필요한 영역(그림, 배경)을 제거한다. 최종 결과로 라벨링을 통해 불필요한 영역이 제거된 결과를 보여준다.

• 한국전자거래학회지
• /
• 제14권4호
• /
• pp.59-73
• /
• 2009

키워드 추출은 정보검색, 문서 분류, 요약, 주제탐지 등의 텍스트 마이닝 분야에서 기반이 되는 기술이다. 대용량 전자문서로부터 추출된 키워드들은 텍스트 마이닝을 위한 중요 속성으로 활용되어 문서 브라우징, 주제탐지, 자동분류, 정보검색 시스템 등의 성능을 높이는데 기여한다. 본 논문에서는 인터넷 포털 사이트에 게재되는 대용량 뉴스문서집합을 대상으로 키워드 추출을 수행하여 분야별 주제를 제시할 수 있는 키워드를 추출하는 새로운 기법을 제안한다. 기본적으로 키워드 추출을 위해 기존 TF-IDF 모델을 고찰, 이것의 6가지 변형식을고안하여 이를 기반으로 각 분야별 후보 키워드를 추출한다. 또한 분야별로 추출된 단어들의 분야간 교차비교분석을 통해 불용어 수준의 의미 없는 단어를 제거함으로써 그 성능을 높인다. 제안 기법의 효용성을 입증하기 위해 한글 뉴스 기사 문서에서 추출한 키워드의 질을 비교하였으며, 또한 주제 변화를 탐지하기 위해 시간에 따른 키워드 집합의 변화를 보인다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제32권2호
• /
• pp.85-98
• /
• 2005

최근, PDA를 이용한 모바일 비젼 시스템에 관한 많은 연구가 진행되고 있다. 대부분의 PDA에서 사용하는 CPU는 실수 연산 구성요소(floating-computation component)가 없는 정수(integer)형 CPU를 사용하므로, 실수 연산이 많은 영상 처리 및 비젼 시스템에서는 많은 시간이 소요되는 단점이 있다 본 논문에서는 이를 해결하기 위해 무선 랜(LAN)으로 연결된 Client(PDA)/server(PC)구조론 이용한 시스템을 제안하며, 연속 영상에서 Client(PDA)와 Server(PC) 각각의 CPU를 이용하여 파이프라이닝 형식으로 시스템을 구축함으로써 수행 시간을 단축한다. Client(PDA)는 에지 밀도(edge density)론 이용하여 대략적인 문자 영역을 추출하며, Server(PC)는 Client(PDA)에서 대략적으로 검출된 견과를 바탕으로 정밀한 문자 영역을 추출하기 위해, MLP(multi-layer perceptron) 기반의 텍스춰 분류 방법과 연결 성분(connected component: CC) 기반의 필터링 방법을 이용한다. 본 실험에서 제안한 방법은 MLP와 CC를 이용함으로써 효과적인 문자 추출 결과를 보였으며, 파이프라이닝 형식의 Client(PDA)/server(PC)구조를 이용함으로써 빠른 수행 시간을 보였다.

• Journal of Computing Science and Engineering
• /
• 제5권3호
• /
• pp.161-166
• /
• 2011

We present a fast algorithm for Korean text extraction and segmentation from subway signboards using smart phone sensors in order to minimize computational time and memory usage. The algorithm can be used as preprocessing steps for optical character recognition (OCR): binarization, text location, and segmentation. An image of a signboard captured by smart phone camera while holding smart phone by an arbitrary angle is rotated by the detected angle, as if the image was taken by holding a smart phone horizontally. Binarization is only performed once on the subset of connected components instead of the whole image area, resulting in a large reduction in computational time. Text location is guided by user's marker-line placed over the region of interest in binarized image via smart phone touch screen. Then, text segmentation utilizes the data of connected components received in the binarization step, and cuts the string into individual images for designated characters. The resulting data could be used as OCR input, hence solving the most difficult part of OCR on text area included in natural scene images. The experimental results showed that the binarization algorithm of our method is 3.5 and 3.7 times faster than Niblack and Sauvola adaptive-thresholding algorithms, respectively. In addition, our method achieved better quality than other methods.

• 한국산학기술학회논문지
• /
• 제7권6호
• /
• pp.1167-1174
• /
• 2006

자연이미지로부터 텍스트 영역 추출은 자동차 번호판 인식 등과 같은 많은 응용프로그램에서 유용하다. 따라서 본 논문은 문자-에지 맵의 패턴 히스토그램을 이용한 텍스트 영역을 추출하는 방법을 제안한다. 16종류의 에지맵을 생성하고, 이것을 조합하여 문자 특징을 갖는 8종류 문자-에지 맵 특징을 추출한다. 문자-에지 맵의 특징을 이용하여 텍스트 후보 영역을 추출하고, 텍스트 후보 영역에 대한 검증은 문자-에지 맵의 패턴 히스토그램 및 텍스트 영역의 구조적 특징을 이용하였다. 실험결과 제안한 방법은 복잡한 배경, 다양한 글꼴, 다양한 텍스트 컬러로 구성된 자연이미지로부터 텍스트 영역을 효과적으로 추출하였다.

• 정보과학회 논문지
• /
• 제44권5호
• /
• pp.522-536
• /
• 2017

키워드 추출은 주어진 문서로부터 문서의 주제나 내용에 관련된 단어들을 추출해내는 방법으로 대량의 문서를 다루는 텍스트마이닝 연구들이 전처리에서 공통적으로 거치는 대표 자질 추출에서 중요하게 활용될 수 있다. 본 논문에서는 하나의 문서의 주제에 적합한 키워드를 추출하기 위해 문서에 출현한 단어들 사이의 동시출현관계, 동시출현 단어 쌍 사이의 출현 종속 관계, 단어들 사이의 공통 부분단어 관계 등의 다양한 관계들을 특징으로 활용하여 구축한 계층적 그래프 모델을 제안하고, 그래프를 구성하는 정점(Vertex)들의 중요도를 평가할 때 입력 간선(Edge)에 의한 영향뿐만 아니라 출력 간선에 의한 영향도 고려한 새로운 중요도 산출 방법을 제안하며, 이를 토대로 점진적으로 키워드를 추출해내는 방안을 제안한다. 그리고 제안한 방법의 정확성과 주제적 포괄성 검증을 위해 다양한 분야의 주제를 가진 문서 데이터에 다양한 평가방법을 적용해 기존의 방법보다 전체적으로 더 나은 성능을 보임을 확인하였다.

• 한국컴퓨터정보학회논문지
• /
• 제26권8호
• /
• pp.47-54
• /
• 2021

핵심구 추출은 문서의 내용을 대표하는 주제 용어를 자동 추출하는 작업이다. 비지도 방식 핵심구 추출에서는 문서 텍스트로부터 핵심구 후보 용어가 되는 단어나 구를 추출하고 후보 용어에 부여된 중요도에 기반하여 최종 핵심구들이 선택된다. 본 논문에서는 비지도 방식 핵심구 후보 용어 중요도 계산에서 단어 유형 후보 용어와 구 유형 후보 용어의 중요도를 조정하는 방법을 제안한다. 이를 위해 핵심구 추출 대상 문서 텍스트로부터 후보 용어 집합의 타입-토큰 비율과 고빈도 대표 용어의 정보량을 단어 유형과 구 유형으로 구분하여 수집한 후 중요도 조정에 활용한다. 실험에서는 영어로 작성된 full-text 논문을 대상으로 구축된 4개 서로 다른 핵심구 추출 평가집합들을 사용하여 성능 평가를 수행하였고, 제안된 중요도 조정 방법은 3개 평가집합들에서 베이스 라인 및 비교 방법들보다 높은 성능을 보였다.

• East Asian mathematical journal
• /
• 제37권5호
• /
• pp.599-612
• /
• 2021

In China, Weibo is one of the social platforms with more users. It has the characteristics of fast information transmission and wide coverage. People can comment on a certain event on Weibo to express their emotions and attitudes. Judging the emotional tendency of users' comments is not only beneficial to the monitoring of the management department, but also has very high application value for rumor suppression, public opinion guidance, and marketing. This paper proposes a two-input Adaboost model based on TextCNN and BiLSTM. Use the TextCNN model that can perform local feature extraction and the BiLSTM model that can perform global feature extraction to process comment data in parallel. Finally, the classification results of the two models are fused through the improved Adaboost algorithm to improve the accuracy of text classification.