• Database Research
• /
• v.34 no.3
• /
• pp.148-158
• /
• 2018

The optical character recognition (OCR) is a technique to extract and recognize texts from images. It is an important preprocessing step in data analysis since most actual text information is embedded in images. Many OCR engines have high recognition accuracy for images where texts are clearly separable from background, such as white background and black lettering. However, they have low recognition accuracy for images where texts are not easily separable from complex background. To improve this low accuracy problem with complex images, it is necessary to transform the input image to make texts more noticeable. In this paper, we propose a method to segment an input image into text lines to enable OCR engines to recognize each line more efficiently, and to determine the final output by comparing the recognition rates of CLAHE module and Two-step module which distinguish texts from background regions based on image processing techniques. Through thorough experiments comparing with well-known OCR engines, Tesseract and Abbyy, we show that our proposed method have the best recognition accuracy with complex background images.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2023.07a
• /
• pp.3-4
• /
• 2023

자연어처리는 수많은 정보가 수집된 전자의무기록의 비정형 데이터에서 유의미한 정보나 패턴 등을 추출해 의료진의 의사결정을 지원하고, 환자에게 더 나은 진단이나 치료 등을 지원할 수 있어 큰 잠재력을 가지고 있다. 그러나 전자의무기록은 개인정보와 같은 민감한 정보가 다수 포함되어 있어 접근하기 어렵고, 이로 인해 충분한 양의 데이터를 확보하기 어렵다. 따라서 본 논문에서는 신뢰할 수 있는 의료 합성 텍스트를 생성하기 위해 ChatGPT 기반 의료 텍스트 증강 도구를 개발하였다. 이는 사용자가 입력한 실제 의료 텍스트로 의료 합성 데이터를 생성한다. 이를 위해, 적합한 프롬프트와 의료 텍스트에 대한 전처리 방법을 탐색하였다. ChatGPT 기반 의료 텍스트 증강 도구는 입력 텍스트의 핵심 키워드를 잘 유지하였고, 사실에 기반한 의료 합성 텍스트를 생성할 수 있다는 것을 확인할 수 있었다.

• The Journal of the Convergence on Culture Technology
• /
• v.8 no.6
• /
• pp.891-897
• /
• 2022

In big data analysis, raw text data mostly exists in various unstructured data forms, so it becomes a structured data form that can be analyzed only after undergoing heuristic pre-processing and computer post-processing cleansing. Therefore, in this study, unnecessary elements are purified through pre-processing of the collected raw data in order to apply the wordcloud of R program, which is one of the text data analysis techniques, and stopwords are removed in the post-processing process. Then, a case study of wordcloud analysis was conducted, which calculates the frequency of occurrence of words and expresses words with high frequency as key issues. In this study, to improve the problems of the "nested stopword source code" method, which is the existing stopword processing method, using the word cloud technique of R, we propose the use of "general stopword corpus" and "user-defined stopword corpus" and conduct case analysis. The advantages and disadvantages of the proposed "unstructured data cleansing process model" are comparatively verified and presented, and the practical application of word cloud visualization analysis using the "proposed external corpus cleansing technique" is presented.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2022.05a
• /
• pp.189-191
• /
• 2022

In modern society, messenger services are necessary to communication with others, and criminals are no exception. In representative cases of Burning Sun Gate(2018) and NthRoom(2019), messenger data analysis was used as a smoking gun to solve these criminal cases. Therefore messenger text analytics is critical for the resolution of crimes in a modern environment. also, it takes a lot of time to analyze messenger data in the digital forensic investigation process, so researchers in text mining need to be more effective to respond with the current situation In this paper, we study various natural language preprocessing(NLP) methods according to the characteristics of instant messages to effectively proceed with NLP analysis on instant messengers.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2022.01a
• /
• pp.13-16
• /
• 2022

LSTM과 같은 딥러닝 기법을 이용해 언어모델을 얻는 과정에서 일종의 부산물로 학습 대상인 말뭉치를 구성하는 어휘의 단어벡터를 얻을 수 있다. 단어벡터의 차원을 2차원으로 감소시킨 후 이를 평면에 도시하면 대상 문장/문서의 핵심 어휘 사이의 상대적인 거리와 각도 등을 직관적으로 확인할 수 있다. 본 연구에서는 기형도의 시(詩)을 중심으로 특정 작품을 선정한 후 시를 구성하는 핵심 어휘들의 차원 감소된 단어벡터를 2D 평면에 도시하여, 단어벡터를 얻기 위한 텍스트 전처리 방식에 따라 그 거리/각도가 달라지는 양상을 분석해 보았다. 어휘 사이의 거리에 의해 군집/분류의 결과가 달라질 수 있고, 각도에 의해 유사도/유추 연산의 결과가 달라질 수 있으므로, 평면상에서 핵심 어휘들의 상대적인 거리/각도의 직관적 확인을 통해 군집/분류작업과 유사도 추천/유추 등의 작업 결과의 양상 변화를 확인할 수 있었다. 이상의 결과를 통해, 영화 추천/리뷰나 문학작품과 같이 단어 하나하나의 배치에 따라 그 분위기와 정동이 달라지는 분야의 경우 텍스트 전처리에 따른 거리/각도 변화를 미리 직관적으로 확인한다면 분류/유사도 추천과 같은 작업을 좀 더 정밀하게 수행할 수 있을 것으로 판단된다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2005.05a
• /
• pp.805-808
• /
• 2005

엔트로피부호화(entropy coding)는 텍스트와 같은 일반적인 데이터들을 효율적으로 압축하는 반면에, 이미지 데이터들에 대해서는 그 성능이 다소 저하된다. 본 논문에서는 이러한 단점을 개선시키기 위한 효율적인 전처리기법(preprocessing technique)을 소개한다. 제안한 전처리기법은 입력된 명암도 등급 이미지를 무손실 압축하기 이전에, 이미지 내에서 인접한 명암도 값들의 발생빈도(occurrence frequency)를 조사한다. 다음으로 각 픽셀 쌍들의 명암도 값들을 발생빈도에 기반한 순서화된 값(ordered number)들로 대체시킨 후, 최종적으로 엔트로피부호화에 의한 압축을 수행한다. 이와 같은 단계들을 거치면서 이미지 데이터의 통계적인 특성(statistical feature)이 보다 강화되기 때문에, 엔트로피부호화에서의 무손실 압축 성능을 효율적으로 개선시킬 수 있다. 실험을 통하여 256 명암도 등급 이미지들을 산술부호화와 허프만부호화를 사용하여 압축한 결과, 제안한 전처리기법이 압축 후 비트율(bit rate)을 최대 37.49%까지 감소시켰음을 확인하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2013.11a
• /
• pp.41-42
• /
• 2013

본 논문에서는 문서 영상 처리의 중요한 전처리 과정인 텍스트 라인 추출을 위하여 가우시안 필터링 및 피크 검출을 이용하는 방법을 제안한다. 이는 문서 영상 내의 글자 영역의 픽셀 강도와 텍스트 라인 사이의 간격에 해당하는 강도의 차이로 인해 문서 영상의 각 열마다 높은 피크와 낮은 피크가 번갈아 가며 나타나는 것에 기반으로, 제안하는 알고리즘은 필터 스케일 추정, 필터량 및 피크 검출, 라인 성분 그룹화의 세 단계로 구성된다. 필터 스케일 추정 단계에서는 여러 초기 값으로 필터링하여 피크 차이 간의 히스토그램을 만듦으로써 글자 크기를 대략적으로 예축하며, 필터링 및 피크 검출 단계에서 앞서 예측된 스케일의 가우시안 필터를 이용하여 필터링 한 후, 각각의 열마다 피크를 검출한다. 마지막으로 라인 성분 그룹화를 통하여 검출된 피크를 서로 연결하여 하나의 텍스트 라인을 구성하는 성분들로 그룹화시켜 텍스트 라인을 추출한다. 실험 결과를 통하여, 제안하는 알고리즘은 이진화 과정을 거치지 않음으로써 균일하지 못한 조명환경 등으로 이진화 성능이 좋지 못할 경우에도 텍스트 라인을 추출할 수 있으며, 텍스트 라인 간격이 인정하지 않고 휘어진 라인을 포함하는 경우에도 적용할 수 있음을 확인 할 수 있다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2022.11a
• /
• pp.606-608
• /
• 2022

센서 데이터를 활용한 행동 감지 연구는 인간 행동 인식을 선행연구로 진행되었으며, 인식의 정확도를 높이기 위해 전처리, 보간, 증강 등을 통한 연구가 활발히 진행되고 있다. 이에 본 논문에서는 시계열 센서 데이터 증강을 통하여 반려동물의 행동 감지를 제안한다. ODROID 단일 보드 컴퓨터와 6축 센서(가속도, 자이로) 데이터를 탑재한 소형 디바이스를 사용하여 블루투스 통신을 통해 웹 서버 DB에 저장한다. 저장된 데이터는 이상치, 결측치 처리 후 정규화를 통해 시퀀스를 구성하는 전처리 과정을 거친다. 이후 GAN을 기반으로 한 시계열 데이터 증강을 진행한다. 이때, 데이터 증강은 입력된 텍스트에 따라 센서 데이터로 변환하여 데이터를 증강한다. 학습된 딥러닝 모델을 바탕으로 행동을 감지 후 평가 지표에 따라 모델 성능을 검증한다.

• The Journal of The Korea Institute of Intelligent Transport Systems
• /
• v.3 no.2 s.5
• /
• pp.19-28
• /
• 2004

This paper shows how to compensate the skew from the traffic sign included in the natural image and extract the text. The research deals with the Process related to the array image. Ail the process comprises four steps. In the first fart we Perform the preprocessing and Canny edge extraction for the edge in the natural image. In the second pan we perform preprocessing and postprocessing for Hough Transform in order to extract the skewed angle. In the third part we remove the noise images and the complex lines, and then extract the candidate region using the features of the text. In the last part after performing the local binarization in the extracted candidate region, we demonstrate the text extraction by using the differences of the features which appeared between the tett and the non-text in order to select the unnecessary non-text. After carrying out an experiment with the natural image of 100 Pieces that includes the traffic sign. The research indicates a 82.54 percent extraction of the text and a 79.69 percent accuracy of the extraction, and this improved more accurate text extraction in comparison with the existing works such as the method using RLS(Run Length Smoothing) or Fourier Transform. Also this research shows a 94.5 percent extraction in respect of the extraction on the skewed angle. That improved a 26 percent, compared with the way used only Hough Transform. The research is applied to giving the information of the location regarding the walking aid system for the blind or the operation of a driverless vehicle

• The Journal of the Acoustical Society of Korea
• /
• v.21 no.3
• /
• pp.274-284
• /
• 2002

Word segmentation errors occurring in text preprocessing often insert incorrect words into recognition vocabulary and cause poor language models for Korean large vocabulary continuous speech recognition. We propose an automatic word segmentation algorithm using Markov chains and syllable-based n-gram language models in order to correct word segmentation error in teat corpora. We assume that a sentence is generated from a Markov chain. Spaces and non-space characters are generated on self-transitions and other transitions of the Markov chain, respectively Then word segmentation of the sentence is obtained by finding the maximum likelihood path using syllable n-gram scores. In experimental results, the algorithm showed 91.58% word accuracy and 96.69% syllable accuracy for word segmentation of 254 sentence newspaper columns without any spaces. The algorithm improved the word accuracy from 91.00% to 96.27% for word segmentation correction at line breaks and yielded the decomposition accuracy of 96.22% for compound-noun decomposition.