• Annual Conference on Human and Language Technology
• /
• 2006.10e
• /
• pp.73-80
• /
• 2006

현재 유니코드에서 한글텍스트의 정규화 기법은 완성형 현대한글 음절과 옛 한글을 표현하는 조합형 한글 그리고 호환 자모등과 같이 사용할 경우 원래의 글자와는 전혀 다른 글자의 조합을 만들어내는 문제점이 있다. 이러한 문제점은 호환 한글 자모 및 기호들의 잘못된 정규화 변환과 유니코드의 한글자모 조합 규칙에서 자모와 완성형 현대한글 음절을 다시 조합하여 한글음절로 사용 할 수 있게 허용한 때문이다. 이는 정규화 형식을 처음 작성할 당시 옛 한글의 사용을 고려하지 않았거나, 한글에 대한 올바른 이해가 부족한 상태에서 작성 된데 따른 결과라 하겠다. 따라서 본 연구에서는 유니코드 환경에서의 한글코드와 특히 최근 들어 Web을 비롯하여 XML과 IDN에서 필연적으로 사용하는 정규화에 따른 문제점을 파악하고 이들을 올바르게 처리하기 위한 정규화의 수정 방안과 조합형 한글의 조합규칙에 대한 수정 방안을 제안한다.

• Journal of KIISE:Software and Applications
• /
• v.34 no.2
• /
• pp.169-177
• /
• 2007

Hangul text normalization in current Unicode makes wrong Hangul syllable problems when using with precomposed modern Hangul syllables and composing old Hangul by using conjoining-Hangul Jamo and compatibility Hangul Jamo. This problem comes from allowing incorrect normalization form of compatibility Hangul Jamo and Hangul Symbol and also permitting to use conjoining-Hangul Jamo mixture with precomposed Hangul syllable in Unicode Hangul composing rule. It is caused by lack of consideration of old Hangul and/or insufficient understanding of Hangul code processing when writing specification for normalization forms in Unicode. Therefore on this paper, we study Hangul code in Unicode environment, specifically problems of normalization used for Web and XML, IDN in nowadays. Also we propose modification of Hangul normalization methods and Hangul composing rules for correct processing of Hangul normalization in Unicode.

• Annual Conference on Human and Language Technology
• /
• 1996.10a
• /
• pp.98-104
• /
• 1996

일반적으로 비선형 형태 정규화 과정은 필기체 문자에서 발생하는 형태 변형을 보상하기 위하여 사용되며, 현재까지 이진 영상에 대한 비선형 형태 정규화 방법들이 제안되었다. 그러나 현존하는 대부분의 문자 인식 시스템은 스캐너를 통하여 입력된 명도 문자영상을 이진화하여 사용하고 있기 때문에 이진화로 인해 야기되는 물자 영상에 대한 정보 유실 및 잡영 첨가 현상이 비선형 형태 정규화 과정에 누적되어 결과적으로 좋은 특징 추출 결과를 기대하기 어려운 실정이다. 본 연구에서는 이진화에 의한 정보의 손실을 최소화시키고, 필기체 문자에서 발생하는 다양한 형태 변형을 효과적으로 보상할 수 있는 명도 영상에서의 비선형 형태 정규화 방법을 제안한다. 제안된 명도 영상에서의 비선형 형태 정규화 방법들의 성능을 객관적으로 검증하기 위하여 처리 시간 및 복잡도 등을 기준으로 평가하였으며, 다양한 명도 한글 글씨 데이터에 대한 실험을 통하여 이진 영상에서의 비선형 형태 정규화 방법에 비해 제안된 방법이 변형이 심한 한글 글씨 데이타의 품질을 개선하는데 있어서 매우 효율적임을 확인할 수 있었다.

• Journal of KIISE:Software and Applications
• /
• v.34 no.12
• /
• pp.1083-1092
• /
• 2007

In Unicode, two types of Hangul encoding schemes are currently in use, namely, the "precomposed modern Hangul syllables" model and the "conjoining Hangul characters" model. The current Unicode Hangul conjoining rules allow a precomposed Hangul syllable to be a member of a syllable which includes conjoining Hangul characters; this has resulted in a number of different Hangul encoding implementations. This unfortunate problem stems from an incomplete understanding of the Hangul writing system when the normalization and encoding schemes were originally designed. In particular, the extended use of old Hangul was not taken into consideration. As a result, there are different ways to represent Hangul syllables, and this cause problem in the processing of Hangul text, for instance in searching, comparison and sorting functions. In this paper, we discuss the problems with the normalization of current Hangul encodings, and suggest a single efficient rule to correctly process the Hangul encoding in Unicode.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.17 no.9
• /
• pp.1029-1039
• /
• 1992

This paper presents the filtering method which is processed on the frequency domain among Hangul character recognition methods. It is processed the Hangul character parrern with spatial positioning modulation and mapped the Hangul character element which have spatial position variant feature onto frequency domain, at this time, normalized spatial position and so normalized the character size in frequency domain. And it is grouped the Hangul character element according to the generating position and set the standard pattern, and used each standard character element pattern with character element filter and filtering the character pattern of Hangul character, it is derived the normalized cross correlation function and the coherence function led to the filtering results, and calculated classification threshold.

• KIPS Transactions on Software and Data Engineering
• /
• v.3 no.7
• /
• pp.271-276
• /
• 2014

Short message service(SMS) in a mobile communication environment is a very convenient method. However, it caused a serious side effect of generating spam messages for advertisement. Those who send spam messages distort or deform SMS sentences to avoid the messages being filtered by automatic filtering system. In order to increase the performance of spam filtering system, we need to recover the distorted sentences into normal sentences. This paper proposes a method of normalizing the various types of distorted sentence and extracting keywords through automatic word spacing and compound noun decomposition.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2010.04a
• /
• pp.393-396
• /
• 2010

지금까지 필기 변이를 완화하기 위한 다양한 비선형 정규화 방법들이 제안되었으며 실제 인식 시스템에서 상당한 인식률 개선 효과를 나타내었다. 그러나, 필기 한글 인식에 있어서는 필기 변이 외에도 문자간의 높은 유사도로 인해 높은 인식률을 얻는데 어려움을 겪고 있다. 한글과 같이 문자간 유사도가 높은 언어를 효과적으로 인식하기 위해서는 필기 변이를 흡수하는 것뿐 아니라, 유사 문자간의 차이를 정확히 찾아내어 그 차이점을 부각시키는 것이 요구된다. 본 논문에서는 유사 문자간의 차이점을 부각시킬 수 있는 비선형 정규화 방법을 제안한다. 기존의 비선형 정규화 방법들이 영상의 지역적 복잡도를 균일화 함으로써 정규화를 수행했던 것에 반해, 제안하는 방법에서는 유사 문자쌍의 구분에 있어 지역적 공헌도에 기반하여 영상을 정규화한다. 즉, 유사 문자쌍 구분에 공헌도가 높은 지역은 확대하고 그렇지 않은 지역은 축소한다. 그 결과, 문자간에 서로 상이한 지역을 강조 함으로써 유사 문자쌍에 대한 구분력을 높인다. 실험 결과, 제안하는 방법으로 정규화된 영상에서는 유사 문자쌍의 차이점이 확대되었으며, 문자쌍의 구분 성능 또한 향상되었다.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.11 no.5
• /
• pp.332-339
• /
• 1986

This paper proposes a new method for the normalization of shape pattern based on Gaussian probability density function to increase automatic recognition rate of hand-written Hangul pattern. The sizes of hand-written Hangul pattern are detected from the input images, and pattern sizes are normalized by two variables interpolation. The pattrn shapes are noralized by letting correlation coefficients equal to zero. It is analyzed theoretically and verified through computer simulation for the relation between input image and normaized shape pattern. It is confirmed that this method is effective and reasonable for deformed hand-written Hangul pattern. Experimental resu results show that the declination. size and stroke width of hand-written Hangul patterns are mych improved.

• Journal of the Korean Graphic Arts Communication Society
• /
• v.5 no.1
• /
• pp.53-62
• /
• 1987

• Proceedings of the Korean Institute of Communication Sciences Conference
• /
• 1987.04a
• /
• pp.18-21
• /
• 1987