• 제목/요약/키워드: 한글 정규화

검색결과 48건 처리시간 0.033초

실용적인 영한 기계번역을 위한 전처리기의 설계 및 구현 (A Preprocessor for Practical English-to-Korean Machine Translation)

  • 여상화;정한민;채영숙;김태완;박동인
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1996년도 제8회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.313-321
    • /
    • 1996
  • 본 논문에서는 실용적인 기계번역 시스템을 위하여 다양한 입력 형태에서 나타나는 여러 현상을 전처리하는 기법을 설명한다. 전처리기는 문장 분리, Title 및 나열문 인식, HTML Tag의 처리, 하이픈처리, 숫자 표현 처리, 대소문자의 정규화, 고유명사 인식, 복합단위 인식 등을 수행하여 형태소 분석기의 처리 부담을 줄인다.

  • PDF

자소 접촉특성 분석에 의한 한글패턴의 부분분리 및 인식 (Separation of Subpatern and Recognition of Hanguel Patterns by Analysis of Feature of Contacting Phonemes)

  • 고찬;진용옥
    • 한국통신학회논문지
    • /
    • 제15권7호
    • /
    • pp.618-627
    • /
    • 1990
  • 본 논문은 한글문자 인식을 위하여 새로운 접촉소자의 분리 및 자획연결 특징추출 알고리즘을 제안하였다. 자소 접촉특징을 분석하여 자소접촉 형태별로 분류하고 자획연결특징 추출, 접촉자소의 분리, 문자형식 분류를 시행한다. 분리된 자소로부터 설정된 표준패턴으로 정규화하고 자소별 굴곡특징의 상대위치값으로 부터의 특징을 입력패턴으로 신경망을 이용하여 인식 실험을 하였다. 여기에서의 학습은 BEP 알고리즘을 이용하였다. 접촉자소의 분리, 형식분리, 자획연결특징 추출 및 인식 실험에서 제안된 알고리즘이 좋은 결과를 나타내었다.

  • PDF

Hough Transform을 이용한 한글 필기체 형식 분류에 관한 연구 (A Study on the Classification of Hand-written Korean Character Types using Hough Transform)

  • 구하성;고경화
    • 한국통신학회논문지
    • /
    • 제19권10호
    • /
    • pp.1991-2000
    • /
    • 1994
  • 본 논문에서는 필기체 문자 인식 시스템을 위하여 6형식 분류 알고리즘을 제안하였다. 입력 영상은 세선화 과정을 거친 후 잡음을 제거하는 절단화 과정을 거친 후 $64\times64$ 크기로 정규화하여 이용하였다. 6형식 분류는 신경회로망의 모델 중 다층 퍼셉트론의 학습알고리즘을 이용하여 대분류와 상세분류 과정에서 이루어진다. 특징값 추출은 부분적인 특정값으로는 Subblock Hough transform을 이용하였으며 전체적인 특징값으로는 표본화 Hough transfrom을 이용하였다. 실험은 10사람이 한 형식당 30번씩 쓴 1800자를 대상으로 하였으며 받침의 유무로 대분류한 후 각기 종모음과 횡모음의 유무로 상세분류하여 90%의 분류 성공율을 얻었다.

  • PDF

텍스트에서 IS-A 관계의 자동 추출 및 순위화 (Automatic Acquisition of Ranked IS-A Relation from Unstructured Text)

  • 류법모;최기선
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2007년도 제19회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.150-157
    • /
    • 2007
  • 본 논문에서는 의존 구조 매칭과 약한 지도식 학습 방법을 적용하여 텍스트에서 IS-A 관계를 자동으로 추출하고 순위화하는 방법을 제안한다. 텍스트에서 잠재적인 IS-A 관계를 표현하는 [관계 표현, 하위어, 상위어]의 삼진관계 리스트를 추출하고, 관계 표현과 IS-A 관계 인스턴스, IS-A 관계 후보, 사이의 상호 관련성을 이용하여 각각의 점수를 반복적으로 정제한다. 제안한 방법의 대표적인 특징은 다음과 같다. 1) 의존 구조에 기반한 패턴 매칭 방법을 적용하여 정규 표현에 기반한 방법보다 다양한 형태의 삼진관계를 추출할 수 있고, 2) 도메인 코퍼스에서 통계적으로 추출한 어휘 사이의 관련성 정보를 이용하여 도메인에 적합한 IS-A 관계 인스턴스의 순위를 높일 수 있으며, 3) 관계 표현과 관계 인스턴스의 점수를 상호 관련성에 기반한 방법으로 반복적으로 점수화하여 IS-A 관계 인스턴스 사이의 변별력을 높일 수 있다. 실험에서 순위화된 관계 인스턴스는 전문가의 판단과 66%이상 일치함을 보였고, 의존 구조를 이용한 유연한 패턴 매칭 방법은 정규표현을 이용한 방법보다 43.6%의 추가적인 삼진관계를 추출하였다.

  • PDF

구문 관계 지식 추출을 위한 코퍼스 정규화에 대한 연구 (A Corpus Formalization for Extracting the Syntactic Relations)

  • 조정미;조영환;김길창
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1996년도 제8회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.207-215
    • /
    • 1996
  • 대량의 코퍼스를 이용해 여러 가지 일반적인 언어 현상을 관찰하고, 언어 지식을 자동으로 획득하여 자연 언어 처리의 여러 분야에 이용하는 등의 연구가 활발히 진행되고 있으며, 이에 따라 코퍼스에 대한 필요성이 날로 증가하고 있다. 코퍼스에서 추출할 수 있는 유용한 지식 중의 하나가 구문 관계 지식이다. 그러나 한국어에 자주 나타나는 격이동이나 생략 현상, 복합어의 이형태 등은 정확한 지식 획득을 어렵게 할 뿐 아니라 자료 회귀 문제를 더욱 심화시킨다. 본 논문에서는 한국어의 문법적인 특징을 반영한 코퍼스정규화에 의해 이러한 문제를 해결하고자한다.

  • PDF

한글 TTS 시스템에서 문자열-발음열 변환기의 ㄴ-소리 첨가 전 처리기 (Ni-eun Addition Preprocessing of Grapheme to Phoneme Conversion for Koran TTS)

  • 정경석;박혁로
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 봄 학술발표논문집 Vol.28 No.1 (B)
    • /
    • pp.370-372
    • /
    • 2001
  • 본 논문은 ㄴ-첨가 규칙을 전 처리를 통한 문자열-발음열 변환 기법을 소개한다. 한국어 TTS 시스템에서의 고질적인 문제는 문자열-발음열 변환이라고 할 수 있는데, 그 이유는 한국어의 특징상 음운적 조건과 형태론적 조건등에 의해 다양한 방법과 예외처리를 요구하기 때문이다. 그 중 ㄴ-첨가 규칙은 위와 같은 대표적인 현상으로 많은 문제점과 그에 따른 연구를 필요로 하고 있다. 이 시스템은 형태소 분석을 선행한 후, 특수문자나 숫자를 정규화하고 ㄴ-첨가 규칙을 전 처리한 후, 음운변화 현상을 분석하여 선택적으로 규칙을 적용하여 발음열을 생성한다. 제안된 시스템은 기존의 시스템에 비해 더욱 효과적인 음운, 형태소 변화를 가져옴과 함께, 특히 ㄴ-첨가가 적용되는 문장을 효과적으로 해결할 수 있어 TTS시스템에 좋은 결과를 가져오게 될 것이다.

  • PDF

한글 TTS시스템에서 형태 음운론적 분석에 기반 한 발음열 생성 (Pronunciation Generation Based on Morphophonological Analysis in Korean TTS)

  • 정경석;박혁로
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2001년도 추계학술발표논문집 (상)
    • /
    • pp.559-562
    • /
    • 2001
  • 한국어 TTS시스템에서 한 가지 모듈로써의 발음열 생성기는 한국어의 특성상 음운적 조건과 형태론적 조건 등에 의해 다양한 방법과 예외처리를 요구하고 한국어의 음운현상에 대한 체계적인 분석과 처리가 필요하다. 그래서 이 논문은 형태 음운론적 분석을 통한 발음열 자동 생성기법을 소개한다. 이 시스템은 형태소 분석을 선행한 후, 특수문자나 숫자 등을 정규화하고 복합명사 분해 사전을 이용한 복합명사 분해와 추가 조건을 통해 ㄴ-첨가 규칙을 전 처리한다. 그리고 음운 변화 현상을 분석하여 선택적으로 규칙을 적용하여 발음열을 생성한다. 제안된 시스템은 기존의 형태소 분석되지 않은 시스템에 비해 더욱 효과적인 음운, 형태소 변화를 가져옴과 함께, 특히 ㄴ-첨가가 적용되는 텍스트는 7$\sim$8%정도의 나은 발음열을 생성찬 수 있었다. 그 결과, 발음열 생성기는 한국어 TTS 시스템의 한국어 처리라는 고질적인 문제 해결에 좋은 방향과 결과를 기여할 수 있다.

  • PDF

독립성분분석과 Box-Cox 변환을 이용한 동사 개념 클러스터링 (Verb concept clustering using Independent Component Analysis and Box-Cox transformation)

  • ;이창범;옥철영
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2006년도 제18회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.164-170
    • /
    • 2006
  • 본 논문에서는 한국어 동사의 개념적 클러스터링 방법을 제안하다. 사용되는 기법은 독립성분분석, Box-Cox 변환, 상관분석 등이다. 독립성분분석은 잠재적인 성분을 통계적 독립(statistical independence)에 기반하여 추출하는 분석 방법이다. 그런데, 독립성분분석에서는 mixture(동사)의 분포는 정규 분포(가우시안 분포)에 따른다고 가정한다. 따라서 동사의 분포를 보다 정규 분포화 할 필요가 있다. 이에 본 논문에서는 Box-Cox 변환을 이용하여 동사의 분포를 정규 분포에 근사한다. 또한, 독립성분분석에서는 추출할 적당한 성분의 개수를 결정할 수가 없다. 이에 본 논문에서는 주성분분석의 결과로 획득되는 고유치의 누적 기여율을 이용하여 독립성분의 수를 결정한다. 그리고, 추출된 독립성분 벡터와 동사 벡터간의 상관계수에 이용하여 독립성분(개념)에 밀접하게 관련 있는 동사들을 하나의 클러스터로 구성한다. 한국어 동사를 대상으로 클러스터링한 결과, Box-Cox 변환을 적용한 경우가 더 좋은 성능을 보였다.

  • PDF

최대 엔트로피 모텔 기반 품사 태거의 성능 향상 기법 (Techniques for improving performance of POS tagger based on Maximum Entropy Model)

  • 조민희;김명선;박재한;박의규;나동열
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2004년도 제16회 한글.언어.인지 한술대회
    • /
    • pp.73-81
    • /
    • 2004
  • 한국어에서의 품사 결정 문제는 형태론적 중의성 문제도 있지만, 영어에는 발생하지 않는 동품사 중의성 문제로 더 까다롭다. 이러한 문제들은 어휘 문맥을 고려하지 않고서는 해결하기 어렵다. 통계 자료 부족 문제에 쉽게 대처하는 모델이 필요하며 문맥에 따른 품사를 결정하고자 할 때 서로 다른 형태의 여러 가지 어휘 문맥 정보를 반영할 수 있는 모델이 필요하다. 본 논문에서는 이런 점에 가장 적합한 최대 엔트로피(maximum entropy : ME) 모델을 품사태깅 작업에 이용하는 문제에 대해 다룬다. 어휘 문맥 정보를 이용하기 위한 자질함수가 매우 많아지는 문제에 대처하기 위해 필요에 따라 어휘 문맥 정보를 사전화 한다. 본 시스템의 특징으로는 어절 단위 품사 태깅을 위한 처리 기법. 어절의 형태소 분석열에 대한 어절 내부 확률 계산. ME 모델의 정규화 과정 생략에 의한 성능 향상, 디코딩 경로의 확장과 같은 점들이 있다. 실험을 통하여 본 연구의 기법이 높은 성능의 시스템을 달성할 수 있음을 알게 되었다.

  • PDF

카메라 기반 문서영상에서의 문자 추출 (Text extraction from camera based document image)

  • 박희주;김진호
    • 한국산업정보학회논문지
    • /
    • 제8권2호
    • /
    • pp.14-20
    • /
    • 2003
  • 본 논문에서는 카메라로 획득한 문서영상에 대해 조명의 영향에 관계없이 고속으로 문자영역을 추출하는 알고리즘을 제안하였다. 카메라 문서는 스캐너 문서와는 달리 주변 환경이나 조명의 영향으로 인하여 문자영역을 추출하는 것이 매우 어렵다. 먼저 영상 사전처리 단계에서 컬러영상을 명도영상으로 변환한 후 조명의 영향에 무관하게 배경 그림으로부터 문자 영역을 정확히 추출하기 위해서 명도레벨 정규화를 사용하였다. 또한 배경 그림 및 잡음은 제거하고 문자 획의 손실 없이 문자 영역을 추출하기 위하여 국소-적응적-이진화-방법(local adaptive binarization method)을 새롭게 개발하여 문서영상을 이진화시켰다. 문자영역 추출 단계에서는 수평 및 수직 투영과 연결요소 정보에 의해 문자열, 단어 및 개별 문자 영역을 단계적으로 추출하였다. 제안된 방법의 타당성을 검증하기 위하여 ETRI에서 구축한 한글/영어/숫자/특수기호가 혼합된 현장 문서영상 DB를 가지고 실험해 보았다.

  • PDF