• Title/Summary/Keyword: 사전기반 후처리

Search Result 151, Processing Time 0.029 seconds

Automatic Word-Spacing of Syllable Bi-gram Information for Korean OCR Postprocessing (음절 Bi-gram정보를 이용한 한국어 OCR 후처리용 자동 띄어쓰기)

  • Jeon, Nam-Youl;Park, Hyuk-Ro
    • Annual Conference on Human and Language Technology
    • /
    • 2000.10d
    • /
    • pp.95-100
    • /
    • 2000
  • 문자 인식기를 가지고 스캔된 원문 이미지를 인식한 결과로 형태소 분석과 어절 분석을 통해 대용량의 문서 정보를 데이터베이스에 구축하고 전문 검색(full text retrieval)이 가능하도록 한다. 그러나, 입력문자가 오인식된 경우나 띄어쓰기가 잘못된 데이터는 형태소 분석이나 어절 분석에 그대로 사용할 수가 없다. 한글 문자 인식의 경우 문자 단위의 인식률은 약 90.5% 정도나 문자 인식 오류와 띄어쓰기 오류 등을 고려한 어절 단위의 인식률은 현저하게 떨어진다. 이를 위해 한국어의 음절 특성을 고려해서 사전을 기반하지 않고 학습이 잘된 말뭉치(corpus)와 음절 단위의 bigram 정보를 이용한 자동 띄어쓰기를 하여 실험한 결과 학습 코퍼스의 크기와 띄어쓰기 오류 위치 정보에 따라 다르지만 약 86.2%의 띄어쓰기 정확도를 보였다. 이 결과를 가지고 형태소 분석과 언어 평가 등을 이용한 문자 인식 후처리 과정을 거치면 문자 인식 시스템의 인식률 향상에 크게 영향을 미칠 것이다.

  • PDF

Semantic Segmentation using Iterative Over-Segmentation and Minimum Entropy Clustering with Automatic Window Size (자동 윈도우 크기 결정 기법을 적용한 Minimum Entropy Clustering과 Iterative Over-Segmentation 기반 Semantic Segmentation)

  • Choi, Hyunguk;Song, Hyeon-Seung;Sohn, Hong-Gyoo;Jeon, Moongu
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2014.04a
    • /
    • pp.826-829
    • /
    • 2014
  • 본 연구에서는 야외 지형 영상 및 항공 영상 등에 대하여 각각의 영역들의 속성을 분할 및 인식 하기 위해 minimum entropy clustering 기반의 군집화 기법과 over-segmentation을 반복 적용하여 군집화 하는 두 방법을 융합한 기법을 제안하였다. 이 기법들을 기반으로 각 군집의 대표 영역을 추출한 후에 학습 데이터를 기반으로 만들어진 텍스톤 사전과 학습 데이터 각각의 텍스톤 모델을 이용하여 텍스톤 히스토그램 매칭을 통해 매칭 포인트를 얻어내고 얻어낸 매칭 포인트를 기반으로 영역의 카테고리를 결정한다. 본 논문에서는 인터넷에서 얻은 일반 야외 영상들로부터 자체적으로 제작한 지형 데이터 셋을 통해 제안한 기법의 우수성을 검증하였으며, 본 실험에서는 영역을 토양, 수풀 그리고 물 지형으로 하여 영상내의 영역을 분류 및 인식하였다.

Hyper-Text Compression Method Based on LZW Dictionary Entry Management (개선된 LZW 사전 관리 기법에 기반한 효과적인 Hyper-Text 문서 압축 방안)

  • Sin, Gwang-Cheol;Han, Sang-Yong
    • The KIPS Transactions:PartA
    • /
    • v.9A no.3
    • /
    • pp.311-316
    • /
    • 2002
  • LZW is a popular variant of LZ78 to compress text documents. LZW yields a high compression rate and is widely used by many commercial programs. Its core idea is to assign most probably used character group an entry in a dictionary. If a group of character which is already positioned in a dictionary appears in the streaming data, then an index of a dictionary is replaced in the position of character group. In this paper, we propose a new efficient method to find least used entries in a dictionary using counter. We also achieve higher compression rate by preassigning widely used tags in hyper-text documents. Experimental results show that the proposed method is more effective than V.42bis and Unix compression method. It gives 3∼8% better in the standard Calgary Corpus and 23∼24% better in HTML documents.

Design distributed document classifier based on SVM using Web Services (웹서비스를 이용한 SVM기반 분산 문서분류기 설계)

  • Kim Yong-Soo;Park Young B.
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2004.11a
    • /
    • pp.501-504
    • /
    • 2004
  • 인터넷이 발달하면서 인터넷 상에서 공유 문서를 효율적으로 분류하기 위한 자동 분류의 필요성이 높아지고 있다. 또한 인터넷은 단순한 문서 제공의 한계를 넘어 어플리케이션간의 통합연동을 위한 기술이 대두되고 있다. 이러한 관점에서 본 논문은 새롭게 제시되고 있는 웹서비스를 이용하여 SVM 기반의 분류기를 분산 구성하여 설계하였고, 문서로부터 추출된 특성단어 벡터정보를 이용하여 SVM 학습 후 각각의 분류기를 통하여 분산 문서 분류를 수행한다. 특성단어 벡터는 $TF^{\ast}IDF$에 기반한 특성 표현법을 사용하였으며, 분류 범주 별로 SVM 기반의 분류기 모델 데이터를 생성하기 위해 특성 단어 사전을 구축하여 분류 기준으로 구성하였다.

  • PDF

A Study of Scaling Methods in Vision-based Real-time Object Tracking (영상 기반 실시간 객체 추적에서 객체 크기 추정 기법에 관한 연구)

  • Kim, Eun-Sol;Choi, Yoo-Joo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2015.10a
    • /
    • pp.1523-1526
    • /
    • 2015
  • 본 논문에서는 커널 기반 객체 추적 방식을 이용하여 실시간으로 객체를 추적하는 기술에서 객체의 크기 추정에 대한 기존 연구를 비교 분석한다. 커널 기반 객체 추적은 추적하고자 하는 객체를 초기 프레임에서 타켓으로 설정한 후, 각 프레임마다 타켓 후보들을 제시하고 그 중 가장 객체와 유사한 후보에 초점을 맞춰가며 객체를 추적한다. 이때, 목표 객체와 객체 후보간 유사성을 기반으로 정의된 배경 영사 영상(back-projection image)을 이용하여 객체의 크기를 추정하는 방법들이 제시되고 있다. 안정적인 객체 크기 추정 방법의 설계를 위한 사전 연구로서 대표적인 객체 크기 추정 기존 연구를 비교, 분석하고자 한다.

A Study on the Development of Intelligent Behavior of Humanoid Robot (휴머노이드 로봇의 지능적 행위 구현에 관한 연구)

  • Suh, Joohee;Jang, Inwoo;Woo, Chongwoo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2008.11a
    • /
    • pp.23-26
    • /
    • 2008
  • 본 논문에서는 로봇의 지능적 행위를 구현하기 위하여 인공지능의 몇 가지 기법을 휴머노이드 로봇에 적용하고 이를 테스트 도메인에서 실험하는 연구결과를 기술하였다. 본 연구에서 적용한 기법들은, 인공지능의 계획기법에 기반한 로봇의 계획생성, A* 알고리즘을 적용한 길 찾기, 외부 센서 값에 기반한 장애물회피 및 로봇의 자기 위치인식, 그리고 원하는 물체를 파악하기 위해 템플릿 매칭을 이용한 영상인식 등 네 가지 방향으로 접근하였다. 전반적으로 로봇의 실험은, 웹 페이지로부터 사용자의 쇼핑 목록을 입력 받아, 인공지능의 계획기법에 기반하여 서버에서 이에 대한 실행계획을 만들고 난 후, 로봇이 서버로부터 TCP/IP 기반의 소켓 통신을 통하여 세부 실행계획을 전달받아 임무를 수행하게 된다. 또한 이러한 임무를 수행하기 위해서는 로봇자신의 현재위치에 대한 정보 및 목표물에 대한 위치인식이 요구되며, 이를 위해서 사전에 주어진 맵의 좌표를 찾아가는 방법을 사용하였다.

English-to-Korean Machine Translation System for Air Force Intelligence : ALKOL (공군 정보 영한 기계번역 시스템 : ALKOL)

  • Lee, Hyun-Ah;Lim, Chul-Su;Choi, Myung-Seok;Kang, In-Ho;Kim, Gil-Chang
    • Annual Conference on Human and Language Technology
    • /
    • 2000.10d
    • /
    • pp.315-322
    • /
    • 2000
  • 본 논문에서는 공군 정보 번역을 위한 영한 기계번역 시스템 ALKOL에 대해서 소개한다. ALKOL은 어휘화된 규칙에 기반한 번역 시스템으로, 어휘화된 규칙은 어휘-분석-변환-생성의 네 단계의 정보가 연결된 형태로 사전에 저장된다. 이와 같은 사전 구조에 의해 번역 과정의 효율성을 높일 수 있고, 어휘화된 규칙에 의해 정확하고 자연스러운 번역 결과를 얻을수 있다. ALKOL의 번역 과정은 형태소 분석, 품사 태깅, 분석 전처리, 구문 분석, 변환, 생성의 단계로 이루어진다. 각 단계에서는 전/후처리를 보강하여 실제 번역 환경에서 나타나는 문제들을 해결하고, 하나 이상의 번역 결과를 출력하여 사용자가 원하는 결과를 선택할 수 있게 한다.

  • PDF

Honorific Correction Program Using Case Frame Dictionary (격틀사전을 활용한 존댓말 교정 프로그램)

  • Jang, Yunjeong;Lim, Lina;Lee, Jae Sung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2019.10a
    • /
    • pp.954-957
    • /
    • 2019
  • 한국어 맞춤법 검사기는 현재 여러 곳에서 개발하여 서비스를 제공하고 있으며 다양한 목적으로 사용되고 있다. 하지만 이들은 맞춤법이나 띄어쓰기를 검사할 뿐, 존댓말과 같은 높임표현이 잘못 사용되었는지는 검사할 수 없다. 최근에는 맞춤법 검사를 위해 통계적 방식과 딥러닝을 사용하고 있지만, 본 연구에서는 규칙 기반을 활용하여 사용자가 텍스트를 입력하면 잘못된 높임표현을 탐지하여 그에 대한 오류 정보를 제공하고, 올바른 표현으로 교정하는 프로그램을 개발하였다. 구문 분석기를 사용하여 주어-서술어 구조를 파악하고, 형태소 분석기를 활용하여 높임표현을 탐지한 후 격틀사전의 정보를 이용하여 존댓말 오류를 탐지한다. 본 연구는 격식이 있는 문서를 검사할 때나, 한국어 높임말에 익숙하지 않은 외국인들에게 도움이 될 수 있을 것이다.

Korean Dependency Parsing using Pretrained Language Model and Specific-Abstraction Encoder (사전 학습 모델과 Specific-Abstraction 인코더를 사용한 한국어 의존 구문 분석)

  • Kim, Bongsu;Whang, Taesun;Kim, Jungwook;Lee, Saebyeok
    • Annual Conference on Human and Language Technology
    • /
    • 2020.10a
    • /
    • pp.98-102
    • /
    • 2020
  • 의존 구문 분석은 입력된 문장 내의 어절 간의 의존 관계를 예측하기 위한 자연어처리 태스크이다. 최근에는 BERT와 같은 사전학습 모델기반의 의존 구문 분석 모델이 높은 성능을 보이고 있다. 본 논문에서는 추가적인 성능 개선을 위해 ALBERT, ELECTRA 언어 모델을 형태소 분석과 BPE를 적용해 학습한 후, 인코딩 과정에 사용하였다. 또한 의존소 어절과 지배소 어절의 특징을 specific하게 추상화 하기 위해 두 개의 트랜스포머 인코더 스택을 추가한 의존 구문 분석 모델을 제안한다. 실험결과 제안한 모델이 세종 코퍼스에 대해 UAS 94.77 LAS 94.06의 성능을 보였다.

  • PDF

Advanced detection of sentence boundaries based on hybrid method (하이브리드 방법을 이용한 개선된 문장경계인식)

  • Lee, Chung-Hee;Jang, Myung-Gil;Seo, Young-Hoon
    • Annual Conference on Human and Language Technology
    • /
    • 2009.10a
    • /
    • pp.61-66
    • /
    • 2009
  • 본 논문은 다양한 형태의 웹 문서에 적용하기 위해서, 언어의 통계정보 및 후처리 규칙에 기반 하여 개선된 문장경계 인식 기술을 제안한다. 제안한 방법은 구두점 생략 및 띄어쓰기 오류가 빈번한 웹 문서에 적용하기 위해서 문장경계로 사용될 수 있는 모든 음절을 대상으로 학습하여 문장경계 인식을 수행하였고, 문장경계인식 성능을 최대화 하기 위해서 다양한 실험을 통해 최적의 자질 및 학습데이터를 선정하였고, 다양한 기계학습 기반 분류 모델을 비교하여 최적의 분류모델을 선택하였으며, 학습데이터에 의존적인 통계모델의 오류를 규칙에 기반 해서 보정하였다. 성능 실험은 다양한 형태의 문서별 성능 측정을 위해서 문어체와 구어체가 복합적으로 사용된 신문기사와 블로그 문서(평가셋1), 문어체 위주로 구성된 세종말뭉치와 백과사전 본문(평가셋2), 구두점 생략 및 띄어쓰기 오류가 빈번한 웹 사이트의 게시판 글(평가셋3)을 대상으로 성능 측정을 하였다. 성능척도로는 F-measure를 사용하였으며, 구두점만을 대상으로 문장경계 인식 성능을 평가한 결과, 평가셋1에서는 96.5%, 평가셋2에서는 99.4%를 보였는데, 구어체의 문장경계인식이 더 어려움을 알 수 있었다. 평가셋1의 경우에도 규칙으로 후처리한 경우 정확률이 92.1%에서 99.4%로 올라갔으며, 이를 통해 후처리 규칙의 필요성을 알 수 있었다. 최종 성능평가로는 구두점만을 대상으로 학습된 기본 엔진과 모든 문장경계후보를 인식하도록 개선된 엔진을 평가셋3을 사용하여 비교 평가하였고, 기본 엔진(61.1%)에 비해서 개선된 엔진이 32.0% 성능 향상이 있음을 확인함으로써 제안한 방법이 웹 문서에 효과적임을 입증하였다.

  • PDF