• 제목/요약/키워드: 단어 분리

검색결과 112건 처리시간 0.026초

문서 이미지에서 문자 추출과 3차원 면적-가중치 그래프를 이용한 단어 그룹핑 (Text Extraction and Word Grouping using 3D Area-Weighted Graph in Document)

  • 옥세영;박환철;조환규
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 1998년도 가을 학술발표논문집 Vol.25 No.2 (2)
    • /
    • pp.556-558
    • /
    • 1998
  • 이미지 분석이나 데이터 베이스 인덱싱 또는 종이 문서를 전자 문서화 하는 문제는컴퓨터 비젼 응용분야에서 중요 관심사가 되어왔다. 이러한 문제들을 처리하기 위해서는 제일 먼저 이미지와 문자가 혼합되어 있는 문서에서 자동으로 문자와 이미지들을 분리해 내는 과정이 필수 적이다. 본 논문에서는 신문이나 광고등에서 볼 수 있는 이미지, 음각 문자와 양각 문자가 섞여 있는 문서에서 문자만을 추출하는 알고리즘을 제안한다. 이 알고리즘은 Run-length code를 이용하여 문자나 이미지의 경계선(bound) 모양의 특징을 추출하여 음각 문자와 이미지, 양각 문자를 구분한다. 그리고 추출된 글자들을 3차원 공간상에 매핑한 후 3차원 면적 가중치 그래프를 이용하여 관련된 단어들로 묶어주는 3차원 그룹핑 알고리즘을 제시한다. 실험결과로는 추출된 문자와 그룹핑된 결과를 보여준다.

  • PDF

유한상태변환기만을 이용한 한국어 형태소 분석 및 품사 태깅 (Korean Morphological Analyzer and POS Tagger Just Using Finite-State Transducers)

  • 박원병;김재훈
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2006년도 추계학술발표대회
    • /
    • pp.165-168
    • /
    • 2006
  • 이 논문은 유한상태변환기만을 이용하여 한국어 형태소 분석 및 품사 태깅 시스템을 제안한다. 기존의 한국어 형태소 분석 시스템들은 규칙기반 형태소 분석기가 주를 이루고 한국어 품사 태깅 시스템은 은닉마르코프 모델 기반 품사 태깅이 주를 이루었다. 한국어 형태소 분석의 경우 유한상태변환기를 이용한 경우도 있었으나, 이 방법은 변환기를 작성하기 위한 규칙을 수작업으로 구축해야 하며, 그 규칙에 따라서 사전이 작성되어야 한다. 이 논문에서는 품사 태깅 말뭉치를 이용해서 유한상태변환기에서 필요한 모든 변환 규칙을 자동으로 추출한다. 이런 방법으로 네 종류의 변환기, 즉, 자소분리변환기, 단어분리변환기, 단어형성변환기, 품사결정변환기를 자동으로 구축한다. 구축된 변환기들은 결합연산(composition operation)을 이용하여 하나의 유한상태변환기를 구성하여 한국어 형태소 분석과 동시에 한국어 품사 태깅을 수행한다. 이 방법은 하나의 유한상태변환기만을 이용하기 때문에 복잡도는 선형시간(linear complexity)을 가지면, 형태소 분석기와 품사 태깅 시스템을 매우 짧은 시간 내에 개발 할 수 있었다.

  • PDF

오차 역전파 알고리즘을 갖는 MLP를 이용한 한국 지명 인식에 대한 연구 (A Study on the Spoken Korean Citynames Using Multi-Layered Perceptron of Back-Propagation Algorithm)

  • 송도선;이재건;김석동;이행세
    • 한국음향학회지
    • /
    • 제13권6호
    • /
    • pp.5-14
    • /
    • 1994
  • 이 논문은 오차역전달(error back-propagation) 알고리듬을 갖는 다층구조 퍼셉트런(Multi-Layered Perceptron)을 사용하여 우리말 단어음성을 화자종속으로 기계 인식하는 실험에 관한 연구 결과다. 대상단어는 시외 자동전화 지역번호표에서 임의로 선택한 50개 지역명이며, 이 중 43개는 2음절로 구성되어있고 나머지 7개는 3음절이다. 단어를 음소나 음절별로 분리(segmentation)하지 않고, 단어의 각 부분에서 골고루 추출된 특징성분을 신경망에 입력하는 방법을 사용했다. 그렇게 함으로써 발음지속시간에 관계없는 결과를 얻을 수 있으며, 이 때 사용된 특징 성분은 선형예측분석으로 구해진 PARCOR계수다. 전체학습과 구분학습의 비교, 프레임 갯수와 PARCOR차수에 대한 인식률의 의존도, 중간층 뉴런의 갯수에 대한 인식률의 변동, 그리고 출력층 뉴런의 구성 방법에 따른 비교 등 4가지 실험을 통하여 가장 최량의 조건을 찾아보고자 하였다. 이 연구를 발전시킨다면 실시간의 화자독립 소규모어휘 음성인식이 가능해질 것으로 보인다.

  • PDF

문자 별 특징 모델을 이용한 한글 문서 영상에서 키워드 검색 (Keyword Spotting on Hangul Document Images Using Character Feature Models)

  • 박상철;김수형;최덕재
    • 정보처리학회논문지B
    • /
    • 제12B권5호
    • /
    • pp.521-526
    • /
    • 2005
  • 본 논문에서는 저 품질의 한글 문서 영상에서 OCR 기반 검색 시스템의 대안으로 키워드 검출 시스템(Keyword Spotting)을 제안하고 OCR 기반 문서 검색 시스템과 비교한다. 제안 시스템은 문자 분할, 키워드 특징 추출 그리고 단어 매칭으로 구성된다. 문자 분할 단계에서는 인접한 두 문자간의 연결을 효과적으로 분리하면서 문자 넓이 값의 분산이 최소가 되도록 하는 문자 분할 방법을 제안한다. 키워드 특징은 서체별 문자 모델의 결합으로 구성한다. 단어 매칭 단계에서는 문자 매칭에 기반한 단어 대 단어 매칭 방법을 적용한다. 본 논문에서 제안한 키워드 검출 시스템의 성능을 평가하기 위해 한글 문서 영상을 대상으로 OCR 기반 문서 검색 시스템과 비교하였다. 그 결과 한글 글자 크기가 작고 문서의 상태가 좋지 않은 경우 제안한 키워드 검출 시스템에 의한 검색 성능이 OCR 기반 검색 시스템 보다 우수함을 입증하였다.

연속음성인식기술을 이용한 음성인식 증권정보 시스템의 성능 향상에 대한 연구 (A Study on the Performance Improvement of a Stock Information Retrieval System using Continuous Speech Recognition Technology)

  • 구명완
    • 한국음향학회:학술대회논문집
    • /
    • 한국음향학회 1998년도 제15회 음성통신 및 신호처리 워크샵(KSCSP 98 15권1호)
    • /
    • pp.51-55
    • /
    • 1998
  • 한국통신이 개발하여 현재 700-3000번으로 서비스되고 있는 음성 인식 증권정보시스템을 소개하고, 음성인식 성능을 향상시키기 위한 한국통신의 연구현황을 기술하고자 한다. 현재 운용중에 있는 서비스 시스템은 120명이 동시에 사용할 수 있는 시스템이며 S/W 와 H/W를 분리시켜 S/W의 버전을 갱신하더라고 H/W의 변경이 최소화 되도록 설계되었다. 현재 고려하고 있는 성능 향상 방법은 연속음성 인식 기술을 이용하여 고립단어 인식을 시도하는 것과 거절기능 구현 및 tied-state에 의한 문맥종속 음소를 구하는 것이다. 또한 연속 HMM 모델 방식으로의 변경도 연구중에 있다.

  • PDF

텍스트마이닝 기법을 이용한 한국 사회의 혐오 양상 분석 (Analyzing the Phenomena of Hate in Korea by Text Mining Techniques)

  • 김혜진
    • 한국문헌정보학회지
    • /
    • 제56권4호
    • /
    • pp.431-453
    • /
    • 2022
  • 혐오는 타인에 대한 배타성이 집단적으로 표출된 것으로, 잘못된 대중적 인식을 통하여 양산되고 재생산된다. 이 연구는 우리사회에서 언급되고 있는 '혐오' 양상을 거시적으로 탐색하고자 1990년부터 2020년까지 발행된 뉴스데이터 17,867건을 대상으로 텍스트마이닝 기법을 활용하여 키워드 네트워크와 군집 분석을 수행하였다. 그리고 단어를 추출하기 전에 먼저 기사를 문장으로 분리하는 전처리 과정을 거쳐 '혐오', '편견', '차별'이라는 단어를 포함하고 있는 문장 총 52,520개를 추출하여 분석에 활용함으로써 '혐오'라는 단어와 인접한 단어들로 구성된 키워드 네트워크를 구축하였다. 수집한 뉴스데이터의 단어 동시출현빈도 분석 결과, 우리 사회에서 혐오와 관련되어 가장 빈번하게 등장하는 대상은 여성, 인종, 성소수자 등이며, 관련된 이슈는 이들 집단과 관련된 법과 범죄 등이었다. 키워드 네트워크 군집 분석 결과, 성별(41.4%), 소수자(28.7%), 인종·민족(15.1%), 선택적·이해관계적(8.5%), 정치·이념(5.7%), 환경·생존적(0.3%) 혐오 등 총 6개의 혐오 군집들이 발견되었다. 논의에서는 군집 분석 결과 구체적으로 드러나지 않은 혐오의 표적(대상)을 모두 추출하여 분석하였다.

만주문자 인식을 위한 전처리 방법에 관한 연구 (A Study on the Preprocessing for Manchu-Character Recognition)

  • 최민석;이충호
    • 융합신호처리학회논문지
    • /
    • 제14권2호
    • /
    • pp.90-94
    • /
    • 2013
  • 만주문자로 기록된 문헌의 디지털화에 대한 연구는 아직 초기 단계이다. 본 논문은 만주문자의 인식을 위한 전처리 방법을 제안한다. 만주문자의 전처리 단계는 세선화와 문자단위 분리가 중요하다. 본 논문에서는 기존 세선화 방법인 Hilditch 세선화 알고리듬을 개선하여 만주문자의 세선화 오류를 보완하고 각 문자단위를 좌우측으로 분류하지 않고 문자의 삐침이 존재하는 위치점 사이의 중심점을 이용하여 분리하여 내는 실제적인 방법을 제안하고 있다. 실험을 통하여 만주문자로 이루어진 단어의 세선화와 문자단위 분류에 적용하여 그 유효성을 보여주고 있다.

국내(國內) 문헌정보(文獻情報) 검색(檢索)을 위한 키워드 자동추출(自動抽出) 시스템 개발(開發) (Automatic Keyword Extraction System for Korean Documents Information Retrieval)

  • 예용희
    • 정보관리연구
    • /
    • 제23권1호
    • /
    • pp.39-62
    • /
    • 1992
  • 본(本) 연구(硏究)는 실제의 데이터 분석(分析)을 통하여 60여개의 조사(助詞)와 출현빈도는 높지만 검색(檢率)에 불필요한 320여개의 불용어(不用語)를 선정하여 좌우절단을 적용한 네 가지 유형으로 분류하고 조사(助詞)와 불용어 테이블을 구성하는 방법(方法)을 제시한다. 한글문헌에서 단어(單語)가 추출되면 조사의 효율적인 절단이 이러우지고, 한자어(漢字語)일 경우 한글로 변환되며, 2단계로 불용어제거(不用語除去) 과정을 거쳐 키워드를 선정하는 시스템을 개발한다. 여기서 추출된 키워드는 정보전문가(情報專門家)에 의해 추출된 색인어(索引語)와는 92.2%의 일치율을 보였다. 그리고 $4{\sim}6$글자로 구성된 복합어(複合語)의 경우 본(本) 연구(硏究)에서 제시한 분리방법에 의해 약 2배의 새로운 단어(單語)를 추가할 수 있었으며 그 중 58.8%가 키워드로 적합했다.

  • PDF

자율 학습을 이용한 선형 정렬 말뭉치 구축 (Construction of Linearly Aliened Corpus Using Unsupervised Learning)

  • 이공주;김재훈
    • 정보처리학회논문지B
    • /
    • 제11B권3호
    • /
    • pp.387-394
    • /
    • 2004
  • 본 논문에서는 자을 선형 정렬 알고리즘을 이용하여 선형 정렬 말뭉치를 구축하는 방법을 제안한다. 기존의 자율 선형 정렬 알고리즘을 이용하여 선형 정렬 말뭉치를 구축할 경우, 두 문자열의 길이가 서로 다르면 정렬된 두 문자열(입력열과 출력열)에 모두 공백문자가 나타난다. 이 방법을 그대로 사용하면 정렬 말뭉치의 구축은 용이하나 정렬된 말뭉치를 이용하는 응용 시스템에서는 탐색 공간이 기하급수적으로 늘어날 뿐 아니라 구축된 정렬 말뭉치는 다양한 기계학습 방법에 두루 사용될 수 없다는 문제가 있다. 본 논문에서는 이들 문제를 최소화하기 위해서 입력열에는 공백문자가 나타나지 않도록 기존의 자을 선형 정렬 알고리즘을 수정하였다. 이 알고리즘을 이용해서 한영 음차 표기 및 복원, 영어 단어의 발음 생성, 영어 발음의 단어 생성, 한국어 형태소 분리 및 복원을 위한 정렬 말뭉치를 구축하였으며, 간단한 실험을 통해, 그들의 실용성을 입증해 보였다.

DaHae: 일한 기계번역을 위한 일본어 형태소 분석기 (DaHae: Japanese Morphological Analyzer for Japanese to Korean Machine Translation)

  • 여상화;정한민;장원;김태완;황도삼;박동인
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1995년도 제7회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.195-207
    • /
    • 1995
  • 일본어는 한자, 히라가나, 가다가나 등 다양한 종류의 문자를 사용하며 이들의 혼용 비율이 매우 높아 띄어쓰기를 하지 않아도 문서의 가독성을 유지한다. ICOT 사전, EDR 사전, ATLAS I/JK사전 등 기존의 전자 사전에서 복합 자종의 표제어가 차지하는 비율(한자+히라가나의 표제어 제외)은 평균 8.8%로 그 수가 매우 작다. 따라서, 문장 내에서 자종의 변화는 단어를 구분하는 하나의 delimiter로 이용될 수 있다. 본 시스템에서는 형태소 분석의 전단계로 전처리기를 두어 자종정보(character type information)에 의한 fragment 분리 및 예외 단어, 정형표현 처리를 수행하며 각 fragment 의 형태소 분석 방법을 제시한다. 형태소 분석기는 전처리기의 처리 결과를 입력받아 각각의 fragment를 전처리기가 제시한 분석 방법에 따라 분석하여 입력 문장의 가능한 모든 분석을 추출한다. 이 방법은 불필요한 사전 탐색과 접속 체크 회수를 줄여 분석 성능을 향상시킨다.

  • PDF