• Title/Summary/Keyword: 띄어쓰기

Search Result 147, Processing Time 0.03 seconds

Categorization and Analysis of Error Types in the Korean Speech Recognition System (한국어 음성 인식 시스템의 오류 유형 분류 및 분석)

  • Son, Junyoung;Park Chanjun;Seo, Jaehyung;Lim, Heuiseok
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.144-151
    • /
    • 2021
  • 딥러닝의 등장으로 자동 음성 인식 (Automatic Speech Recognition) 기술은 인간과 컴퓨터의 상호작용을 위한 가장 중요한 요소로 자리 잡았다. 그러나 아직까지 유사 발음 오류, 띄어쓰기 오류, 기호부착 오류 등과 같이 해결해야할 난제들이 많이 존재하며 오류 유형에 대한 명확한 기준 정립이 되고 있지 않은 실정이다. 이에 본 논문은 음성 인식 시스템의 오류 유형 분류 기준을 한국어에 특화되게 설계하였으며 이를 다양한 상용화 음성 인식 시스템을 바탕으로 질적 분석 및 오류 분류를 진행하였다. 실험의 경우 도메인과 어투에 따른 분석을 각각 진행하였으며 이를 통해 각 상용화 시스템별 강건한 부분과 약점인 부분을 파악할 수 있었다.

  • PDF

Preprocessing technique for natural language processing considering the form of characters used in malicious comments (악성 댓글에 사용된 문자의 형태를 고려한 한국어 자연어처리를 위한 전처리 기법)

  • Kim, Hae-Soo;Kim, Mi-hui
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2022.05a
    • /
    • pp.543-545
    • /
    • 2022
  • 최근 악플에 대한 논란이 끊이지 않고 있어 이것을 해결하기위한 방법으로 자연어 처리를 이용하고 있다. 특히 소셜 미디어, 온라인 커뮤니티에서 많이 발생하고 있고 해당 매체에서는 한글을 그대로 사용하지 않고 그들의 은어를 섞어서 사용하며 그중에서 한글이 아닌 문자를 섞어서 만들어낸 문장도 있다. 이러한 문장은 기존의 모델에 학습된 데이터의 형태와 다르며 한글이 아닌 문장이 많을수록 모델의 예측이 부정확해진다는 단점이 있어 본 논문에서는 인공지능을 이용한 이미지 분류와 띄어쓰기, 오타 교정을 이용한 전처리 기법을 제안한다.

COMPARATIVE STUDY UPON THE CHARACTERISTICS OF WRITING BETWEEN THE PATIENTS WITH WRITING DISABILITIES AND NORMAL ELEMENTARY SCHOOL STUDENTS (쓰기 장애 환자와 정상 초등학교 학생의 쓰기 특성 비교)

  • Cho, Soo-Churl;Shin, Sung-Woong
    • Journal of the Korean Academy of Child and Adolescent Psychiatry
    • /
    • v.12 no.1
    • /
    • pp.51-70
    • /
    • 2001
  • Characteristics of handwriting were investigated and compared between the patients with writing disabilities and normal elementary school pupils. Generally, the heights of the letters of the patients were significantly larger than those of normal children, and letters of the patients were more sparsely distributed than those of controls. The distance between the words were significantly reduced in the patients’ writings, which indicated that patients had much more problems of space-leaving than normal pupils. Letter heights differences were significant across all grades in the patients and normal controls. The heights of the letters decreased as they grew older, and the slope of the decrements were more steeper in normal girls(r=-0.45) than girls with writing disabilities(r=-0.16). Sex differences were found in the letter spacings in low grades(grades 1, 2), that is, the distances between the letters were significantly narrower in the male patients than normal boys in these grades, and the differences were almost indiscriminating in grades 3 through 5, and finally, in sixth grade, letter spacings were signifycantly broader in normal boys than male dysgraphics. In girls, letter spacings were significantly broader in the patients across all grades. These findings supports the hypothesis that male and female writings were qualitatively different and that distinct mechanisms served in boys and girls dysgraphics. Across all grades and sexes, spaces between the words of the patients were significantly broader than normal pupils, which suggested that space-leaving between the words was important in Korean writings. There was trend that letter spacings and word spacings decreased across grades, but in girls, no correlations between the letter spacings and grades were found. Correlation analyses revealed that letter heights and letter spacings had mild correlation(r=0.11-0.15), and that letter spacings and word spacings had robust correlation(r=0.99). Phonological errors were mostly found in last phoneme(Jong-seong), especially double-phoneme(ㄳ, ㄵ, ㄶ, ㄺ, ㄻ, ㄼ, ㄾ, ㄿ, ㅀ, ㅄ), and in the case the sound values changed due to assimilations of phonemes. Semantic errors were rare in both groups. Space-leaving errors were correlated with phonological errors, and more frequent in boys than girls. In conclusion, significant differences existed in the letter heights, letter spacings, word spacings, and frequencies of phonological errors and spaceleaving errors between the patients with writing disabilities and normal pupils. The characteristics of writings changed across grades and the developmental profiles were somewhat quantitatively different between the groups. The differences became obvious from the second-third grades.

  • PDF

Improved Sentence Boundary Detection Method for Web Documents (웹 문서를 위한 개선된 문장경계인식 방법)

  • Lee, Chung-Hee;Jang, Myung-Gil;Seo, Young-Hoon
    • Journal of KIISE:Software and Applications
    • /
    • v.37 no.6
    • /
    • pp.455-463
    • /
    • 2010
  • In this paper, we present an approach to sentence boundary detection for web documents that builds on statistical-based methods and uses rule-based correction. The proposed system uses the classification model learned offline using a training set of human-labeled web documents. The web documents have many word-spacing errors and frequently no punctuation mark that indicates the end of sentence boundary. As sentence boundary candidates, the proposed method considers every Ending Eomis as well as punctuation marks. We optimize engine performance by selecting the best feature, the best training data, and the best classification algorithm. For evaluation, we made two test sets; Set1 consisting of articles and blog documents and Set2 of web community documents. We use F-measure to compare results on a large variety of tasks, Detecting only periods as sentence boundary, our basis engine showed 96.5% in Set1 and 56.7% in Set2. We improved our basis engine by adapting features and the boundary search algorithm. For the final evaluation, we compared our adaptation engine with our basis engine in Set2. As a result, the adaptation engine obtained improvements over the basis engine by 39.6%. We proved the effectiveness of the proposed method in sentence boundary detection.

DaHae: Japanese Morphological Analyzer for Japanese to Korean Machine Translation (DaHae: 일한 기계번역을 위한 일본어 형태소 분석기)

  • Yuh, Sang-Hwa;Jung, Han-Min;Chang, Won;Kim, Tae-Wan;Hwang, Do-Sam;Park, Dong-In
    • Annual Conference on Human and Language Technology
    • /
    • 1995.10a
    • /
    • pp.195-207
    • /
    • 1995
  • 일본어는 한자, 히라가나, 가다가나 등 다양한 종류의 문자를 사용하며 이들의 혼용 비율이 매우 높아 띄어쓰기를 하지 않아도 문서의 가독성을 유지한다. ICOT 사전, EDR 사전, ATLAS I/JK사전 등 기존의 전자 사전에서 복합 자종의 표제어가 차지하는 비율(한자+히라가나의 표제어 제외)은 평균 8.8%로 그 수가 매우 작다. 따라서, 문장 내에서 자종의 변화는 단어를 구분하는 하나의 delimiter로 이용될 수 있다. 본 시스템에서는 형태소 분석의 전단계로 전처리기를 두어 자종정보(character type information)에 의한 fragment 분리 및 예외 단어, 정형표현 처리를 수행하며 각 fragment 의 형태소 분석 방법을 제시한다. 형태소 분석기는 전처리기의 처리 결과를 입력받아 각각의 fragment를 전처리기가 제시한 분석 방법에 따라 분석하여 입력 문장의 가능한 모든 분석을 추출한다. 이 방법은 불필요한 사전 탐색과 접속 체크 회수를 줄여 분석 성능을 향상시킨다.

  • PDF

A Korean Generator using Left-Right Connectivity Information (DaMaN: 좌우접속정보를 이용한 한국어 생성기)

  • Chang, Won;Yuh, Sang-Hwa;Jung, Han-Min;Kim, Tae-Wan;Hwang, Do-Sam;Park, Dong-In
    • Annual Conference on Human and Language Technology
    • /
    • 1995.10a
    • /
    • pp.121-130
    • /
    • 1995
  • 기계번역은 대상 언어를 해석하고 변환하여 목적언어의 대역어를 선정한 후, 목적언어를 생성하는 과정을 거친다. 이때, 대상언어의 분석 단위에 따라 대역어의 생성 단위 또는 깊이가 다르다. 그러므로, 특정한 시스템을 위한 생성기는 그 시스템의 해석 또는 변환단계에서 추출되는 대역어에 의존하게 되어 시스템 호환성을 상실한다. 따라서, 중복된 생성기의 개발을 피하기 위하여 번역시스템 특성에 국한되지 않고 독립적으로 이용될 수 있는 한국어 형태소생성기 개발이 필요하다. 본 논문에서는 한국어 해석에 사용되는 한국어 형태소 좌우인접정보를 이용하여 한국어형태소를 생성하는 시스템인 DaMaN을 소개한다. 세분류된 형태소의 활용과 접속, 조사의 변동, 띄어쓰기를 고려한 형태소 좌우접속 정보를 임의 조합 가능한 복합형태 (합성어)에도 적용할 수 있도록 확장하였다. 따라서, 대상언어의 분석단위에 제한 받지 않으므로 시스템 호환성이 있다.

  • PDF

Comments Classification System using Support Vector Machines and Topic Signature (지지 벡터 기계와 토픽 시그너처를 이용한 댓글 분류 시스템 언어에 독립적인 댓글 분류 시스템)

  • Bae, Min-Young;En, Ji-Hyun;Jang, Du-Sung;Cha, Jeong-Won
    • 한국HCI학회:학술대회논문집
    • /
    • 2009.02a
    • /
    • pp.263-266
    • /
    • 2009
  • Comments are short and not use spacing words or comma more than general document. We convert the 7-gram into 3-gram and select key features using topic signature. Topic signature is widely used for selecting features in document classification and summarization. We use the SVM(Support Vector Machines) as a classifier. From the result of experiments, we can see that the proposed method is outstanding over the previous methods. The proposed system can also apply to other languages.

  • PDF

Comments Classification System using Topic Signature (Topic Signature를 이용한 댓글 분류 시스템)

  • Bae, Min-Young;Cha, Jeong-Won
    • Journal of KIISE:Software and Applications
    • /
    • v.35 no.12
    • /
    • pp.774-779
    • /
    • 2008
  • In this work, we describe comments classification system using topic signature. Topic signature is widely used for selecting feature in document classification and summarization. Comments are short and have so many word spacing errors, special characters. We firstly convert comments into 7-gram. We consider the 7-gram as sentence. We convert the 7-gram into 3-gram. We consider the 3-gram as word. We select key feature using topic signature and classify new inputs by the Naive Bayesian method. From the result of experiments, we can see that the proposed method is outstanding over the previous methods.

A method for morphological correction of ambiguous error (한글 문서에서 형태적 중의 오류의 교정)

  • Kim, Min-Ju;Jeong, Jun-Ho;Lee, Hyeon-Ju;Choe, Jae-Hyeok;Kim, Hang-Jun;Lee, Sang-Jo
    • Annual Conference on Human and Language Technology
    • /
    • 1998.10c
    • /
    • pp.41-48
    • /
    • 1998
  • 교정 시스템에 나타나는 오류 유형들 중에는 전체적인 교정률에 차지하는 비중은 적지만 출현할 때마다 틀릴 가능성이 아주 높은 오류들이 있다. 기존의 교정 시스템에서는 이러한 오류들에 대한 처리가 미흡한데, 철자 오류와 띄어쓰기 오류 중 형태가 비슷하거나 같은 형태가 다른 기능을 함으로써 발생하는 오류들이다. 이러한 오류는 일반 문서 작성자뿐만 아니라 한글 맞춤법에 대해 어느 정도 지식을 가진 사람의 경우에도 구분이 모호하다. 복합 명사와 미등록어를 제외한 오류 중 약 30%가 여기에 속한다. 따라서 본 논문에서는 이러한 오류 유형들을 분류하고, 이 중에서 빈번하게 출현하는 오류에 대한 교정을 시도하고, 오류 유형들이 문장 내에서 어떤 분포를 가지는지 알아본다. 약 617만 어절의 말뭉치를 이용하여 해당 형태와 다른 성분들과의 관련성을 조사하여 교정 방법을 제시하고, 형태소 분석을 하여 교정을 행한다. 코퍼스 655만 어절 대상으로 실험한 결과 84.6%의 교정률을 보였다. 본 논문에서 제시한 교정 방법은 기존의 교정 시스템에 추가되어 교정 시스템의 전체 교정률을 향상시킬 수 있다. 또한 이와 비슷한 유형의 다른 어휘 교정에 대한 기초 자료로 사용될 수 있을 것이다.

  • PDF

Korean Morphological Analyzer and Part-Of-Speech Tagger Based on CYK Algorithm Using Syllable Information (음절단위 CYK 알고리즘에 기반한 형태소 분석기 및 품사태거)

  • Kwon, Oh-Woog;Chung, Yu-Jin;Kim, Mi-Young;Ryu, Dong-Won;Lee, Moon-Ki;Lee, Jong-Hyeok
    • Annual Conference on Human and Language Technology
    • /
    • 1999.10d
    • /
    • pp.76-86
    • /
    • 1999
  • 본 논문에서는 포항공과대학교 지식 및 언어공학연구실에서 개발한 한국어 형태소 분석기 및 품사 태거에 대하여 설명한다. 먼저, 음운 축약 현상이 많은 한국어에 적합한 음절단위 CYK 알고리즘을 제안한다. 그리고, 복합명사 및 복합동사에 대한 처리와 실제 문서에서 빈번히 발생하는 띄어쓰기 오류 처리에 대한 방법론을 설명하고 미등록어에 대한 처리 방안을 제시한다. 품사 태거에서 사용된 방법론과 태그 집합간 매핑, 그리고 명사 추출기에 대해 기술한 후 마지막으로 MATEC'99를 위한 준비과정에서 발생한 표준안과 우리 시스템 사이의 차이점을 나열 및 분석하고 간단히 MATEC'99를 통해 얻은 실험 결과와 평가를 하고자 한다.

  • PDF