• 제목/요약/키워드: Morpheme Analysis

검색결과 122건 처리시간 0.029초

말뭉치 기반 부분 어절 기분석 사전의 구축과 형태소 분석 (Construction of Partial Word Morpheme Dictionary based on Tagged Corpus and Korean Morphological Analysis)

  • 신준철;옥철영
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2011년도 제23회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.67-72
    • /
    • 2011
  • 기존의 말뭉치 기반 한국어 형태소 분석 방법은 대용량의 어절 기분석 사전을 사용하여 분석하고, 그 사전에 없는 어절은 코드 변환, 형태소 분리, 원형 복원 규칙 적용 등을 거치는 복잡한 분석 방법을 통해 후보들을 생성했다. 이 복잡한 분석 방법은 제작과 유지보수, 실행 관점 모두에서 효율적이지 못하며 정확률을 낮추고 속도를 느리게 하는 요인이 된다. 이런 문제를 해결하기 위해 부분 어절의 기분석 사전을 구축하여 사용하는 방법이 연구되었다. 본 논문에서는 대용량의 분석 말뭉치를 통해 부분 어절의 기분석 사전을 구축하고 형태소 분석에 사용하는 방법을 제안한다. 세종 말뭉치로 실험한 결과 재현율이 99.05%였으며, 품사 및 동형이의어 태깅 정확률은 96.76%였다.

  • PDF

Fake News Detection Using Deep Learning

  • Lee, Dong-Ho;Kim, Yu-Ri;Kim, Hyeong-Jun;Park, Seung-Myun;Yang, Yu-Jun
    • Journal of Information Processing Systems
    • /
    • 제15권5호
    • /
    • pp.1119-1130
    • /
    • 2019
  • With the wide spread of Social Network Services (SNS), fake news-which is a way of disguising false information as legitimate media-has become a big social issue. This paper proposes a deep learning architecture for detecting fake news that is written in Korean. Previous works proposed appropriate fake news detection models for English, but Korean has two issues that cannot apply existing models: Korean can be expressed in shorter sentences than English even with the same meaning; therefore, it is difficult to operate a deep neural network because of the feature scarcity for deep learning. Difficulty in semantic analysis due to morpheme ambiguity. We worked to resolve these issues by implementing a system using various convolutional neural network-based deep learning architectures and "Fasttext" which is a word-embedding model learned by syllable unit. After training and testing its implementation, we could achieve meaningful accuracy for classification of the body and context discrepancies, but the accuracy was low for classification of the headline and body discrepancies.

확률 기반 미등록 단어 분리 및 태깅 (Probabilistic Segmentation and Tagging of Unknown Words)

  • 김보겸;이재성
    • 정보과학회 논문지
    • /
    • 제43권4호
    • /
    • pp.430-436
    • /
    • 2016
  • 형태소 분석시 나타나는 고유명사나 신조어 등의 미등록어에 대한 처리는 다양한 도메인의 문서 처리에 필수적이다. 이 논문에서는 3단계 확률 기반 형태소 분석에서 미등록어를 분리하고 태깅하기 위한 방법을 제시한다. 이 방법은 고유명사나 일반명사와 같은 개방어 뒤에 붙는 다양한 접미사를 분석하여 미등록 개방어를 추정할 수 있도록 했다. 이를 위해 형태소 품사 부착 말뭉치에서 자동으로 접미사 패턴을 학습하고, 확률 기반 형태소 분석에 맞도록 미등록 개방어의 분리 및 태깅 확률을 계산하는 방법을 제시하였다. 실험 결과, 제안한 방법은 새로운 미등록 용어가 많이 나오는 문서에서 미등록어 처리 성능을 크게 향상시켰다.

한국어의 형태소해석 (Morphological Analysis of the Korean Language)

  • 이수현;;이주근
    • 대한전자공학회논문지
    • /
    • 제26권4호
    • /
    • pp.53-61
    • /
    • 1989
  • 한국어의 구문 및 의미해석등에 필요한 정보를 도출하기 위한 입력분의 형태해석에 대하여 기술한다. 명사구에서 명사와 조사를 분리하고, 복합명사의 분리점을 선택하는 조건을 규정하며, 변형된 복합명사를 처리하는 규칙을 표시한다. 그리고 규칙동사에서 어간과 어미를 분리하고, 변칙용언과 음운축약 등을 효과적으로 처리하기 위한 논리표현 형식을 제안한다. 이 논리표현은 해석규칙과 속성값으로 구성한다. 명사사전의 중복을 배제하기 위하여 "명사형 하다" 동사의 분리 처리와 Q parameter 도입에 의한 "이다"의 처리방법을 보이고, 또한 부정문의 처리형식도 유도하여 복합술부의 형태소와 기본형식을 제시한다.

  • PDF

Analysis of the supportive care needs of the parents of preterm children in South Korea using big data text-mining: Topic modeling

  • Park, Ji Hyeon;Lee, Hanna;Cho, Haeryun
    • Child Health Nursing Research
    • /
    • 제27권1호
    • /
    • pp.34-42
    • /
    • 2021
  • Purpose: The purpose of this study was to identify the supportive care needs of parents of preterm children in South Korea using text data from a portal site. Methods: In total, 628 online newspaper articles and 1,966 social network service posts published between January 1 and December 31, 2019 were analyzed. The procedures in this study were conducted in the following order: keyword selection, data collection, morpheme analysis, keyword analysis, and topic modeling. Results: The term "yirundung-yi", which is a native Korean word referring to premature infants, was confirmed to be a useful term for parents. The following four topics were identified as the supportive care needs of parents of preterm children: 1) a vague fear of caring for a baby upon imminent neonatal intensive care unit discharge, 2) real-world difficulties encountered while caring for preterm children, 3) concerns about growth and development problems, and 4) anxiety about possible complications. Conclusion: Supportive care interventions for parents of preterm children should include general parenting methods for babies. A team composed of multidisciplinary experts must support the individual growth and development of preterm children and manage the complications of prematurity using highly accessible media.

Mecab-ko 형태소 분석을 이용한 한국체육학회지 연구동향 분석 (The Research Trend Analysis of the Korean Journal of Physical Education using Mecab-ko Morphology Analyzer)

  • 박성건;김완섭;이대택
    • 한국체육학회지인문사회과학편
    • /
    • 제56권6호
    • /
    • pp.595-605
    • /
    • 2017
  • 본 연구의 목적은 Mecab-ko 형태소 분석을 기반으로 한국체육학회 연구자들이 선호하는 연구 분야가 무엇이며, 인문사회과학과 자연과학 분야 간 연구자들의 관심사에 차이점이 있는지 그리고 이유는 무엇인지 텍스트 분석을 통해 알아보는 것이다. 본 연구를 위해 수집된 데이터는 2002년 3월~2017년 3월까지 한국체육학회지 온라인에 게재된 5,014편의 논문이다. 본 연구에서는 수집된 문서에서 키워드를 추출하기 위해 Mecab-ko 형태소 분석기를 사용하였다. 연구 결과, 한국체육학회지에 게재되는 논문 수는 감소하고 있는 것으로 나타났다. 연구자들이 선호하는 연구 분야는 여가, 생활체육 및 건강이 경기력 향상보다 상대적으로 높게 나타났으며, 관심이 높은 연구 대상은 여성, 중년, 노인으로 나타났다. 인문사회과학 분야 연구자들은 전통적 연구 분야와 사회적 관심사에 모두 관심을 보인 반면에, 자연과학 분야 연구자들은 전통적 연구를 보다 깊게 연구하는 것에 관심이 높은 것으로 나타났다. 결론적으로, 스포츠 분야 융합 연구 활성화를 구현하기 위해서는 연구의 깊이와 폭에 중점을 두어야 하는 학문 분야가 무엇인지, 새로운 학문 분류 체계 및 정립이 필요하다.

중국인 한국어 학습자의 중간언어 연구 - 평균발화길이(MLU)와 어휘적 특성을 중심으로 (A Research on the Interlanguage of Chinese Speaking Korean Language Learners: Focusing on MLU and Characteristics Found in Vocabulary Usage)

  • 김선정;김목아
    • 비교문화연구
    • /
    • 제22권
    • /
    • pp.303-327
    • /
    • 2011
  • This study aims to uncover the learner's language proficiency shown in the writing data of Chinese elementary/intermediate level learners. Language proficiency of the learners acquired by error analysis provides only partial information, and thus this study analyses the interlanguage of Korean learners in terms of 'Mean Length of Utterance, MLU' to discover the overall aspect of learner's language proficiency more symmetrically. The analysis of vocabulary area is to be enforced after generally studying the learner's language development aspect in accordance with MLU-m(orpheme) and MLU-(w)ord found in compositions by Chinese speaking Korean language learners. In terms of MLU, it has been slightly increased as the level of proficiency between elementary level and intermediate level learners; however, the morpheme seemed to be difficult to use, since the difference between Chinese learners and Korean university students has been notably shown. Vocabulary diversity, using aspect for each word class, and using aspect of the predicate are studied for vocabulary area; more various and numerous vocabulary tend to be used as the level of proficiency increases. In terms of predicate use, Chinese learners use less numerous vocabulary types.

Best Practice on Automatic Toon Image Creation from JSON File of Message Sequence Diagram via Natural Language based Requirement Specifications

  • Hyuntae Kim;Ji Hoon Kong;Hyun Seung Son;R. Young Chul Kim
    • International journal of advanced smart convergence
    • /
    • 제13권1호
    • /
    • pp.99-107
    • /
    • 2024
  • In AI image generation tools, most general users must use an effective prompt to craft queries or statements to elicit the desired response (image, result) from the AI model. But we are software engineers who focus on software processes. At the process's early stage, we use informal and formal requirement specifications. At this time, we adapt the natural language approach into requirement engineering and toon engineering. Most Generative AI tools do not produce the same image in the same query. The reason is that the same data asset is not used for the same query. To solve this problem, we intend to use informal requirement engineering and linguistics to create a toon. Therefore, we propose a sequence diagram and image generation mechanism by analyzing and applying key objects and attributes as an informal natural language requirement analysis. Identify morpheme and semantic roles by analyzing natural language through linguistic methods. Based on the analysis results, a sequence diagram and an image are generated through the diagram. We expect consistent image generation using the same image element asset through the proposed mechanism.

대화체 연속음성 인식을 위한 한국어 대화음성 특성 분석 (Analysis of Korean Spontaneous Speech Characteristics for Spoken Dialogue Recognition)

  • 박영희;정민화
    • 한국음향학회지
    • /
    • 제21권3호
    • /
    • pp.330-338
    • /
    • 2002
  • 대화체 연속음성은 자연스러운 발화로 낭독체 문장에 비해 잡음, 간투어와 같은 비문법적인 요소가 많고, 발음의 변이가 심하다. 이런 이유로 대화체 연속음성을 인식하기 위해서는 대화 현상을 분석하고 그 특징을 반영하여야 한다. 본 논문에서는 실제 대화음성에 빈번히 나타나는 대화 현상들을 분류하고 각 현상들을 모델링하여 대화체 연속음성 인식을 위한 기본 베이스라인을 구축하였다. 대화 현상을 묵음 구간과 잡음, 간투어, 반복/수정 발화의 디스풀루언시 (disfluencies), 표준전사와 다른 발음을 갖는 발음변이 현상으로 나누었다. 발음변이 현상은 다시 양성음의 음성음화, 음운축약/탈락현상, 패턴화된 발음변이, 발화오류로 세분화하였다. 대화체 음성인식을 위해서 빈번히 나타나는 묵음구간을 고려한 학습과 잡음, 간투어 처리를 위한 음향모델을 각각 추가하였다. 발음변이 현상에 대해서는 출현빈도수가 높은 것들만을 대상으로 발음사전에 다중 발음열을 추가하였다. 대화현상을 고려하지 않고 낭독체 스타일로 음성인식을 수행하였을 때 형태소 에러율 (MER: Morpheme Error Rate)은 31.65%였다. 이에 대한 형태소 에러율의 절대값 감소는 묵음 모델과 잡음 모델을 적용했을 때 2.08%, 간투어 모델을 적용했을 때 0.73%, 발음변이 현상을 반영했을때 0.92%였으며, 최종적으로 27.92%의 형태소 에러율을 얻었다. 본 연구는 대화체 연속음성 인식을 위한 기초 연구로 음향모델과 어휘모델, 언어모델 각각에 대한 베이스라인으로 삼고자 한다.

온라인 리뷰 분석을 통한 상품 평가 기준 추출: LDA 및 k-최근접 이웃 접근법을 활용하여 (Product Evaluation Criteria Extraction through Online Review Analysis: Using LDA and k-Nearest Neighbor Approach)

  • 이지현;정상형;김준호;민은주;여운영;김종우
    • 지능정보연구
    • /
    • 제26권1호
    • /
    • pp.97-117
    • /
    • 2020
  • 상품 평가 기준은 상품에 대한 속성, 가치 등을 표현한 지표로써 사용자나 기업이 상품을 측정하고 파악할 수 있게 한다. 기업이 자사 제품에 대한 객관적인 평가와 비교를 수행하기 위해서는 적절한 기준을 선정하는 것이 필수적이다. 이때, 평가 기준은 소비자들이 제품을 실제로 구매 및 사용 후 평가할 때 고려하는 제품의 특징을 반영하여야 한다. 그러나 기존에 사용되던 평가 기준은 제품마다 상이한 소비자의 의견을 반영하지 못하고 있다. 기존 연구에서는 소비자 의견이 반영된 온라인 리뷰를 통해 상품의 특징, 주제를 추출하고 이를 평가기준으로 사용했다. 하지만 여전히 상품과 연관성이 낮은 평가 기준이 추출되거나 부적절한 단어가 정제되지 않는 한계가 있다. 본 연구에서는 이를 극복하기 위해 잠재 디리클레 할당(Latent Dirichlet Allocation, LDA) 기법으로 리뷰로부터 평가 기준 후보군을 추출하고 이를 k-최근접 이웃 접근법(k-Nearest Neighbor Approach, k-NN)을 이용해 정제하는 모델을 개발하고 검증했다. 제시하는 방법은 준비 단계와 추출 단계로 이루어진다. 준비 단계에서는 워드임베딩(Word Embedding) 모델과 평가 기준 후보군을 정제하기 위한 k-NN 분류기를 생성한다. 추출 단계에서는 k-NN 분류기와 언급 비율을 이용해 평가 기준 후보군을 정제하고 최종 결과를 도출한다. 제안 모델의 성능 평가를 위해 명사 빈도 추출 모델, LDA 빈도 추출 모델, 실제 전자상거래 사이트가 제공하는 평가 기준을 세 비교 모델로 선정했다. 세 모델과의 비교를 위해 설문을 진행하고 점수화하여 결과를 검정했다. 30번의 검정 결과 26번의 결과에서 제안 모델이 우수함을 확인했다. 본 연구의 제안 모델은 전자상거래 사이트에서 리뷰 특성을 반영한 상품군 별 차원을 도출하는데 활용될 수 있고 이를 기초로 인사이트 발굴을 위한 리뷰 분석 및 활용에 크게 기여할 것이다.