• 제목/요약/키워드: 형태소 빈도

검색결과 72건 처리시간 0.03초

언어 텍스트에 나타나는 벤포드 법칙: 원리와 응용 (Benford's Law in Linguistic Texts: Its Principle and Applications)

  • 홍정하
    • 한국언어정보학회지:언어와정보
    • /
    • 제14권1호
    • /
    • pp.145-163
    • /
    • 2010
  • This paper aims to propose that Benford's Law, non-uniform distribution of the leading digits in lists of numbers from many real-life sources, also appears in linguistic texts. The first digits in the frequency lists of morphemes from Sejong Morphologically Analyzed Corpora represent non-uniform distribution following Benford's Law, but showing complexity of numerical sources from complex systems like earthquakes. Benford's Law in texts is a principle reflecting regular distribution of low-frequency linguistic types, called LNRE(large number of rare events), and governing texts, corpora, or sample texts relatively independent of text sizes and the number of types. Although texts share a similar distribution pattern by Benford's Law, we can investigate non-uniform distribution slightly varied from text to text that provides useful applications to evaluate randomness of texts distribution focused on low-frequency types.

  • PDF

전문용어사전 구축을 위한 전문용어 추출 및 순위화 (Term Extraction and Ranking for Building Term Dictionary)

  • 구희관;정한민;이병희;성원경
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2005년도 춘계학술발표대회
    • /
    • pp.745-748
    • /
    • 2005
  • 전문용어는 특정 분야의 전문가 사이에서 통용되는 표현 매체이며, 일반용어에 비해 생성과 소멸의 주기가 짧은 특징을 가지고 있다. 이런 특징 때문에 일반용어 사전구축과 달리 전문용어 사전을 구축하기 위해서는 신속한 대응전략이 필요하다. 이를 위해 본 논문에서는 전문용어 사전 구축을 위한 다음과 같은 두 단계의 과정을 제안한다. 우선 형태소 후처리와 결합규칙을 이용하여 1,200만 어절의 신문 말뭉치로부터 단일어 10만과 복합어 30만의 용어후보를 추출하고, 고빈도 용어 후보 6만개를 선별해 용어지배지수(Term Dominance Value)라는 개념을 도입하여 전문용어를 선정한다. 실험을 통해 용어지배지수 순위와 누적빈도순위 및 최근연도 순위를 비교한 결과 본 논문에서 제안한 용어지배지수가 전문용어 활용도를 나타내는 훌륭한 지표역할을 할 수 있음을 확인할 수 있었다.

  • PDF

실어증에서 나타나는 참조어 정보처리과정의 특성 : 명칭 실어증과 이해성 실어증을 중심으로 (Anaphoric Resolution in Anomia and Wernike Aphasia)

  • 김가영;황유미;문영선;박윤;남기춘
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1999년도 제11회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.455-461
    • /
    • 1999
  • 본 연구의 목적은 실어증 화자가 참조어(대명사)를 이해하고 표현하는데 있어서의 오류 반응을 살펴봄으로써 참조어에 관한 처리기제를 알아보는 것이다. 본 연구에서는 명칭성 실어증 환자와 이해성 실어증 환자를 대상으로 하였으며, 각각의 환자에게 두 가지 실험을 진행하였다. 실험 1은 정오판정 과제로 문장, 혹은 문단을 제시하고 사용된 참조어가 옳은지 그른지를 판정하도록 하는 것이다. 실험 2는 채워넣기 과제로 문장, 문단을 제시하고 괄호 안에 들어갈 참조어를 보기에서 고르도록 하는 것이다. 사용된 참조어는 인칭 대명사와 지시 대명사, 그리고 지시 관형사였다. 인칭 대명사의 경우는 인칭과 수로 나누어 각각 1인칭, 2인칭의 단수 복수로 구분하여 제시되었으며, 문장 내에서 각각 주격조사 '가', 보조사 '는', 소유격조사 '의'와 결합되어 제시되었다. (나는, 너는, 우리는, 너희는/ 내가, 너가, 우리가, 너희가/ 나의, 너의, 우리의, 너희의) 지시 대명사의 경우는 사물을 나타내는 것과 장소를 나타내는 것으로 구분되어 제시되었다. (이것, 그것, 저것/ 이곳, 그곳, 저곳) 지시 관형사의 경우는 '이', '그', '저'가 각각 명사와 결합되어 제시되었는데 지시대명사로 분류하였다. 실험결과는 실험과제간(정오판정, 채워넣기), 실험재료간(인칭 대명사, 지시 대명사)의 차이로 분석될 수 있다. 또한 인칭 대명사와 지시 대명사 내에서도 각각의 재료들 간에 오류반응의 특징이 있는 것으로 나타났다 이로 미루어 볼 때 참조어 범주간 별개의 처리과정이 작용하는 것이라고 생각할 수 있다. 물론 인칭대명사와 지시대명사가 사용되는 문맥적 상황, 대명사의 개념적 거리, 빈도, 사용된 문장의 길이 등 여타의 요소들도 고려되어야 할 것이다. 보조용언으로 쓰일 때 어휘적 의미가 전혀 활성화되지 않아 정상인과는 다른 언어처리를 하고 있음이 밝혀졌다.류의 의미가 모두 활성화되는 것을 보여 주었다. 즉, "먹은"과 간은 어절 이해는 구성 형태소로의 분석과 구성 형태소 어휘 접근을 통해 어절 이해가 이루어진다는 가설을 지지하고 있다. 실험 2에서는 실험 1과 다르게 한 뜻으로만 안일 수밖에 없는 "쥐어"와 같은 어절을 사용하여 이런 경우에도(즉, 어절의 문맥이 특정 뜻으로 한정하는 경우) 구성 형태소로의 분석 과정이 일어나는지를 조사하였다. 실험 2의 결과는 실험 1의 결과와는 다르게 어간의 한가지 의미와 관련된 조건만 촉진적 점화 효과가 나타나는 것을 보여주었다. 특히, 실험 2에서 SOA가 1000msec일 경우, 두 의미의 활성화가 나타나는 것을 보여주었는데, 이 같은 결과는 어절 문맥이 특정한 의미로 한정시킬 경우는 심성어휘집에 활용형태로 들어있다는 것이다. 또한 명칭성 실어증 환자의 경우에는 즉시적 점화과제에서는 일반인과 같은 형태소 처리과정을 보였으나, 그이후의 처리과정이 일반인과 다른 형태를 보였다. 실험 1과 실험 2의 결과는 한국어 어절 분석이 구문분석 또는 활용형태를 통해 어휘 접근되는 가설을 지지하고 있다. 또 명칭성 실어증 환자의 경우에는 지연된 점화과제에서 형태소 처리가 일반인과 다르다는 것이 밝혀졌다. 이 결과가 옳다면 한국의 심성 어휘집은 어절 문맥에 따라서 어간이나 어근 또는 활용형 그 자체로 이루어져 있을 것이다.으며, 레드 클로버 + 혼파 초지가 건물수량과 사료가치를 높이는데 효과적이었다.\ell}$ 이었으며 , yeast extract 첨가(添加)하여 배양시(培養時)는 yeast extract 농도(濃度)가 증가(增加)함에

  • PDF

한국어 중의적 형태소 표상양식과 처리 특성 : 실어증 환자를 중심으로 (The Processing and Representations of Ambiguos Morpheme in Korean Words : Centered in Aphasics.)

  • 정재범;편성범;김태훈;남기춘
    • 한국인지과학회:학술대회논문집
    • /
    • 한국인지과학회 2002년도 춘계학술대회
    • /
    • pp.151-156
    • /
    • 2002
  • 중의적인 단어를 처리하는 방법에 대한 선행연구로, 첫째 문맥에 맞는 의미가 먼저 활성화된다는 가설과 둘째, 여러 뜻 중에 상대적인 빈도에 따라 많이 쓰이는 의미가 먼저 활성화되고, 그것이 문맥과 일치하지 않는다면, 다른 관련된 의미를 찾는다는 가설이 제기되었다. 마지막으로 문맥에 상관없이 모든 의미가 활성화 된 후 문맥을 고려하여 문맥에 적절한 의미를 선택한다는 가설이 있다. 본 연구에서는 '먹을', '감을' 등과 같이 2가지 의미의 품사가 다른 중의 어절과 '쥐어', '감어' 등과 같이 어절 문맥('어')이 주어진 어절의 의미 활성화가 어떻게 다른지를 조사하였다. 본 연구의 목적을 위해 점화어휘 판단 과제를 사용하였다. 실험 1의 결과는 SOA 150ms 조건에서 점화자극어절과 관련된 의미가 품사와 관련 없이 모두 활성화되었다. SOA 1000ms 조건에서는 상대적으로 많이 쓰이는 체언의 의미는 계속 활성화 되어 있는 반면, 용언의 의미 점화량은 감소하였다. 명칭성 실어증 환자인 SDK의 경우 SOA 150ms 조건에서는 일반인과 같은 형태소 처리특성을 보였으나 1000ms 조건에서는 달랐다. 다른 명칭성 실어증 환자인 BIS과 전반성 실어증 환자인 PSB는 SOA 150ms 조건과 1000ms 조건에서 일반인과 아주 다른 양상을 보였다. 이것은 실어증 환자의 타잎에 따라 형태소의 처리나 중의적인 의미 활성화가 일반인과는 다르다는 것을 보여준다. 실험 2에서는 어절 문맥이 있는 '먹어', '쥐어', '감어' 등과 같은 어절을 사용하였다. 실험 2의 결과는 SOA 150ms 조건일 때 어절문맥의 영향으로 용언의 의미만 촉진적 점화효과가 있었고, 체언의 의미는 활성화되지 않았다. 그러나 SOA 1000ms로 지연시켰을 때는 용언뿐만 아니라 체언의 의미도 촉진적 점화효과가 있었다. 실험 1과 2의 결과는 중의적인 한국어 어절의 경우에도 모든 의미가 활성화되나 어절 문맥이 존재할 때는 어절 문맥의 제약으로 어절 문맥에 맞는 한 가지 의미만 활성화된다는 것을 암시한다. 또한 이러한 결과는 한국어 어절이 분석된 형태가 아닌 어절 형태로 심성 어휘집에 저장되어 있다는 것을 암시한다. 실어증 환자의 경우 실험 1과 마찬가지로 환자의 수준이나 종류에 따라 다양한 반응을 보여주었다.

  • PDF

연속음성인식 후처리를 위한 음절 복원 rule-based 시스템과 형태소분석기법의 적용 (The syllable recovrey rule-based system and the application of a morphological analysis method for the post-processing of a continuous speech recognition)

  • 박미성;김미진;김계성;최재혁;이상조
    • 전자공학회논문지C
    • /
    • 제36C권3호
    • /
    • pp.47-56
    • /
    • 1999
  • 한국어를 연속적으로 발음할 때 여러 가지 음은변동이 일어난다. 이러한 음운변동은 한국어 연속 음성 인식을 어렵게 하는 주요 요인 중의 한가지이다. 본 논문에서는 음운변동이 반영된 음성 인식 문자열을 규칙에 의하여 text 기반 문자열로 다시 복원시키는 rule-based 시스템을 제안한다. 그리고 복원 결과들은 형태소 분석되어 올바른 문자열만 생성된다. 복원은 4가지 rule 즉, 음절 경계 종성 초성 복원 rule, 모음처리 복원 rule,끝음절 종성 복원 rule, 한 음절 처리 rule에 의거하여 이루어진다. 규칙 적용 과정 중에 효과적인 복원을 위해 x-clustering정보를 정의하여 사용하고, 형태소 분석기에 입력될 복원 후보수를 제안하기 위해 postfix음절 빈도정보를 구하여 사용한다. 본 시스템은 규칙기반 시스템이므로 대용량의 발음열 사전이나 음소열 사전을 필요로 하지 않고 문서 기반 형태소 분석기를 그대로 이용할 수 있다는 이점이 있다.

  • PDF

연속음성인식 후처리를 위한 음절 복원 rule-base시스템 (The syllable recovery rule-base system for the post-processing of a continuous speech recognition)

  • 박미성;김미진;이문희;최재혁;이상조
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1998년도 제10회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.379-385
    • /
    • 1998
  • 한국어가 연속적으로 발음될 때 여러 가지 음운 변동현상이 일어난다. 이것은 한국어 연속음성 인식을 어렵게 하는 주요 요인 중의 한가지이다. 본 논문은 음운변동현상이 반영된 음성 인식 문자열을 규칙에 의거하여 text 기반 문자열로 다시 복원시키고 복원 결과 후보들을 형태소 분석하여 유용한 문자열만을 최종 결과로 생성하게 하는 시스템을 구성하였다. 복원은 4가지 rule 즉, 음절 경계 종성 초성 복원 rule, 모음처리 복원 rule, 끝음절 중성 복원 rule, 한 음절처리 rule에 따라 이루어진다. 규칙 적용 과정중에 효과적인 복원을 위해 x-clustering정보를 정의 하여 사용하고, 형태소 분석기에 입력될 복원 후보수를 제한하기 위해 postfix음절 빈도정보를 구하여 사용한다.

  • PDF

어말 위치 /ㅗ/의 /ㅜ/ 대체 현상에 대한 문법 항목별 출현빈도 연구 (Frequency of grammar items for Korean substitution of /u/ for /o/ in the word-final position)

  • 윤은경
    • 말소리와 음성과학
    • /
    • 제12권1호
    • /
    • pp.33-42
    • /
    • 2020
  • 본 논문은 구어 말뭉치를 기반으로 한국어 /ㅗ/가 /ㅜ/로 고모음화되는 현상(예, '별로' [별루])에 대해 문법 항목별로 차이를 살펴보는 데 연구 목적이 있다. 한국어의 /ㅗ/와 /ㅜ/는 [+원순성] 자질을 공유하지만, 혀 높이 차이로 변별된다. 그러나 최근 /ㅗ/와 /ㅜ/의 두 모음의 음성적 구분이 모호해지는 병합 현상이 진행 중이라고 여러 논문에서 보고되었다. 본 연구에서는 어말 위치의 /ㅗ/가 한국어 자연언어 구어 말뭉치(The Korean Corpus of Spontaneous Speech)에서 음성적으로 [o] 또는 [u]로 실현되는 현상을 연결어미, 조사, 부사, 체언의 문법 항목별로 출현빈도 및 출현비율에 대해 살펴보았다. 실험 결과 연결어미, 조사, 부사에서 /ㅗ/는 약 50%의 비율로 /ㅜ/로 대체되는 것을 확인했고, 체언에서만 상당히 낮은 비율인 5% 미만으로 대체가 되는 것을 알 수 있었다. 고빈도 형태소 중에서 가장 높은 /ㅜ/ 대체율을 보인 형태소는 '-도 [두]' (59.6%)였고, 연결어미에서는 '-고 [구]' (43.5%)로 나타났다. 구어 말뭉치를 통하여 실제 발음형과 표준발음의 차이를 살펴보았다는 데 연구 의의가 있다.

한글 단어 재인 시 음절 빈도가 글자 교환 효과에 미치는 영향 (The influence of the syllable frequency on transposed letter effect of Korean word recognition)

  • 이선경;이윤형;이창환
    • 인지과학
    • /
    • 제32권3호
    • /
    • pp.99-115
    • /
    • 2021
  • 본 연구는 로마자 알파벳 언어에서 일관되게 나타나는 글자 교환 효과와 관련된 혼동 현상이 한국어에서는 발견하기 어려운 사실에 근거하여 관련 소재(locus)를 탐색하고자 수행되었다. 한글 글자 교환에 대한 몇몇 연구에서는 음절이나 형태소 교환의 경우 혼동 효과가 유의미하게 있었지만 단순 글자의 교환에서는 혼동 효과가 미미하였다. 본 연구에서는 일련의 글자 교환 효과에 관한 기존 연구의 분석을 바탕으로 글자의 빈도가 조절변인일 수 있음에 착안하여 이를 검증하였다. 실험 결과, 한글 단어(예: 민주화)의 글자들을 교환하여 형성된 비단어에서 고빈도 음절이 포함되게 한 경우(예: 진무화) 유의미한 글자 교환 효과를 발견하였으나 저빈도 음절이 포함되게 한 경우(예: 경쟁력 → 졍갱력)에는 글자 교환 효과가 나타나지 않았다. 이는 음절 빈도라는 어휘 변인이 한글 글자 교환 효과에 간여하는 주요 변인일 수 있음을 시사하며 한글에서도 글자 수준에서의 교환 효과가 나타날 수 있음을 밝혔다.

CNN을 적용한 한국어 상품평 감성분석: 형태소 임베딩을 중심으로 (Sentiment Analysis of Korean Reviews Using CNN: Focusing on Morpheme Embedding)

  • 박현정;송민채;신경식
    • 지능정보연구
    • /
    • 제24권2호
    • /
    • pp.59-83
    • /
    • 2018
  • 고객과 대중의 니즈를 파악하기 위한 감성분석의 중요성이 커지면서 최근 영어 텍스트를 대상으로 다양한 딥러닝 모델들이 소개되고 있다. 본 연구는 영어와 한국어의 언어적인 차이에 주목하여 딥러닝 모델을 한국어 상품평 텍스트의 감성분석에 적용할 때 부딪히게 되는 기본적인 이슈들에 대하여 실증적으로 살펴본다. 즉, 딥러닝 모델의 입력으로 사용되는 단어 벡터(word vector)를 형태소 수준에서 도출하고, 여러 형태소 벡터(morpheme vector) 도출 대안에 따라 감성분석의 정확도가 어떻게 달라지는지를 비정태적(non-static) CNN(Convolutional Neural Network) 모델을 사용하여 검증한다. 형태소 벡터 도출 대안은 CBOW(Continuous Bag-Of-Words)를 기본적으로 적용하고, 입력 데이터의 종류, 문장 분리와 맞춤법 및 띄어쓰기 교정, 품사 선택, 품사 태그 부착, 고려 형태소의 최소 빈도수 등과 같은 기준에 따라 달라진다. 형태소 벡터 도출 시, 문법 준수도가 낮더라도 감성분석 대상과 같은 도메인의 텍스트를 사용하고, 문장 분리 외에 맞춤법 및 띄어쓰기 전처리를 하며, 분석불능 범주를 포함한 모든 품사를 고려할 때 감성분석의 분류 정확도가 향상되는 결과를 얻었다. 동음이의어 비율이 높은 한국어 특성 때문에 고려한 품사 태그 부착 방안과 포함할 형태소에 대한 최소 빈도수 기준은 뚜렷한 영향이 없는 것으로 나타났다.

사용빈도와 의미투명도가 복합명사의 분리처리에 미치는 효과 (Effects of word frequency and semantic transparency on decomposition processes of compound nouns)

  • 이태연
    • 인지과학
    • /
    • 제18권4호
    • /
    • pp.371-398
    • /
    • 2007
  • 이 연구는 의미점화과제와 반복점화과제를 사용하여 사용빈도와 의미투명성이 복합명사의 분리처리 양상에 어떤 영향을 미치는지를 알아보았다. 실험 1에서는 사용빈도에 따라 복합명사의 분리처리 양상이 달라지는지를 검토하였다. 의미점화효과가 복합명사 연상어 조건에서 자극제시시차나 사용빈도와 무관하게 관찰되었으며, 반복점화효과는 부분조건과 전체조건에서 모두 관찰되었지만 부분조건에서 더 큰 반복점화효과를 보였다. 이 결과는 복합명사가 하위 형태소로 분리되어 처리되는 경로와 복합명사 전체로 처리되는 경로가 함께 존재할 가능성을 보여준다. 실험 2에서는 의미투명도에 따라 복합명사의 분리처리 양상이 달라지는지를 검토하였다. 의미점화효과가 복합명사 연상어 조건에서 자극제시시차나 의미투명도에 무관하게 관찰되었으며, 반복점화과제에서도 실험 1b와 유사한 결과를 보였다. 실험 1과 2의 결과는 어휘수준에서 분리처리경로와 전체처리경로를 통해 활성화된 의미가 개념 수준에서 이루어지는 상호작용과정을 통해 복합명사의 의미를 결정함을 시사한다.

  • PDF