• 제목/요약/키워드: 단어 빈도

검색결과 541건 처리시간 0.025초

음운구 경계와 단어빈도가 한국어 음운단어 재인에 미치는 영향 (Phonological phrase boundary and word frequency that influence the phonological word recognition)

  • 김제홍;신하선;김예슬;윤광열;김다슬;신지영;남기춘
    • 말소리와 음성과학
    • /
    • 제11권2호
    • /
    • pp.45-56
    • /
    • 2019
  • 본 연구는 한국어 말소리 단어를 처리할 때, 운율구성성분인 음운구 경계와 어휘변인인 단어빈도가 상호 작용하는지를 알아보았다. 이를 위해 4개의 음운구로 발화된 문장에서 참가자가 목표단어를 찾을 때, 음운구 경계에 걸침 유무에 따라서 생기는 방해효과를 단어찾기 과제(word monitoring task)를 통해서 조사하였다. 목표단어는 2음절의 고빈도와 저빈도 단어들이 실험자 내 조건으로, 4개의 음운구로 발화된 문장에서 각각 음운구 경계 간(목표단어: 대표, 음운구 경계: [이사회의] [반대] [표명이] [있었다]) 조건과 음운구 경계 내(목표단어: 마차, 음운구 경계: [세뱃돈은] [항상] [우리] [엄마 차지였다]) 조건이 실험자 간 조건으로 설계되었다. 실험 결과, 두 변인 중 음운구 경계의 주 효과가 유의미하였으며, 상호작용도 유의미하였다. 사후분석 결과 음운구 경계 내 그룹에서만 고빈도 목표단어를 저빈도 목표단어보다 유의미하게 빠르게 탐색하는 것으로 나타났고 음운구 경계 간 그룹에서는 목표단어의 빈도효과가 나타나지 않았다. 이 결과를 기반으로 음운 단어재인시 단어의 빈도변인이 초기 단계에 영향을 미치는 여부와 한국어 말소리 처리에서 두 변인의 중요성을 논의하였다.

문서의 키워드 추출에 대한 신경망 접근 (Neural Based Approach to Keyword Extraction from Documents)

  • 조태호;서정현
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 가을 학술발표논문집 Vol.27 No.2 (2)
    • /
    • pp.317-319
    • /
    • 2000
  • 문서는 자연어로 구성된 비정형화된 데이터이다. 이를 처리하기 위하여 문서를 정형화된 데이터로 표현하여 저장할 필요가 있는데, 이를 문서 대용물(Document Surrogate)라 한다. 문서 대용물은 대표적으로 인덱싱 과정에 의해 추출된 단어 리스트를 나타낸다. 문서 내의 모든 단어가 내용을 반영하지 않는다. 문서의 내용을 반영하는 중요한 단어만을 선택할 필요가 있다. 이러한 단어를 키워드라 하며, 기존에는 단어의 빈도와 역문서 빈도(Inverse Document Frequency)에 근거한 공식에 의해 키워드를 선택하였다. 실제로 문서내 빈도와 역문서 빈도뿐만 아니라 제목에 포함 여부, 단어의 위치 등도 고려하여야 한다. 이러한 인자를 추가할 경우 이를 수식으로 표현하기에는 복잡하다. 이 논문에서는 이를 단어의 특징으로 추출하여 특징벡터를 형성하고 이를 학습하여 키워드를 선택하는 신경망 모델인 역전파의 접근을 제안한다. 역전파를 이용하여 키워드를 판별한 결과 수식에 의한 경우보다 그 성능이 향상되었음을 보여주고 있다.

  • PDF

한국어 문서의 통계적 정보를 이용한 문서 요약 시스템 구현 (Implementation of the Text Abstraction System using the Statistical Information of Korean Documents)

  • 강상배;조혁규;권혁철;박재득;박동인
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1997년도 제9회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.28-33
    • /
    • 1997
  • 이 논문에서는 문장 유사도 측정 기법과 말뭉치 정보를 이용한 문서요약 시스템을 구현하였다. 문서 요약은 문서에서 문장 단위로 단어를 추출하여 문장을 단어의 벡터로 표현하고, 문서 내 단어의 출현빈도와 말뭉치 내 단어의 사용빈도를 이용하여 각 문장의 중요도를 계산한다. 그리고 중요도가 높은 상위 몇 위의 문장을 요약문장으로 추출한다. 실험 결과, 문서내 단어빈도의 중요도를 낮추고, 말뭉치내 일반 사용빈도를 단어의 가중치에 추가했을 때 가장 좋은 효율을 보였다. 또 요약하고자 하는 문서와 유사한 말뭉치를 사용 했을 때 높은 효율을 보였다.

  • PDF

한글단어재인에서 습득연령의 영향 (The Influence of Age of Acquisition in Hangul Word Recognition)

  • 이혜원;김선경
    • 인지과학
    • /
    • 제24권4호
    • /
    • pp.339-363
    • /
    • 2013
  • 습득연령효과는 연령 초기에 습득된 단어가 후기에 습득된 단어에 비해 효율적으로 처리되는 현상이다. 습득연령은 단어빈도와 함께 단어처리과정의 주요한 변인으로 간주되고 있다. 본 연구는 한국어/한글 단어재인에서 습득연령효과를 검토하였다. 실험 1에서는 단어명명과제와 어휘판단과제에서 습득연령효과를 검토하였다. 그 결과, 과제유형과 습득연령 간의 상호작용을 관찰하였다. 습득연령효과는 단어명명과제에서는 나타나지 않았고 어휘판단과제에서만 유의하게 나타났다. 실험 2에서는 어휘판단과제를 사용하여 습득연령과 단어빈도의 관계를 검토하였다. 그 결과, 습득연령과 단어빈도는 각각 유의한 변인으로 드러났다. 후기습득 단어에 비해 초기습득 단어의 어휘 판단 수행이 우수했으며, 저빈도 단어에 비해 고빈도 단어의 어휘 판단 수행이 우수했다. 두 변인의 독립적 효과는 확인했으나, 둘 간의 상호작용은 없었다. 실험 3에서는 음 변화가 일어나는 단어 조건과 음 변화가 일어나지 않는 단어 조건에서 습득연령효과를 검토하였다. 그 결과, 습득연령효과는 두 조건에서 유사하게 나타났으며 두 조건 간 차이는 없었다. 본 연구 결과에 대해 여러 가설들을 비교 논의하였다.

  • PDF

문자 해시와 이원 탐색 트리를 이용한 어절 빈도 계산 알고리즘의 성능 개선 (Improvement of algorithm for calculating word count using character hash and binary search tree)

  • 박일남;강승식
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2010년도 추계학술발표대회
    • /
    • pp.599-602
    • /
    • 2010
  • 인터넷 검색 사이트는 사용자들이 검색한 단어들의 순위를 매기는 실시간 검색 순위 서비스를 제공하는데 검색되는 단어들의 순위를 매기기 위해서는 각 단어들의 분포도를 알 수 있는 어절 빈도 계산을 수행해야 한다. 어절 빈도는 BST(Binary Search Tree)를 수행하여 계산할 수 있는데, 사용자에 의하여 검색되는 단어들은 길이와 그 형태가 다양하여 빈도 계산시에 BST 의 깊이가 깊어져서 계산 시간이 오래 걸리게 된다. 본 논문에서는 문자 해시를 이용하여 깊이가 깊은 BST 의 탐색 속도를 개선하는 알고리즘을 제안하였다. 이 방법으로 빈도 계산 속도를 비교하였을 때 문자 해시의 범위에 의해 1KB 의 추가적인 기억공간의 사용하여 9.3%의 성능 개선 효과가 있었고, 해시 공간을 10KB 추가로 사용할 때는 24.3%, 236KB 일 때는 40.6%로의 효율로 BST 의 빈도 계산 속도를 향상 시킬 수 있었다.

단어빈도가 명사정의하기에 미치는 효과 (The Effect of Word Frequency on Noun Definitions)

  • 이찬종
    • 한국음향학회지
    • /
    • 제27권6호
    • /
    • pp.303-308
    • /
    • 2008
  • 본 연구는 한국어에서 단어빈도가 명사 정의하기에 미치는 효과를 살펴보는 것이다. 초등학생, 중학생, 고등학생, 대학생 80명을 대상으로 명사의 친숙도와 명사의 정의하기를 분석하였다. 의미범주를 "사용/목적," "묘사," "관련/관계," "부분설명," "설명," "오류," "부분설명-속성," "부분설명-특정 분류." "부분설명-비특정 분류," "설명-특정 분류," "설명-비특정 분류"로 분류하여 분석하였다. 그 결과 저빈도 명사보다 고빈도 명사의 경우 더 친숙도를 보였고 분류명사나 속성의 의미범주를 사용하는 "설명"의 경우 저빈도 명사보다 고빈도 명사의 경우 더 높은 빈도를 보였다. 그리고 분류명사와 속성의 의미범주가 연령에 따라 증가하였고 오류반응이 연령이 증가하면서 적게 나타났다. 따라서 명사 정의하기에서 명사의 출현빈도가 중요한 영향력을 미치는 것을 알 수 있었다.

워드넷을 이용한 문서내에서 단어 사이의 의미적 유사도 측정 (Semantic Similarity Measures Between Words within a Document using WordNet)

  • 강석훈;박종민
    • 한국산학기술학회논문지
    • /
    • 제16권11호
    • /
    • pp.7718-7728
    • /
    • 2015
  • 단어 사이의 의미적 유사성은 많은 분야에 적용 될 수 있다. 예를 들면 컴퓨터 언어학, 인공지능, 정보처리 분야이다. 본 논문에서 우리는 단어 사이의 의미적 유사성을 측정하는 문서 내의 단어 가중치 적용 방법을 제시한다. 이 방법은 워드넷의 간선의 거리와 깊이를 고려한다. 그리고 문서 내의 정보를 기반으로 단어 사이의 의미적 유사성을 구한다. 문서 내의 정보는 단어의 빈도수와 단어의 의미 빈도수를 사용한다. 문서 내에서 단어 마다 단어 빈도수와 의미 빈도수를 통해 각 단어의 가중치를 구한다. 본 방법은 단어 사이의 거리, 깊이, 그리고 문서 내의 단어 가중치 3가지를 혼합한 유사도 측정 방법이다. 실험을 통하여 기존의 다른 방법과 성능을 비교하였다. 그 결과 기존 방법에 대비하여 성능의 향상을 가져왔다. 이를 통해 문서 내에서 단어의 가중치를 문서 마다 구할 수 있다. 단순한 최단거리 기반의 방법들과 깊이를 고려한 기존의 방법들은, 정보에 대한 특성을 제대로 표현하지 못했거나 다른 정보를 제대로 융합하지 못했다. 본 논문에서는 최단거리와 깊이 그리고 문서 내에서 단어의 정보량까지 고려하였고, 성능의 개선을 보였다.

한글 두 글자 단어와 비단어의 어휘판단에 글자 빈도, 글자 유형, 받침이 미치는 영향: KLP 자료의 분석 (The Effect of Syllable Frequency, Syllable Type and Final Consonant on Hangeul Word and Pseudo-word Lexical Decision: An Analysis of the Korean Lexicon Project Database)

  • 신명석;박창호
    • 인지과학
    • /
    • 제34권4호
    • /
    • pp.277-297
    • /
    • 2023
  • 본 연구는 한국어 심성어휘 데이터베이스(KLP-DB)의 분석을 통해 글자 빈도, 글자의 모음 유형, 받침 유무 등 글자 수준 정보가 두 글자로 된 단어와 비단어의 어휘판단에 어떤 영향을 주는지를 알아보고자 하였다. 반응시간과 오반응률에 대한 위계적 회귀분석을 실시한 결과 단어의 어휘판단에는 단어빈도가 중대한 영향을 미치지만, 첫째 글자의 빈도, 첫째 글자와 둘째 글자의 모음 유형과 받침 유무와 같은 글자 속성이 영향을 미쳤고, 두 글자의 모음 유형의 조합 및 둘째 글자의 빈도와 받침 유무의 조합도 영향을 주었다. 비단어의 어휘판단에는 첫째 글자와 둘째 글자의 빈도, 첫째 글자의 모음 유형, 첫째 글자와 둘째 글자의 받침 유무와 같은 글자 속성이 영향을 미쳤고, 두 글자의 사용빈도의 조합, 모음 유형의 조합, 및 첫째 글자의 빈도와 받침의 조합도 영향을 주었다. 단어빈도는 단어의 어휘판단에서 강력한 영향을 미쳤으며, 글자속성은 단어보다 비단어의 판단에서 더 일관적인 영향을 미쳤다. 본 연구의 결과는 어휘판단과제에서 단어와 비단어 목록의 구성 및 반응시간의 해석에 글자 속성의 문제를 충분히 고려해야 함을 가리킨다. 글자 속성의 효과에 대한 이해는 단어 재인 과정의 이해에도 기여할 것이다.

한국어 음절의 표기빈도와 형태소빈도가 단어인지에 미치는 효과 (Effects of orthographic and morphological frequency of a syllable in Korean word recognition)

  • 이광오;배성봉
    • 인지과학
    • /
    • 제20권3호
    • /
    • pp.309-333
    • /
    • 2009
  • 2음절 한자 합성어의 어휘판단에서 형태소 처리와 글자 처리의 역할을 조사하였다. 실험 1의 단어에 대한 반응에서는 어두와 어말 위치 모두에서 형태소 빈도의 효과는 나타나지 않았으나, 비단어에 대한 반응에서는 글자 빈도의 효과와 글자-형태소 대응의 효과가 나타났다. 빈도가 높은 글자를 포함하는 비단어일수록 반응시간이 길었고, 글자-형태소의 대응이 불투명한 비단어일수록 반응시간이 길었다. 실험 2에서는 실험 1에서 나타난 글자-형태소 대응의 효과를 단어에서 직접 관찰하고자 하였다. 그 결과, 단어 자극에 대해서도 글자-형태소 대응이 불투명할수록 어휘 판단이 느렸으며, 비단어 자극에서 그러한 경향이 더 뚜렷하였다. 본 연구의 결과는, 글자-형태소 대응이 불투명한 단어의 경우 다양한 형태소를 활성화시키게 되고, 그 결과 형태소의 파악은 늦어지고, 결국은 단어 인지의 지연으로 연결된다는 주장을 지지한다. 실험 결과를 바탕으로 하여 한글 표기 한자어의 인지에서 형태소 위치 효과, 글자 빈도의 역할 등에 대해서 논의하였다.

  • PDF

범주화 과제에서의 한글단어 빈도효과 (Hangul Word-Frequency in Semantic Categorization Task)

  • 조중열
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1999년도 제11회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.351-358
    • /
    • 1999
  • 범주화과제를 사용한 두 실험에서 단어 빈도가 단어의 의미를 처리하는데 영향을 주는지를 알아보았다. 두 실험에서 사용된 자극은 두 글자의 한글이었는데, 실험 1에서는 사례와 목표자극은 두 번째 글자의 종성에서만 달랐고(예, 범주: 관직: 사례: 시장; 목표자극: 시작), 실험 2에서는 첫 번째 글자의 종성에서만 달랐다(예, 범주: 관직: 사례: 시장; 목표자극: 심장). 실험 1에서는 통제자극보다 저빈도 목표자극의 오반응이 더 많았고, 고빈도 사례의 반응시간이 더 길었다. 실험 2에서는 고빈도 사례-저빈도 목표자극 조건이 통제조건보다 반응시간이 더 길었다. 이 결과는 이중경로모형(Jared & Seidenberg, 1991)을 지지한다고 볼 수 있다. 이 결과들은 음운 정보와 시각 정보의 사용은 단어의 빈도에 의존하며, 특히 음운정보의 활성화는 필연적인 과정이 아니라 선택적인 것을 시사한다.

  • PDF