• 제목/요약/키워드: Word Frequency

검색결과 755건 처리시간 0.033초

한의학 고문헌 데이터 분석을 위한 단어 임베딩 기법 비교: 자연어처리 방법을 적용하여 (Comparison between Word Embedding Techniques in Traditional Korean Medicine for Data Analysis: Implementation of a Natural Language Processing Method)

  • 오준호
    • 대한한의학원전학회지
    • /
    • 제32권1호
    • /
    • pp.61-74
    • /
    • 2019
  • Objectives : The purpose of this study is to help select an appropriate word embedding method when analyzing East Asian traditional medicine texts as data. Methods : Based on prescription data that imply traditional methods in traditional East Asian medicine, we have examined 4 count-based word embedding and 2 prediction-based word embedding methods. In order to intuitively compare these word embedding methods, we proposed a "prescription generating game" and compared its results with those from the application of the 6 methods. Results : When the adjacent vectors are extracted, the count-based word embedding method derives the main herbs that are frequently used in conjunction with each other. On the other hand, in the prediction-based word embedding method, the synonyms of the herbs were derived. Conclusions : Counting based word embedding methods seems to be more effective than prediction-based word embedding methods in analyzing the use of domesticated herbs. Among count-based word embedding methods, the TF-vector method tends to exaggerate the frequency effect, and hence the TF-IDF vector or co-word vector may be a more reasonable choice. Also, the t-score vector may be recommended in search for unusual information that could not be found in frequency. On the other hand, prediction-based embedding seems to be effective when deriving the bases of similar meanings in context.

한국어 단어재인에서 나타나는 이웃효과 (The neighborhood size and frequency effect in Korean words)

  • 권유안;조혜숙;남기춘
    • 대한음성학회:학술대회논문집
    • /
    • 대한음성학회 2006년도 춘계 학술대회 발표논문집
    • /
    • pp.117-120
    • /
    • 2006
  • This paper examined two hypotheses. Firstly, if the first syllable of word play an important role in visual word recognition, it may be the unit of word neighbor. Secondly, if the first syllable is the unit of lexical access, the neighborhood size effect and the neighborhood frequency effect would appear in a lexical decision task and a form primed lexical decision task. We conducted two experiments. Experiment 1 showed that words had large neighbors made a inhibitory effect in the LDT(lexical decision task). Experiment 2 showed the interaction between the neighborhood frequency effectand the word form similarity in the form primed LDT. We concluded that the first syllable in Korean words might be the unit of word neighborhood and play a central role in a lexical access.

  • PDF

범주화 과제에서의 한글단어 빈도효과 (Hangul Word-Frequency in Semantic Categorization Task)

  • 조중열
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1999년도 제11회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.351-358
    • /
    • 1999
  • 범주화과제를 사용한 두 실험에서 단어 빈도가 단어의 의미를 처리하는데 영향을 주는지를 알아보았다. 두 실험에서 사용된 자극은 두 글자의 한글이었는데, 실험 1에서는 사례와 목표자극은 두 번째 글자의 종성에서만 달랐고(예, 범주: 관직: 사례: 시장; 목표자극: 시작), 실험 2에서는 첫 번째 글자의 종성에서만 달랐다(예, 범주: 관직: 사례: 시장; 목표자극: 심장). 실험 1에서는 통제자극보다 저빈도 목표자극의 오반응이 더 많았고, 고빈도 사례의 반응시간이 더 길었다. 실험 2에서는 고빈도 사례-저빈도 목표자극 조건이 통제조건보다 반응시간이 더 길었다. 이 결과는 이중경로모형(Jared & Seidenberg, 1991)을 지지한다고 볼 수 있다. 이 결과들은 음운 정보와 시각 정보의 사용은 단어의 빈도에 의존하며, 특히 음운정보의 활성화는 필연적인 과정이 아니라 선택적인 것을 시사한다.

  • PDF

청각 단어 재인에서 나타난 한국어 단어길이 효과 (The Korean Word Length Effect on Auditory Word Recognition)

  • 최원일;남기춘
    • 대한음성학회:학술대회논문집
    • /
    • 대한음성학회 2002년도 11월 학술대회지
    • /
    • pp.137-140
    • /
    • 2002
  • This study was conducted to examine the korean word length effects on auditory word recognition. Linguistically, word length can be defined by several sublexical units such as letters, phonemes, syllables, and so on. In order to investigate which units are used in auditory word recognition, lexical decision task was used. Experiment 1 and 2 showed that syllable length affected response time, and syllable length interacted with word frequency. As a result, in recognizing auditory word syllable length was important variable.

  • PDF

과학적 소양 관련 논문에서 서술자의 종류와 빈도 특성 연구 (A Study of the Kinds and Frequency Characteristics of Descriptors in the Articles Related to Scientific Literacy)

  • 이명제
    • 한국초등과학교육학회지:초등과학교육
    • /
    • 제29권4호
    • /
    • pp.401-413
    • /
    • 2010
  • This study analyzed the kinds and frequencies of descriptors in 154 articles in ERIC data base on the 4th day of January in 2010. The titles of the articles includes the words, 'scientific literacy'. As each descriptor is constituted of two words and over, in this study the first word in the descriptor was defined as 'restrictive word' and the rest word(s) as 'target word(s)'. The results are as follows. First, the descriptors which show high frequencies of target words are the traditionally important themes of scientific literacy education. Target words which show relatively high frequency are 'education', 'literacy', 'instruction' and 'countries'. Low frequency word is 'curriculum', which has various restrictive words and represents wide differentiation. Second, among the descriptors which show low frequencies of target words, relatively high frequency descriptors are '(and)society', 'change', 'secondary education', 'concepts', and 'biology', which have been given more attention in scientific literacy research than the rest descriptors. Third, the number of the descriptors that shows largely distributed pattern A, which happens over 15 years continuously, is over the half of all analyzed descriptors, which shows that they have been the major objectives in researches about scientific literacy. Most descriptors of pattern A shows normal distribution of frequency or the trends of increasing frequency as the time is nearer. Fourth, The descriptors are divided into four groups according to the time span. Each research trends are as follows. In later 80s, the research which emphasizes the importance of the sociality and technology in all level school science curriculum. In later 90s the research for educational change of inquiry-centered science curriculum which considers technological literacy in social contexts. In earlier 2000s the research that scientists and science teachers develop science curricula mostly related to scientific principles and thinking in chemistry and biology especially. In later 2000s case studies which relates teaching methods and science process activities to students' attitudes, scientific concepts and curricula.

  • PDF

명명 과제에서 음절 토큰 및 타입 빈도 효과 (The Syllable Type and Token Frequency Effect in Naming Task)

  • 권유안
    • 인지과학
    • /
    • 제25권2호
    • /
    • pp.91-107
    • /
    • 2014
  • 음절 빈도 효과란 고빈도 음절로 시작되는 단어가 저빈도 음절로 시작되는 단어에 비해 어휘 판단 속도가 느리며 어휘 판단 오류율도 증가하는 효과를 의미한다. 이 효과를 유발하는 원인은 전체 단어 수준에서 활성화된 음절 이웃 단어의 방해로 알려져 있으며 이 방해의 크기는 표적 단어가 얼마나 많은 음절 이웃 단어를 또는 얼마나 강력한 음절 이웃 단어를 가지고 있는지에 의해 결정된다. 그러나 음절 빈도의 정의가 음절 타입 빈도와 토큰 빈도로 구분됨에도 불구하고 이를 구분하지 않고 많은 연구들이 수행되어 왔다. 최근 Conrad, Carreiras, & Jacobs(2008)에 따르면 음절 토큰 빈도는 전체 단어 처리 수준을 반영하는 변인이며 음절 타입 빈도는 하위 어휘 처리 수준의 음절 처리 수준을 반영하는 변인일 수 있다고 주장하였다. 이에 본 연구는 이들의 주장이 맞다면 음절 타입 빈도는 단어 명명 속도를 촉진 시킬 것이며 반대로 음절 토큰 빈도는 명명 시간과 관련 없을 것이라고 예측하였다. 왜냐하면 표기 심도가 얕고 음절의 경계가 명확한 언어에서 명명 과제는 전체 단어수준을 덜 참고하기 때문이었다. 실험 1결과에서 음절 토큰 빈도를 통제한 상태에서 고빈도 타입음절의 단어 명명 시간은 유의미하게 짧았다. 실험 2에서 음절 타입 빈도를 통제한 상태에서 음절토큰 빈도의 증가는 명명 시간을 역시 단축시켰다. 이에 본 연구는 음절 토큰 빈도가 하위 어휘 처리와 무관하다는 Conrad, Carreiras, & Jacobs(2008)의 주장을 반박하였다.

Latent Semantic Analysis Approach for Document Summarization Based on Word Embeddings

  • Al-Sabahi, Kamal;Zuping, Zhang;Kang, Yang
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제13권1호
    • /
    • pp.254-276
    • /
    • 2019
  • Since the amount of information on the internet is growing rapidly, it is not easy for a user to find relevant information for his/her query. To tackle this issue, the researchers are paying much attention to Document Summarization. The key point in any successful document summarizer is a good document representation. The traditional approaches based on word overlapping mostly fail to produce that kind of representation. Word embedding has shown good performance allowing words to match on a semantic level. Naively concatenating word embeddings makes common words dominant which in turn diminish the representation quality. In this paper, we employ word embeddings to improve the weighting schemes for calculating the Latent Semantic Analysis input matrix. Two embedding-based weighting schemes are proposed and then combined to calculate the values of this matrix. They are modified versions of the augment weight and the entropy frequency that combine the strength of traditional weighting schemes and word embedding. The proposed approach is evaluated on three English datasets, DUC 2002, DUC 2004 and Multilingual 2015 Single-document Summarization. Experimental results on the three datasets show that the proposed model achieved competitive performance compared to the state-of-the-art leading to a conclusion that it provides a better document representation and a better document summary as a result.

한글 두 글자 단어와 비단어의 어휘판단에 글자 빈도, 글자 유형, 받침이 미치는 영향: KLP 자료의 분석 (The Effect of Syllable Frequency, Syllable Type and Final Consonant on Hangeul Word and Pseudo-word Lexical Decision: An Analysis of the Korean Lexicon Project Database)

  • 신명석;박창호
    • 인지과학
    • /
    • 제34권4호
    • /
    • pp.277-297
    • /
    • 2023
  • 본 연구는 한국어 심성어휘 데이터베이스(KLP-DB)의 분석을 통해 글자 빈도, 글자의 모음 유형, 받침 유무 등 글자 수준 정보가 두 글자로 된 단어와 비단어의 어휘판단에 어떤 영향을 주는지를 알아보고자 하였다. 반응시간과 오반응률에 대한 위계적 회귀분석을 실시한 결과 단어의 어휘판단에는 단어빈도가 중대한 영향을 미치지만, 첫째 글자의 빈도, 첫째 글자와 둘째 글자의 모음 유형과 받침 유무와 같은 글자 속성이 영향을 미쳤고, 두 글자의 모음 유형의 조합 및 둘째 글자의 빈도와 받침 유무의 조합도 영향을 주었다. 비단어의 어휘판단에는 첫째 글자와 둘째 글자의 빈도, 첫째 글자의 모음 유형, 첫째 글자와 둘째 글자의 받침 유무와 같은 글자 속성이 영향을 미쳤고, 두 글자의 사용빈도의 조합, 모음 유형의 조합, 및 첫째 글자의 빈도와 받침의 조합도 영향을 주었다. 단어빈도는 단어의 어휘판단에서 강력한 영향을 미쳤으며, 글자속성은 단어보다 비단어의 판단에서 더 일관적인 영향을 미쳤다. 본 연구의 결과는 어휘판단과제에서 단어와 비단어 목록의 구성 및 반응시간의 해석에 글자 속성의 문제를 충분히 고려해야 함을 가리킨다. 글자 속성의 효과에 대한 이해는 단어 재인 과정의 이해에도 기여할 것이다.

한국어 음절의 표기빈도와 형태소빈도가 단어인지에 미치는 효과 (Effects of orthographic and morphological frequency of a syllable in Korean word recognition)

  • 이광오;배성봉
    • 인지과학
    • /
    • 제20권3호
    • /
    • pp.309-333
    • /
    • 2009
  • 2음절 한자 합성어의 어휘판단에서 형태소 처리와 글자 처리의 역할을 조사하였다. 실험 1의 단어에 대한 반응에서는 어두와 어말 위치 모두에서 형태소 빈도의 효과는 나타나지 않았으나, 비단어에 대한 반응에서는 글자 빈도의 효과와 글자-형태소 대응의 효과가 나타났다. 빈도가 높은 글자를 포함하는 비단어일수록 반응시간이 길었고, 글자-형태소의 대응이 불투명한 비단어일수록 반응시간이 길었다. 실험 2에서는 실험 1에서 나타난 글자-형태소 대응의 효과를 단어에서 직접 관찰하고자 하였다. 그 결과, 단어 자극에 대해서도 글자-형태소 대응이 불투명할수록 어휘 판단이 느렸으며, 비단어 자극에서 그러한 경향이 더 뚜렷하였다. 본 연구의 결과는, 글자-형태소 대응이 불투명한 단어의 경우 다양한 형태소를 활성화시키게 되고, 그 결과 형태소의 파악은 늦어지고, 결국은 단어 인지의 지연으로 연결된다는 주장을 지지한다. 실험 결과를 바탕으로 하여 한글 표기 한자어의 인지에서 형태소 위치 효과, 글자 빈도의 역할 등에 대해서 논의하였다.

  • PDF

자발화에 나타난 3-4세 아동의 어중종성 습득 (Coda Sounds Acquisition at Word Medial Position in Three and Four Year Old Children's Spontaneous Speech)

  • 우혜경;김수진
    • 말소리와 음성과학
    • /
    • 제5권3호
    • /
    • pp.73-81
    • /
    • 2013
  • Coda in the word-medial position plays an important role in acquisition of our speech. Accuracy of the coda in the word-medial position is important as a diagnostic indicator since it has a close relationship with degrees of disorder. Coda in the word-medial position only appears in condition of connecting two vowels and the sequence causes diverse phonological processes to happen. The coda in the word-medial position differs in production difficulty by the initial sound in the sequence. Accordingly, this study aims to examine the tendency of producing a coda in the word-medial position with consideration of an optional phonological process in spontaneous speech of three and four year old children. Data was collected from 24 children (four groups by age) without speech and language delay. The results of the study are as follows: 1) Sonorant coda in the word-medial position showed a high production frequency in manner of articulation, and alveolar in place of articulation. When the coda in the word-medial position is connected to an initial sound in the same place of articulation, it revealed a high frequency of production. 2) The coda in word-medial position followed by an initial alveolar stop revealed a high error rate. Error patterns showed regressive assimilation predominantly. 3) The order of difficulty that Children had producing codas in the word-medial position was $/k^{\neg}/$, $/p^{\neg}/$, /m/, /n/, /ŋ/ and /l/. Those results suggest that in targeting coda in the word-medial position for evaluation, we should consider optional phonological process as well as the following initial sound. Further studies would be necessary which codas in the word-medial position will be used for therapeutic purpose.