• 제목/요약/키워드: Corpus statistics

검색결과 39건 처리시간 0.025초

형태소 기반의 한국어 방송뉴스 인식 (Morpheme-based Korean broadcast news transcription)

  • 박영희;안동훈;정민화
    • 대한음성학회:학술대회논문집
    • /
    • 대한음성학회 2002년도 11월 학술대회지
    • /
    • pp.123-126
    • /
    • 2002
  • In this paper, we describe our LVCSR system for Korean broadcast news transcription. The main focus is to find the most proper morpheme-based lexical model for Korean broadcast news recognition to deal with the inflectional flexibilities in Korean. There are trade-offs between lexicon size and lexical coverage, and between the length of lexical unit and WER. In our system, we analyzed the training corpus to obtain a small 24k-morpheme-based lexicon with 98.8% coverage. Then, the lexicon is optimized by combining morphemes using statistics of training corpus under monosyllable constraint or maximum length constraint. In experiments, our system reduced the number of monosyllable morphemes from 52% to 29% of the lexicon and obtained 13.24% WER for anchor and 24.97% for reporter.

  • PDF

A Deterministic Method for Structural Analysis of Compound Words in Japanese

  • Han, Dongli;Ito, Takeshi;Furugori, Teiji
    • 한국언어정보학회:학술대회논문집
    • /
    • 한국언어정보학회 2002년도 Language, Information, and Computation Proceedings of The 16th Pacific Asia Conference
    • /
    • pp.79-91
    • /
    • 2002
  • Structural analysis of compound words is necessary and an important process in natural language processing. Proposed here is a corpus- and statistics- based method for the structural analysis of compound words in Japanese. We determine the structure of a compound word by using Internet corpus and calculating the strength of word association among its constituent words. Experiments with 5, 6, 7, and 8 kanji compound words show that our method works well and its performance is better than those of other comparable studies.

  • PDF

Sacral Insufficiency Fractures : How to Classify?

  • Bakker, Gesa;Hattingen, Joerg;Stuetzer, Hartmut;Isenberg, Joerg
    • Journal of Korean Neurosurgical Society
    • /
    • 제61권2호
    • /
    • pp.258-266
    • /
    • 2018
  • Objective : The diagnosis of insufficiency fractures of the sacrum in an elder population increases annually. Fractures show very different morphology. We aimed to classify sacral insufficiency fractures according to the position of cortical break and possible need for intervention. Methods : Between January 1, 2008 and December 31, 2014, all patients with a proven fracture of the sacrum following a low-energy or an even unnoticed trauma were prospectively registered : 117 females and 13 males. All patients had a computer tomography of the pelvic ring, two patients had a magnetic resonance imaging additionally : localization and involvement of the fracture lines into the sacroiliac joint, neural foramina or the spinal canal were identified. Results : Patients were aged between 46 and 98 years (mean, 79.8 years). Seventy-seven patients had an unilateral fracture of the sacral ala, 41 bilateral ala fractures and 12 patients showed a fracture of the sacral corpus : a total of 171 fractures were analyzed. The first group A included fractures of the sacral ala which were assessed to have no or less mechanical importance (n=53) : fractures with no cortical disruption ("bone bruise") (A1; n=2), cortical deformation of the anterior cortical bone (A2; n=4), and fracture of the anterolateral rim of ala (A3; n=47). Complete fractures of the sacral ala (B; n=106) : parallel to the sacroiliac joint (B1; n=63), into the sacroiliac joint (B2; n=19), and involvement of the sacral foramina respectively the spinal canal (B3; n=24). Central fractures involving the sacral corpus (C; n=12) : fracture limited to the corpus or finishing into one ala (C1; n=3), unidirectional including the neural foramina or the spinal canal or both (C2; n=2), and horizontal fractures of the corpus with bilateral sagittal completion (C3; n=8). Sixty-eight fractures proceeded into the sacroiliac joint, 34 fractures showed an injury of foramina or canal. Conclusion : The new classification allowes the differentiation of fractures of less mechanical importance and a risk assessment for possible polymethyl methacrylate leaks during sacroplasty in the direction of the neurological structures. In addition, identification of instable fractures in need for laminectomy and surgical stabilization is possible.

A Note on Eigenstructure of a Spatial Design Matrix In R1

  • Kim Hyoung-Moon;Tarazaga Pablo
    • Communications for Statistical Applications and Methods
    • /
    • 제12권3호
    • /
    • pp.653-657
    • /
    • 2005
  • Eigenstructure of a spatial design matrix of Matheron's variogram estimator in $R^1$ is derived. It is shown that the spatial design matrix in $R^1$ with n/2$\le$h < n has a nice spectral decomposition. The mean, variance, and covariance of this estimator are obtained using the eigenvalues of a spatial design matrix. We also found that the lower bound and the upper bound of the normalized Matheron's variogram estimator.

말모둠에서 동사 분포 연구 (A Study on Verbs Statistics in Corpus)

  • 최용석;이운재;최기선
    • 한국인지과학회:학술대회논문집
    • /
    • 한국인지과학회 2000년도 한글 및 한국어 정보처리
    • /
    • pp.169-175
    • /
    • 2000
  • 말모둠은 특성에 따라서 여러 성격을 나타내게 된다. 하지만 말모둠의 특성을 자동적으로 알아내는 방법은 간단하지 않다. 중요 단어를 가지고 있으면 말모둠에서 통계적으로 많은 부분에서 적용시켜 말모둠의 특성을 파악할 수 있다. 본 논문에서는 한국어 말모둠에서 나타나는 동사류 단어들의 빈도를 분석한다. 또한, 사람이 직접 중요도를 평가한 사전의 단어들과 말모둠에 나타나는 단어들을 비교해서 통계적 차이점을 알아보고, 그 차이점을 통해 앞으로 연구할 일에 대해서 토론한다. 간단한 실험을 통해 사람의 평가한 중요도 점수의 효용성도 알아본다.

  • PDF

Vowel Fundamental Frequency in Manner Differentiation of Korean Stops and Affricates

  • Jang, Tae-Yeoub
    • 음성과학
    • /
    • 제7권1호
    • /
    • pp.217-232
    • /
    • 2000
  • In this study, I investigate the role of post-consonantal fundamental frequency (F0) as a cue for automatic distinction of types of Korean stops and affricates. Rather than examining data obtained by restricting contexts to a minimum to prevent the interference of irrelevant factors, a relatively natural speaker independent speech corpus is analysed. Automatic and statistical approaches are adopted to annotate data, to minimise speaker variability, and to evaluate the results. In spite of possible loss of information during those automatic analyses, statistics obtained suggest that vowel F0 is a useful cue for distinguishing manners of articulation of Korean non-continuant obstruents having the same place of articulation, especially of lax and aspirated stops and affricates. On the basis of the statistics, automatic classification is attempted over the relevant consonants in a specific context where the micro-prosodic effects appear to be maximised. The results confirm the usefulness of this effect in application for Korean phone recognition.

  • PDF

가중치를 이용한 통계 기반 한국어 동형이의어 분별 모델 (A Korean Homonym Disambiguation Model Based on Statistics Using Weights)

  • 김준수;최호섭;옥철영
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제30권11호
    • /
    • pp.1112-1123
    • /
    • 2003
  • 본 논문은 한국어 정보처리에서 발생하는 어휘 중의성 문제 중 한국어에서 그 심각성이 큰 동형이의어 중의성을 해결하기 위하여, 사전 뜻풀이 말뭉치에서 구축한 의미정보(Semantic Information)와 이를 이용한 기존의 통계기반 동형이의어 분별 모델에 대한 실험 결과를 분석하여, 정확률 향상을 위한 새로운 동형이의어 NPH(New Prior Probability of Homonym sense) 가중치 및 인접 어절에 대한 거리 가중치 적용 모델을 제안한다. 사전 뜻풀이 말뭉치의 상위 고빈도 동형이의어 200개 중 중의성이 높은 46개(명사 30개, 동사 16개)를 선별하고, 21세기 세종 계획에서 제공하는 350만 어절 품사 부착 말뭉치에서 이들 동형이의어를 포함하는 47,977개의 문장을 추출하여 실험을 하였다. 기존의 통계기반 동형이의어 분별 모델에서는 72.08%(명사78.12%, 동사 62.45%)의 정확률을 나타냈으나, NPH 가중치를 부여한 실험 결과 정확률이 평균 1.70% 향상되었으며, NPH와 거리 가중치를 함께 이용한 결과 평균 2.01% 정확률이 향상되었다.

Pragmatic Strategies of Self (Other) Presentation in Literary Texts: A Computational Approach

  • Khafaga, Ayman Farid
    • International Journal of Computer Science & Network Security
    • /
    • 제22권2호
    • /
    • pp.223-231
    • /
    • 2022
  • The application of computer software into the linguistic analysis of texts proves useful to arrive at concise and authentic results from large data texts. Based on this assumption, this paper employs a Computer-Aided Text Analysis (CATA) and a Critical Discourse Analysis (CDA) to explore the manipulative strategies of positive/negative presentation in Orwell's Animal Farm. More specifically, the paper attempts to explore the extent to which CATA software represented by the three variables of Frequency Distribution Analysis (FDA), Content Analysis (CA), and Key Word in Context (KWIC) incorporate with CDA decipher the manipulative purposes beyond positive presentation of selfness and negative presentation of otherness in the selected corpus. The analysis covers some CDA strategies, including justification, false statistics, and competency, for positive self-presentation; and accusation, criticism, and the use of ambiguous words for negative other-presentation. With the application of CATA, some words will be analyzed by showing their frequency distribution analysis as well as their contextual environment in the selected text to expose the extent to which they are employed as strategies of positive/negative presentation in the text under investigation. Findings show that CATA software contributes significantly to the linguistic analysis of large data texts. The paper recommends the use and application of the different CATA software in the stylistic and corpus linguistics studies.

카이제곱 통계량과 지지벡터기계를 이용한 스팸메일 필터 (Spam Filter by Using X2 Statistics and Support Vector Machines)

  • 이성욱
    • 정보처리학회논문지B
    • /
    • 제17B권3호
    • /
    • pp.249-254
    • /
    • 2010
  • 본 논문은 지지벡터기계를 이용하여 스팸메일을 자동으로 분류하는 시스템을 제안한다. 이메일에 포함된 단어의 어휘 정보와 품사 태그 정보를 지지벡터기계의 자질로 사용한다. 우리는 카이제곱 통계량을 이용하여 자질을 선택한 후 각각의 자질을 TF, TF-IDF, 이진 가중치 등으로 표현하여 실험하였다. 카이제곱 통계량을 이용하여 선택된 자질들을 이용하여 SVM을 학습한 후, SVM분류기는 각각의 이메일의 스팸 여부를 결정한다. 실험 결과, 선택되어진 자질들이 성능향상을 가져왔으며, TREC05-p1 스팸 말뭉치에 대해 약 98.9%의 정확도를 얻었다.

Praat과 R로 분석한 한국인 대화 음성 말뭉치의 fundamental frequency(f0)값 분포 (The fundamental frequency (f0) distribution of Korean speakers in a dialogue corpus using Praat and R)

  • 양병곤
    • 말소리와 음성과학
    • /
    • 제15권3호
    • /
    • pp.17-25
    • /
    • 2023
  • 이 논문은 국립국어원에서 배포한 한국인 대화 음성 말뭉치에서 화자의 성대의 진동을 나타내는 fundamental frequency(f0)값을 측정해서 한국인이 일상 대화를 할 때 f0값의 기초적인 통계자료를 살펴보고, 나이와 f0값의 분포는 어떤 관계를 보이는지를 조사했다. 연구자료 수집과 분석은 Praat과 R을 이용했고, 개인별 억양구마다 상자도를 구하고 사분위값을 활용하여 극단값을 제거하는 방법으로 최종 f0값 자료를 구했다. 그 결과 전체 한국인들의 f0값의 평균값은 185 Hz이고 중앙값은 187 Hz로 나왔다. 자료의 분포모양을 나타내는 왜도는 0.11의 정적분포를 보였고, 첨도는 -0.09로 정상분포에 거의 가까운 모양을 보였다. 일상대화의 피치값의 변화범위로는 238 Hz로 나타났다. 남녀 간의 f0값의 차이는 남성의 중앙값 114 Hz의 거의 두 배에 해당하는 199 Hz가 여성의 중앙값으로 나타났고 t검증결과 유의미한 차이를 보였다. 분포모양을 나타내는 왜도는 남성이 1.24이었고, 여성은 그것의 반에 해당하는 0.58이었다. 첨도는 남녀집단 각각 5.21과 3.88로 나타나 남성의 값이 34% 정도 더 뾰족한 모양을 보였다. 연령대별로는 남녀집단을 합하여 볼 때, 나이가 들수록 f0값이 서서히 내려가는 경향을 보였다. 연령대별 f0중앙값과 나이 간의 회귀분석을 실행한 결과 기울기가 남성집단에서는 0.15, 여성집단에서는 -0.586으로 서로 반대되는 경향을 기록했다. 결론적으로, 대규모 참여자가 녹음한 대화 음성에서 한국인의 집단별 연령별 다양한 f0분포를 규명할 수 있지만, 나이와 f0관계는 더 정밀한 자료수집이 필요함을 알 수 있었다.