• 제목/요약/키워드: comparable corpus

검색결과 19건 처리시간 0.032초

SGML 기반 비교 가능 코퍼스 구축 (The Contruction of the Comparable Corpus Based on SGML)

  • 이창열;김용순;김성혁
    • 정보관리학회지
    • /
    • 제15권3호
    • /
    • pp.7-26
    • /
    • 1998
  • 대규모 문헌 자료는 정보원으로써 다양한 목적에 사용될 수 있다. 언어간 정보검색에서 한 언어의 단어가 다의미적(polymorphic)일 경우 대상 언어로 정확한 번역을 위하여 언어간 대응 구조를 제공하는 다국어 코퍼스가 필요하다. 본 논문에서는 언어간 정보검색에서 대응 구조로 사용될 수 있는 비교 가능한 코퍼스를 구축하였다. 구축된 코퍼스(KFCM)는 유럽 6개 국어로 구축된 금융 관련 기사 자료인 MLCC 코퍼스에 대응되는 코퍼스로 다양한 목적에 사용되며, MLCC 코퍼스로부터 독립적으로 구축한 SGML 기반 코퍼스이다. 본 논문에서는 KFCM의 응용과 코퍼스 구축 과정에서 발생하는 기술적 사항을 기술하였으며, 구축된 자료를 웹에 공개하였다.

  • PDF

A Method of Chinese and Thai Cross-Lingual Query Expansion Based on Comparable Corpus

  • Tang, Peili;Zhao, Jing;Yu, Zhengtao;Wang, Zhuo;Xian, Yantuan
    • Journal of Information Processing Systems
    • /
    • 제13권4호
    • /
    • pp.805-817
    • /
    • 2017
  • Cross-lingual query expansion is usually based on the relationship among monolingual words. Bilingual comparable corpus contains relationships among bilingual words. Therefore, this paper proposes a method based on these relationships to conduct query expansion. First, the word vectors which characterize the bilingual words are trained using Chinese and Thai bilingual comparable corpus. Then, the correlation between Chinese query words and Thai words are computed based on these word vectors, followed with selecting the Thai candidate expansion terms via the correlative value. Then, multi-group Thai query expansion sentences are built by the Thai candidate expansion words based on Chinese query sentence. Finally, we can get the optimal sentence using the Chinese and Thai query expansion method, and perform the Thai query expansion. Experiment results show that the cross-lingual query expansion method we proposed can effectively improve the accuracy of Chinese and Thai cross-language information retrieval.

Bilingual lexicon induction through a pivot language

  • Kim, Jae-Hoon;Seo, Hyeong-Won;Kwon, Hong-Seok
    • Journal of Advanced Marine Engineering and Technology
    • /
    • 제37권3호
    • /
    • pp.300-306
    • /
    • 2013
  • This paper presents a new method for constructing bilingual lexicons through a pivot language. The proposed method is adapted from the context-based approach, called the standard approach, which is well-known for building bilingual lexicons using comparable corpora. The main difference between the standard approach and the proposed method is how to represent context vectors. The former is to represent context vectors in a target language, while the latter in a pivot language. The proposed method is very simplified from the standard approach thereby. Furthermore, the proposed method is more accurate than the standard approach because it uses parallel corpora instead of comparable corpora. The experiments are conducted on a language pair, Korean and Spanish. Our experimental results have shown that the proposed method is quite attractive where a parallel corpus directly between source and target languages are unavailable, but both source-pivot and pivot-target parallel corpora are available.

한국어 대용량발화말뭉치의 단모음분석 (Monophthong Analysis on a Large-scale Speech Corpus of Read-Style Korean)

  • 윤태진;강윤정
    • 말소리와 음성과학
    • /
    • 제6권3호
    • /
    • pp.139-145
    • /
    • 2014
  • The paper describes methods of conducting vowel analysis from a large-scale corpus with the aids of forced alignment and optimal formant ceiling methods. 'Read Style Corpus of Standard Korean' is used for building the forced alignment system and a subset of the corpus for the processing and extraction of features for vowel analysis based on optimal formant ceiling. The results of the vowel analysis are reliable and comparable to the results obtained using traditional analytical methods. The findings indicate that the methods adopted for the analysis can be extended and be used for more fine-grained analysis without time-consuming manual labeling without losing accuracy and reliability.

Effects of a New Selective Phosphodiesterase Type 5 Inhibitor, KJH-1002, on the Relaxation of Rabbit Corpus Cavernosum Tissue

  • Cho, Eun-Young;Chung, Sung-Hyun;Kim, Joong-Hyup;Kim, Dong-Hyun;Jin, Cang-Bae
    • Biomolecules & Therapeutics
    • /
    • 제11권4호
    • /
    • pp.232-237
    • /
    • 2003
  • The present study examined functional effects of a new selective phosphodiesterase type 5 inhibitor, 1-[4-ethoxy-3-(6,7-dihydro-1-methyl-7-thioxo-3-propyl-1H-pyrazolo[ 4,3]pyrimidin-5-yl)phenylsulphonyl]-4-methyl piperazine (KJH-1002), in the isolated rabbit corpus cavernosum (RCC). Relaxing effects of KJH-1002 were also compared with those of sildenafil, which is currently used as an oral therapy for penile erectile dysfunction. In the isolated RCC precontracted with phenylephrine, both KJH-1002 and sildenafil in the concentration range of 1 to 1000 nM, produced a comparable potentiation of the electical field stimulation-induced relaxation in a concentration-dependent manner. In the sodium nitroprusside (SNP)-induced relaxation, the $IC_{50}$/ values, concentrations of SNP required to produce a 50% relaxation of the phenylephrine-induced contraction, were significantly decreased to the similar extent by treatments with KJH-1002 and sildenafil. The results suggest that a new selective phosphodiesterase type 5 inhibitor, KJH-1002, has an augmentative effect on penile erection comparable to that of sildenafil and can be useful for the treatment of erectile dysfunction.

A Deterministic Method for Structural Analysis of Compound Words in Japanese

  • Han, Dongli;Ito, Takeshi;Furugori, Teiji
    • 한국언어정보학회:학술대회논문집
    • /
    • 한국언어정보학회 2002년도 Language, Information, and Computation Proceedings of The 16th Pacific Asia Conference
    • /
    • pp.79-91
    • /
    • 2002
  • Structural analysis of compound words is necessary and an important process in natural language processing. Proposed here is a corpus- and statistics- based method for the structural analysis of compound words in Japanese. We determine the structure of a compound word by using Internet corpus and calculating the strength of word association among its constituent words. Experiments with 5, 6, 7, and 8 kanji compound words show that our method works well and its performance is better than those of other comparable studies.

  • PDF

MOSES를 이용한 한/일 양방향 통계기반 자동 번역 시스템 (A Bidirectional Korean-Japanese Statistical Machine Translation System by Using MOSES)

  • 이공주;이성욱;김지은
    • Journal of Advanced Marine Engineering and Technology
    • /
    • 제36권5호
    • /
    • pp.683-693
    • /
    • 2012
  • 통계기반 자동 번역 시스템은 구현과 유지보수의 용이함으로 최근 많은 관심을 받고 있다. 본 연구의 목적은 MOSES[1] 시스템을 이용하여 통계기반의 한/일 양방향 기계번역시스템을 구축하는 것이다. 한/일 문장단위 병렬 코퍼스를 구축하여 번역모델 학습에 이용하였고, 한/일 각각 대량의 원시 코퍼스를 이용하여 언어모델 학습에 이용하였다. 시스템 구축 결과 기존의 규칙기반 번역 시스템의 성능에 근접하는 결과를 얻었으며, 발생하는 오류의 대부분은 각 처리 단계에서 발생하는 노이즈에 기인하였다.

언어 자원과 토픽 모델의 순차 매칭을 이용한 유사 문장 계산 기반의 위키피디아 한국어-영어 병렬 말뭉치 구축 (Building a Korean-English Parallel Corpus by Measuring Sentence Similarities Using Sequential Matching of Language Resources and Topic Modeling)

  • 천주룡;고영중
    • 정보과학회 논문지
    • /
    • 제42권7호
    • /
    • pp.901-909
    • /
    • 2015
  • 본 논문은 위키피디아로부터 한국어-영어 간 병렬 말뭉치를 구축하기 위한 연구이다. 이를 위해, 언어 자원과 토픽모델의 순차 매칭 기반의 유사 문장 계산 방법을 제안한다. 먼저, 언어자원의 매칭은 위키피디아 제목으로 구성된 위키 사전, 숫자, 다음 온라인 사전을 단어 매칭에 순차적으로 적용하였다. 또한, 위키피디아의 특성을 활용하기 위해 위키 사전에서 추정한 번역 확률을 단어 매칭에 추가 적용하였다. 그리고 토픽모델로부터 추출한 단어 분포를 유사도 계산에 적용함으로써 정확도를 향상시켰다. 실험에서, 선행연구의 언어자원만을 선형 결합한 유사 문장 계산은 F1-score 48.4%, 언어자원과 모든 단어 분포를 고려한 토픽모델의 결합은 51.6%의 성능을 보였으나, 본 논문에서 제안한 언어자원에 번역 확률을 추가하여 순차 매칭을 적용한 방법은 58.3%로 9.9%의 성능 향상을 얻었고, 여기에 중요한 단어 분포를 고려한 토픽모델을 적용한 방법이 59.1%로 7.5%의 성능 향상을 얻었다.

한국 신문의 영어 번역에 나타난 번역 보편소의 코퍼스 기반 분석 (A Corpus-based Study of Translation Universals in English Translations of Korean Newspaper Texts)

  • 고광윤;이영희
    • 비교문화연구
    • /
    • 제45권
    • /
    • pp.109-143
    • /
    • 2016
  • 본 연구는 번역된 텍스트들에 전형적으로 나타나는 언어적 특성들인 번역 보편소(translation universals)에 관한 코퍼스 기반 연구이다. 지금까지의 번역 보편소 연구는 언어계통상 서로 밀접한 관련이 있는 영어와 다른 유럽어 사이의 번역에 집중되어 왔으며, 다른 한편으로 주로 문학 장르의 분석에 치중되어 있다는 아쉬움을 지닌다. 본 연구에서는 관련 연구가 지닌 이러한 두 가지 주요 문제점을 보완하고자 하는 노력의 일환으로 한국어를 원문으로 하는 영어 번역 가운데 비문학 장르인 신문언어 텍스트를 분석대상으로 선택하였다. 먼저, 번역된 신문영어 텍스트와 비번역 신문영어 텍스트를 정해진 기준에 따라 수집하여 번역과 비번역 영어(translated and non-translated English)로 구성된 대응코퍼스(comparable corpora)를 구축하였다. 이렇게 구축된 대응 코퍼스를 바탕으로 기존 문헌에서 논의된 번역 보편소 가설 가운데 가장 대표적인 단순화(simplification), 명시화(explicitation), 규범화(normalization), 평준화(leveling-out) 현상이 한국어 신문의 영어 번역 텍스트에서 어떠한 양상을 보이는지 살펴봄으로써 각 가설들이 지니는 타당성을 검증해보고자 하였다. 본 연구의 분석결과를 종합해보면, 단순화와 규범화를 제외한 나머지 하위가설의 언어적 특성들은 모든 언어쌍과 모든 텍스트 장르에 걸쳐 일반화하기에 다소 한계가 있는 것으로 나타났다. 또한, 번역 보편소의 개념 규정이나 분석지표의 정교화, 그리고 결과의 일반화에는 신중한 접근이 필요할 것으로 보인다.

Feature Extraction Based on Speech Attractors in the Reconstructed Phase Space for Automatic Speech Recognition Systems

  • Shekofteh, Yasser;Almasganj, Farshad
    • ETRI Journal
    • /
    • 제35권1호
    • /
    • pp.100-108
    • /
    • 2013
  • In this paper, a feature extraction (FE) method is proposed that is comparable to the traditional FE methods used in automatic speech recognition systems. Unlike the conventional spectral-based FE methods, the proposed method evaluates the similarities between an embedded speech signal and a set of predefined speech attractor models in the reconstructed phase space (RPS) domain. In the first step, a set of Gaussian mixture models is trained to represent the speech attractors in the RPS. Next, for a new input speech frame, a posterior-probability-based feature vector is evaluated, which represents the similarity between the embedded frame and the learned speech attractors. We conduct experiments for a speech recognition task utilizing a toolkit based on hidden Markov models, over FARSDAT, a well-known Persian speech corpus. Through the proposed FE method, we gain 3.11% absolute phoneme error rate improvement in comparison to the baseline system, which exploits the mel-frequency cepstral coefficient FE method.