• Title/Summary/Keyword: 어휘정보

Search Result 1,062, Processing Time 0.022 seconds

Improve Performance of Phrase-based Statistical Machine Translation through Standardizing Korean Allomorph (한국어의 이형태 표준화를 통한 구 기반 통계적 기계 번역 성능 향상)

  • Lee, Won-Kee;Kim, Young-Gil;Lee, Eui-Hyun;Kwon, Hong-Seok;Jo, Seung-U;Cho, Hyung-Mi;Lee, Jong-Hyeok
    • 한국어정보학회:학술대회논문집
    • /
    • 2016.10a
    • /
    • pp.285-290
    • /
    • 2016
  • 한국어는 형태론적으로 굴절어에 속하는 언어로서, 어휘의 형태가 문장 속에서 문법적인 기능을 하게 되고, 형태론적으로 풍부한 언어라는 특징 때문에 조사나 어미와 같은 기능어들이 다양하게 내용어들과 결합한다. 이와 같은 특징들은 한국어를 대상으로 하는 구 기반 통계적 기계번역 시스템에서 데이터 부족문제(Data Sparseness problem)를 더욱 크게 부각시킨다. 하지만, 한국어의 몇몇 조사와 어미는 함께 결합되는 내용어에 따라 의미는 같지만 두 가지의 형태를 가지는 이형태로 존재한다. 따라서 본 논문에서 이러한 이형태들을 하나로 표준화하여 데이터부족 문제를 완화하고, 베트남-한국어 통계적 기계 번역에서 성능이 개선됨을 보였다.

  • PDF

A Swearword Filter System for Online Game Chatting (온라인게임 채팅에서의 비속어 차단시스템)

  • Lee, Song-Wook
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.15 no.7
    • /
    • pp.1531-1536
    • /
    • 2011
  • We propose an automatic swearword filter system for online game chatting by using Support Vector Machines(SVM). We collected chatting sentences from online games and tagged them as normal sentences or swearword included sentences. We use n-gram syllables and lexical-part of speech (POS) tags of a word as features and select useful features by chi square statistics. Each selected feature is represented as binary weight and used in training SVM. SVM classifies each chatting sentence as swearword included one or not. In experiment, we acquired overall 90.4% of F1 accuracy.

Lattice-based Discriminative Approach for Korean Morphological Analysis (래티스상의 구조적 분류에 기반한 한국어 형태소 분석 및 품사 태깅)

  • Na, Seung-Hoon;Kim, Chang-Hyun;Kim, Young-Kil
    • Journal of KIISE:Software and Applications
    • /
    • v.41 no.7
    • /
    • pp.523-532
    • /
    • 2014
  • In this paper, we propose a lattice-based discriminative approach for Korean morphological analysis and POS tagging. In our approach, for an input sentence, a morpheme lattice is first created from a lexicon where each node corresponds to a morpheme in the lexicon and each edge is formed between two consecutive morphemes. A candidate result of morphological analysis is then represented as a path in the morpheme lattice which is defined as the sequence of edges, starting in the initial state and ending with the final state. In this setting, the morphological analysis is simply considered as the process of finding the best path among all possible paths. Experiment results show that the proposed lattice-based method outperforms the first-order linear-chain CRF.

MeSH Semi Indexing of the Korean Biomedical Literature, using NLM Medical Text Indexer (NLM Medical Text Indexer를 활용한 우리나라 의학문헌의 MeSH Semi Indexing 방안)

  • Jeong, Sona;Lee, Choon Shil
    • Proceedings of the Korean Society for Information Management Conference
    • /
    • 2010.08a
    • /
    • pp.21-28
    • /
    • 2010
  • 본 연구에서는 PubMed에 등재되었으나 Medical Subject Headings(MeSH)가 부여되지 않은 국내 의학학술지의 문헌을 대상으로 미국국립의학도서관 (NLM: National Library of Medicine)의 Medical Text Indexer(MTI)를 활용하여 MeSH 용어를 추천받은 후, PubMed 레코드의 유사주제문헌 (Relation Citations, PRC)에 부여된 MeSH와의 일치여부를 분석하였다. 또한 논문의 저자가 부여한 키워드(저자키워드)와 PRC MeSH의 일치여부도 비교하였다. PRC MeSH와 MTI MeSH 추천어의 일치율은 주표목이 21.1%였고, 체크태그는 18.1%, 부표목은 16.5%로 나타났다. 우리나라 의학논문에 나타난 저자키워드의 중요한 특징은 MeSH 주표목 위주이고, 체크태그와 부표목은 거의 사용하지 않는 것이다. 따라서 저자키워드와 PRC MeSH 주표목과의 일치율은 23.4%에 이르지만, 체크태그와 부표목의 일치율은 각각 1%, 2.1%였다. 색인전문가가 통제어휘를 사용하여 색인하는 과정에서 PRC와 MTI의 MeSH 주표목과 저자키워드가 일치하는 용어를 주표목으로 부여하고, PRC와 MTI가 추천하는 체크태그와 부표목을 활용하는 등 국내 의학문헌의 MeSH 용어 부여 작업을 반자동화(semi-indexing)하면, 정확하고 신속한 MeSH 부여 작업이 가능할 것이다.

  • PDF

How do Koreans represent Korean and English Sub-syllabic Units\ulcorner (한국인의 한국어와 영어음절 분석 특성)

  • 권혜원;윤여범;남기춘
    • Proceedings of the Korean Society for Cognitive Science Conference
    • /
    • 2002.05a
    • /
    • pp.131-136
    • /
    • 2002
  • 한국어 CVC 음절의 하위 단위는 초성자음과 모음을 포함하는 음절체(body)와 종성자음(coda)으로 이루어져 있고, 영어 음절은 초성(onset)과, 모음과 종성자음을 포함하는 각운(rime)으로 이루어져 있다고 한다. 본 연구에서는 한국인이 영어의 음절을 한국어 음절 정보처리 방법으로 정보처리 하는지를 알아보고자 하였다 실험 조건으로는 음절체 일치 조건(예, 각-감, cap-cat), 각운 일치 조건(예, 남감, pat-cat), 그리고 두 자음 일치 통제조건(예, 김-감, cut-cat)과 무관련 통제 조건(예, ***-감, ***-cat)이 사용되었다. 실험 과제로는 점화 어휘판단 과제(primed lexical decision task)를 수행하였다. 만약 음절체 일치 조건에서의 점화효과가 각운 일치 조건에서의 점화효과보다 크다면 한국인의 음절분절 단위가 음절체-종성(body-coda) 구조일 것으로 예상할 수 있고 각운 조건에서의 점화효과가 더 크다면 그 단위가 초성-각운(onset-rime)구조일 것으로 예상할 수 있다. 실험 결과, 한국어 음절의 경우 각운 일치 조건의 점화 효과가 음절체 일치 조건의 점화 효과보다 크게 나타나 음절체-종성 구조로의 하위 단위 분석을 지지했다. 그러나 영어의 경우에는 각운 일치 조건의 점화 효과가 음절체 일치 조건의 점화 효과보다 크게 나타나 초성-각운 구조로의 분석을 지지하였다. 따라서 한국인이 시각 단어를 재인할 때에는 언어 특정적인 분석을 수행한다는 결과를 얻었다.

  • PDF

A Review of Minimum Data Sets and Standardized Nursing Classifications (보건의료정보 자료 세트의 비교 및 간호정보 표준화에 대한 고찰)

  • Yom Young-Hee;Lee Ji-Soon;Kim Hee-Kyung;Chang Hae-Kyung;Oh Won-Ok;Choi Bo-Kyung;Park Chang-Sung;Chun Sook-Hee;Lee Jung-Ae
    • The Journal of Korean Academic Society of Nursing Education
    • /
    • v.5 no.1
    • /
    • pp.72-85
    • /
    • 1999
  • The paper presents a review of three data sets(Uniform Hospital Discharge Data Set, Nursing Minimum Data Set, and Nursing Management Minimum Data Set) and six major nursing classifications(the North American Nursing Diagnoses Association Taxonomy I, Omaha System, Nursing Interventions Classification, Nursing Intervention Lexicon and Taxonomy, Nursing Outcome Classification, Nursing Outcomes Classification, and Classification of Patient Outcome). The reviewed data sets and nursing classifications were different from each other in the purpose, structure, and user. Nursing Interventions Classification and Nursing Outcomes Classification were linked to North American Nursing Diagnosis Association, but others not. The data set and nursing classifications need to be linked to other data sets and classifications.

  • PDF

Automatic Generation of Multiple-Choice Questions Based on Statistical Language Model (통계 언어모델 기반 객관식 빈칸 채우기 문제 생성)

  • Park, Youngki
    • Journal of The Korean Association of Information Education
    • /
    • v.20 no.2
    • /
    • pp.197-206
    • /
    • 2016
  • A fill-in-the-blank with choices are widely used in classrooms in order to check whether students' understand what is being taught. Although there have been proposed many algorithms for generating this type of questions, most of them focus on preparing sentences with blanks rather than generating multiple choices. In this paper, we propose a novel algorithm for generating multiple choices, given a sentence with a blank. Because the algorithm is based on a statistical language model, we can generate relatively unbiased result and adjust the level of difficulty with ease. The experimental results show that our approach automatically produces similar multiple-choices to those of the exam writers.

Detection of Porno Sites on the Web using Fuzzy Inference (퍼지추론을 적용한 웹 음란문서 검출)

  • 김병만;최상필;노순억;김종완
    • Journal of the Korean Institute of Intelligent Systems
    • /
    • v.11 no.5
    • /
    • pp.419-425
    • /
    • 2001
  • A method to detect lots of porno documents on the internet is presented in this parer. The proposed method applies fuzzy inference mechanism to the conventional information retrieval techniques. First, several example sites on porno arc provided by users and then candidate words representing for porno documents are extracted from theme documents. In this process, lexical analysis and stemming are performed. Then, several values such as tole term frequency(TF), the document frequency(DF), and the Heuristic Information(HI) Is computed for each candidate word. Finally, fuzzy inference is performed with the above three values to weight candidate words. The weights of candidate words arc used to determine whether a liven site is sexual or not. From experiments on small test collection, the proposed method was shown useful to detect the sexual sites automatically.

  • PDF

A Study on the Natural Language Generation by Machine Translation (영한 기계번역의 자연어 생성 연구)

  • Hong Sung-Ryong
    • Journal of Digital Contents Society
    • /
    • v.6 no.1
    • /
    • pp.89-94
    • /
    • 2005
  • In machine translation the goal of natural language generation is to produce an target sentence transmitting the meaning of source sentence by using an parsing tree of source sentence and target expressions. It provides generator with linguistic structures, word mapping, part-of-speech, lexical information. The purpose of this study is to research the Korean Characteristics which could be used for the establishment of an algorism in speech recognition and composite sound. This is a part of realization for the plan of automatic machine translation. The stage of MT is divided into the level of morphemic, semantic analysis and syntactic construction.

  • PDF

A Reconsideration on the Efficiency of the Extended Projection Principle (데이터분석을 통한 확대투사원리의 효율성 제고)

  • Joo, Chi-Woon
    • Journal of the Korea Society of Computer and Information
    • /
    • v.16 no.10
    • /
    • pp.219-228
    • /
    • 2011
  • Main concern will be put at suggesting an alternative idea about the basic notion of the Extended Projection Principle (henceforth, ECP) which has been slightly changed since the initial appearance of the EPP. The EPP had been dependent on Case and theta-role under the era of the early generative grammar, whereas it was reduced only to the categorial feature [D] under the minimalism. Various data such as Locative Inversion constructions, there-expletive constructions, and sentences related to binding theory will be dealt with to suggest an plausible alternative idea. As a conclusion, it will be attested that the SPEC position of the inflectional clause should be filled with a maximally projected lexical item. This conclusion will be reached by analyzing lots of linguistic data.