• 제목/요약/키워드: Transfer Dictionary

검색결과 18건 처리시간 0.024초

영한 기계번역 시스템의 영한 변환사전 확장 도구 (English-Korean Transfer Dictionary Extension Tool in English-Korean Machine Translation System)

  • 김성동
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제2권1호
    • /
    • pp.35-42
    • /
    • 2013
  • 영한 기계번역 시스템을 개발하기 위해서는 언어에 대한 다양한 정보를 필요로 하며, 특히 영어 단어에 대한 의미 정보를 포함하는 영한 변환사전의 풍부한 정보량은 번역품질에 중요한 요소이다. 지속적으로 생성되는 새로운 단어들은 사전에 등록되어 있지 않아 번역문에 영어 단어가 그대로 출력되어 번역품질을 저하시킨다. 또한 복합명사는 어휘분석, 구문분석을 복잡하게 하고 사전에 의미가 등록되지 않은 경우가 많아 올바르게 번역하기 어렵다. 따라서 영한 기계번역의 번역품질 향상을 위해서는 사전에 등록되어 있지 않은 단어들과 자주 사용되는 복합명사들을 수집하고 의미 정보를 추가하여 영한 변환사전을 지속적으로 확장하는 것이 필요하다. 본 논문에서는 인터넷 신문기사로부터 말뭉치를 추출하고, 사전 미등록 단어와 자주 나타나는 복합명사를 찾은 후, 이들에 대해 의미를 부착하여 영한 변환사전에 추가하는 일련의 과정으로 구성되는 영한 변환사전의 확장 방안을 제안하고 이를 지원하는 도구를 개발하였다. 사전 정보의 확대는 많은 사람의 노력을 필요로 하는 일이지만, 영한 기계번역 시스템의 개선을 위해서는 필수적이다. 본 논문에서 개발한 도구는 사람의 노력을 최소화 하면서, 영한 변환사전의 정보량 지속적인 확대를 위해 유용하게 활용되어 영한 기계번역 시스템의 번역품질 개선에 기여할 것으로 기대된다.

구절 변환을 위한 한영 동사 사전 구성 (The Construction of Korean-to-English Verb Dictionary for Phrase-to-Phrase Translations)

  • 옥철영;김영택
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1991년도 제3회 한글 및 한국어정보처리 학술대회
    • /
    • pp.44-57
    • /
    • 1991
  • 변환방식의 기계번역은 변환사전에서 제공하는 정보의 종류와 그의 정밀성에 따라서 변환과정의 복잡도와 번역의 질이 결정되어 진다. 사람에 의한 번역은 양국어 사전에서 제공하는 구절 중심의 번역정보를 이용함으로써, 그 번역의 결과는 정확하고 자연스럽다. 본 논문에서는 양국어 사전에서 제공하는 구절 중심의 여러가지 번역정보들을, 한영 기계번역시스템이 이용할 수 있는 형태의 동사 변환사전을 제안하였다. 제안된 변환사전에서는 첫째로, 구절 중심의 번역에서 동사의 역어가 선택되어지는 기준을 제공하여, 변환과정에서 추가적인 의미해석없이도 역어를 효과적으로 선택할 수 있도록 하였다. 둘째로 동사의 역어가 취하는 구체적인 구문구조를 제공하여, 여러 단계의 구조변환의 복잡도를 줄이면서도 두 언어간의 표현방식의 차이점을 해결할 수 있게 하였다.

  • PDF

토큰기반 변환중심 한일 기계번역을 위한 변환사전 (Transfer Dictionary for A Token Based Transfer Driven Korean-Japanese Machine Translation)

  • 양승원
    • 한국산업정보학회논문지
    • /
    • 제9권3호
    • /
    • pp.64-70
    • /
    • 2004
  • 한국어와 일본어는 동일한 어족에 속하며 비슷한 문장구조를 가지고 있어 변환중심 기계번역 방법이 효율적이다. 본 논문에서는 토큰 단위의 변환중심 한일 기계번역 시스템을 위한 변환 사전을 생성하는 방법에 관하여 기술하였다. 변환 사전이 잘 구성되면 구문분석 단계에서는 대역어를 선정하기에 적합한 정도까지의 의존트리를 생성하는 간이 파싱 만을 함으로써 필요 없는 노력을 경감시킬 수 있다. 게다가 구문해석 시에 최종의 결과 트리를 만들지 않아도 되므로 문어체 문장은 물론 입력 형태가 비정형적인 대화체 문장에서 더욱 큰 효과를 볼 수 있다. 본 논문의 변환 사전은 한국전자통신 연구원이 수집한 음성 데이터베이스로부터 추출한 말뭉치를 사용해 구성하였다. 구현한 시스템은 여행 계획영역에서 수집된 900여 발화 안의 문장을 대상으로 시험하였는데 제한된 환경에서 $92\%$, 아무런 제약이 없는 환경에서는 $81\%$의 성공률을 보였다.

  • PDF

실시간 영/한 번역을 위한 트랜스퍼 어휘 사전 (A Design of Transfer Lexicon Dictionary For English to Korean Translation)

  • 이대진
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1991년도 제3회 한글 및 한국어정보처리 학술대회
    • /
    • pp.11-27
    • /
    • 1991
  • 본 연구는 자연어의 실시간 기체 번역의 설계에 관한 것으로 반도체 메모리에 트랜스퍼 방식의 어휘 사전을 구성하고 어휘 정보 문법을 기본으로한다.

  • PDF

RSA 일방향 어큐뮬레이터를 이용한 효율적이고 동적인 인증 딕셔너리 설계 (Efficient and Dynamic Authenticated Dictionary Design Using RSA One-way Accumulator)

  • 김순석;이용희;이강우
    • 한국정보통신학회논문지
    • /
    • 제12권4호
    • /
    • pp.651-660
    • /
    • 2008
  • 현재 인터넷과 같이 널리 사용되는 공개된 네트워크를 통해 법률적으로 유효한 문서나 상거래 계약서와 같은 엄격한 보안이 요구되는 기밀정보가 교환되고 있으며, 이와 동시에 이러한 기밀정보의 교환에 있어서 정보의 무결성과 인증을 위해 공개키 인증서가 사용되고 있다. 그러나 현 공개키 기반구조 환경에서는 공개키 인증서의 유효성을 확인하는데 있어서 전송용량 면이나 안전성면에서 여러 가지 문제점들을 내포하고 있다. 본 논문은 RSA 일방향 어큐뮬레이터를 사용하여 믿을 수 있는 정보제공자에 의해 유지되는 집합에 대한 사용자의 멤버쉽 질의에 대해 공모 가능한 디렉토리가 암호학적으로 검증된 응답을 제공하는 효율적이고 동적인 인증된 딕셔너리를 실현하였다.

Named entity recognition using transfer learning and small human- and meta-pseudo-labeled datasets

  • Kyoungman Bae;Joon-Ho Lim
    • ETRI Journal
    • /
    • 제46권1호
    • /
    • pp.59-70
    • /
    • 2024
  • We introduce a high-performance named entity recognition (NER) model for written and spoken language. To overcome challenges related to labeled data scarcity and domain shifts, we use transfer learning to leverage our previously developed KorBERT as the base model. We also adopt a meta-pseudo-label method using a teacher/student framework with labeled and unlabeled data. Our model presents two modifications. First, the student model is updated with an average loss from both human- and pseudo-labeled data. Second, the influence of noisy pseudo-labeled data is mitigated by considering feedback scores and updating the teacher model only when below a threshold (0.0005). We achieve the target NER performance in the spoken language domain and improve that in the written language domain by proposing a straightforward rollback method that reverts to the best model based on scarce human-labeled data. Further improvement is achieved by adjusting the label vector weights in the named entity dictionary.

심층 컨볼루셔널 신경망 기반의 빗줄기 검출 기법 (Rain Detection via Deep Convolutional Neural Networks)

  • 손창환
    • 전자공학회논문지
    • /
    • 제54권8호
    • /
    • pp.81-88
    • /
    • 2017
  • 본 논문에서는 단일 영상에서 빗줄기가 포함된 영역을 검출하기 위한 빗줄기 검출 기법을 제시하고자 한다. 특히 빗줄기가 포함된 패치와 그렇지 않은 패치들을 각각 수집한 후에 지도 학습 기반으로 심층 컨볼루셔널 신경망을 훈련시키고 빗줄기 영역을 검출하는 과정에 대해 자세히 소개하고자 한다. 또한 제안한 심층 컨볼루셔널 신경망 기반의 빗줄기 검출 기법이 기존의 사전 학습 기반의 빗줄기 검출 기법과 비교해서 저주파 영역에서 빗줄기 검출 성능이 더 우수함을 보이고자 한다. 그리고 제안한 빗줄기 검출 기법을 빗줄기 제거 분야에 적용해봄으로써 기존의 사전 학습 기반의 빗줄기 검출 기법보다 저주파 영역에서 디테일한 성분을 더 정확하게 묘사할 수 있음을 보여주고자 한다. 부가적으로 본 논문에서는 원본 영상에 빗줄기 패턴을 삽입하여 비가 내리는 시각적인 효과를 줄 수 있는 빗줄기 천이 기법에 대해서도 소개하고자 한다. 제안한 빗줄기 천이 기법은 빗줄기 영상 데이터베이스를 구축할 때 빗줄기의 다양한 패턴을 확보하는 데 유용하게 사용이 될 수 있다.

사람의 신체에 대한 러시아어 슬랭의 의미론적 분석 (A Semantic Analysis of Human Body Russian Slang)

  • 김성완
    • 비교문화연구
    • /
    • 제31권
    • /
    • pp.241-262
    • /
    • 2013
  • In this study, we select and analyze the slang that is represented in Elistratov's "Dictionary of Russian slang". Through the above analysis, some conclusions were drawn as follows: First, as a social and psychological phenomenon appears universal in all languages, the study of slang generates strict criteria for the analysis. Unlike literary language, listed in the dictionary slang expressions can become obsolete for their short period of usage by native speakers. Therefore, in the following research of the actual data, we have to validate words targeted for analysis. Second, as the result of the analysis it is metaphor for the most part studied rather than metonymy. The semantic derivations as a result of metonymy are used very frequently in real life. But in this study we mainly analyze words, therefore the number of words was less in metonymy than was expected. Third, the basic types of metaphor are appeared as similarity by form, function, and location, and there are varieties of intervening of subjectivity in similarity of emotional impression. Fourth, the metonymy is divided into three cases: the part meaning the whole, the whole meaning the part, and some thing meaning the reality of where it exists. Fifth, not only literary language, but also slang as the 'transitional process' is the most active way of development of new meanings, and there are two methods to transfer main meaning to second meaning.

기계번역에서 동사 모호성 해결에 관한 하이브리드 기법 (A Hybrid Method of Verb disambiguation in Machine Translation)

  • 문유진;마르타파머
    • 한국정보처리학회논문지
    • /
    • 제5권3호
    • /
    • pp.681-687
    • /
    • 1998
  • 본 논문에서는 기계번역에서 동사 번역의 모호성 해결을 위한 하이브리드 기법을 제안한다. 제안된 기법은 동사 번역을 위해 개념기반의 기법과 통계기반의 기법을 수행하는 알고리즘이다. 이를 위해 연어사전, WordNet과 말뭉치에서 추출한 통계 정보를 이용한다. 동사 번역의 모호성을 해결하기 위하여 이 알고리즘은 기계번역의 트랜스퍼 단게에서 번역할 동사의 번역어를 찾는다. 그러나 만일 적절한 번역어를 찾지 못하게 되면, Wordnet을 참조하여 번역 문장에서 동사의 논리적 제약어와 연어사전의 논리적 제약어들 사이의 단어간 유사도를 측정하여 번역어를 찾는다. 그리고 이와 동시에 이 알고리즘은 말뭉치에서 추출한 통계 정보를 참조하여 공기 유사도를 측정하여 번역어를 찾는다. 실험 결과, 이 알고리즘은 번역 정확성에서 기존의 다른 알고리즘보다 우수하며, 특히 연어기반의 기법과 비교할 때 약 24.8% 정도의 번역 정확성이 향상된 것으로 나타나고 있다.

  • PDF

Development of the Rule-based Smart Tourism Chatbot using Neo4J graph database

  • Kim, Dong-Hyun;Im, Hyeon-Su;Hyeon, Jong-Heon;Jwa, Jeong-Woo
    • International Journal of Internet, Broadcasting and Communication
    • /
    • 제13권2호
    • /
    • pp.179-186
    • /
    • 2021
  • We have been developed the smart tourism app and the Instagram and YouTube contents to provide personalized tourism information and travel product information to individual tourists. In this paper, we develop a rule-based smart tourism chatbot with the khaiii (Kakao Hangul Analyzer III) morphological analyzer and Neo4J graph database. In the proposed chatbot system, we use a morpheme analyzer, a proper noun dictionary including tourist destination names, and a general noun dictionary including containing frequently used words in tourist information search to understand the intention of the user's question. The tourism knowledge base built using the Neo4J graph database provides adequate answers to tourists' questions. In this paper, the nodes of Neo4J are Area based on tourist destination address, Contents with property of tourist information, and Service including service attribute data frequently used for search. A Neo4J query is created based on the result of analyzing the intention of a tourist's question with the property of nodes and relationships in Neo4J database. An answer to the question is made by searching in the tourism knowledge base. In this paper, we create the tourism knowledge base using more than 1300 Jeju tourism information used in the smart tourism app. We plan to develop a multilingual smart tour chatbot using the named entity recognition (NER), intention classification using conditional random field(CRF), and transfer learning using the pretrained language models.