• 제목/요약/키워드: 단어 문맥

검색결과 211건 처리시간 0.028초

효과적인 웹 문서 추천을 위한 동적 사용자 프로파일 생성 기법 (Dynamic User Profile Creation Method for Effective Recommendation for Documents on the Web)

  • 윤윤경;서정연
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 봄 학술발표논문집 Vol.27 No.1 (B)
    • /
    • pp.453-455
    • /
    • 2000
  • 기하급수적으로 증가하는 인터넷의 정보량에서 최적의 정보를 찾고자 하는 사용자의 요구가 증가함에 따라 개별적 사용자에게 필요한 정보만을 제공하는 것이 필요하다. 이러한 사용자의 요구를 충족시키기 위해 사용자의 행동을 관찰하고 학습하여 사용자 대신 문서를 수집하는 웹 문서 추천 에이전트의 필요성이 대두되었다. 본 논문에서는 웹 문서 추천에이전트에서 사용되는 프로파일을 효과적으로 생성하고 학습하기 위한 문서 표현 방법, 특징 선택법을 제안한다. 제안된 문서 표현 방법은 슬라이딩 윈도우 방법을 통해 인접한 단어쌍의 문맥 정보를 이용하고, 의존 구조를 이용하며 사용자의 관심 변화에 빨리 적응 할 수 있도록 시간에 대한 가중치를 반영한다. 제안된 방법으로 프로파일을 구성한 웹 문서 추천 에이전트는 사용자의 관심 분야를 효과적으로 반영하고 관심 변화에 빨리 적응하여 사용자에게 알맞은 문서를 추천한다.

  • PDF

의미 부착이 없는 데이터로부터의 학습을 통한 의미 중의성 해소 (Word Sense Disambiguation From Unlabelled Data)

  • 박성배;장병탁;김영택
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 봄 학술발표논문집 Vol.27 No.1 (B)
    • /
    • pp.330-332
    • /
    • 2000
  • 의미 모호성 해소는 문맥상의 한 단어의 올바른 의미를 밝히는 것으로, 대부분의 자연언어처리 응용에서 가장 중요한 문제 중 하나이다. 말뭉치로부터 얻어진 예제로부터 의미 모호성 해소 방법을 학습하기 위해서는 답이 알려져 있는 대량의 학습 예제가 필요하지만, 답이 알려져 있는 예제를 구하는 일은 사람의 간섭을 필요로 하므로 매우 비싼 작업이다. 본 논문에서는 답이 알려져 있는 학습 예제로 어느 정도 학습한 수, 답이 알려져 있지 않은 예제로 학습을 보충하는 방법을 통해 사람의 간섭을 최소화하였다. 결정트리 학습을 통한 한국어 명사에 대한 의미 결정 실험 결과, 본 논문에서 제안한 방법은 가장 많은 분포를 보이는 의미를 선택하는 경우보다 평균적으로 33.6%의 성능 향상을 보이며, 이는 전체 학습 예제의 답이 모두 알려져 있는 경우와 거의 비슷한 결과이다. 따라서, 한국어와 같이 신뢰할 만한 의미 부착 말뭉치가 없는 경우에 본 논문에서 제시된 방법은 매우 효율적이다.

  • PDF

전화음성인식을 위한 멀티채널 음성인식 시스템 구현 (Implementation of the Multi-Channel Speech Recognition System for the Telephone Speech)

  • 이승훈;서영주;강동규
    • 한국음향학회:학술대회논문집
    • /
    • 한국음향학회 2000년도 학술발표대회 논문집 제19권 2호
    • /
    • pp.179-182
    • /
    • 2000
  • 본 논문은 전화음성 서비스 시스템의 핵심 기술인 멀티채널 음성인식 시스템의 구현에 대해서 기술하고자 한다. 구현한 시스템은 전화망 인터페이스 모듈, 음성입력 모듈, 음성인식 모듈, 및 서비스 제어모듈로 구성되어 있다. 전화망 인터페이스 모듈은 전화망을 이용한 교환기와의 호 처리 및 이벤트 처리를 담당하며, 전화망 접속카드와 밀접한 관계를 가지고 있다. 음성입력 및 인식 모들은 호 접속이 이루어진 채널로부터 음성을 입력받아 단어인식 기능을 수행하는 부분으로서 멀티 채널을 수용할 수 있는 구조로 설계되어 있다. 음성인식 모델은 문맥 종속형 CHMM 모델이며, 각각의 HMM 모델은 3-state, skip path 로 구성되어 있다. 음성인식 모듈내의 함수들은 모두 re-entrant 하도록 구성함으로써 멀티 채별이 가능하며, 각각의 채널은 모두 독립적인 메모리 공간에서 동작하도록 되어있다. 이와 같은 멀티채널 전화음성인식 시스템은 Dialogic보드를 이용하여 Windows NT에서 동작하도록 구현하였다. 실험결과, 구현된 시스템은 실시간으로 상용서비스가 가능한 인식율을 보였으며 원활한 멀티채널 지원이 가능하였다.

  • PDF

글자 및 발음 기반 영-한 음차표기 모델 (An English-to-Korean Transliteration Model based on Character and Pronunciation)

  • 오종훈;배선미;최기선
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 봄 학술발표논문집 Vol.31 No.1 (B)
    • /
    • pp.925-927
    • /
    • 2004
  • 음차표기란 외국어의 발음을 자국어로 표기하는 것으로 정의된다. 영-한 자동 음차표기 방법에는 직접방식, 피봇방식, 혼합방식이 있다. 기존의 영-한 음차표기 연구들은 직접방식에 기반한 연구들이 대부분이었다. 하지만, 음차표기는 직접방식에서 사용하는 단순한 자소 대 자소변환 작업이라기보다는 자소의 음성적 변환 작업이라고 할 수 있다. 따라서 자소뿐만 아니라 음소 등 음성적 정보가 매우 중요하다. 본 논문에서는 이러한 특성을 이용하여 자소 정보뿐만 아니라 음소 정보를 이용한 음차표기 기법을 제안한다. 주어진 자소와 음소 및 자소와 음소의 문맥정보를 이용하여 한국어 음차표기를 생성하는 본 논문의 기법은 약 60%의 단어정확도를 나타내었다.

  • PDF

한국어 어휘의미망을 활용한 의미 오류 검사 규칙 일반화 연구 (A Study on Generalization of Semantic Error Detection Rules in a Grammar Checker for Korean Using Korean WordNet 『KorLex』)

  • 소길자;권혁철
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2010년도 추계학술발표대회
    • /
    • pp.640-643
    • /
    • 2010
  • 영어권에서는 통계적 기반 의미 오류 검사기에 대한 연구가 활발하게 진행되었으나 한국어에서는 자주 나타나는 오류를 중심으로 오류 단어를 검사할 문맥이나 공기정보를 갖는 규칙 기반의 연구가 이루어져왔다. 본 논문에서는 표제어나 사전 기반 범주화 정보로 표현되고 있는 기존 문법 검사기의 성능을 개선하는 방안으로 한국어 명사 어휘 의미망인 KorLex를 활용하는 방법을 연구한다. 특히, 용언은 목적어나 주어에 사용되는 명사의 표제어가 의미 제약 조건으로 사용되는 예가 많다. 본 논문에서는 용언의 의미 제약 조건을 명사 표제어 단위에서 명사 의미 그룹(class) 단위로 확대하여 문법 검사기의 의미 오류 검사 규칙의 의미 오류 제약 조건을 일반화 하는 방안을 연구한다.

BERT 언어 모델을 이용한 감정 분석 시스템 (Sentiment Analysis System by Using BERT Language Model)

  • 김택현;조단비;이현영;원혜진;강승식
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2020년도 추계학술발표대회
    • /
    • pp.975-977
    • /
    • 2020
  • 감정 분석은 문서의 주관적인 감정, 의견, 기분을 파악하기 위한 방법으로 소셜 미디어, 온라인 리뷰 등 다양한 분야에서 활용된다. 문서 내 텍스트가 나타내는 단어와 문맥을 기반으로 감정 수치를 계산하여 긍정 또는 부정 감정을 결정한다. 2015년에 구축된 네이버 영화평 데이터 20 만개에 12 만개를 추가 구축하여 감정 분석 연구를 진행하였으며 언어 모델로는 최근 자연어처리 분야에서 높은 성능을 보여주는 BERT 모델을 이용하였다. 감정 분석 기법으로는 LSTM(Long Short-Term Memory) 등 기존의 기계학습 기법과 구글의 다국어 BERT 모델, 그리고 KoBERT 모델을 이용하여 감정 분석의 성능을 비교하였으며, KoBERT 모델이 89.90%로 가장 높은 성능을 보여주었다.

한국어 상호참조해결을 위한 BERT 기반 데이터 증강 기법 (BERT-based Data Augmentation Techniques for Korean Coreference Resolution)

  • 김기훈;이창기;류지희;임준호
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.249-253
    • /
    • 2020
  • 상호참조해결은 문서 내에 등장하는 모든 멘션 중에서 같은 의미를 갖는 대상(개체)들을 하나의 집합으로 묶어주는 자연어처리 태스크이다. 한국어 상호참조해결의 학습 데이터는 영어권에 비해 적은 양이다. 데이터 증강 기법은 부족한 학습 데이터를 증강하여 기계학습 기반 모델의 성능을 향상시킬 수 있는 방법 중 하나이며, 주로 규칙 기반 데이터 증강 기법이 연구되고 있다. 그러나 규칙 기반으로 데이터를 증강하게 될 경우 규칙 조건을 만족하지 못했을 때 데이터 증강이 힘들다는 문제점과 임의로 단어를 변경 혹은 삭제하는 과정에서 문맥에 영향을 주는 문제점이 발생할 수 있다. 따라서 본 논문에서는 BERT의 MLM(Masked Language Model)을 이용하여 기존 규칙기반 데이터 증강 기법의 문제점을 해결하고 한국어 상호참조해결 데이터를 증강하는 방법을 소개한다. 실험 결과, ETRI 질의응답 도메인 상호참조해결 데이터에서 CoNLL F1 1.39% (TEST) 성능 향상을 보였다.

  • PDF

의미 정보와 BERT를 결합한 개념 언어 모델 (A Concept Language Model combining Word Sense Information and BERT)

  • 이주상;옥철영
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.3-7
    • /
    • 2019
  • 자연어 표상은 자연어가 가진 정보를 컴퓨터에게 전달하기 위해 표현하는 방법이다. 현재 자연어 표상은 학습을 통해 고정된 벡터로 표현하는 것이 아닌 문맥적 정보에 의해 벡터가 변화한다. 그 중 BERT의 경우 Transformer 모델의 encoder를 사용하여 자연어를 표상하는 기술이다. 하지만 BERT의 경우 학습시간이 많이 걸리며, 대용량의 데이터를 필요로 한다. 본 논문에서는 빠른 자연어 표상 학습을 위해 의미 정보와 BERT를 결합한 개념 언어 모델을 제안한다. 의미 정보로 단어의 품사 정보와, 명사의 의미 계층 정보를 추상적으로 표현했다. 실험을 위해 ETRI에서 공개한 한국어 BERT 모델을 비교 대상으로 하며, 개체명 인식을 학습하여 비교했다. 두 모델의 개체명 인식 결과가 비슷하게 나타났다. 의미 정보가 자연어 표상을 하는데 중요한 정보가 될 수 있음을 확인했다.

  • PDF

정답과 구절의 공동 주의 집중 계층을 이용한 한국어 질문 생성 (Korean Question Generation Using Co-Attention Layer of Answer and Passage)

  • 김진태;노형종;이연수;김학수
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.315-320
    • /
    • 2019
  • 질문 생성이란 구절이 입력되면 구절에서 답을 찾을 수 있는 질문을 자동으로 생성하는 작업으로 교육용 시스템, 대화 시스템, QA 시스템 등 다양한 분야에서 중요한 역할을 한다. 질문 생성에서 정답의 단어가 질문에 포함되는 문제점을 해결하기 위해 구절과 정답을 분리한다. 하지만 구절과 정답을 분리하게 되면 구절에서 정답의 정보가 손실되고, 정답에서는 구절의 문맥 정보가 손실되어 정답 유형에 맞는 질문을 생성할 수 없는 문제가 발생된다. 본 논문은 이러한 문제를 해결하기 위해 분리된 정답과 구절의 정보를 연결시켜주는 정답과 구절의 공동 주의 집중 계층을 제안한다. 23,658개의 질문-응답 쌍의 말뭉치를 이용한 실험에서 정답과 구절의 공동 주의 집중 계층이 성능 향상에 기여해 우수한 성능(BLEU-26.7, ROUGE-57.5)을 보였다.

  • PDF

XLNet을 이용한 한국어 구문분석 (Korean Syntactic Parsing with XLNet)

  • 김민석;신창욱;오진영;차정원
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.540-542
    • /
    • 2019
  • 문맥기반 사전학습 단어 임베딩이 다양한 분야 적용되어 훌륭한 성능을 보여주고 있다. 본 논문에서는 사전학습한 XLNet 모델을 구문분석에 적용하였다. XLNet은 문장에서 생성 가능한 모든 후보에 대해 트랜스 포머를 기반으로 하는 사전학습을 진행한다. 따라서 문장 전체 정보를 필요로 하는 구문분석에 특히 유용하다. 본 논문에서는 한국어 특성을 반영하기 위하여 형태소 분석을 시행한 107.2GB 크기의 대용량 데이터를 사용해 학습을 진행하였다. 본 논문에서 제안한 모델을 세종 구문 코퍼스에 적용한 결과, UAS 91.93% LAS 89.30%의 성능을 보였다.

  • PDF