• 제목/요약/키워드: 사전기반

검색결과 3,207건 처리시간 0.026초

요약문 기반 문학 스타일 문장 생성 (Generating Literature-Style Sentences based on Summarized Text )

  • 최부광;이은찬;안상태
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.67-70
    • /
    • 2022
  • 최근 자연어 생성 연구는 딥러닝 기반의 사전 학습 모델을 중심으로 활발하게 연구되고 있다. 하위 분야 중 하나인 텍스트 확장은 입력 텍스트를 출력에 잘 반영하는 것이 무엇보다도 중요하다. 기존 한국어 기반 텍스트 확장 연구의 경우 몇 개의 개념 집합에 기반해 문장을 생성하도록 한다. 그러나 이는 사람의 실제 발화 길이에 비해 짧고 단순한 문장만을 생성한다는 문제점이 존재한다. 본 논문은 이러한 문제점을 개선하면서 문학 스타일의 문장들을 생성하는 모델을 제안하였다. 또한 동일 모델에 대해 학습 데이터의 양에 따른 성능도 비교하였다. 그 결과, 짧은 요약문을 통해 문학 스타일의 여러 문장들을 생성하는 것을 확인하였고, 학습 데이터를 추가한 모델이 성능이 더 높게 나타나는 것을 확인하였다.

  • PDF

VL-KE-T5: 한국어와 영어로 구성된 영상-언어 병렬 데이터를 이용한 대조학습 기반 사전학습모델 구축 (VL-KE-T5: A contrastive learning-based pre-trained model using image-language parallel data composed of Korean and English)

  • 김산;신사임
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.337-342
    • /
    • 2022
  • 본 논문은 한국어-영어 기반 영상-언어 모델인 VL-KE-T5를 소개한다. VL-KE-T5는 영상-텍스트 쌍으로 구성된 한국어와 영어 데이터 약 2천 3백만개를 이용하여 영상-언어 모델의 임베딩 벡터들을 정렬시킨 사전학습모델이며, 미세조정을 통하여 여러 영상-언어 작업에 활용할 할 수 있다. VL-KE-T5는 텍스트 기반 영상 검색 작업에서 높은 성능을 보였으나, 세세한 속성을 가진 여러 객체들의 나열이나 객체 간 관계를 포함한 텍스트 기반 영상 검색에서는 비교적 낮은 성능을 보였다.

  • PDF

사전정보를 활용한 앙상블 클러스터링 알고리즘 (An Ensemble Clustering Algorithm based on a Prior Knowledge)

  • 고송;김대원
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제36권2호
    • /
    • pp.109-121
    • /
    • 2009
  • 사전정보는 클러스터링 성능을 유도할 수 있는 요인이지만, 활용 방법에 따라 차이는 발생한다. 특히, 사전정보를 초기 중심으로 활용할 때, 사전정보 간 유사도에 대해 고려하는 것이 필요하다. 레이블이 같더라도 낮은 유사도를 갖는 사전정보로 인해 초기 중심 설정 시 문제가 발생할 수 있기 때문에, 이들을 구분하여 활용하는 방법이 필요하다. 따라서 본 논문은 낮은 유사도를 갖는 사전정보를 구분하여 문제를 해결하는 방법을 제시한다. 또한 유사도에 의해 구분된 사전정보는 다양하게 활용함으로써 생성되는 다양한 클러스터링 결과를 연관규칙에 기반하여 앙상블 함으로써 통합된 하나의 분석 결과를 도출하여 클러스터링 분석 성능을 더욱 개선시킬 수 있다.

재난안전정보 공유를 위한 용어사전 구축도구 개발 (Development of Terminology Construction Tool for Disaster Safety Information Sharing)

  • 김태영;양중식;오효정
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.546-549
    • /
    • 2018
  • 다양한 재난안전 유관기관으로부터 생산 및 관리되는 재난안전정보는 공유를 통해 재난관리업무를 보다 효율적이고 신속하게 수행할 수 있도록 도와준다. 그러나 재난안전정보 공유를 위해서는 우선 재난안전 분야에서 사용되는 용어의 표준화 및 체계화가 선행되어야 한다. 특히 다양한 분야에서 축척된 용어들을 모두 종합 검토하고 형상 관리하기 위해서는 별도의 구축도구가 필요하다. 본 논문에서는 재난안전정보 용어사전 구축도구를 통해 재난안전 분야의 용어를 입력하고 정제 및 검토하는 과정을 통하여 용어 표준화를 수행하고자 한다. 특히 본 논문에서 개발된 구축도구는 웹 기반 다중접속이 가능하도록 구현되었고, 하나의 표제어에 다양한 정의문이 할당되는 일대다 관계로 용어사전을 관리하고 있어 다양한 분야에서 혼재되어 있는 정의문들을 종합적으로 관리할 수 있다는 장점이 있다. 현재는 개발된 구축도구를 활용하여 재난안전정보 용어사전을 구축 중에 있으며, 차후 구축된 용어사전을 재난안전 분야 실무자 및 일반 이용자에게 제공하기 위한 활용도구 구축 연구가 추가적으로 진행될 계획이다.

  • PDF

한국어 문법 오류 교정 모델을 위한 문장 단위 디노이징 학습법 (Sentence Unit De-noising Training Method for Korean Grammar Error Correction Model)

  • 김훈래;김윤수;이근배
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.507-511
    • /
    • 2022
  • 문법 교정 모델은 입력된 텍스트에 존재하는 문법 오류를 탐지하여 이를 문법적으로 옳게 고치는 작업을 수행하며, 학습자에게 더 나은 학습 경험을 제공하기 위해 높은 정확도와 재현율을 필요로 한다. 이를 위해 최근 연구에서는 문단 단위 사전 학습을 완료한 모델을 맞춤법 교정 데이터셋으로 미세 조정하여 사용한다. 하지만 본 연구에서는 기존 사전 학습 방법이 문법 교정에 적합하지 않다고 판단하여 문단 단위 데이터셋을 문장 단위로 나눈 뒤 각 문장에 G2P 노이즈와 편집거리 기반 노이즈를 추가한 데이터셋을 제작하였다. 그리고 문단 단위 사전 학습한 모델에 해당 데이터셋으로 문장 단위 디노이징 사전 학습을 추가했고, 그 결과 성능이 향상되었다. 노이즈 없이 문장 단위로 분할된 데이터셋을 사용하여 디노이징 사전 학습한 모델을 통해 문장 단위 분할의 효과를 검증하고자 했고, 디노이징 사전 학습하지 않은 기존 모델보다 성능이 향상되는 것을 확인하였다. 또한 둘 중 하나의 노이즈만을 사용하여 디노이징 사전 학습한 두 모델의 성능이 큰 차이를 보이지 않는 것을 통해 인공적인 무작위 편집거리 노이즈만을 사용한 모델이 언어학적 지식이 필요한 G2P 노이즈만을 사용한 모델에 필적하는 성능을 보일 수 있다는 것을 확인할 수 있었다.

  • PDF

TAPAS를 이용한 사전학습 언어 모델 기반의 표 질의응답 (Table Question Answering based on Pre-trained Language Model using TAPAS)

  • 조상현;김민호;권혁철
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.87-90
    • /
    • 2020
  • 표 질의응답은 반-정형화된 표 데이터에서 질문에 대한 답을 찾는 문제이다. 본 연구에서는 한국어 표 질의응답을 위한 표 데이터에 적합한 TAPAS를 이용한 언어모델 사전학습 방법과 표에서 정답이 있는 셀을 예측하고 선택된 셀에서 정확한 정답의 경계를 예측하기 위한 표 질의응답 모형을 제안한다. 표 사전학습을 위해서 약 10만 개의 표 데이터를 활용했으며, 텍스트 데이터에 사전학습된 BERT 모델을 이용하여 TAPAS를 사전학습한 모델이 가장 좋은 성능을 보였다. 기계독해 모델을 적용했을 때 EM 46.8%, F1 63.8%로 텍스트 텍스트에 사전학습된 모델로 파인튜닝한 것과 비교하여 EM 6.7%, F1 12.9% 향상된 것을 보였다. 표 질의응답 모델의 경우 TAPAS를 통해 생성된 임베딩을 이용하여 행과 열의 임베딩을 추출하고 TAPAS 임베딩, 행과 열의 임베딩을 결합하여 기계독해 모델을 적용했을 때 EM 63.6%, F1 76.0%의 성능을 보였다.

  • PDF

PLIB에 기반한 전자상거래용 금형부품 데이터 사전의 구축 (A Data Dictionary for Procurement of Die and Mold Parts Based on PLIB Standard)

  • 조준면;문두환;김흥기;한순흥;류병우
    • 한국전자거래학회지
    • /
    • 제8권3호
    • /
    • pp.37-52
    • /
    • 2003
  • PLIB으로 알려진 ISO 13584 부품 라이브러리 국제 표준은 상품의 분류와 각 상품 분류별 특성을 묘사하는 기준으로서 전자 상거래 분야로 그 응용영 역을 넓혀 나가고 있다. PLIB 표준은 여러 권으로 구성된 표준인데, 그 중 파트 42는 전자 카탈로그 또는 부품 라이브러리의 데이터 사전 (Data Dictionary)를 작성하는데 정보모델 (Information Model)과 설계원칙 (Design Principles)을 제공한다. PLIB 파트42의 정보모델을 기반으로 작성된 데이터 사전을 이용하여 전자 카탈로그 시스템을 구축하면, 향후 산업별, 부품대상별로 구축될 다양한 전자 카탈로그 시스템간의 통합 (Integration)과 상호운용 (Interoperation)을 쉽게 달성할 수 있다. 본 연구는 우선, 전자 카탈로그 또는 부품 라이브러리에서 데이터 사전의 역할과 요구 사항을 정리하고, PLIB 파트 42의 내용을 분석한다. 그리고 분석 결과를 바탕으로 금형부품 데이터 사전을 작성하고 이를 이용하여 기업간 전자 상거래 (B2B e-Commerce)용 전자 카탈로그 시스템을 구축한 결과를 정리한다.

  • PDF

미디어 동기화를 지원하는 웹기반 멀티미디어 전자사전 시스템 (A Web-Based Multimedia Dictionary System Supporting Media Synchronization)

  • 최용준;황도삼
    • 한국멀티미디어학회논문지
    • /
    • 제7권8호
    • /
    • pp.1145-1161
    • /
    • 2004
  • 본 연구는 인터넷에 분산되어 있는 언어자원들의 미디어 데이터를 통합하여 멀티미디어 전자사전 시스템을 구축하는 기법을 연구하는 것으로, 텍스트 데이터를 기반으로 한 기존 전자사전 시스템을 멀티미디어 환경으로 발전시킨다. 이를 위하여 인터넷에 분산되어 있는 언어자원들의 미디어 데이터를 웹 브라우저 환경에서 통합하는 기법을 제안한다. 제안하는 기법은 미디어 통합데이터에 의해 웹 브라우저가 모든 작업을 수행하므로 복잡한 서버 시스템을 필요로 하지 않는다. 구현하는 전자사전은 웹 브라우저 환경에서 작동하며, 텍스트와 이미지 및 음성을 통합하여 합성하거나 움직임을 재생한다. 통합과 움직임의 데이터를 기술하기 위하여 각 미디어의 의미를 분석하여 SMIL 문서를 생성하고 웹 브라우저에서 실행하도록 하였다. 제안하는 멀티미디어 전자사전 시스템은 단순한 미디어 데이터들을 통합하는 방식으로 작동하므로 전용 서버 시스템을 필요로 하지 않는다. 또한, 각 미디어 데이터는 분산되어 있는 데이터를 공유하는 형태이므로 저장 공간을 절약하게 되며, 최근의 데이터로 갱신하는 것이 간단하게 이루어진다.

  • PDF

중간언어 문맥벡터의 정제를 통한 이중언어 사전 구축의 성능개선 (Enhancing Performance of Bilingual Lexicon Extraction through Refinement of Pivot-Context Vectors)

  • 권홍석;서형원;김재훈
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제41권7호
    • /
    • pp.492-500
    • /
    • 2014
  • 본 논문은 중간언어 기반 이중언어 사전 구축 방법에서 문맥벡터의 정제 방법을 제안한다. 중간언어 기반 이중언어 사전 구축 방법은 두 언어 간의 사전이나 병렬말뭉치 등 언어 자원이 부족한 언어쌍에 매우 효과적인 방법이다. 본 논문은 두 가지 정제 방법을 통해서 성능을 개선한다. 첫 번째 방법은 양방향 번역확률을 통하여 문맥벡터를 정제하였고 두 번째 방법은 품사 정보를 이용하여 문맥벡터를 정제하였다. 본 논문은 두 개의 서로 다른 언어 쌍으로 한국어-스페인어 그리고 한국어-프랑스어 양방향에 대해서 각각 이중언어 사전을 추출하는 실험을 하였다. 높은 빈도수를 가지는 어휘에 대한 번역 정확도는 최상위에서 최소 48.5%를, 상위 20에서 최대 88.5%의 정확도를 얻었고, 낮은 빈도수를 가지는 어휘에 대한 번역 정확도는 최상위에서 최소 26.5%를, 상위 20에서 최대 66.5%의 성능을 보였다.

중국 시장의 신제품 사전예고 정보 속성의 중요성에 관한 연구: 제품 지식과 제품 혁신성의 조절역할을 중심으로 (A Framework Exploring the Pivotal Role of Preannounced Information Attributes in the Chinese Market: Moderating Effects of Product Knowledge and Product Innovativeness)

  • 단샤오웨이;여엽청;황몽첩
    • 한국콘텐츠학회논문지
    • /
    • 제21권7호
    • /
    • pp.386-403
    • /
    • 2021
  • 정보타깃 고객에게 신제품을 사전 예고하는 것은 다양한 산업, 특히 제품 진입 속도를 매우 중요하게 여기는 산업에서 점차 널리 퍼져 있다. 본 연구는 마케팅 신호 이론에 기반하여 신제품에 대한 사전예고 정보와 개인 고객의 행동적 의도 간의 관계를 파악하여 연구 모델을 제시하였다. 또한, 본 연구는 사전 제품 지식과 신제품 혁신성의 유의한 조절 효과도 더불어 확인하였다. 이에 따라, 데이터 수집을 위한 웹 기반 조사를 실시하고 구조 방정식 모델을 이용해 데이터를 분석하였다. 연구 결과에 의해 신제품 사전예고의 정보 속성(즉, 정보량, 명확성)이 소비자의 태도에 긍정적 영향을 미칠 것이며, 더 나아가 구매의도에 긍정적 영향을 미칠 것을 알 수 있었다. 또한, 제품 지식과 제품 혁신성의 조절효과도 검증되었다. 구체적으로 제품 지식은 정보량과 태도 간의 관계에 긍정적 조절 효과를 미칠 것이며 명확성과 태도 간의 관계에 부정적 조절 효과를 미칠 것이다. 반면, 제품 혁신성은 이와 정반대된 결과를 보여주었다. 마지막으로 본 연구의 시사점과 한계점도 모두 기술하였다.