• 제목/요약/키워드: 텍스트 표현 모델

검색결과 142건 처리시간 0.025초

ICLAL: 인 컨텍스트 러닝 기반 오디오-언어 멀티 모달 딥러닝 모델 (ICLAL: In-Context Learning-Based Audio-Language Multi-Modal Deep Learning Models)

  • 박준영;여진영 ;이고은 ;최창환;최상일
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 추계학술발표대회
    • /
    • pp.514-517
    • /
    • 2023
  • 본 연구는 인 컨택스트 러닝 (In-Context Learning)을 오디오-언어 작업에 적용하기 위한 멀티모달 (Multi-Modal) 딥러닝 모델을 다룬다. 해당 모델을 통해 학습 단계에서 오디오와 텍스트의 소통 가능한 형태의 표현 (Representation)을 학습하고 여러가지 오디오-텍스트 작업을 수행할 수 있는 멀티모달 딥러닝 모델을 개발하는 것이 본 연구의 목적이다. 모델은 오디오 인코더와 언어 인코더가 연결된 구조를 가지고 있으며, 언어 모델은 6.7B, 30B 의 파라미터 수를 가진 자동회귀 (Autoregressive) 대형 언어 모델 (Large Language Model)을 사용한다 오디오 인코더는 자기지도학습 (Self-Supervised Learning)을 기반으로 사전학습 된 오디오 특징 추출 모델이다. 언어모델이 상대적으로 대용량이기 언어모델의 파라미터를 고정하고 오디오 인코더의 파라미터만 업데이트하는 프로즌 (Frozen) 방법으로 학습한다. 학습을 위한 과제는 음성인식 (Automatic Speech Recognition)과 요약 (Abstractive Summarization) 이다. 학습을 마친 후 질의응답 (Question Answering) 작업으로 테스트를 진행했다. 그 결과, 정답 문장을 생성하기 위해서는 추가적인 학습이 필요한 것으로 보였으나, 음성인식으로 사전학습 한 모델의 경우 정답과 유사한 키워드를 사용하는 문법적으로 올바른 문장을 생성함을 확인했다.

한글 공동 편집기 (Collaborative Hangul Editor)

  • 김상욱;차경애;김우년
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1997년도 제9회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.454-460
    • /
    • 1997
  • 여러 응용 분야에 따라 많은 공동작업 시스템이 있다. 이러한 시스템들은 각 응용 영역에 따라 요구되는 문제가 다르다. 이 논문에서는 공동작업객체의 개념을 제시한다. 이 개념은 어떠한 멀티미디어 공동작업 시스템에도 적용할 수 있는 시스템 소프트웨어의 구조적인 모델이다. 이 모델은 지식베이스에서 이벤트를 자동으로 공유하고 각 이벤트에 대한 동작을 비동기적 동기적으로 수행한다. 이 논문에서의 공동작업객체는 멀티미디어 객체의 집합인데, 개념 그래프와 지식 쉘로 표현된다. 이 공동작업객체에서 수행되는 한글 공동텍스트 편집기는 한글 편집 지식에 의하여 공동으로 편집할 수 있다. 또한 한글 공동텍스트 편집기는 공동작업을 위하여 공동작업 객체를 관리, 유지하는 기능을 제공한다. 앞으로는 일반적인 공동작업 객체의 이론적 모델을 연구한다.

  • PDF

Anchor Text의 단어 정보를 이용한 자동 문서 범주화 (Automatic Text Categorization Using Term Information of Anchor Text)

  • 허희근;한기덕;정성원;임성신;권혁철
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2004년도 춘계학술발표대회
    • /
    • pp.665-668
    • /
    • 2004
  • 최근의 웹 문서는 텍스트뿐만 아니라 이미지, 사운드 등 다른 여러 형태로 표현되고 있어서 텍스트의 비중이 낮아지고 있다. 그래서 문서 내에서 일정량 이상의 단어 추출이 어려운 문서들에 대해서 기존의 단어 정보만을 이용한 문서 범주화 방법은 좋은 성능을 기대할 수 없다. 그래서 본 논문은 Anchor Text 단어 정보의 자질 적합성 판단에 의한 새로운 자동 문서 범주화 모델을 제안한다. 문서 범주화 모델로는 베이지언 확률 모델을 이용하였으며, 카이제곱 통계량을 사용하여 자질을 선정하였다. 문서 내에서 추출된 단어 자질들이 해당 문서를 판단하는데 부족하다고 판단되면 문서의 링크정보를 이용하여 연결된 문서의 단어 자질과 Anchor Text의 단어 자질을 반영함으로써 성능을 향상시킨다.

  • PDF

복합기제 텍스트의 확장 의미에 대한 수용자의 인지적 재구성 : 서사적 미디어 표현을 활용한 의사소통 교육을 위해 (Audience Cognitive Reconstruction of the Extended Meaning of Complex Mechanism Text : For Communication Education using Story Media Expressions)

  • 임지원
    • 한국엔터테인먼트산업학회논문지
    • /
    • 제15권7호
    • /
    • pp.137-143
    • /
    • 2021
  • 본 논의는 복합기제를 담은 미디어 텍스트의 확장 의미에 대한 인지화용적 의미 해석 이론을 토대로 대학생을 위한 의사소통 교육 및 한국어 연계 전공 교육자의 리터러시 교육의 연계가능성에 대해 논의된 질적 연구라 할 수 있다. 쌍방향적 의사소통 전략으로 활용된 미디어 콘텐츠 표현의 내포적 의미는 학습자 개개인의 인지환경에 따라 다각적인 해석으로 수용될 것이다. 그렇다면 콘텐츠 제작자가 의도한 일반적인 미디어 콘텐츠 의미 내용은 어떻게 수용되고 있는가. 이러한 의구심이 논의의 출발점이다. 필자는 문제해결을 위해 인지의미론의 실험화용적 방법론에 기대어, 인지언어학의 관련성 모델을 적용시켜 학습자의 창의적인 인지환경과 현시적 내용을 연결시켜 그 대비점을 모색하였다. 논의 결과 학습자 스스로 인지환경과 현시적 내용을 연결시킬 수 있는 주체성과 창의적 사고를 표현할 수 있는 기본 틀을 마련할 수 있었다. 특히 적극적이며 긍정적인 학습자들은 제작된 미디어 텍스트를 문제제기할 수 있는 토론의 능력과 텍스트에 내포된 의미의 타당성을 논증하기 위해 제 3의 대안을 제시하는 등 새로운 인지환경을 구축하는 직접적인 서술적 표현도 드러났다. 추후 복합기제가 담긴 미디어 텍스트는 현대 사회에서 다양한 매체를 통해 쉽게 이뤄지는 간접적이며 설득적인 의사소통 행위이기에 미디어 텍스트 제작자와 학습자의 신뢰적인 대화의 보편적 의사소통 원리가 존재해야 할 것이다

지능형 지식서비스를 위한 의미기반 XML 마이닝 시스템 연구 (Development of Semantic-Based XML Mining for Intelligent Knowledge Services)

  • 백주련;김진영
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2018년도 제58차 하계학술대회논문집 26권2호
    • /
    • pp.59-62
    • /
    • 2018
  • XML을 대상으로 하는 연구가 최근 5~6년 사이에 꾸준한 증가를 보이며 이루어지고 있지만 대다수의 연구들은 XML을 구성하고 있는 엘리먼트 자체에 대한 통계적인 모델을 기반으로 이루어졌다. 이는 XML의 고유 속성인 트리 구조에서의 텍스트, 문장, 문장 구성 성분이 가지고 있는 의미(semantics)가 명시적으로 분석, 표현되어 사용되기 보다는 통계적인 방법으로만 데이터의 발생을 계산하여 사용자가 요구한 질의에 대한 결과, 즉 해당하는 정보 및 지식을 제공하는 형식이다. 지능형 지식서비스 제공을 위한 환경에 부합하기 위한 정보 추출은, 텍스트 및 문장의 구성 요소를 분석하여 문서의 내용을 단순한 단어 집합보다는 풍부한 의미를 내포하는 형식으로 표현함으로써 보다 정교한 지식과 정보의 추출이 수행될 수 있도록 하여야 한다. 본 연구는 범람하는 XML 데이터로부터 사용자 요구의 의미까지 파악하여 정확하고 다양한 지식을 추출할 수 있는 방법을 연구하고자 한다. 레코드 구조가 아닌 트리 구조 데이터로부터 의미 추출이 가능한 효율적인 마이닝 기법을 진일보시킴으로써 다양한 사용자 중심의 서비스 제공을 최종 목적으로 한다.

  • PDF

웹 데이타베이스에서 하이퍼텍스트 모델 확장 및 데이타베이스 게이트웨이의 동적 서버 할당 (Hypertext Model Extension and Dynamic Server Allocation for Database Gateway in Web Database Systems)

  • 신판섭;김성완;임해철
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제27권2호
    • /
    • pp.227-237
    • /
    • 2000
  • 웹 데이타베이스는 웹 환경에서 하이퍼텍스트 모델을 바탕으로 멀티미디어 처리를 위한 부가적인 구조와 관계형 또는 객체지향형 데이타베이스 관리 시스템을 접목하여 구축하는 대용량의 멀티미디어 데이타베이스 응용 시스템이다. 그러나 기존의 하이퍼텍스트 모델링 기법과 DBMS 통로 형태로는 웹 서비스 고급화에 필수적인 다양한 표현능력과 DBMS 연동과정에서의 병목발생으로 인한 동시성 기능이 제한된다. 따라서, 본 논문에서는 하이퍼텍스트 모델링 측면에서 암시적 질의 수행 기능을 지원하고 동적으로 생성되는 항해 모델과 가상 그래프 구조를 제안한다. 또한 항해 유형 분류를 통해 노드와 링크의 생성 규칙을 유도하고 제안된 모델과 웹 데이타베이스 시스템 후위에 위치하는 관계형 모델과의 상호 사상기법을 연구한다. 그리고 데이타베이스 통로의 효율을 향상시키기 위해 가중치를 기반으로 질의처리 서버를 동적으로 할당하는 스케줄링 기법을 제안하여 시스템 전체의 성능을 개선하고, 제안된 기법이 상대적으로 높은 복잡도를 갖는 동시 질의 요구에 적합함을 보인다.

  • PDF

공격 메일 식별을 위한 비정형 데이터를 사용한 유전자 알고리즘 기반의 특징선택 알고리즘 (Feature-selection algorithm based on genetic algorithms using unstructured data for attack mail identification)

  • 홍성삼;김동욱;한명묵
    • 인터넷정보학회논문지
    • /
    • 제20권1호
    • /
    • pp.1-10
    • /
    • 2019
  • 빅 데이터에서 텍스트 마이닝은 많은 수의 데이터로부터 많은 특징 추출하기 때문에, 클러스터링 및 분류 과정의 계산 복잡도가 높고 분석결과의 신뢰성이 낮아질 수 있다. 특히 텍스트마이닝 과정을 통해 얻는 Term document matrix는 term과 문서간의 특징들을 표현하고 있지만, 희소행렬 형태를 보이게 된다. 본 논문에서는 탐지모델을 위해 텍스트마이닝에서 개선된 GA(Genetic Algorithm)을 이용한 특징 추출 방법을 설계하였다. TF-IDF는 특징 추출에서 문서와 용어간의 관계를 반영하는데 사용된다. 반복과정을 통해 사전에 미리 결정된 만큼의 특징을 선택한다. 또한 탐지모델의 성능 향상을 위해 sparsity score(희소성 점수)를 사용하였다. 스팸메일 세트의 희소성이 높으면 탐지모델의 성능이 낮아져 최적화된 탐지 모델을 찾기가 어렵다. 우리는 fitness function에서 s(F)를 사용하여 희소성이 낮고 TF-IDF 점수가 높은 탐지모델을 찾았다. 또한 제안된 알고리즘을 텍스트 분류 실험에 적용하여 성능을 검증하였다. 결과적으로, 제안한 알고리즘은 공격 메일 분류에서 좋은 성능(속도와 정확도)을 보여주었다.

텍스트와 음성의 앙상블을 통한 다중 감정인식 모델 (Multi-Emotion Recognition Model with Text and Speech Ensemble)

  • 이명호;임명진;신주현
    • 스마트미디어저널
    • /
    • 제11권8호
    • /
    • pp.65-72
    • /
    • 2022
  • COVID-19로 인해 대면으로 이루어지던 상담 방식이 비대면으로 진행되면서 비대면 상담의 중요성이 높아지고 있다. 비대면 상담은 온라인으로 언제 어디서든 상담할 수 있고, COVID-19에 안전하다는 장점이 있다. 그러나 비언어적 표현의 소통이 어려워 내담자의 마음을 이해하기 어렵다. 이에 비대면 상담 시 내담자의 마음을 잘 알기 위해서는 텍스트와 음성을 정확하게 분석하여 감정을 인식하는 것이 중요하다. 따라서 본 논문에서는 텍스트 데이터는 자음을 분리한 후 FastText를 사용하여 벡터화하고, 음성 데이터는 Log Mel Spectrogram과 MFCC를 사용하여 각각 특징을 추출하여 벡터화한다. 벡터화된 데이터를 LSTM 모델을 활용하여 5가지 감정을 인식하는 다중 감정인식 모델을 제안한다. 다중 감정인식은 RMSE을 활용하여 계산한다. 실험 결과 텍스트와 음성 데이터를 각각 사용한 모델보다 제안한 모델의 RMSE가 0.2174로 가장 낮은 오차를 확인하였다.

텐서공간모델 기반 시멘틱 검색 기법 (A Tensor Space Model based Semantic Search Technique)

  • 홍기주;김한준;장재영;전종훈
    • 한국전자거래학회지
    • /
    • 제21권4호
    • /
    • pp.1-14
    • /
    • 2016
  • 시멘틱 검색은 검색 사용자의 인지적 노력을 최소화하면서 사용자 질의의 문맥을 이해하여 의미에 맞는 문서를 정확히 찾아주는 기술이다. 아직 시멘틱 검색 기술은 온톨로지 또는 시멘틱 메타데이터 구축의 난제를 갖고 있으며 상용화 사례도 매우 미흡한 실정이다. 본 논문은 기존 시멘틱 검색 엔진의 한계를 극복하기 위하여 이전 연구에서 고안한 위키피디아 기반의 시멘틱 텐서공간모델을 활용하여 새로운 시멘틱 검색 기법을 제안한다. 제안하는 시멘틱 기법은 문서 집합에 출현하는 '단어'가 텐서공간모델에서 '문서-개념'의 2차 텐서(행렬), '개념'은 '문서-단어'의 2차 텐서로 표현된다는 성질을 이용하여 시멘틱 검색을 위해 요구되는 온톨로지 구축의 필요성을 없앤다. 그럼에도 불구하고, OHSUMED, SCOPUS 데이터셋을 이용한 성능평가를 통해 제안 기법이 벡터공간모델에서의 기존 검색 기법보다 우수함을 보인다.

유비쿼터스 컴퓨팅에서의 컨텍스트 적응형 개인화 서비스를 위한 사용자 모델 (A Conceptual User Model for Context-Adaptive and Personalized Service In Ubiquitous Computing)

  • 강창덕;박주경;박경랑;김신덕
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 한국컴퓨터종합학술대회 논문집 Vol.32 No.1 (B)
    • /
    • pp.544-546
    • /
    • 2005
  • 현재의 컴퓨팅 패러다임은 객체간의 대화다. 심지어 인간도 객체의 일부로 보고, 인간의 행동처럼 텍스트로 나타내기 힘든 추상적인 개념들도 관계들을 정의함으로써 온톨로지로 표현할 수 있다. VPW는 이러한 온톨로지들을 바탕으로 사용자의 상황을 표현하고, 이는 컨텍스트 적응형 서비스 객체에게 전달되어 사용자에 맞는 적응형 서비스를 제공받게 된다. 본 논문에서는 컨텍스트 적응형 개인화 서비스를 위해 사용자와 관련된 컨텍스트를 전달하는 방법으로써 사용자를 현존하는 온톨로지들을 이용하여 VPW 모델링 방법으로 표현하는 것과 VPW를 이용하여 사용자에게 알맞은 서비스를 제공하는 방법을 기술하고 있다.

  • PDF