• 제목/요약/키워드: 태스크 모델

검색결과 265건 처리시간 0.028초

시간적 관계정보를 활용한 멀티태스크 심층신경망 모델 학습 기법 (Multi-task Learning Approach for Deep Neural Networks Using Temporal Relations)

  • 임채균;오교중;최호진
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.211-214
    • /
    • 2021
  • 다수의 태스크를 처리 가능하면서 일반화된 성능을 제공할 수 있는 모델을 구축하는 자연어 이해 분야의 연구에서는 멀티태스크 학습 기법에 대한 연구가 다양하게 시도되고 있다. 또한, 자연어 문장으로 작성된 문서들에는 대체적으로 시간에 관련된 정보가 포함되어 있을 뿐만 아니라, 문서의 전체 내용과 문맥을 이해하기 위해서 이러한 정보를 정확하게 인식하는 것이 중요하다. NLU 분야의 태스크를 더욱 정확하게 수행하려면 모델 내부적으로 시간정보를 반영할 필요가 있으며, 멀티태스크 학습 과정에서 추가적인 태스크로 시간적 관계정보를 추출하여 활용 가능하다. 본 논문에서는, 한국어 입력문장의 시간적 맥락정보를 활용할 수 있도록 NLU 태스크들의 학습 과정에서 시간관계 추출 태스크를 추가한 멀티태스크 학습 기법을 제안한다. 멀티태스크 학습의 특징을 활용하기 위해서 시간적 관계정보를 추출하는 태스크를 설계하고 기존의 NLU 태스크와 조합하여 학습하도록 모델을 구성한다. 실험에서는 학습 태스크들을 다양하게 조합하여 성능 차이를 분석하며, 기존의 NLU 태스크만 사용했을 경우에 비해 추가된 시간적 관계정보가 어떤 영향을 미치는지 확인한다. 실험결과를 통하여 전반적으로 멀티태스크 조합의 성능이 개별 태스크의 성능보다 높은 경향을 확인하며, 특히 개체명 인식에서 시간관계가 반영될 경우에 크게 성능이 향상되는 결과를 볼 수 있다.

  • PDF

병렬 태스크의 행동 특성 추출에 관한 연구 (A Study on the Extraction of Behavior Characteristic for Concurrent Task)

  • 유창문;김규년
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 봄 학술발표논문집 Vol.27 No.1 (A)
    • /
    • pp.573-575
    • /
    • 2000
  • COncurrent Design Approach for Real-Time System(CODARTS) 방법론은 Gomaa에 의해 제안된 실시간 소프트웨어 설계 방법론으로서 분석 단계에서 CORBA 방법을 사용하여 시스템의 객체와 함수들을 식별하고 행동 모델을 개발한다. 그리고 설계 단계에서는 병렬 태스크 구조화 지침 및 정보 은닉 모듈 구조화 지침을 적용하여 해동 모델의 객체와 함수들을 병렬 태스크와 정보 은닉 모듈들로 구조화한다. 마지막으로 병렬 태스크와 저오 은닉 모듈을 결합하여 소프트웨어 구조를 개발하고 구현 단계를 수행한다. 소프트웨어 구조를 개발하고 구현 단계를 수행하기 위해서는 병렬 태스크의 행동 특성이나 태스크간의 인터페이스가 정확히 명시되어야 한다. 이는 분석 단계에서 식별된 객체와 함수들에서 태스크에 대한 정보를 추출함으로써 이루어질수 있다. 본 논문에서는 행동 모델의 객체와 함수들로부터 병렬 태스크에 대한 행동 특성 정보 추출방법을 제안하고 태스크 사이의 인터페이스를 결정하는 방법을 보인다.

  • PDF

Prompt 기반의 Full-Shot Learning과 Few-Shot Learning을 이용한 알츠하이머병 치매와 조현병 진단 (Prompt-based Full-Shot and Few-Shot Learning for Diagnosing Dementia and Schizophrenia)

  • 정민교;나승훈;김고운;신병수;정영철
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.47-52
    • /
    • 2022
  • 환자와 주변인들에게 다양한 문제를 야기하는 치매와 조현병 진단을 위한 모델을 제안한다. 치매와 조현병 진단을 위해 프로토콜에 따라 녹음한 의사와 내담자 음성 시료를 전사 작업하여 분류 태스크를 수행하였다. 사전 학습한 언어 모델의 MLM Head를 이용해 분류 태스크를 수행하는 Prompt 기반의 분류 모델을 제안하였다. 또한 많은 수의 데이터 수를 확보하기 어려운 의료 분야에 효율적인 Few-Shot 학습 방식을 이용하였다. CLS 토큰을 미세조정하는 일반적 학습 방식의 Baseline과 비교해 Full-Shot 실험에서 7개 태스크 중 1개 태스크에서 macro, micro-F1 점수 모두 향상되었고, 3개 태스크에서 하나의 F1 점수만 향샹된 것을 확인 하였다. 반면, Few-Shot 실험에서는 7개 태스크 중 2개 태스크에서 macro, micro-F1 점수가 모두 향상되었고, 2개 태스크에서 하나의 F1 점수만 향상되었다.

  • PDF

태스크 기반 대화 시스템 구축 도구 (Workbench for building Task based Dialog System)

  • 박은진;권오욱;김영길
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2012년도 제24회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.209-211
    • /
    • 2012
  • 본 논문의 대화시스템 구축도구는 태스크 기반 대화 시스템을 구축하는데 필요한 대화 시나리오 지식과 이를 처리하는 태스크 그래프, 슬롯 체계, 대화 라이브러리 등을 생성하고 관리할 수 있는 웹기반 대화 시스템 구축 도구이다. 이 도구는 태스크 그래프를 시각적으로 대화 모델 설계자에게 표시하고, 대화 모델 설계자는 시각적으로 표시된 태스크 그래프를 보며 태스크의 흐름을 한눈에 파악하고 대화 시스템의 시나리오 흐름을 생성하고 편집할 수 있도록 한 것이 특징이다. 또한 대화 모델 설계자와 시나리오 태깅 작업자들 모두는 자신이 구축한 지식이나 대화 태스크를 시스템에 직접 반영하고 실시간으로 대화 시스템에 적용해 봄으로써 대화 시스템의 이해를 높이고 고품질의 대화 시스템을 구축할 수 있다.

  • PDF

STS 표기법에 의한 CODARTS 방법론 (CODARTS Methodology by the STS)

  • 엄진아;김규년
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제26권2호
    • /
    • pp.241-250
    • /
    • 1999
  • Gomaa에 의해 제안된 CODARTS(Concurrent Design Approach for Real-Time System)방법론은 COBRA(Concurrent Object-based Real-Time Analysis)을 사용하여 실시간 시스템의 행동 모델을 개발하고 행동 모델에서 병렬 태스크 구조로 변환하는 데 도움을 주는 태스크 구성 지침을 제공한다. CODARTS에서는 태스크 구성 지침을 RTSA(Real-Time System Analysis)표기법으로 표현된 행동 모델에 적용하여 태스크를 구성한다. 그러나 RTSA 표기법에는 태스크를 구성하는데 필요한 실행 성질 및 주기, 이벤트의 병렬성 및 순서와 같은 정보들을 기술하지 않기 때문에 직접 태스크 구성 지침을 적용하는 것은 어렵다. 본 논문에서는 CODARTS 방법론의 분석단게에서 태스크 구성에 필요한 정보를 통합적으로 나타낼 수 있는 STS (Specification for Task Structuring)를 제안한고 이를 이용하여 태스크를 자동적으로 구성할 수 있는 알고리즘과 적용 예제를 보인다.

Poly-encoder기반의 COVID-19 질의 응답 태스크 (Poly-encoder based COVID-19 Question and Answering with Task Adaptation)

  • 이설화;임희석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.188-191
    • /
    • 2020
  • 본 연구는 COVID-19 질의 응답 태스크를 위한 Poly-encoder 기반의 태스크를 제안하였다. COVID-19 질의 응답 시스템은 사람들에게 최신 정보에 대해 빠르고 신뢰성이 높은 정보를 전달하는 특성을 가져야한다. 검색 기반 질의 응답 시스템은 pairwise 연산을 기반으로 수행되는데, Poly-encoder는 사전 학습된 트랜스포머(transformer)기반의 pairwise 연산 방법론 중 기존 Cross-encoder와 Bi-encoder보다 실사용 및 성능이 뛰어남을 보였다 [1]. 특히, Poly-encoder는 정확도가 높으면서도 빠른 응답속도를 가지며 검색기반의 각종 태스크에서 좋은 성능을 보였다. 따라서 본 연구는 COVID-19를 위한 Poly-encoder기반의 질의 응답 태스크를 위하여 기존 질의 응답 태스크와 페르소나 기반의 질의 응답 태스크로 두 가지 유형의 태스크를 생성하여 모델을 학습하였다. 또한 신뢰성 있는 리소스정보로부터 모델에 최신 정보 반영을 위하여 자동 크롤러를 구축하여 데이터를 수집하였다. 마지막으로 전문가를 통한 데이터셋을 구축하여 질문-응답과 질의어-질문에 대한 모델 검증을 수행하였다.

  • PDF

멀티미디어 응용의 수행시간 패턴에 기반한 확률적 QoS 보장 (Probabilistic Quality of Service Guarantees for Multimedia Applications Based on Execution Time Pattern)

  • 한상철;조유근
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 봄 학술발표논문집 Vol.27 No.1 (A)
    • /
    • pp.89-91
    • /
    • 2000
  • 멀티미디어 응용이 점점 널리 사용되면서 멀티미디어 응용에 적합한 태스크 모델의 연구가 진행되었으나, 기존의 태스크 모델은 멀티미디어 응용의 특성을 충분히 반영하지 못하였다. 본 논문에서는 멀티미디어 응용의 자원 사용량의 패턴에 기반한 확률적 멀티프레임 태스크 모델(PMF)을 제시하고, PMF를 멀티미디어 응용의 스케줄링에 적용하여 CPU 자원을 효율적으로 이용하면서 멀티미디어 응용에게 통계적 QoS를 제공할 수 있는 방안을 제시한다. 또한, 다양한 스케줄링 기법을 채용한 모의실험을 통해 제시한 태스크 모델이 자원을 최대한 활용 하면서 응용에게 QoS를 보장할 수 있음을 보인다.

  • PDF

한국어 맞춤법 교정을 위한 초거대 언어 모델의 잠재적 능력 탐색 (Examining the Feasibility of Utilizing a Large Language Model for Korean Grammatical Error Correction)

  • 구선민;박찬준;박정배;임희석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.61-65
    • /
    • 2023
  • 최근, 대부분의 태스크가 초거대 언어 모델로 통합되고 있을 정도로 많은 관심 및 연구되고 있다. 초거대 언어 모델을 효과적으로 활용하기 위해서는 모델의 능력에 대한 분석이 선행되어야 하나, 한국어에 대한 분석 및 탐색은 상대적으로 부족하다. 본 논문에서는 한국어 맞춤법 교정 태스크를 통해 초거대 언어 모델의 능력을 탐색한다. 맞춤법 교정 태스크는 문장의 구조 및 문법을 이해하는 능력이 필요하며, 사용자의 만족도에 영향을 미칠 수 있는 중요한 태스크이다. 우리는 맞춤법 세부 유형에 따른 ChatGPT의 제로샷 및 퓨샷성능을 평가하여 초거대 언어 모델의 성능 분석을 수행한다. 실험 결과 제로샷의 경우 문장부호 오류의 성능이 가장 우수했으며, 수사 오류의 성능이 가장 낮았다. 또한, 예제를 더 많이 제공할수록 전체적인 모델의 성능이 향상되었으나, 제로샷의 경우보다 오류 유형 간의 성능 차이가 커지는 것을 관찰할 수 있었다.

  • PDF

비주기 태스크를 고려한 흐름공정 모델의 실시간 스케줄링 (Real-Time Scheduling in Flow Shop Model Considering Aperiodic Tasks)

  • 문석환;김인국
    • 디지털콘텐츠학회 논문지
    • /
    • 제9권4호
    • /
    • pp.561-568
    • /
    • 2008
  • 이제까지 흐름공정 모델에 관한 연구에서는 주로 주기 태스크들에 대한 스케줄링 방법들을 제시하였지만, 본 논문에서는 합성 이용율을 이용하여 흐름공정 모델에서 비주기적 지역 태스크와 선행 관계를 갖는 비주기적 종단 태스크가 n개의 노드에서 함께 실행되는 경우에 대해서, 스케줄링 가능성 여부를 판단할 수 있는 알고리즘을 제시하였다. 이전에 제시된 여러 단계의 파이프라인에서 실행되는 비주기 종단 태스크 처리방법을 흐름공정 모델에 적용하면, 실제로는 스케줄링이 불가능한 태스크가 스케줄링 가능하다고 판정되고, 이로 인해 실제로는 스케줄링이 가능한 태스크들이 스케줄링 불가능하다고 판정되는 문제가 발생한다. 본 논문에서 제시한 알고리즘은 이러한 문제를 해결하였고, 모의실험을 통해 스케줄링 가능성이 10% 증대되었음을 확인하였다.

  • PDF

한국어 ELECTRA 모델을 이용한 자연어처리 다운스트림 태스크 (Korean ELECTRA for Natural Language Processing Downstream Tasks)

  • 황태선;김정욱;이새벽
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.257-260
    • /
    • 2020
  • 사전 학습을 기반으로 하는 BERT계열의 모델들이 다양한 언어 및 자연어 처리 태스크들에서 뛰어난 성능을 보이고 있지만, masked language model의 경우 입력 문장의 15%만 마스킹을 함으로써 학습 효율이 떨어지고 미세 조정 시 마스킹 토큰이 등장하지 않는 불일치 문제도 존재한다. 이러한 문제를 효과적으로 해결한 ELECTRA는 영어 벤치마크에서 기존의 언어모델들 보다 뛰어난 성능을 보여주었지만 한국어에 대한 관련 연구는 부족한 실정이다. 본 연구에서는 ELECTRA를 한국어 코퍼스에 대해 학습시키고, 다양한 한국어 자연어 이해 태스크들에 대해 실험을 진행한다. 실험을 통해 ELECTRA의 모델 크기별 성능 평가를 진행하였고, 여러 한국어 태스크들에 대해서 평가함으로써 ELECTRA 모델이 기존의 언어 모델들보다 좋은 성능을 보인다는 것을 입증하였다.

  • PDF