• 제목/요약/키워드: 모델 길이

검색결과 1,876건 처리시간 0.027초

사전 학습 모델의 위치 임베딩 길이 제한 문제를 극복하기 위한 방법론 (Methodology for Overcoming the Problem of Position Embedding Length Limitation in Pre-training Models)

  • 정민수;허탁성;이주환;김지수;이경욱;김경선
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.463-467
    • /
    • 2023
  • 사전 학습 모델을 특정 데이터에 미세 조정할 때, 최대 길이는 사전 학습에 사용한 최대 길이 파라미터를 그대로 사용해야 한다. 이는 상대적으로 긴 시퀀스의 처리를 요구하는 일부 작업에서 단점으로 작용한다. 본 연구는 상대적으로 긴 시퀀스의 처리를 요구하는 질의 응답(Question Answering, QA) 작업에서 사전 학습 모델을 활용할 때 발생하는 시퀀스 길이 제한에 따른 성능 저하 문제를 극복하는 방법론을 제시한다. KorQuAD v1.0과 AIHub에서 확보한 데이터셋 4종에 대하여 BERT와 RoBERTa를 이용해 성능을 검증하였으며, 실험 결과, 평균적으로 길이가 긴 문서를 보유한 데이터에 대해 성능이 향상됨을 확인할 수 있었다.

  • PDF

초등수학 교과서의 분수 곱셈 알고리즘 구성 활동 분석: 모델과 알고리즘의 연결성을 중심으로 (Models and the Algorithm for Fraction Multiplication in Elementary Mathematics Textbooks)

  • 임재훈
    • 대한수학교육학회지:학교수학
    • /
    • 제14권1호
    • /
    • pp.135-150
    • /
    • 2012
  • 이 논문에서는 먼저 2007 개정 교육과정에 따른 초등수학 교과서의 분수 곱셈 알고리즘 도입 활동을 7차 교과서와 비교, 분석하였다. 직사각형의 넓이 모델로 분수 곱셈 알고리즘 형식화를 시도한 7차 교과서와 달리, 개정 교과서에는 직사각형 넓이 모델과 더불어 길이 모델을 사용한다. 개정 교과서에 제시된 활동들과 '분모는 분모끼리 분자는 분자끼리 곱한다'는 분수 곱셈 알고리즘은 직접적으로 연결되지 않는다. 이 논문의 후반부에서는, 길이 모델을 도입한 개정 교과서의 시도에서 한발 더 나아가, 길이 모델과 분수 곱셈 알고리즘의 연결성을 분명하게 하기 위해 고려해야 할 사항을 고찰하였다. 길이 모델과 분수 곱셈 알고리즘은 '분배 전략'을 매개로, 즉 분수 곱셈 문제 상황을 분배 전략으로 해결하고 그 해결 과정을 길이 모델로 나타내고 그것을 형식화하는 경험을 통해 연결될 수 있다. 이와 같은 경험은, (진분수)${\times}$(진분수) 에서 일회성으로 다루어질 것이 아니라, (진분수)${\times}$(단위분수), (자연수)${\times}$(진분수), 몫으로서 분수 개념 등에서 포괄적으로 고려되어야 할 성질의 것이다.

  • PDF

자기 조직화 n-gram모델을 이용한 자동 띄어쓰기 (Self-Organizing n-gram Model for Automatic Word Spacing)

  • 태윤식;박성배;이상조;박세영
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2006년도 제18회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.125-132
    • /
    • 2006
  • 한국어의 자연어처리 및 정보검색분야에서 자동 띄어쓰기는 매우 중요한 문제이다. 신문기사에서조차 잘못된 띄어쓰기를 발견할 수 있을 정도로 띄어쓰기가 어려운 경우가 많다. 본 논문에서는 자기 조직화 n-gram모델을 이용해 자동 띄어쓰기의 정확도를 높이는 방법을 제안한다. 본 논문에서 제안하는 방법은 문맥의 길이를 바꿀 수 있는 가변길이 n-gram모델을 기본으로 하여 모델이 자동으로 문맥의 길이를 결정하도록 한 것으로, 일반적인 n-gram모델에 비해 더욱 높은 성능을 얻을 수 있다. 자기조직화 n-gram모델은 최적의 문맥의 길이를 찾기 위해 문맥의 길이를 늘였을 때 나타나는 확률분포와 문맥의 길이를 늘이지 않았을 태의 확률분포를 비교하여 그 차이가 크다면 문맥의 길이를 늘이고, 그렇지 않다면 문맥의 길이를 자동으로 줄인다. 즉, 더 많은 정보가 필요한 경우는 데이터의 차원을 높여 정확도를 올리며, 이로 인해 증가된 계산량은 필요 없는 데이터의 양을 줄임으로써 줄일 수 있다. 본 논문에서는 실험을 통해 n-gram모델의 자기 조직화 구조가 기본적인 모델보다 성능이 뛰어나다는 것을 확인하였다.

  • PDF

SERADE : 섹션 표현 기반 문서 임베딩 모델을 활용한 긴 문서 검색 성능 개선 (SERADE: Section Representation Aggregation Retrieval for Long Document Ranking)

  • 정혜인;전현규;김지윤;이찬형;김봉수
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.135-140
    • /
    • 2022
  • 최근 Document Retrieval을 비롯한 대부분의 자연어처리 분야에서는 BERT와 같이 self-attention을 기반으로 한 사전훈련 모델을 활용하여 SOTA(state-of-the-art)를 이루고 있다. 그러나 self-attention 메커니즘은 입력 텍스트 길이의 제곱에 비례하여 계산 복잡도가 증가하기 때문에, 해당 모델들은 선천적으로 입력 텍스트의 길이가 제한되는 한계점을 지닌다. Document Retrieval 분야에서는, 문서를 특정 토큰 길이 단위의 문단으로 나누어 각 문단의 유사 점수 또는 표현 벡터를 추출한 후 집계함으로서 길이 제한 문제를 해결하는 방법론이 하나의 주류를 이루고 있다. 그러나 논문, 특허와 같이 섹션 형식(초록, 결론 등)을 갖는 문서의 경우, 섹션 유형에 따라 고유한 정보 특성을 지닌다. 따라서 문서를 단순히 특정 길이의 문단으로 나누어 학습하는 PARADE와 같은 기존 방법론은 각 섹션이 지닌 특성을 반영하지 못한다는 한계점을 지닌다. 본 논문에서는 섹션 유형에 대한 정보를 포함하는 문단 표현을 학습한 후, 트랜스포머 인코더를 사용하여 집계함으로서, 결과적으로 섹션의 특징과 상호 정보를 학습할 수 있도록 하는 SERADE 모델을 제안하고자 한다. 실험 결과, PARADE-Transformer 모델과 비교하여 평균 3.8%의 성능 향상을 기록하였다.

  • PDF

선형 연소 불안정성 해석

  • 윤현걸
    • 한국추진공학회:학술대회논문집
    • /
    • 한국추진공학회 1997년도 제9회 학술강연회논문집
    • /
    • pp.12-12
    • /
    • 1997
  • 여러 가지 형태의 연소 불안정성 중에서 50-500Hz 사이에서 발생되며 길이방향 모드(longitudinal mode)로 특징이 있는 저주파수 불안정성이 램제트 혹은 재연소기(Afterburner)의 연소 불안정성에서 가장 중요한 것이라고 여겨진다. 본 논문에서는 램제트 흑은 재연소기에서 일어날 수 있는 길이 방향의 연소 불안정성을 Modal 해석법을 사용하여 수학적인 모델로 만들었다. 특히 이 모델의 선형형태는 어떤 형태든지 선형 속도에 민감한 Burning rate 모델을 사용할 수가 있어서 보다 포괄적인 형태로 만들어져 있으며, 이 모델을 이용하여 여러 가지 연소 형상과 불완전 연소 응답 등을 연구할 수 있다. 본 논문에서는 실제 연소 형상과 유사한 삼각형 모양의 연소 형상을 사용하여 기존의 다른 모델들과 비교 분석하였다.

  • PDF

데이터 길이에 대한 강우-유출 모델 적용범위 평가 (Evaluation of the Coverage Assessment of Rainfall-Runoff Model for Data Length)

  • 전성재;신문주;정용
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2023년도 학술발표회
    • /
    • pp.383-383
    • /
    • 2023
  • 오늘날 수문학 분야에서는 유역에 대한 강우-유출 시뮬레이션을 머신 러닝(ML: Machine Learning)을 활용하여 다양한 연구를 실행하고 있다. 본 연구에서는 시간별 강우-유출 예측 모델인 GR4H(Génie Rural à 4 paramètres Horaires)를 사용하여 충주댐 유역을 대상으로 연구를 수행하였다. 유역의 속성에 따라서 모델의 성능이 어떻게 달라지는지 비교하여 특성에 맞는 모델을 알아내고. 또한 이 과정에서 기상 및 유출 데이터의 보정 길이를 가지고 어느 정도의 데이터 기간이 모델에서 좋은 성능을 보이는지 파악하였다. 뿐만 아니라 모델에 필요한 선행기간의 데이터가 있는 경우와 없는 경우를 비교하여 어떠한 차이를 보이는지, 그리고 선행기간은 얼마나 필요한지 연구를 통하여 알아냈다. 본 연구를 통하여 충주댐 유역에 대한 모델의 적용성 및 성능을 파악하고 수문 모형 구축에 제한이 있는 유역에 대해서도 사용이 가능한지 판단한다. 실험 유역의 관측 값을 모델에 입력한 후 각 모델에 해당하는 매개변수의 최적값을 찾아내는 과정을 거쳐 시뮬레이션을실 행했다. 본 연구에서 사용한 강우-유출 모델인 GR4H는 프랑스의 INRAE-Antony(Institut National de la recherche agronomique-Antony)에서 만들어진 airGR의 일종으로, 시간별 강우-유출 예측을 위해 개발된 공정 기반(process-based)의 집중적, 개념적 수문학 모델이다. 4개의 매개변수(parameter)가 있으며 이는 유역의 특정 속성을 나타낸다. GR4H를 시뮬레이션 하는 과정에서 매개변수의 최적화를 위해 적절한 보정 길이를 파악하여야 한다. 이러한 과정은 4년, 5년, 6년 등 1년씩 데이터의 양을 늘려가며 매개변수를 최적화한다. 이 과정에서 기상 및 유출 데이터의 적절한 보정 길이를 찾아낸다. 시뮬레이션을 통해 얻은 데이터를 관측 값과 비교하여 모델의 성능을 평가하고 다른 관측 값을 통해 시뮬레이션을 실행하여 검증을 거친다.

  • PDF

케이블 피로 수명 해석 통계 모델 비교 (Comparison of Statistical Models for Analysis of Fatigue Life of Cable)

  • 서정인;유성원
    • 한국구조물진단유지관리공학회 논문집
    • /
    • 제7권4호
    • /
    • pp.129-137
    • /
    • 2003
  • 케이블 구조물에 사용되는 케이블은 길이가 길다는 특징을 갖고 있으므로 케이블의 피로 데이터 처리를 위해서는 일반적으로 구조물을 구성하는 강재 요소에 적용되는 통계모델과는 다른 모델을 적용하는 것이 합리적이라 할 수 있다. 즉 케이블과 같이 길이가 긴 요소에서 피로수명에 크게 영향을 미치는 시편의 길이를 포함할 수 있는 모델, 즉 대수정규분포모델과 기존의 극치분포모델을 길이효과를 고려할 수 있도록 유도하여 기존의 케이블 피로 실험 데이터에 적용해 봄으로써, 케이블이 사용되고 있는 실제 구조물에서 케이블의 피로거동을 예측 또는 평가하는 데에 적합한 모델을 제시한다.

삼남길 조성과 운영모델 (A Study on "SAMNAM-Road" development and operating model)

  • 김선혜;김상헌
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2013년도 춘계 종합학술대회 논문집
    • /
    • pp.375-376
    • /
    • 2013
  • 경기도 삼남길은 조성부터 프로그램 운영까지 참여기관이 역할을 분담하여 협력하고 있다. 특히 참여기관이 지닌 특성을 집중시키고 협력체계를 강화함으로써 길 조성 단계부터 이후 프로그램 운영까지 활발히 진행되고 있다. 이러한 삼남길의 성공적인 운영체제를 통해 도보길의 적절한 형태의 거버넌스를 도출하고 지속적이고 활발한 도보길 운영에 대한 모델을 제시하고자 한다.

  • PDF

향상된 분산 채널 접근 기법 및 다중사용자 MIMO 기반 무선랜 환경에서 가변 길이 페이로드에 대한 수학적 모델 (Mathematical Model of Variable-Length Payloads for EDCA and Multi-User MIMO Based Wireless LAN)

  • 정철호;정태욱;강병철;김재석
    • 한국통신학회논문지
    • /
    • 제40권6호
    • /
    • pp.1117-1119
    • /
    • 2015
  • 본 논문은 향상된 분산 채널 접근 기법 및 다중사용자 MIMO 환경에서 전송되는 가변 길이 페이로드에 대한 수학적 모델을 제안한다. 페이로드의 길이를 고정값 또는 평균값을 가정하여 사용하면, 한정된 기간에 전송될 수 있는 가변 길이 프레임의 총 페이로드 길이의 계산에 오차를 발생시킨다. 제안된 모델을 사용하면 가변 길이 트래픽 환경에서 총 페이로드의 길이에 대한 정확한 결과 (상대오차 3%이내)를 얻을 수 있다.

전송 채널의 불규칙적인 PDP의 특성에 따른 OFDM 시스템의 성능 분석 (Performance analysis of OFDM systems considering irregular PDP characteristics of propagation channels)

  • 이형권;류은숙;이종길
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2000년도 제13회 신호처리 합동 학술대회 논문집
    • /
    • pp.59-62
    • /
    • 2000
  • 본 논문에서는 실측 데이터를 기준으로 9가지의 다양한 모델을 제안한 JTC(Joint Technical Committee) 모델을 전송 채널 모델로 채택하여 채널의 PDP(Power Delay Profile)의 불규칙성 따른 OFDM (Orthogonal Frequency Division Multiplexing) 통신 시스템의 성능을 분석하였다 전송 채널의 불규칙성은 Main profile의 길이, Peak 위치, Echo profile의 지연 시간, 그리고 Echo profile의 강도로 분류하여 각각에 따른 PDP를 설정하여 각 모델에 따른 OFDM 시스템의 성능 분석을 하였다.

  • PDF