• 제목/요약/키워드: 성능평가모델

검색결과 3,527건 처리시간 0.037초

기계독해 데이터셋의 교차 평가 및 블라인드 평가를 통한 한국어 기계독해의 일반화 성능 평가 (Evaluating Korean Machine Reading Comprehension Generalization Performance using Cross and Blind Dataset Assessment)

  • 임준호;김현기
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.213-218
    • /
    • 2019
  • 기계독해는 자연어로 표현된 질문과 단락이 주어졌을 때, 해당 단락 내에 표현된 정답을 찾는 태스크이다. 최근 기계독해 태스크도 다른 자연어처리 태스크와 유사하게 BERT, XLNet, RoBERTa와 같이 사전에 학습한 언어모델을 이용하고 질문과 단락이 입력되었을 경우 정답의 경계를 추가 학습(fine-tuning)하는 방법이 우수한 성능을 보이고 있으며, 특히 KorQuAD v1.0 데이터셋에서 학습 및 평가하였을 경우 94% F1 이상의 높은 성능을 보이고 있다. 본 논문에서는 현재 최고 수준의 기계독해 기술이 학습셋과 유사한 평가셋이 아닌 일반적인 질문과 단락 쌍에 대해서 가지는 일반화 능력을 평가하고자 한다. 이를 위하여 첫번째로 한국어에 대해서 공개된 KorQuAD v1.0 데이터셋과 NIA v2017 데이터셋, 그리고 엑소브레인 과제에서 구축한 엑소브레인 v2018 데이터셋을 이용하여 데이터셋 간의 교차 평가를 수행하였다. 교차 평가결과, 각 데이터셋의 정답의 길이, 질문과 단락 사이의 오버랩 비율과 같은 데이터셋 통계와 일반화 성능이 서로 관련이 있음을 확인하였다. 다음으로 KorBERT 사전 학습 언어모델과 학습 가능한 기계독해 데이터 셋 21만 건 전체를 이용하여 학습한 기계독해 모델에 대해 블라인드 평가셋 평가를 수행하였다. 블라인드 평가로 일반분야에서 학습한 기계독해 모델의 법률분야 평가셋에서의 일반화 성능을 평가하고, 정답 단락을 읽고 질문을 생성하지 않고 질문을 먼저 생성한 후 정답 단락을 검색한 평가셋에서의 기계독해 성능을 평가하였다. 블라인드 평가 결과, 사전 학습 언어 모델을 사용하지 않은 기계독해 모델 대비 사전 학습 언어 모델을 사용하는 모델이 큰 폭의 일반화 성능을 보였으나, 정답의 길이가 길고 질문과 단락 사이 어휘 오버랩 비율이 낮은 평가셋에서는 아직 80%이하의 성능을 보임을 확인하였다. 본 논문의 실험 결과 기계 독해 태스크는 특성 상 질문과 정답 사이의 어휘 오버랩 및 정답의 길이에 따라 난이도 및 일반화 성능 차이가 발생함을 확인하였고, 일반적인 질문과 단락을 대상으로 하는 기계독해 모델 개발을 위해서는 다양한 유형의 평가셋에서 일반화 평가가 필요함을 확인하였다.

  • PDF

성능평가모델을 활용한 하천시설의 생애주기 관리에 관한 연구 (A Study on Life Cycle Management of River facilities using Performance Evaluation Model)

  • 김진국;김수영;정재원;윤광석
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2022년도 학술발표회
    • /
    • pp.376-376
    • /
    • 2022
  • 전 세계적으로 홍수의 발생빈도가 증가함에 따라, 하천 내 홍수피해를 경감하기 위해 설치하는 하천시설에 대한 중요성이 강조되고 있다. 하천시설은 홍수조절, 이수를 위한 흐름의 제어와 유도, 자연환경의 유지 및 개선 등 중요한 역할을 하고 있으나, 구조적으로 물과의 접촉이 많아 물리적 손상이나 노후화가 매우 빠르게 진행되는 특성이 있다. 시설물의 노후화가 지속될수록 안정성을 보장하기 어려워 자연재난의 규모를 증가시킬 위험성이 있다. 하천시설의 선제적 유지관리를 위해, 본 연구에서는 시설물통합정보관리시스템(Facilty Management System; FMS)의 정밀안전진단 결과를 활용하여 시설물의 사용연수에 따른 성능지표의 변화를 기반으로 회귀식 형태의 성능평가모델을 개발하였다. 기존연구와의 비교를 통해 성능평가모델의 적합성을 확인하였으며, 개발한 성능평가모델은 하천시설의 생애주기를 통합적으로 고려함으로써 정량적인 상태를 예측할 수 있다는 장점이 있다. 본 연구에서 제안된 성능평가모델 결과는 하천시설의 생애주기 관리를 위한 기초자료로 활용 가능할 것으로 기대된다.

  • PDF

분산공유 메모리를 위한 성능비교 모델 (Performance Model for Distributed shared Memory)

  • 임승범;김재훈
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 봄 학술발표논문집 Vol.27 No.1 (A)
    • /
    • pp.116-118
    • /
    • 2000
  • 분산 공유 메모리(Distributed Shared Memory)시스템은 사용자에게 간단한 공유메모리 개념을 제공하기 때문에 사용자는 노드 사이의 데이터 이동에 관여할 필요가 없다. DSM에서 일치서 유지를 위한 프로토콜을 선택하는 것은 통신부하를 줄이는데 중요한 역할을 한다. 본 논문은 DSM 프로토콜을 효과적으로 선택하기 위한 새로운 성능평가 모델을 제시한다. 본 연구에서 제안하는 성능평가 모델을 사용함으로써 무효화방식(invalidate protocol), 갱신 방식(update protocol) 그리고 이주방식(migratory protocol)의 성능예측이 가능하다. 본 성능평가모델은 노드들 사이의 데이터 일치성(consistency)유지를 위한 부담을 최소화하는 최적의 DSM 프로토콜을 결정하는데 사용된다.

  • PDF

멀티 셀 네트워크에서 채널 모델에 따른 스케줄링 알고리듬 성능 평가 (Performance evaluation of Scheduling Algorithms according to the Channel models in Multi-cell Networks)

  • 민경백;환규연;소재우;이승범;김경호;이성로
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 추계학술발표대회
    • /
    • pp.265-267
    • /
    • 2013
  • 본 논문에서는 멀티 셀 셀룰러 네트워크에서 채널 환경에 따른 스케줄링 알고리듬의 성능을 평가한다. 무선 통신 환경에서 대표적인 채널모델인 가우시안 채널, 레일리 페이딩 채널, SCME(Spatial Channel Model Extended) 채널 모델에 PF(Proportional Fair)와 MR(Maximum Rate) 스케줄링 기법을 적용했을 때, 시스템 성능을 평가하고 비교한다. 기지국에서 송신된 신호는 채널을 통과하며 변화하고 이는 채널 모델에 따라 달라진다. 채널 모델에 따른 스케줄링 알고리듬 성능 평가 결과 가우시안 채널모델과 레일리 페이딩 채널모델 SCME보다 좋은 성능을 보인다.

언어 모델의 뉴스 도메인 요약 성능 비교 분석 (Comparative Analysis of Language Model Performance in News Domain Summarization)

  • 류상원;김윤수;이근배
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.131-136
    • /
    • 2023
  • 본 논문에서는 기존의 요약 태스크에서 주로 사용하는 인코더-디코더 모델과 디코더 기반의 언어 모델의 성능을 비교한다. 요약 태스크를 평가하는 주요한 평가 지표인 ROUGE 점수의 경우, 정답 요약문과 모델이 생성한 요약문 간의 겹치는 단어를 기준으로 평가한다. 따라서, 추상적인 요약문을 생성하는 언어 모델의 경우 인코더-디코더 모델에 비해 낮은 ROUGE 점수가 측정되는 경향이 있다. 또한, 최근 연구에서 정답 요약문 자체의 낮은 품질에 대한 문제가 되었고, 이는 곧 ROUGE 점수로 모델이 생성하는 요약문을 평가하는 것에 대한 신뢰도 저하로 이어진다. 따라서, 본 논문에서는 언어 모델의 요약 성능을 보다 다양한 관점에서 평가하여 언어 모델이 기존의 인코더-디코더 모델보다 좋은 요약문을 생성한다는 것을 보인다.

  • PDF

하천시설 생애주기관리를 위한 배수통문 성능평가모델 개발 (A Study on Development of Performance Evaluation Model for Life-Cycle Management of River Facilities)

  • 윤광석;김수영
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2018년도 학술발표회
    • /
    • pp.420-420
    • /
    • 2018
  • 하천법에서 정의하고 있는 하천시설은 시설은 제방과 수문을 포함하여 20여종에 달한다. 이 중 하천유지 보수 매뉴얼(국토교통부, 2016)에서 정한 유지관리 대상은 총 14종이며, 국가 및 지방하천 정비와 유지관리에 4대강살리기사업 완료 시점인 2012년 이후 연간 약 1.3조원의 예산을 투입하고 있다. 연간 막대한 예산이 투입되어 관리되고 있는 하천관리의 효율성을 제고하기 위해 하천시설에 대한 생애주기관리기법적용 연구가 진행 중이며 이를 위해서는 하천시설의 성능에 대한 정확한 평가가 선행되어야 한다. 본 연구에서는 배수통문에 대한 성능평가모델을 산정하는 방법을 제시하였다. 우선적으로 배수통문의 설치년도와 시설물안전등급을 조사하고 등급별 평균사용연수를 산정하고 시설물 성능예측 기본식의 계수를 산정하여 성능평가모델 산정식을 도출하였다. 배수통문 성능평가모델 산정식과 등급별 평균 사용연수를 비교하여 산정식의 적용성을 검증하였다. 본 연구를 통해 하천시설의 사용연수에 따른 성능을 개략적으로 예측하여 유지관리예산 투입의 우선 순위를 결정하는데 기초자료로 활용이 가능하다고 판단된다.

  • PDF

에세이 자동 평가 모델 성능 향상을 위한 데이터 증강과 전처리 (Data Augmentation and Preprocessing to Improve Automated Essay Scoring Model)

  • 고강희;김도국
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.327-332
    • /
    • 2023
  • 데이터의 품질과 다양성은 모델 성능에 지대한 영향을 끼친다. 본 연구에서는 Topic을 활용한 데이터 전처리와 BERT 기반 MLM, T5, Random Masking을 이용한 증강으로 데이터의 품질과 다양성을 높이고자 했으며, 이를 KoBERT 기반 에세이 자동 평가 모델에 적용했다. 데이터 전처리만 진행했을 때, Quadratic Weighted Kappa Score(QWK)를 기준으로 모델이 에세이의 모든 평가 항목에 대해 베이스라인보다 더욱 높은 일치도를 보였으며 평가항목별 일치도의 평균을 기준으로 0.5368029에서 0.5483064(+0.0115035)로 상승했다. 여기에 제안하는 증강 방식을 추가 할 경우 MLM, T5, Random Masking 모두 성능 향상 효과를 보였다. 특히, MLM 데이터 증강 방식을 추가로 적용하였을 때 최종적으로 0.5483064에서 0.55151645(+0.00321005)으로 상승해 가장 높은 일치도를 보였으며, 에세이 총점으로 QWK를 기준으로 성능을 평가하면 베이스라인 대비 0.4110809에서 0.4380132(+0.0269323)로의 성능 개선이 있었다.

  • PDF

지능망 설비에서의 서비스 성능평가에 관한 연구 (A Study on the Services Performance Evaluation of Intelligent Network Facilities)

  • 전희종;오중민;김춘수;김병진
    • 한국조명전기설비학회지:조명전기설비
    • /
    • 제9권2호
    • /
    • pp.138-138
    • /
    • 1995
  • 본 논문에서는 지능망설비의 성능평가를 위한 평가모델 분석과 현재 운용 중인 지능망서비스 설비시스템에 적용하여 성능평가 모델 및 평가결과를 제시하였다. 평가 기법에는 시뮬레이션 및 운용해석 방법을 이용하였다. 평가 결과로서, 시뮬레이션과 운용해석 방법의 결과는 대체로 일치하였으며 지능망설비의 지연요소 보다 이용자-망 상호작용시간이 더 큰 영향을 주고 있음을 알 수 있었다. 본 논문에서 제안한 평가모델에서 지능망서비스 설비구조의 특성상 서비스처리용량을 확장할 수 있었고 서비스 성능을 고려한 정보통신설비 계획시 또는 서비스 운용관리시에 유용한 성능예측 기법으로 제공될 수 있으며 지능망서비스 설계시 서비스 성능을 고려한 통신설비 설계에 유용하게 이용되리라 기대된다.

CFD를 활용한 자율운항선박의 자율제어성능 평가에 관한 연구

  • 김대정;임정빈
    • 한국항해항만학회:학술대회논문집
    • /
    • 한국항해항만학회 2023년도 추계학술대회
    • /
    • pp.100-102
    • /
    • 2023
  • 항로추종성능은 자율운항선박(MASS)의 중요한 자율제어기능 중 하나이다. 이는 선박의 안전성을 보장하기 위해 중요하며, 자율운항선박의 설계 단계에서 사전 평가가 필수적이다. 본 연구는 자율운항선박의 항로추종성능 평가를 위한 전산유체역학(CFD) 모델과 LOS 알고리즘 연계 방안을 제안한다. 먼저, 자율운항선박의 정수 중 거리 이탈 편차를 이용한 항로 추종 성능 평가 모델 개발에 관하여 기술했다. 먼저, 항로 추종을 수행하는 선박 주변의 난류 흐름은 비압축성 뉴턴 유체의 가정하에 비정상 RANS(Reynolds Averaged Navier-Stokes) 법을 이용하여 수치적으로 계산되었다. 중첩격자계법을 CFD 모델에 적용함으로써 거리 이탈 편차를 이용하는 LOS(Line-of-Sight) 가이던스 알고리즘에 의한 타의 회전 및 이에 따른 선체의 6 자유도 움직임을 CFD 환경에서 구현하였다. 개발된 자유 항주 선박 CFD 모델을 이용하여 항로 추종 시뮬레이션 평가 결과, 설정된 항로에서 선박의 정수 중 항로 추종 제어는 파도, 조류, 및 바람과 같은 외부 교란의 부재로 LOS 알고리즘에 의한 우현/좌현 측 변침뿐만 아니라 직진 경로의 추종도 성공적으로 수행됨을 확인하였다. 선체, 프로펠러, 타의 복잡한 상호작용을 정도 높게 해석할 수 있는 자유 항주 선박 CFD 모델과 LOS 알고리즘의 결합은 자율운항선박의 항로 추종 성능 평가를 정량적으로 평가하는 데 기여할 것으로 기대된다.

  • PDF

공동주택의 유지관리 성능평가 동적 모델 개발 (The Maintenance Performance Evaluation Dynamic Model for Apartment Buildings)

  • 김태희
    • 한국건설관리학회논문집
    • /
    • 제6권5호
    • /
    • pp.78-88
    • /
    • 2005
  • 공동주택의 비중이 점차 확대되고, 고층화되는 추세에 따라 공동주택 유지관리의 중요성이 강조되고 있다. 이러한 필요성에 의해 최근 기존 건축물의 종합성능 평가모델이 개발되었으나, 업무의 분석이 미흡한 한계가 있다 따라서 본 연구는 공동주택 유지관리 성능평가의 기반이 되는 유지관리 업무를 분석하여 성능평가 대상항목 도출을 목적으로 한다. 유지관리 성능평가 후보항목은 기존문헌과 업무체계를 분석하여 도출하였고, 학계 전문가 및 주택관리사를 대상으로 설문을 실시하여 성능평가의 용이성, 체계성을 보완하였다. 최종적으로 결정된 성능평가 대상항목은 운영적 유지관리 성능평가 항목 14개와 기술적 유지관리 성능평가 항목 15개 항목이다.