• Title/Summary/Keyword: 성능평가 지표

Search Result 625, Processing Time 0.029 seconds

Transformer-based Text Summarization Using Pre-trained Language Model (사전학습 언어 모델을 활용한 트랜스포머 기반 텍스트 요약)

  • Song, Eui-Seok;Kim, Museong;Lee, Yu-Rin;Ahn, Hyunchul;Kim, Namgyu
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2021.07a
    • /
    • pp.395-398
    • /
    • 2021
  • 최근 방대한 양의 텍스트 정보가 인터넷에 유통되면서 정보의 핵심 내용을 파악하기가 더욱 어려워졌으며, 이로 인해 자동으로 텍스트를 요약하려는 연구가 활발하게 이루어지고 있다. 텍스트 자동 요약을 위한 다양한 기법 중 특히 트랜스포머(Transformer) 기반의 모델은 추상 요약(Abstractive Summarization) 과제에서 매우 우수한 성능을 보이며, 해당 분야의 SOTA(State of the Art)를 달성하고 있다. 하지만 트랜스포머 모델은 매우 많은 수의 매개변수들(Parameters)로 구성되어 있어서, 충분한 양의 데이터가 확보되지 않으면 이들 매개변수에 대한 충분한 학습이 이루어지지 않아서 양질의 요약문을 생성하기 어렵다는 한계를 갖는다. 이러한 한계를 극복하기 위해 본 연구는 소량의 데이터가 주어진 환경에서도 양질의 요약문을 생성할 수 있는 문서 요약 방법론을 제안한다. 구체적으로 제안 방법론은 한국어 사전학습 언어 모델인 KoBERT의 임베딩 행렬을 트랜스포머 모델에 적용하는 방식으로 문서 요약을 수행하며, 제안 방법론의 우수성은 Dacon 한국어 문서 생성 요약 데이터셋에 대한 실험을 통해 ROUGE 지표를 기준으로 평가하였다.

  • PDF

PEEP-Talk: Deep Learning-based English Education Platform for Personalized Foreign Language Learning (PEEP-Talk: 개인화 외국어 학습을 위한 딥러닝 기반 영어 교육 플랫폼)

  • Lee, SeungJun;Jang, Yoonna;Park, Chanjun;Kim, Minwoo;Yahya, Bernardo N;Lim, Heuiseok
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.293-299
    • /
    • 2021
  • 본 논문은 외국어 학습을 위한 딥러닝 기반 영어 교육 플랫폼인 PEEP-Talk (Personalized English Education Platform)을 제안한다. PEEP-Talk는 딥러닝 기반 페르소나 대화 시스템과 영어 문법 교정 피드백 기능이 내장된 교육용 플랫폼이다. 또한 기존 페르소나 대화시스템과 다르게 대화의 흐름이 벗어날 시 이를 자동으로 판단하여 대화 주제를 실시간으로 변경할 수 있는 CD (Context Detector) 모듈을 제안하며 이를 적용하여 실제 사람과 대화하는 듯한 느낌을 사용자에게 줄 수 있다. 본 논문은 PEEP-Talk의 각 모듈에 대한 정량적인 분석과 더불어 CD 모듈을 객관적으로 판단할 수 있는 새로운 성능 평가지표인 CDM (Context Detector Metric)을 기반으로 PEEP-Talk의 강건함을 검증하였다. 이와 더불어 PEEP-Talk를 카카오톡 채널을 이용하여 배포하였다.

  • PDF

Development of an algal bloom prediction model using multivariate Bernoulli model (다변량 Bernoulli 모형을 이용한 녹조 발생 예측 모형 개발)

  • Jung, Min-Kyu;Kim, Jin-Young;Cho, Hemie;Kwon, Hyun-Han
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2021.06a
    • /
    • pp.83-83
    • /
    • 2021
  • 수리구조물로 인한 유황변화와 함께 기후변화로 기인하는 강우변동성 및 온도 증가는 수생태 전반에 악영향을 미치는 주요 인자로 작용하고 있다. 특히, 최근 가뭄으로 인한 유황감소 및 폭염 등으로 여름철 녹조의 발생 빈도 및 강도 증가가 지속적으로 증가하고 있다. 본 연구에서는 하천에서 계측되고 있는 Cyanobacteria 개체수를 기반으로 녹조발생 여부를 전망할 수 있는 모형을 개발하고자 한다. Cyanobacteria 개체수를 기준으로 녹조발생 여부를 판단할 수 있도록 기준값(threshold)을 설정하고 binary 형태로 시계열을 구성하였다. 이를 Bernoulli 모형에 적합하여 녹조 발생 여부를 판단할 수 있도록 모형을 개발하였다. 하천을 따라 나타나는 녹조는 시공간적으로 유사한 특성을 가지며, 이러한 점을 고려하여 여러 관측지점을 동시에 모델링하는 것이 모형의 효율성과 예측성 측면에서 유리하다. 본 연구에서는 낙동강을 따라 여러 녹조관측지점을 대상으로 동시에 모델링이 가능하도록 다변량 Bernoulli 모형 기반의 녹조 예측 모형을 제시하고 과거 자료를 대상으로 모형의 적합성을 평가하였다. 다양한 지표를 기준으로 교차검증을 수행하였으며, 기존 물리적 모델에 비해 모형의 예측성능 및 효율성 측면에서 우수성을 확인할 수 있었다.

  • PDF

Real-Time Early Risk Detection in Textual Data Streams for Enhanced Online Safety (온라인 범죄 예방을 위한 실시간 조기 위험 감지 시스템)

  • Jinmyeong An;Geun-Bae Lee
    • Annual Conference on Human and Language Technology
    • /
    • 2023.10a
    • /
    • pp.525-530
    • /
    • 2023
  • 최근 소셜 네트워크 서비스(SNS) 및 모바일 서비스가 증가함에 따라 사용자들은 다양한 종류의 위험에 직면하고 있다. 특히 온라인 그루밍과 온라인 루머 같은 위험은 한 개인의 삶을 완전히 망가뜨릴 수 있을 정도로 심각한 문제로 자리 잡았다. 그러나 많은 경우 이러한 위험들을 판단하는 시점은 사건이 일어난 이후이고, 주로 법적인 증거채택을 위한 위험성 판별이 대다수이다. 따라서 본 논문은 이러한 문제를 사전에 예방하는 것에 초점을 맞추었고, 계속적으로 발생하는 대화와 같은 event를 실시간으로 감지하고, 위험을 사전에 탐지할 수 있는 Real-Time Early Risk Detection(RERD) 문제를 정의하고자 한다. 온라인 그루밍과 루머를 실시간 조기 위험 감지(RERD) 문제로 정의하고 해당 데이터셋과 평가지표를 소개한다. 또한 RERD 문제를 정확하고 신속하게 해결할 수 있는 강화학습 기반 새로운 방법론인 RT-ERD 모델을 소개한다. 해당 방법론은 RERD 문제를 이루고 있는 온라인 그루밍, 루머 도메인에 대한 실험에서 각각 기존의 모델들을 뛰어넘는 state-of-the-art의 성능을 달성하였다.

  • PDF

On the Effectiveness of the Special Token Cutoff Method for Korean Sentence Representation in Unsupervised Contrastive Learning (비지도 대조 학습에서 한국어 문장 표현을 위한 특수 토큰 컷오프 방법의 유효성 분석)

  • Myeongsoo Han;Yoo Hyun Jeong;Dong-Kyu Chae
    • Annual Conference on Human and Language Technology
    • /
    • 2023.10a
    • /
    • pp.491-496
    • /
    • 2023
  • 사전학습 언어모델을 개선하여 고품질의 문장 표현(sentence representation)을 도출하기 위한 다양한 대조 학습 방법에 대한 연구가 진행되고 있다. 그러나, 대부분의 대조학습 방법들은 문장 쌍의 관계만을 고려하며, 문장 간의 유사 정도를 파악하는데는 한계가 있어서 근본적인 대조 학습 목표를 저해하였다. 이에 최근 삼중항 손실 (triplet loss) 함수를 도입하여 문장의 상대적 유사성을 파악하여 대조학습의 성능을 개선한 연구들이 제안되었다. 그러나 많은 연구들이 영어를 기반으로한 사전학습 언어모델을 대상으로 하였으며, 한국어 기반의 비지도 대조학습에 대한 삼중항 손실 함수의 실효성 검증 및 분석은 여전히 부족한 실정이다. 본 논문에서는 이러한 방법론이 한국어 비지도 대조학습에서도 유효한지 면밀히 검증하였으며, 다양한 평가 지표를 통해 해당 방법론의 타당성을 확인하였다. 본 논문의 결과가 향후 한국어 문장 표현 연구 발전에 기여하기를 기대한다.

  • PDF

Rib Segmentation via Biaxial Slicing and 3D Reconstruction (다중 축 슬라이싱 및 3 차원 재구성을 통한 갈비뼈 세그멘테이션)

  • Hyunsung Kim;Gyurin Byun;Seonghyeon Ko;Junghyun Bum;Duc-Tai Le;Hyunseung Choo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2023.11a
    • /
    • pp.611-614
    • /
    • 2023
  • 갈비뼈 병변 진단 과정은 방사선 전문의가 CT 스캐너를 통해 생성된 2 차원 CT 이미지들을 해석하며 진행된다. 병변의 위치를 파악하고 정확한 진단을 내리기 위해 수백장의 2차원 CT 이미지들이 세밀하게 검토되며 갈비뼈를 분류한다. 본 연구는 이런 노동 집약적 작업의 문제점을 개선시키기 위해 Biaxial Rib Segmentation(BARS)을 제안한다. BARS 는 흉부 CT 볼륨의 관상면과 수평면으로 구성된 2 차원 이미지들을 U-Net 모델에 학습한다. 모델이 산출한 세그멘테이션 마스크들의 조합은 서로 다른 평면의 공간 정보를 보완하며 3 차원 갈비뼈 볼륨을 재건한다. BARS 의 성능은 DSC, Recall, Precision 지표를 사용해 평가하며, DSC 90.29%, Recall 89.74%, Precision 90.72%를 보인다. 향후에는 이를 기반으로 순차적 갈비뼈 레이블링 연구를 진행할 계획이다.

Consideration of Normal Variation of Perfusion Measurements in the Quantitative Analysis of Myocardial Perfusion SPECT: Usefulness in Assessment of Viable Myocardium (심근관류 SPECT의 정량적 분석에서 관류정량값 정상변이의 고려: 생존심근 평가에서의 유용성)

  • Paeng, Jin-Chul;Lim, Il-Han;Kim, Ki-Bong;Lee, Dong-Soo
    • Nuclear Medicine and Molecular Imaging
    • /
    • v.42 no.4
    • /
    • pp.285-291
    • /
    • 2008
  • Purpose: Although automatic quantification software of myocardial perfusion SPECT provides highly objective and reproducible quantitative measurements, there is still some limitation in the direct use of quantitative measurements. In this study we derived parameters using normal variation of perfusion measurements, and tried to test the usefulness of these parameters. Materials and Methods: In order to calculate normal variation of perfusion measurements on myocardial perfusion SPECT, 55 patients (M:F = 28:27) of low-likelihood for coronary artery disease were enrolled and $^{201}TI$ rest/$^{99m}Tc$-MIBI stress SPECT studies were performed. Using 20-segment model, mean (m) and standard deviation (SD) of perfusion were calculated in each segment. As a myocardial viability assessment group, another 48 patients with known coronary artery disease, who underwent coronary artery bypass graft surgery (CABG) were enrolled. $^{201}TI$ rest/$^{99m}Tc$-MIBI stress / $^{201}TI$ 24-hr delayed SPECT was performed before CABG and SPECT was followed up 3 months after CABG. From the preoperative 24-hr delayed SPECT, $Q_{delay}$ (perfusion measurement), ${\Delta}_{delay}$ ($Q_{delay}$ - m) and $Z_{delay}$ (($Q_{delay}$ - m)/SD) were defined and diagnostic performances of them for myocardial viability were evaluated using area under curve (AUC) on receiver operating characteristic (ROC) curve analysis. Results: Segmental perfusion measurements showed considerable normal variations among segments. In men, the lowest segmental perfusion measurement was $51.8{\pm}6.5$ and the highest segmental perfusion was $87.0{\pm}5.9$, and they are $58.7{\pm}8.1$ and $87.3{\pm}6.0$, respectively in women. In the viability assessment $Q_{delay}$ showed AUC of 0.633, while those for ${\Delta}_{delay}$ and $Z_{delay}$ were 0.735 and 0.716, respectively. The AUCs of ${\Delta}_{delay}$ and $Z_{delay}$ were significantly higher than that of $Q_{delay}$ (p = 0.001 and 0.018, respectively). The diagnostic performance of ${\Delta}_{delay}$, which showed highest AUC, was 85% of sensitivity and 53% of specificity at the optimal cutoff of -24.7. Conclusion: On automatic quantification of myocardial perfusion SPECT, the normal variation of perfusion measurements were considerable among segments. In the viability assessment, the parameters considering normal variation showed better diagnostic performance than the direct perfusion measurement. This study suggests that consideration of normal variation is important in the analysis of measurements on quantitative myocardial perfusion SPECT.

Headway Calculation and Train Control Algorithm for Performance Improvement in Radio based Train Control System (무선통신기반 열차제어시스템에서의 운전시격 계산과 간격제어 성능개선을 위한 열차간격제어 알고리즘)

  • Oh, Sehchan;Kim, Kyunghee;Lee, Sung-Hoon;Kim, Ja-Young;Quan, Zhong-Hua
    • Journal of the Korea Academia-Industrial cooperation Society
    • /
    • v.16 no.10
    • /
    • pp.6949-6958
    • /
    • 2015
  • Radio based train control system performs train safe interval control by receiving in realtime the position information of trains driving in the control area of the wayside system and providing onboard system in each train with updated movement authority. The performance of the train control system is evaluated to calculate the minimum operation headway, which reflects the operation characteristics and the characteristics of the train as well as the interval control performance of the train control system. In this paper, we propose the operation headway calculation for radio based train control system and a new train interval control algorithm to improve the operation headway. The proposed headway calculation defines line headway and station headway by the estimation the safety margin distance reflecting the performance of the train control system. Furthermore the proposed Enhanced Train Interval Control(ETIC) algorithm defines a new movement authority including both distance and speed, and improves the train operation headway by using braking distance occurring inevitably in the preceding train. The proposed operation headway calculation is simulated with Korean Radio-based Train Control System(KRTCS) and the simulated result is compared to improved train interval control algorithm. According to the simulated results, the proposed operation headway calculation can be used as performance indicator for radio based train control system, and the improved train control algorithm can improve the line and station headway of the conventional radio based train control system.

Performance Improvement Analysis of Building Extraction Deep Learning Model Based on UNet Using Transfer Learning at Different Learning Rates (전이학습을 이용한 UNet 기반 건물 추출 딥러닝 모델의 학습률에 따른 성능 향상 분석)

  • Chul-Soo Ye;Young-Man Ahn;Tae-Woong Baek;Kyung-Tae Kim
    • Korean Journal of Remote Sensing
    • /
    • v.39 no.5_4
    • /
    • pp.1111-1123
    • /
    • 2023
  • In recent times, semantic image segmentation methods using deep learning models have been widely used for monitoring changes in surface attributes using remote sensing imagery. To enhance the performance of various UNet-based deep learning models, including the prominent UNet model, it is imperative to have a sufficiently large training dataset. However, enlarging the training dataset not only escalates the hardware requirements for processing but also significantly increases the time required for training. To address these issues, transfer learning is used as an effective approach, enabling performance improvement of models even in the absence of massive training datasets. In this paper we present three transfer learning models, UNet-ResNet50, UNet-VGG19, and CBAM-DRUNet-VGG19, which are combined with the representative pretrained models of VGG19 model and ResNet50 model. We applied these models to building extraction tasks and analyzed the accuracy improvements resulting from the application of transfer learning. Considering the substantial impact of learning rate on the performance of deep learning models, we also analyzed performance variations of each model based on different learning rate settings. We employed three datasets, namely Kompsat-3A dataset, WHU dataset, and INRIA dataset for evaluating the performance of building extraction results. The average accuracy improvements for the three dataset types, in comparison to the UNet model, were 5.1% for the UNet-ResNet50 model, while both UNet-VGG19 and CBAM-DRUNet-VGG19 models achieved a 7.2% improvement.

Particulate Matter and CO2 Improvement Effects by Vegetation-based Bio-filters and the Indoor Comfort Index Analysis (식생기반 바이오필터의 미세먼지, 이산화탄소 개선효과와 실내쾌적지수 분석)

  • Kim, Tae-Han;Choi, Boo-Hun;Choi, Na-Hyun;Jang, Eun-Suk
    • Korean Journal of Environmental Agriculture
    • /
    • v.37 no.4
    • /
    • pp.268-276
    • /
    • 2018
  • BACKGROUND: In the month of January 2018, fine dust alerts and warnings were issued 36 times for $PM_{10}$ and 81 times for PM2.5. Air quality is becoming a serious issue nation-wide. Although interest in air-purifying plants is growing due to the controversy over the risk of chemical substances of regular air-purifying solutions, industrial spread of the plants has been limited due to their efficiency in air-conditioning perspective. METHODS AND RESULTS: This study aims to propose a vegetation-based bio-filter system that can assure total indoor air volume for the efficient application of air-purifying plants. In order to evaluate the quantitative performance of the system, time-series analysis was conducted on air-conditioning performance, indoor air quality, and comfort index improvement effects in a lecture room-style laboratory with 16 persons present in the room. The system provided 4.24 ACH ventilation rate and reduced indoor temperature by $1.6^{\circ}C$ and black bulb temperature by $1.0^{\circ}C$. Relative humidity increased by 24.4% and deteriorated comfort index. However, this seemed to be offset by turbulent flow created from the operation of air blowers. While $PM_{10}$ was reduced by 39.5% to $22.11{\mu}g/m^3$, $CO_2$ increased up to 1,329ppm. It is interpreted that released $CO_2$ could not be processed because light compensation point was not reached. As for the indoor comfort index, PMV was reduced by 83.6 % and PPD was reduced by 47.0% on average, indicating that indoor space in a comfort range could be created by operating vegetation-based bio-filters. CONCLUSION: The study confirmed that the vegetation-based bio-filter system is effective in lowering indoor temperature and $PM_{10}$ and has positive effects on creating comfortable indoor space in terms of PMV and PPD.