• Title/Summary/Keyword: 성능평가모델

Search Result 3,558, Processing Time 0.032 seconds

KommonGen: A Dataset for Korean Generative Commonsense Reasoning Evaluation (KommonGen: 한국어 생성 모델의 상식 추론 평가 데이터셋)

  • Seo, Jaehyung;Park, Chanjun;Moon, Hyeonseok;Eo, Sugyeong;Kang, Myunghoon;Lee, Seounghoon;Lim, Heuiseok
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.55-60
    • /
    • 2021
  • 최근 한국어에 대한 자연어 처리 연구는 딥러닝 기반의 자연어 이해 모델을 중심으로 각 모델의 성능에 대한 비교 분석과 평가가 활발하게 이루어지고 있다. 그러나 한국어 생성 모델에 대해서도 자연어 이해 영역의 하위 과제(e.g. 감정 분류, 문장 유사도 측정 등)에 대한 수행 능력만을 정량적으로 평가하여, 생성 모델의 한국어 문장 구성 능력이나 상식 추론 과정을 충분히 평가하지 못하고 있다. 또한 대부분의 생성 모델은 여전히 간단하고 일반적인 상식에 부합하는 자연스러운 문장을 생성하는 것에도 큰 어려움을 겪고 있기에 이를 해결하기 위한 개선 연구가 필요한 상황이다. 따라서 본 논문은 이러한 문제를 해결하기 위해 한국어 생성 모델이 일반 상식 추론 능력을 바탕으로 문장을 생성하도록 KommonGen 데이터셋을 제안한다. 그리고 KommonGen을 통해 한국어 생성 모델의 성능을 정량적으로 비교 분석할 수 있도록 평가 기준을 구성하고, 한국어 기반 자연어 생성 모델의 개선 방향을 제시하고자 한다.

  • PDF

Attention-Based Ensemble for Mitigating Side Effects of Data Imbalance Method (데이터 불균형 기법의 부작용 완화를 위한 어텐션 기반 앙상블)

  • Yo-Han Park;Yong-Seok Choi;Wencke Liermann;Kong Joo Lee
    • Annual Conference on Human and Language Technology
    • /
    • 2023.10a
    • /
    • pp.546-551
    • /
    • 2023
  • 일반적으로 딥러닝 모델은 모든 라벨에 데이터 수가 균형을 이룰 때 가장 좋은 성능을 보인다. 그러나 현실에서는 특정라벨에 대한 데이터가 부족한 경우가 많으며 이로 인해 불균형 데이터 문제가 발생한다. 이에 대한 해결책으로 오버샘플링과 가중치 손실과 같은 데이터 불균형 기법이 연구되었지만 이러한 기법들은 데이터가 적은 라벨의 성능을 개선하는 동시에 데이터가 많은 라벨의 성능을 저하시키는 부작용을 가지고 있다. 본 논문에서는 이 문제를 완화시키고자 어텐션 기반의 앙상블 기법을 제안한다. 어텐션 기반의 앙상블은 데이터 불균형 기법을 적용한 모델과 적용하지 않은 모델의 출력 값을 가중 평균하여 최종 예측을 수행한다. 이때 가중치는 어텐션 메커니즘을 통해 동적으로 조절된다. 그로므로 어텐션 기반의 앙상블 모델은 입력 데이터 특성에 따라 가중치를 조절할 수가 있다. 실험은 에세이 자동 평가 데이터를 대상으로 수행하였다. 실험 결과로는 제안한 모델이 데이터 불균형 기법의 부작용을 완화하고 성능이 개선되었다.

  • PDF

Performance evaluation of multibuffered banyan networks (복수버퍼를 가진 밴연 네트웍의 성능분석)

  • 문영성
    • The Journal of Korean Institute of Communications and Information Sciences
    • /
    • v.21 no.8
    • /
    • pp.1914-1927
    • /
    • 1996
  • Banyan networks have a number of applications in the area of computer and communications. While several analytical models have been proposed for the performance evaluation of Banyan networks, they are either not very accurate of too complex to be generalized. In this paper a new model for evaluating multibuffered MINs with 2*2 switching elements is proposed. the proposed model is very accurate for any size and traffic condition. It is also simple and can be easily generalized.

  • PDF

Assembly Performance Evaluation for Prefabricated Steel Structures Using k-nearest Neighbor and Vision Sensor (k-근접 이웃 및 비전센서를 활용한 프리팹 강구조물 조립 성능 평가 기술)

  • Bang, Hyuntae;Yu, Byeongjun;Jeon, Haemin
    • Journal of the Computational Structural Engineering Institute of Korea
    • /
    • v.35 no.5
    • /
    • pp.259-266
    • /
    • 2022
  • In this study, we developed a deep learning and vision sensor-based assembly performance evaluation method isfor prefabricated steel structures. The assembly parts were segmented using a modified version of the receptive field block convolution module inspired by the eccentric function of the human visual system. The quality of the assembly was evaluated by detecting the bolt holes in the segmented assembly part and calculating the bolt hole positions. To validate the performance of the evaluation, models of standard and defective assembly parts were produced using a 3D printer. The assembly part segmentation network was trained based on the 3D model images captured from a vision sensor. The sbolt hole positions in the segmented assembly image were calculated using image processing techniques, and the assembly performance evaluation using the k-nearest neighbor algorithm was verified. The experimental results show that the assembly parts were segmented with high precision, and the assembly performance based on the positions of the bolt holes in the detected assembly part was evaluated with a classification error of less than 5%.

Performance Improvement of data Mining by Input Data Discrimination (입력자료 판별에 의한 데이터 마이닝의 성능개선)

  • 이재식;이진천
    • Proceedings of the Korea Inteligent Information System Society Conference
    • /
    • 2000.04a
    • /
    • pp.293-303
    • /
    • 2000
  • 데이터 마이닝의 수행 예측 오차를 줄이기 위한 방법으로 하나의 문제를 여러 기법들을 결합하여 해결하고 있다. 본 연구에서는 새로운 결합 모델을 제시하고 이를 통해 예측 오차를 감소시킬 수 있는 가능성을 제시한다. 제시된 결합모델의 성능을 검증하기 위해서 국내 자동차보험 회사의 고객데이터를 바탕으로 고객이탈 예측문제를 다루었다. 결합모델의 예측결과를 의사결정나무, 사례기반추론 그리고 인공신경망 중 하나의 기법만을 사용하여 예측한 결과와 비교 평가하였다. 평가 결과, 결합 모델의 예측 적중률이 개별 기법의 예측 적중률보다 우수했다.

  • PDF

Examining the Feasibility of Utilizing a Large Language Model for Korean Grammatical Error Correction (한국어 맞춤법 교정을 위한 초거대 언어 모델의 잠재적 능력 탐색)

  • Seonmin Koo;Chanjun Park;JeongBae Park;Heuiseok Lim
    • Annual Conference on Human and Language Technology
    • /
    • 2023.10a
    • /
    • pp.61-65
    • /
    • 2023
  • 최근, 대부분의 태스크가 초거대 언어 모델로 통합되고 있을 정도로 많은 관심 및 연구되고 있다. 초거대 언어 모델을 효과적으로 활용하기 위해서는 모델의 능력에 대한 분석이 선행되어야 하나, 한국어에 대한 분석 및 탐색은 상대적으로 부족하다. 본 논문에서는 한국어 맞춤법 교정 태스크를 통해 초거대 언어 모델의 능력을 탐색한다. 맞춤법 교정 태스크는 문장의 구조 및 문법을 이해하는 능력이 필요하며, 사용자의 만족도에 영향을 미칠 수 있는 중요한 태스크이다. 우리는 맞춤법 세부 유형에 따른 ChatGPT의 제로샷 및 퓨샷성능을 평가하여 초거대 언어 모델의 성능 분석을 수행한다. 실험 결과 제로샷의 경우 문장부호 오류의 성능이 가장 우수했으며, 수사 오류의 성능이 가장 낮았다. 또한, 예제를 더 많이 제공할수록 전체적인 모델의 성능이 향상되었으나, 제로샷의 경우보다 오류 유형 간의 성능 차이가 커지는 것을 관찰할 수 있었다.

  • PDF

Performance Evaluation of DiffServ Networks Considering Self-Similar Traffic Characteristics (자기유사 트래픽 특성을 고려한 차등서비스 망의 성능 평가)

  • Park, Jeong-Sook;Jeon, Yong-Hee
    • The Journal of Korean Institute of Communications and Information Sciences
    • /
    • v.33 no.5B
    • /
    • pp.344-355
    • /
    • 2008
  • In this paper, we are dealing with the problems of performance evaluation of Differentiated Services(DiffServ) networks. For successful performance evaluation, the ability to accurately represent "real" traffic on the network by suitable traffic models is an essential ingredient. Many research results on the nature of real traffic measurements demonstrated LRD(long-range dependence) property for the Internet traffic including Web, TELNET, and P2P traffic. The LRD can be effectively represented by self-similarity. In this paper, we design and implement self-similar traffic generator using the aggregated On/Off source model, based on the analysis of the On-Off source model, FFT-FGN(Fast Fourier Transform-Fractional Gaussian Noise) model, and RMD(Random Midpoint Displacement) model. We confirmed the self-similarity of our generated traffic by checking the packet inter-arrival time of TCPdump data. Further we applied the implemented traffic generator to the performance evaluation of DiffServ networks and observed the effect of performance to the a value of the On/Off model, and performance of EF/BE class traffic by CBQ.

Numerical Study on Transfer Port Design for Scavenging Performance in Small Two-stroke Engines (소형 2행정 엔진의 전송 포트 형상에 따른 소기 성능에 대한 수치 해석적 연구)

  • Kim, Cheonghwan;Park, Sungho;Kim, Myeongkyu;Ahn, Eunsoo
    • Journal of the Korean Society of Propulsion Engineers
    • /
    • v.24 no.6
    • /
    • pp.28-44
    • /
    • 2020
  • In this paper, the scavenging process of various transfer ports was evaluated to improve the performance of a small two-stroke engine for unmanned aerial vehicles. Three-dimensional computational fluid dynamics simulations were performed to four transfer ports for the evaluation, and a three-phase scavenging model was developed and applied to the simulation results for the quantitative comparison of scavenging performance. the short-circuit of fresh charge was restrained and an in-cylinder turbulent kinetic energy was enhanced by changing the transfer port. Also, a difference in the scavenging for each port were confirmed by applying the three-phase model to the simulation results.

Korean Image Caption Generator Based on Show, Attend and Tell Model (Show, Attend and Tell 모델을 이용한 한국어 캡션 생성)

  • Kim, Dasol;Lee, Gyemin
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2022.11a
    • /
    • pp.258-261
    • /
    • 2022
  • 최근 딥러닝 기술이 발전하면서 이미지를 설명하는 캡션을 생성하는 모델 또한 발전하였다. 하지만 기존 이미지 캡션 모델은 대다수 영어로 구현되어있어 영어로 캡션을 생성하게 된다. 따라서 한국어 캡션을 생성하기 위해서는 영어 이미지 캡션 결과를 한국어로 번역하는 과정이 필요하다는 문제가 있다. 이에 본 연구에서는 기존의 이미지 캡션 모델을 이용하여 한국어 캡션을 직접 생성하는 모델을 만들고자 한다. 이를 위해 이미지 캡션 모델 중 잘 알려진 Show, Attend and Tell 모델을 이용하였다. 학습에는 MS-COCO 데이터의 한국어 캡션 데이터셋을 이용하였다. 한국어 형태소 분석기를 이용하여 토큰을 만들고 캡션 모델을 재학습하여 한국어 캡션을 생성할 수 있었다. 만들어진 한국어 이미지 캡션 모델은 BLEU 스코어를 사용하여 평가하였다. 이때 BLEU 스코어를 사용하여 생성된 한국어 캡션과 영어 캡션의 성능을 평가함에 있어서 언어의 차이에 인한 결과 차이가 발생할 수 있으므로, 영어 이미지 캡션 생성 모델의 출력을 한국어로 번역하여 같은 언어로 모델을 평가한 후 최종 성능을 비교하였다. 평가 결과 한국어 이미지 캡션 생성 모델이 영어 이미지 캡션 생성 모델을 한국어로 번역한 결과보다 좋은 BLEU 스코어를 갖는 것을 확인할 수 있었다.

  • PDF

Performance Test Evaluation Model of Web Application (웹 어플리케이션의 성능 시험 평가 모델에 관한 연구)

  • Shin, Hyun-Jung;Lee, Nam-Yong
    • 한국IT서비스학회:학술대회논문집
    • /
    • 2002.11a
    • /
    • pp.406-410
    • /
    • 2002
  • 웹/인터넷의 등장 이후, IT환경에서는 웹 사이트 수, 사용자 수의 폭발적인 증가로 하드웨어와 소프트웨어의 구성이 복잡하게 되었다. 적용 업무의 장애가 발생시에 신속하고 정확한 장애원인을 파악하기가 어려워진다. 따라서, 웹 어플리케이션에 맞는 전문적인 성능 테스트와 성능 관리가 필요하게 된다. 본 논문에서는 웹 어플리케이션의 특성에 맞는 성능 시험 평가 모델을 제시한다.

  • PDF