• ETRI Journal
• /
• 제46권1호
• /
• pp.106-117
• /
• 2024

Large language models (LLMs) have revolutionized various applications in natural language processing and exhibited proficiency in generating programming code. We propose a framework for evaluating the code generation ability of LLMs and introduce a new metric, pass-ratio@n, which captures the granularity of accuracy according to the pass rate of test cases. The framework is intended to be fully automatic to handle the repetitive work involved in generating prompts, conducting inferences, and executing the generated codes. A preliminary evaluation focusing on the prompt detail, problem publication date, and difficulty level demonstrates the successful integration of our framework with the LeetCode coding platform and highlights the applicability of the pass-ratio@n metric.

• 정보처리학회논문지D
• /
• 제8D권3호
• /
• pp.233-240
• /
• 2001

소프트웨어 개발 기술이 발전하고 소프트웨어 정량화의 중요성이 커지면서 많은 메트릭들이 여러 시스템 개체의 정량화를 위해 제안되었다. 이들은 크게 스칼라 메트릭 형태나 벡터 형태를 취한다. 최근에 몇몇 연구들에서 스칼라 메트릭의 조합 형태에서 오는 위험성을 지적하였지만 아직도 유용성 등의 큰 이점 때문에 많은 스칼라 메트릭들이 사용되고 있다. 본 논문은 기존 메트릭 연구들의 분석 과정을 통해 스칼라 메트릭 형태는 외부 복잡도에 가중을 둔 혼성 메트릭 형태가 가장 적당하다는 결론을 얻었으며 이를 토대로 개발 방법론과 개발 시스템 형태에 의존하지 않는 일반적인 혼성 복잡도 메트릭 제작 프레임워크를 제안한다. 제안 프레임워크는 구조적 방법론의 분석 단계와 객체지향 실시간 시스템 설계 단계의 정량화 프로젝트에 사용되었으며 두 프로젝트 모두 만족할만한 결과를 얻었다. 정량화 목적을 갖는 개발 집단은 제안 프레임워크를 이용하여 단시간 내에 여러 종류의 시스템 개체를 정량화할 수 있다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제7권4호
• /
• pp.819-833
• /
• 2013

Computing global features based on local features using a bio-inspired framework has shown promising performance. However, for some tough applications with large intra-class variances, a single local feature is inadequate to represent all the attributes of the images. To integrate the complementary abilities of multiple local features, in this paper we have extended the efficacy of the bio-inspired framework, HMAX, to adapt heterogeneous features for global feature extraction. Given multiple global features, we propose an approach, designated as parameterized metric learning, for high dimensional feature fusion. The fusion parameters are solved by maximizing the canonical correlation with respect to the parameters. Experimental results show that our method achieves significant improvements over the benchmark bio-inspired framework, HMAX, and other related methods on the Caltech dataset, under varying numbers of training samples and feature elements.

• 한국경영과학회:학술대회논문집
• /
• 한국경영과학회/대한산업공학회 2005년도 춘계공동학술대회 발표논문
• /
• pp.579-584
• /
• 2005

A metric is a measure of one factor of a company's performance. The metrics are used to monitor the overall performance of the company for achieving business objectives. Insufficient metrics cannot reflect company's conditions. Therefore, it is important to be equipped with 'good' metrics. This study introduces the concept of metric quality and proposes its dimensions. The study also presents application scenarios that show the role and usefulness of the metric quality.

• ETRI Journal
• /
• 제32권5호
• /
• pp.810-818
• /
• 2010

This paper presents a new framework for integrating untranscribed spoken content into the acoustic training of an automatic speech recognition system. Untranscribed spoken content plays a very important role for under-resourced languages because the production of manually transcribed speech databases still represents a very expensive and time-consuming task. We proposed two new methods as part of the training framework. The first method focuses on combining initial acoustic models using a data-driven metric. The second method proposes an improved acoustic training procedure based on unsupervised transcriptions, in which word endings were modified by broad phonetic classes. The training framework was applied to baseline acoustic models using untranscribed spoken content from parliamentary debates. We include three types of acoustic models in the evaluation: baseline, reference content, and framework content models. The best overall result of 18.02% word error rate was achieved with the third type. This result demonstrates statistically significant improvement over the baseline and reference acoustic models.

• Nonlinear Functional Analysis and Applications
• /
• 제28권3호
• /
• pp.753-774
• /
• 2023

The fundamental aim of the proposed work is to introduce the concept of soft rectangular b-metric spaces, which involves generalizing the notions of rectangular metric spaces and b-metric spaces. Furthermore, an investigation into specific characteristics and topological aspects of the underlying generalization of metric spaces is conducted. Moreover, the research establishes fixed point theorems for mappings that satisfy essential criteria within soft rectangular b-metric spaces. These theorems offer a broader perspective on established results in fixed point theory. Additionally, several congruous examples are presented to enhance the understanding of the introduced spatial framework.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제34권6호
• /
• pp.572-583
• /
• 2007

본 논문에서는 자연스러운 텍스트 생성을 위한 여러 과정 중, 문장 순서를 결정하기 위한 텍스트 구조화(text structuring)에 관한 것으로, 중심화 이론(centering theory)에 기반하여 문장 순서의 자연스러움을 판단할 수 있는 다양한 평가 척도를 논의한다. 먼저, 기존 연구들에서 중심화 이론에 기반한 문장 순서의 평가 척도들 중 가장 효과적이라고 알려진 MIN.NOCB를 텍스트 구조화에 적용할 때 발생할 수 있는 문제점을 지적하고, 대안이 될 수 있는 새로운 평가 척도인 MAX.CPS를 제안한다. 또, 임의의 평가 척도가 주어진 문장들에 대해 가질 수 있는 기대치를 먼저 예측하고, 그것에 따라 다른 평가 척도를 적용하게 하는 프레임워크를 제안하여, 중심화 이론 안에서 최상의 문장 순서를 찾기 위한 새로운 방법론을 모색한다. 또한, 중심화 이론의 적용에 있어 핵심이라 할 수 있는, 명사들의 돋보임성(salience)을 서열화(cf-ranking) 하는 다양한 방식을 중심화 기반 문장 순서 평가 척도의 관점에서 분석하였다. 그 결과, 텍스트 구조화에 관한 한, 단순히 문장에서 실현된 순서에 따라 명사들의 돋보임성의 서열을 정하는 것이 한국어의 특성상 가장 간단하면서도 효율적임을 입증하였다.

• 한국콘텐츠학회논문지
• /
• 제10권6호
• /
• pp.134-143
• /
• 2010

본 논문에서는 위험도라는 품질 인자를 예로 들어 메트릭 기반 소프트웨어 품질 예측 모델들을 네가지 타입으로 분류하는 프레임워크를 제안한다. 모델들은 다음과 같은 두가지 기준에 의해 분류된다: 모델 입력 메트릭 형태, 과거 프로젝트 데이터의 필요 유무. 분류된 타입들은 각각의 특성을 가지며 새롭게 정의된 몇가지 기준들에 의해 타 타입들과 장단점이 비교되었다. 이러한 정성적인 평가를 거쳐 품질 예측 모델을 이용하고자하는 개발 집단은 어떤 품질 예측 모델이 자신들에게 적합한지를 판단할 수 있게 된다. 또한 각 타입에 속하는 위험도 예측 모델들을 구현해 예측 성능을 측정한 선행 연구 데이터를 분석하여 예측 성능에 못지않게 모델이 속한 타입의 특성이 모델 선정의 중요한 관건이 됨을 보였다.

• 한국멀티미디어학회논문지
• /
• 제11권6호
• /
• pp.737-745
• /
• 2008

In this paper, a novel neighborhood metric of histogram equalization (HE) algorithm for contrast enhancement is presented. We present a refinement of HE using neighborhood metrics with a general framework which orders pixels based on a sequence of sorting functions which uses both global and local information to remap the image greylevels. We tested a novel sorting key with the suggestion of using the original image greylevel as the primary key and a novel neighborhood distinction metric as the secondary key, and compared HE using proposed distinction metric and other HE methods such as global histogram equalization (GHE), HE using voting metric and HE using contrast difference metric. We found that our method can preserve advantages of other metrics, while reducing drawbacks of them and avoiding undesirable over-enhancement that can occur with local histogram equalization (LHE) and other methods.

• Journal of applied mathematics & informatics
• /
• 제31권5_6호
• /
• pp.643-649
• /
• 2013

The purpose of this paper is to establish some coupled coincidence point theorems for a pair of mappings having a strict mixed g-monotone property satisfying a contractive condition of rational type in the framework of partially ordered metric spaces. Also, we present a result on the existence and uniqueness of coupled common fixed points. The results presented in the paper generalize and extend several well-known results in the literature.