• 제목/요약/키워드: Evaluation metric

검색결과 298건 처리시간 0.029초

열차제어시스템 소프트웨어 Metric 분석 자동화도구 개발 (Development of Metric Analysis Module for Railway Signaling Software)

  • 황종규;조현정;정의진;김용규
    • 한국철도학회:학술대회논문집
    • /
    • 한국철도학회 2008년도 추계학술대회 논문집
    • /
    • pp.1257-1263
    • /
    • 2008
  • Recent advances in embedded system technology have brought more dependence on automating train control. While much efforts have been reported to improve electronic hardware's safety, not so much systematic approaches to evaluate software's safety, especially for the vital software running on board train controllers. In this paper, we have developed a software testing tool to evaluate train control system software safety, expecially "Metric Analysis" module. We have reviewed requirements in the international standards and surveyed available tools in the market. From this, we identified the S/W metric analysis module is required for software evaluation. So we have developed S/W metric analysis module for railway signaling systems.

  • PDF

와이블 지연시간 모형 하에서의 FMEA를 위한 고장원인의 위험평가 (Risk Evaluation of Failure Cause for FMEA under a Weibull Time Delay Model)

  • 권혁무;이민구;홍성훈
    • 한국안전학회지
    • /
    • 제33권3호
    • /
    • pp.83-91
    • /
    • 2018
  • This paper suggests a weibull time delay model to evaluate failure risks in FMEA(failure modes and effects analysis). Assuming three types of loss functions for delayed time in failure cause detection, the risk of each failure cause is evaluated as its occurring frequency and expected loss. Since the closed form solution of the risk metric cannot be obtained, a statistical computer software R program is used for numerical calculation. When the occurrence and detection times have a common shape parameter, though, some simple results of mathematical derivation are also available. As an enormous quantity of field data becomes available under recent progress of data acquisition system, the proposed risk metric will provide a more practical and reasonable tool for evaluating the risks of failure causes in FMEA.

Evaluation of Video Quality Based on Objectively Estimated Metric

  • Koumaras Harilaos;Kourtis Anastasios;Martakos Drakoulis
    • Journal of Communications and Networks
    • /
    • 제7권3호
    • /
    • pp.235-242
    • /
    • 2005
  • Multimedia applications and especially encoded video services, are expected to playa major role in the 3rd generation (3G) and beyond mobile communication systems. Given that future service providers are expected to provide video applications at various price and quality levels, quick and economically affordable methods for preparing/encoding the offering media at various qualities are necessary to be developed. This paper presents a method for objective evaluation of the perceived quality of MPEG­4 video content, based on a quantification of subjective assessments. Showing that subjectively derived perceived quality of service (PQoS) vs. bit rate curves can be successfully approximated by a group of exponential functions, the proposed method exploits a simple objective metric, which is obtained from the mean frame rate vs. bit rate curves of an encoded clip. The validity of this metric is assessed by comparing subjectively derived PQoS results to the corresponding ones, which come from the proposed objective method, showing that the proposed technique provides satisfactory PQoS estimation.

Framework for evaluating code generation ability of large language models

  • Sangyeop Yeo;Yu-Seung Ma;Sang Cheol Kim;Hyungkook Jun;Taeho Kim
    • ETRI Journal
    • /
    • 제46권1호
    • /
    • pp.106-117
    • /
    • 2024
  • Large language models (LLMs) have revolutionized various applications in natural language processing and exhibited proficiency in generating programming code. We propose a framework for evaluating the code generation ability of LLMs and introduce a new metric, pass-ratio@n, which captures the granularity of accuracy according to the pass rate of test cases. The framework is intended to be fully automatic to handle the repetitive work involved in generating prompts, conducting inferences, and executing the generated codes. A preliminary evaluation focusing on the prompt detail, problem publication date, and difficulty level demonstrates the successful integration of our framework with the LeetCode coding platform and highlights the applicability of the pass-ratio@n metric.

국내 항공기 소음 평가방법에 관한 실험적 연구 (A Study on the Evaluation Method of Aircraft Noise)

  • 이태강;송국곤;김항;장길수;김선우
    • 한국소음진동공학회:학술대회논문집
    • /
    • 한국소음진동공학회 2007년도 추계학술대회논문집
    • /
    • pp.421-424
    • /
    • 2007
  • Currently domestic criteria for the aircraft noise is being adapted WECPNL(weighted equivalent continuous perceived noise level), while internationally preferred method is $L_{dn}$ which is based on from $L_{eq}$ and can also evaluate environmental noise. WECPNL used in domestic as an evaluation metric is only for the aircraft noise. It is, therefore, not adequate for the evaluation of residents' injury, moreover, it is very difficult to measure the aircraft noise by WECPNL due to the complicated calculating procedures as long as automatic measuring system is not used. Accordingly, this study aims to propose alternative evaluation metric for the aircraft noise. To achieve this purpose, WECPNL, $L_{eq}$, $L_{dn}$, other metrics and criteria were compared and analyzed.

  • PDF

상용컴포넌트 선정 프로세스 및 품질 평가 기법 (A Selection Process of COTS Component And Quality Evaluation Techniques)

  • 오기성
    • 한국IT서비스학회지
    • /
    • 제2권1호
    • /
    • pp.123-133
    • /
    • 2003
  • Because of rapid evolution of software technique, numerous software professionals have been concerned with component based development methodologies. However, it is hard to find out a systematic technique for the selection of COTS (Commercial Off The Shelf) component in consumer position. Up to date, the major of component quality evaluation is object-oriented metric based evaluation methodology. But this paper present four step process and evaluation criteria based on MCDM (Multiple Criteria Decision Making) technique for optimal COTS component selection in consumer position. Weconsidered funtionality, efficiency, usability based on ISO/IEC 9126 for quality measurement and executed practical analysis about commercial EJB component in internet. This paper show that the proposed selection technique is applicable to optimal COTS component selection.

계산 속도와 왜곡 강인성을 동시 고려한 이미지 품질 평가 (Image Quality Assessment Considering both Computing Speed and Robustness to Distortions)

  • 김석원;홍성우;진정찬;김영진
    • 정보과학회 논문지
    • /
    • 제44권9호
    • /
    • pp.992-1004
    • /
    • 2017
  • 이미지 품질을 정확히 평가하기 위해 이미지 평가 도구는 인간 시각 시스템을 반영해야 한다. 즉, 이미지의 구조, 색, 명암 비 등 여러 가지 요소들을 고려하여 평가해야 한다. 또한 스마트 폰과 같은 모바일 임베디드 기기의 폭넓은 사용에 따라 빠른 수행 속도를 갖는 것이 중요하다. 본 논문에서는 인간 시각 만족과 빠른 계산속도 달성을 동시에 얻기 위하여 색 유사도, 변화율 유사도, 위상 유사도를 상승적으로 결합하였고 최적화된 이미지 풀링 및 양자화 기반으로 설계하였다. 제안하는 기법은 기존에 존재하는 13개의 기법과 비교하였고 네 가지 검증 도구를 사용하여 성능을 검증하였다. 실험 결과 세 검증 도구에서 가장 우수한 성능을 보였고 한 검증 도구에서 기존 최고 기법인 VSI에 이어 두 번째로 좋은 성능을 보였으며 실행 속도는 VSI에 대해 평균 약 20% 개선된 결과를 얻었다. 또한 기존의 기법들 보다 더 인간 시각 시스템과 제안 기법의 품질 평가 값의 연관성이 크게 존재함을 확인하였다.

자동 균열 조사기법의 정확도 평가를 위한 조사선 기반의 지표 제안 (Scanline Based Metric for Evaluating the Accuracy of Automatic Fracture Survey Methods)

  • 김진언;송재준
    • 터널과지하공간
    • /
    • 제29권4호
    • /
    • pp.230-242
    • /
    • 2019
  • 신속한 암반 및 암석 균열 조사를 위해서는 자동화된 조사기법이 필요하다. 그러나 자동 조사기법의 균열 지도가 수동으로 조사한 것과 얼마나 일치하는지 표기하는 단일 지표가 없어서 그 정확도를 평가하는데 어려움이 있다. 따라서 본 연구에서는 균열 지도 간의 일치도를 단일 값으로 표현하는 조사선 교차 일치도 (Scanline Intersection Similarity, SIS)라는 지표를 새롭게 제안하였다. 제안된 지표는 두 균열 지도의 균열 빈도를 다수의 조사선 상에서 비교하여 이들 간의 기하학적 일치도를 도출한다. 해당 지표의 적용성을 검토하기 위해 컴퓨터 비전 (Computer Vision) 분야에서 널리 사용하는 일치도 지표인 Intersection Over Union (IoU)과 비교분석하였다. IoU는 균열의 미시적 형태 차이를 과대평가하는 반면에, 제안된 지표의 경우 미시적 형태 차이보다 경사와 같은 거시적 형태 차이를 더 민감하게 반영하였다. 따라서 균열의 거시적 형태가 중요한 암반 공학적 관점에서, 제안된 지표가 IoU 보다 균열 지도의 일치도 지표로써 적합하였다. 더 나아가 제안된 지표를 딥러닝(Deep Learning)을 이용한 균열 조사기법에 적용해본 결과, 해당 기법의 정확도가 조사선 교차 일치도로 0.674 임을 확인하였다.

비측량용 카메라 내부표정요소의 장기간 안정성 평가 (Evaluation of Long-term Stability of Interior Orientation Parameters of a Non-metric Camera)

  • 정수
    • 한국측량학회지
    • /
    • 제29권3호
    • /
    • pp.283-291
    • /
    • 2011
  • 측량용 카메라의 경우에는 내부표정을 위해 사진지표 뿐만 아니라 렌즈에 관련된 다양한 매개변수들이 제작사의 정밀 검정을 통해 제공된다. 반면에 비측량용 카메라는 정확한 위치를 알고 있는 다수의 기준점을 이용하여 사용자가 직접 카메라 검정을 통해 내부표정요소를 구하여야 한다. 측량용 카메라는 한번 검정된 내부표정 결과를 장기간 지속적으로 활용하고 있는 것에 반하여, 비측량용 카메라의 경우에는 아직까지 장기간에 따른 내부표정요소의 안정성이 충분히 규명되지 않은 상태이다. 따라서, 비측량용 카메라의 경우 사전측량작업을 할 때마다 내부표정요소를 구하기 위한 작업을 별도로 수행하는 경우가 많다. 이는 다량의 기준점을 이용해야 하므로 매우번거로운 작업이며, 비측량용 카메라의 활용에 장애가 되어 왔다. 본 연구에서는 일반 디지털 카메라에 대해 6개월간에 걸쳐 25회의 카메라 검정과 관측을 주기적으로 실험하여 내부표정요소를 구하고, 이를 분석함으로써 비측량용 카메라의 내부표정요소가 장기간 동안 어느 정도 안정한지를 검토하였다.