• Title/Summary/Keyword: 정량적 테스트 데이터

Search Result 42, Processing Time 0.03 seconds

A Study of Metrics for Test Organization Improvement by TMM in Web Application Product (웹 서비스 제품에서의 테스트 조직 향상을 위한 TMM 적용과 메트릭 연구)

  • Kwon, Hyo-Jin;Lee, Jin-Ho;Choi, Jin-Young
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2008.05a
    • /
    • pp.367-370
    • /
    • 2008
  • 소프트웨어 제품의 신뢰성과 안정성 확보를 위한 품질 보증이 중요해짐에 따라 독립된 테스트 조직이 증가되고 이러한 테스트 조직은 효과적 효율적으로 테스트 활동을 수행하기 위해 테스트 프로세스 개선을 필요로 한다. 그러나, 프로세스는 제품의 도메인 특성으로부터 많은 영향을 받아 특화되므로 실시간(Time to Market) 서비스가 강조되는 웹 서비스 시스템에서의 테스트 프로세스에 대한 연구가 부족하므로 테스트 조직 향상을 위한 방향 모델과 이를 이행할 수 있는 접근 방법을 필요로 한다. 본 연구에서는 웹 서비스 제품의 품질을 보증하기 위해 검증 작업을 수행하고 있는 테스트 조직이 향상되기 위한 방안으로 TMM을 적용하였고, 성숙된 프로세스 구축을 위한 방법으로 GQM을 이용하여 메트릭을 도출한 사례를 제시하였다. 이런 연구결과는 도메인 특성에 맞게 도출된 매트릭을 통해 제품과 테스터의 능력을 평가하고 결과 값을 프로세스 개선에 반영하여 정량적인 데이터 기반으로 관리되는 테스트 조직으로 발전할 수 있을 것이다.

Optimal Hyper Parameter for Korean Face Data Generation with BEGAN (BEGAN을 통해 한국인 얼굴 데이터 생성을 하는데 최적의 HyperParameter)

  • Cho, Kyu Cheol;Kim, San
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2021.07a
    • /
    • pp.459-460
    • /
    • 2021
  • 본 논문에서는 BEGAN을 활용한 한국인 얼굴 데이터 생성을 위한 최적의 Hyper Parameter를 제안한다. 연구에서는 GAN의 발전된 모델인 BEGAN을 이용한다. 위의 모델을 작성하기 위하여 본 논문에서는 Anaconda 기반의 Jupyter Notebook에서 Python Tensorflow 모델을 작성하여 테스트하고, 만들어진 모델을 FID를 통해 모델의 성능을 비교한다. 본 연구에서는 제안하는 방법들을 통해서 만들어진 모델을 이용해 한국인 얼굴 데이터를 구하고, 생성된 이미지에 대한 정량적인 평가를 진행한다.

  • PDF

Quantitative Estimation Method for ML Model Performance Change, Due to Concept Drift (Concept Drift에 의한 ML 모델 성능 변화의 정량적 추정 방법)

  • Soon-Hong An;Hoon-Suk Lee;Seung-Hoon Kim
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.12 no.6
    • /
    • pp.259-266
    • /
    • 2023
  • It is very difficult to measure the performance of the machine learning model in the business service stage. Therefore, managing the performance of the model through the operational department is not done effectively. Academically, various studies have been conducted on the concept drift detection method to determine whether the model status is appropriate. The operational department wants to know quantitatively the performance of the operating model, but concept drift can only detect the state of the model in relation to the data, it cannot estimate the quantitative performance of the model. In this study, we propose a performance prediction model (PPM) that quantitatively estimates precision through the statistics of concept drift. The proposed model induces artificial drift in the sampling data extracted from the training data, measures the precision of the sampling data, creates a dataset of drift and precision, and learns it. Then, the difference between the actual precision and the predicted precision is compared through the test data to correct the error of the performance prediction model. The proposed PPM was applied to two models, a loan underwriting model and a credit card fraud detection model that can be used in real business. It was confirmed that the precision was effectively predicted.

알루미늄 다이캐스팅주조에서 용탕 청정도 평가방법

  • J. Wannasin;D. Schwamb;J.F. Wallace
    • Journal of Korea Foundry Society
    • /
    • v.43 no.6
    • /
    • pp.325-329
    • /
    • 2023
  • 높은 주조 품질을 요구받고 있는 대부분의 다이캐스팅업체들은 양산공정을 통해 사용되고있는 용탕의 청정도를 평가하고 모니터링을 해야만 한다. 여러 가지 평가방법들을 사용할 수 있지만 현장에서는 일부 측정방법만이 다이캐스팅에 적용되고 있으며 목적에 맞게 적절하게 사용하여야 한다. 세 가지 가능한 평가 방법인 K-Mold, 기계적물성 평가 및 PoDFA(다공성 디스크 여과 장치) 를 대상으로 소개하고자 한다. 우선, 각 방법들은 서로 사용 목적 목적에 따라 선택될 수 있으며 K-Mold는 현장에서 빠르고 간단하게 적용할 수 있는 방법으로 일정한 규격화된 시편의 파면을 만들고 파단면 관찰을 통해 일정한 크기 이상의 산화물 갯수를 확인하여 용탕의 품질을 관리하는 편리한 평가방법 중 하나다. 기계적 물성 테스트는 용탕 청결도에 대한 정성적, 정량적 정보를 모두 확인할 수 있으며 샘플링 테스트에 적합한 시험법이라 할 수 있다. 또한, PoDFA는 용탕내에 개재물의 종류별 정밀분석과 양에 대한 상대적 비교 분석으로써 현장의 많은 경험을 통하여 데이터 축적하고 분석하는 방법으로 사용방법에 대한 전문교육이 필요하다.

The Quantity Data Estimation for Software Quality Testing (소프트웨어 품질 평가를 위한 정량적 자료 예측)

  • Jung, Hye-Jung
    • Journal of the Korea Convergence Society
    • /
    • v.8 no.10
    • /
    • pp.37-43
    • /
    • 2017
  • In this paper, we propose a method for estimation software quality in terms of software test data, and it is necessary to predict the period of time required for software test evaluation. We need a model to understand of estimation of software quality. In this paper, we propose a model to estimate the number of days for software test using the data obtained through the tester's sex, and present a model for analysing the number of errors according to six quality characteristics by software type.

Information Architecture Design using Eye-Tracking Method (Eye-Tracking Method를 이용한 메뉴구조 설계 및 평가)

  • Park, Jong-Soon;Lee, Sun-Jung;Myung, Ro-Hae
    • 한국HCI학회:학술대회논문집
    • /
    • 2007.02b
    • /
    • pp.15-20
    • /
    • 2007
  • 본 연구는 시선 추적 방법(Eye-Tracking Method)을 이용한 디지털 컨버전스 제품의 정보 설계 및 평가에 관한 방법론을 제시하였다. Eye-tracking 데이터는 visual search의 효율성 뿐 아니라 타겟의 유의미성이나 가시성등을 측정하는데 유익하다. 응시 횟수와 응시 시간을 통하여 사용자의 심성 모형에 따른 시선 행위와 제품 메뉴 구조간의 전체적인 일치도를 정량적으로 분석하였고, 각 메뉴 item의 세부적인 인지 반응 정도를 평가하였다. 컨버전스 제품의 한 예로 휴대폰을 선정하여 실험을 실시하였으며, 활성화 확산 실험(SAT)을 수행하여 메뉴 항목 상호간의 인지반응 정도를 통한 문제점을 도출한 후 사용자 시나리오를 작성하였다. 1차 테스트를 통하여 피실험자의 시나리오 수행 시 어려움을 알 수 있었으며, 1차 테스트의 결과와 인터뷰 결과를 바탕으로 프로토타입의 메뉴명을 개선하여 2차 테스트를 실시하였다. 실험 결과 개선 전보다 후의 응시 횟수, 응시 시간 또한 감소하여 수행도가 향상됨으로 메뉴 구조의 개선된 결과를 가져왔다. 본 연구는 인간의 눈 움직임 측정치 결과를 토대로 사용자 심성 모형에 부합하여 누구나 접근이 쉬운 정보 구조를 설계할 수 있었다. 그러므로 본 연구에서 제시하는 Eye-tracking Method는 디지털 컨버전스로 인한 복잡한 정보 구조의 설계와 평가에 기여할 것으로 보인다.

  • PDF

Usability of the National Science and Technology Information System (웹 사용성 개선에 관한 연구 - 국가과학기술정보시스템을 중심으로 -)

  • Park, Min-Soo;Hyun, Mi-Hwan
    • Journal of the Korean BIBLIA Society for library and Information Science
    • /
    • v.22 no.4
    • /
    • pp.5-19
    • /
    • 2011
  • The purpose of this study is to identify possible needs for system improvements and reflect them on the operation and development of the system as a result of the usability assessment of an information site in science and technology. For this study, a variety of data collection techniques, including search logs, interviews, and think-alouds, were used. The search log data was processed to quantify four evaluation aspects, which were the effectiveness, efficiency, satisfaction, and errors. The verbal data collected by think-alouds and post-interviews were used to identify possible needs of enhancement in a qualitative analysis. The comparison of the usability before and after the system enhancement revealed an increase of 15 points for effectiveness, 35 seconds decrease in efficiency, 5 points increase in satisfaction, and 1.1 errors decreased, implying an overall improvement of the usability of the current system.

피싱 웹사이트 URL의 수준별 특징 모델링을 위한 컨볼루션 신경망과 게이트 순환신경망의 퓨전 신경망

  • Bu, Seok-Jun;Kim, Hae-Jung
    • Review of KIISC
    • /
    • v.29 no.3
    • /
    • pp.29-36
    • /
    • 2019
  • 폭발적으로 성장하는 소셜 미디어 서비스로 인해 개인간의 연결이 강화된 환경에서는 URL로써 전파되는 피싱 공격의 위험성이 크게 강조된다. 최근 텍스트 분류 및 모델링 분야에서 그 성능을 입증받은 딥러닝 알고리즘은 피싱 URL의 구문적, 의미적 특징을 각각 모델링하기에 적절하지만, 기존에 사용하는 규칙 기반 앙상블 방법으로는 문자와 단어로부터 추출되는 특징간의 비선형적인 관계를 효과적으로 융합하는데 한계가 있다. 본 논문에서는 피싱 URL의 구문적, 의미적 특징을 체계적으로 융합하기 위한 컨볼루션 신경망 기반의 퓨전 신경망을 제안하고 기계학습 방법 중 최고의 분류정확도 (0.9804)를 달성하였다. 학습 및 테스트 데이터셋으로 45,000건의 정상 URL과 15,000건의 피싱 URL을 수집하였고, 정량적 검증으로 10겹 교차검증과 ROC커브, 정성적 검증으로 오분류 케이스와 딥러닝 내부 파라미터를 시각화하여 분석하였다.

Mnanaging testing function and defects using a Bug Tracking System (Bug Tracking 시스템을 활용한 테스트 및 결함관리)

  • Ahn Yuwhoan;Kim Shine;Huh Heejung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2004.10a
    • /
    • pp.457-464
    • /
    • 2004
  • 소프트웨어의 품질을 향상시키기 위해 결함을 찾고 시정하는 것을 통제하는데 가장 중요한 요소가 바로 오류/장애/실패(통칭하여 결함(defects)를 효과적으로 추적하는 것이며, 결함을 추적하기 위해서는 효과적인 결함 추적시스템(Defect Tracking System)의 도입이 필요하다. 기존의 결함 추적 시스템은 고객/사용자로부터의 문제보고, 테스팅 기간 중의 결함보고, 변경관리 기능 등을 통합적으로 제공하고 있지 못하다는 점과 테스팅을 포함한 개발과정의 정량적 통제를 위한 데이터를 효과적으로 축적 제공하지 못하고, 더욱이 결함의 근본적인 원인을 찾아 해결할 수 있도록 하기 위한 정보를 효과적으로 제공하지 못하고 있는 문제가 있다. 본 논문에서는 이러한 기존의 결함 추적 시스템의 문제점을 해결하고자 설계/구축되어 현재 사내에서 활용되고 있는 결함관리 시스템인 Promise System을 소개하고자 한다. Promise 시스템은 고객의 불만 및 요구사항, 인스펙션 및 테스팅 시의 결함 및 요구사항에 대하여 각 담당자별로 업무를 할당, 추적할 수 있게 하고, 결함 및 요구사항에 관한 각종 상태정보와 통계 정보를 제공하여, 각 개발 및 테스팅 단계별로 결함 제거 목표의 수립, 정량적 통제, 결함 원인 분석을 통한 프로세스 개선 등을 지원하는 시스템이다.

  • PDF

A Performance Analysis of Dual Shot Face Detector Method (Dual Shot Face Detector Approach 성능 분석)

  • Lee, KyungMin;Lin, ChiHo;Kim, JeWoo;Lee, YoungHan;Cho, ChoongSang;Song, Hyok
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2019.06a
    • /
    • pp.76-79
    • /
    • 2019
  • 본 논문에서는 얼굴 검출에서 좋은 성능을 보이는 Dual Shot Face Detector (DSFD)을 WIDER FACE 데이터 기반으로 네트워크의 성능 및 특성을 분석한다. 얼굴 검출 엔진의 동작 및 학습을 확인하기 위해 WIDER FACE 데이터를 기반으로 DSFD 를 학습한 후 기존 논문에서 발표되었던 성능을 보이는지 확인한다. 성능 확인된 얼굴 검출기 DSFD 를 세부적으로 분석하기 위하여 테스트 데이터를 10 개 그룹으로 분할하여 AP 측정 후 성능 열화가 높은 그룹의 이미지를 집중적으로 분석하였다. 분석 결과 얼굴 영역 주변에 모자 헬멧, 방패 등에 의해 가려진 경우 얼굴 검출에 많은 어려움이 발생했다. 또한 이미지에 있는 상황을 61 개로 구분하여 정량적 분석을 수행하며 분석 결과 Car Accident 와 People Marching 상황에서 성능이 열화되는 것을 확인하였다. 본 논문에서는 DSFD 네트워크의 성능 열화 부분 및 경향 등을 분석하였다. 이러한 내용은 DSFD 얼굴 검출기의 성능을 개선하거나 특정 도메인에 맞는 검출기를 개발하는데 매우 중요한 자료가 될 것으로 생각한다.

  • PDF