Generating Test Cases and Scripts from Requirements in Controlled Language

구조화된 자연어 요구사항으로부터 테스트 케이스 및 스크립트 생성

Abstract

This paper proposes a method to generate test cases and test scripts from software requirements written in a controlled natural language, which helps develop reliable embedded software. In the proposed method, natural language requirements are written in a controlled language, the requirements are parsed and then inputs, outputs and operator data are extracted from the requirements. Test cases are generated from the extracted data following test case generation strategies such as decision coverage, condition coverage or modified condition/decision coverage. And then the test scripts, physical inputs of the test cases are generated with help of the test command dictionary. With the proposed method, it becomes possible to directly check whether software properly satisfies the requirements. Effectiveness of the proposed method is verified empirically with an requirement set.

본 논문은 신뢰성 있는 임베디드 시스템 소프트웨어 개발을 위해 제한된 자연어 형식으로 작성된 소프트웨어 요구사항으로부터 테스트 케이스 및 테스트 스크립트를 생성하는 방안을 제안한다. 제안하는 방법에서는 자연어로 기술된 요구사항을 제한된 자연어 형식으로 작성하고, 이를 파싱하여 테스트에 사용되는 입력, 출력 및 연산자를 추출한다. 추출된 정보를 이용하여 Decision Coverage, Condition Coverage, Modified Condition/Decision Coverage와 같은 테스트 케이스 생성 전략을 적용하여 테스트 케이스를 생성한다. 또한 테스트 명령어 사전을 이용하여 임베디드 시스템의 물리적인 입력 값인 테스트 스크립트를 생성한다. 제안한 방법을 이용하면, 개발된 소프트웨어가 요구사항에 적합하게 개발되었는지를 직접적으로 테스트하는 것이 가능하다. 제안한 방법의 효과는 요구사항 세트에 적용하여 실험적으로 보인다.

Fig. 1. Flow Diagram for Generating Test Cases and Test Scripts

Fig. 2. A STK Template Example[10]

Fig. 3. A Screen Shot for Correct Requirement

Fig. 4. A Screen Shot for Incorrect Requirement

Fig. 5. An Example of Input/Output Information

Fig. 6. The Input Command Dictionary Format

Fig. 7. Test Case & Test Script Generator Screen Shot

Fig. 8. Input/Output Information for the Requirements

Fig. 9. Requirement Examples

Fig. 10. The Generated Test Cases Adequate to MCDC

Fig. 11. The Command Dictionary for the Experiment

Fig. 12. Generated Test Scripts

Table 1. STK System Rule Examples[10]

Table 2. STK Writing Rules[10]

Table 3. An Example of Data Extracted from Requirement

Table 4. The Comparison Operators

Table 5. The Command Operators

Table 6. The Link Operators

Table 7. The Converted Requirement

Table 8. The Structured Requirement Data for Table 7

Table 9. Test Case Examples for Different Test Strategies

Table 10. The Structured Data to Generate Test Cases