Ceská letecká servisní a. s. - Your integrator of the avionics

Ceská letecká servisní a. s. - Your integrator of the avionics

Základní principy
Základní procesy testování
Česká letecká servisní a. s.
Your integrator of the avionics
Česká letecká servisní a. s.
Česká letecká servisní a. s.
1/19
Základní principy
Základní procesy testování
Terminologie
Použité normy
V rámci předmětu bude výklad problematiky založen na normě
BS-7925 (první vydání 1998).
Tato norma se primárně zabývá "component testing".
Použití jednotné terminologie je klíčové pro jednotné
porozumění problematice a práci v teamu.
Česká letecká servisní a. s.
2/19
Základní principy
Základní procesy testování
Definice
Testování
Testování: veškeré činnosti, jejichž cílem je měřit a
kontrolovat kvalitu software.
Do těchto činností patří review, statická analýza, dynamické
testování apod.
Poznámka
V některých případech (testování v rámci životního cyklu) je
používána jiná definice.
Česká letecká servisní a. s.
3/19
Základní principy
Základní procesy testování
Definice
Co je chyba
1
Error – the mistake (human, process or machine) that
introduces fault into software.
2
Fault – bug or defect, a faulty piece of code or hardware.
3
Failure – when faulty code is executed, it may lead to
incorrect results, i. e. to failure.
Česká letecká servisní a. s.
4/19
Základní principy
Základní procesy testování
Důvody testování
Některé z důvodů proč testovat
Neexistuje vývoj bez chyb.
Bezpečnost:
important systems,
safe-critical.
Validace požadavků.
Rapid Application Development.
Česká letecká servisní a. s.
5/19
Základní principy
Základní procesy testování
Ekonomické aspekty
Řetězec vývoje
1
Peníze
2
Vývoj
3
Produkt
Řetězec testování
1
Peníze
2
Testování
Výstupy
3
risk information
bug information
process information
Česká letecká servisní a. s.
6/19
Základní principy
Základní procesy testování
Ekonomické aspekty
Úvahy na téma "Cena testování"
Testování (rozsah, použité prostředky) musí odpovídat možným
ztrátám, rozsahu a dopadům projektu.
Reliability: the probability that software will not cause the failure
of a system for a specific time under specified conditions.
Při řízení projektu je nutné zohlednit i rozsah a strukturu cílové
skupiny zákazníků daného produktu.
Česká letecká servisní a. s.
7/19
Základní principy
Základní procesy testování
Ekonomické aspekty
Příklady dopadů chybného testování
Arianne (chyba algoritmu)
American Airlines booking system (chyba algoritmu)
Mars Polar Orbiter (chyba v použitých jednotkách)
Spirit Rover (chybný výpočet nutných prostředků)
Titan IV (chyba v konstantách, nepoužití SCM)
Česká letecká servisní a. s.
8/19
Základní principy
Základní procesy testování
Ekonomické aspekty
Cena chyb v rámci LC
Cena objevení, lokalizace a opravy chyby se zvyšuje s
časem a to exponenciálně.
Česká letecká servisní a. s.
9/19
Základní principy
Základní procesy testování
Proč a jak řídit testování
Proč
Testování ve významu sledování funkčnosti má pouze
informativní charakter. Skutečně výkonným nástrojem se stává
až poté, co jsou na základě jeho výsledků provedena opatření.
Jak
Je vhodné dodržovat následující kroky:
1
planning,
2
specification,
3
executing,
4
recording,
5
checking for completion.
Česká letecká servisní a. s.
10/19
Základní principy
Základní procesy testování
Test plan
Základní prvky
high-level test plans
low-level test plans
vazbu k plánu projektu
vazbu k QA
CM
incident management
Česká letecká servisní a. s.
11/19
Základní principy
Základní procesy testování
Test specification
Definice
Specifikace testu určuje co testovat.
Specifikace testů jsou strukturovány a to bud’ dvou nebo
tříurovňově.
Test Case – Test
Unit/Sequences – Test Case – Test
Česká letecká servisní a. s.
12/19
Základní principy
Základní procesy testování
Test specification
Identifikace/záznam
Pro identifikaci/záznam testů je možné použít následující údaje:
ID
Cíl
Jméno
Preconditions
Akce
Očekávané výsledky
Vyhodnocení
Česká letecká servisní a. s.
13/19
Základní principy
Základní procesy testování
Test execution
Definice
Jedná se o provedení všech test cases alespoň jedenkrát.
Může být realizováno manuálně nebo automaticky.
Z mnoha důvodů je vhodné slučovat test cases do sekvencí
sequences.
Česká letecká servisní a. s.
14/19
Základní principy
Základní procesy testování
Test execution
Environment (prostředí)
environment set-up and preconditions
test environment access
test environment under CM
test data
Česká letecká servisní a. s.
15/19
Základní principy
Základní procesy testování
Test recording
Definice
Recording (záznam) testu je nedílnou součástí testu. Record
(záznam) musí obsahovat všechna klíčová data vztahující se k
testu.
Outputs / Outcomes
Nejen z pohledu testování je nutné rozlišovat mezi pojmy
outputs a outcomes:
Output – sada výstupů vztahující se pouze k testovanému
objektu.
Outcome – sada výstupů vztahující se k celemu systému.
Česká letecká servisní a. s.
16/19
Základní principy
Základní procesy testování
Test recording
Základní prvky
Test Log
Test Report
Testování není debugging!!!
Česká letecká servisní a. s.
17/19
Základní principy
Základní procesy testování
Test completion
Definice
Completion stanovuje podmínky uzavření daného testu a
návaznosti mezi testy (viz sequences).
Klíčové body
Test completion criteria a decision strategy musí být definovány
na vyšší úrovni. Např. v plánu.
Česká letecká servisní a. s.
18/19
Základní principy
Základní procesy testování
Test completion
Výčet kritérií
All test cases executed.
All test cases executed on the latest release.
All test cases passed.
No unresolved incident reports.
No unresolved serious incident reports.
Number of faults found.
Pre-defined coverage achieved:
code coverage,
functional coverage,
requirements coverage,
if not, design more test cases.
Estimated number of remaining faults low enough.
Česká letecká servisní a. s.
19/19