Nástroje kvality.

Nástroje kvality.
Radek Mařı́k
CA CZ, s.r.o.
September 14, 2007
Radek Mařı́k ([email protected])
Nástroje kvality.
September 14, 2007
1 / 27
Obsah
1
Koncept kvality
Taguchiho přı́stup ke kvalitě
2
Japonské nástroje v softwarovém procesu
Staré japonské nástroje
Nové japonské nástroje
Radek Mařı́k ([email protected])
Nástroje kvality.
September 14, 2007
2 / 27
Koncept kvality
Proaktivita a reaktivita
Taguchiho přı́stup ke kvalitě
[Kol95]
Reaktivnı́ zabezpečenı́ kvality
je zaměřeno na detekovánı́ a korigovánı́ problémů, které již nastaly.
zdůrazňuje vyhodnocovánı́ tradičnı́ch ztrát a statistické analýzy
nashromážděných pozorovánı́ pro podporu akce.
vede k omezovánı́ ztrát.
Proaktivnı́ zabezpečenı́ kvality
se orientuje na prevenci,
dává důraz na znalost přı́čin a následků, riskové analýzy, zkušenosti,
zdůvodněnı́ akcı́,
stavı́ na vyššı́ úrovni spekulace a risku,
vede k urychlenému vývoji,
umožňuje vyhnutı́ se ztrátám.
Radek Mařı́k ([email protected])
Nástroje kvality.
September 14, 2007
4 / 27
Koncept kvality
Taguchiho přı́stup ke kvalitě
Cı́l
V ideálnı́m přı́padě se vytvářı́ produkt blı́zký cı́li s dostatečně malými
odchylkami, které dovolujı́ téměř eliminovat finálnı́ třı́děnı́ (testovánı́).
Měřenı́ výkonnosti (vůči cı́li) zahrnuje dva kritické parametry:
polohu - relativnı́ vůči zvolenému bodu,
rozptyl - relativnı́ vůči středu měřenı́.
Radek Mařı́k ([email protected])
On location,
high dispersion
Off location,
high dispersion
On location,
low dispersion
Off location,
low dispersion
Nástroje kvality.
September 14, 2007
5 / 27
Koncept kvality
Taguchiho přı́stup ke kvalitě
Produkce řı́zená inspekcı́
Product
inspected
out
00000000
11111111
Product
inspected
out
00000
11111
11111111
00000000
00000000
11111111
00000000
11111111
00000000000000
11111111111111
00000000
11111111
00000000000000
11111111111111
00000000
11111111
00000000000000
11111111111111
00000000000000
11111111111111
00000000000000
11111111111111
00000000000000
11111111111111
00000
11111
00000
11111
00000
11111
11111111111111
00000000000000
00000
11111
00000000000000
11111111111111
00000
11111
00000000000000
11111111111111
00000000000000
11111111111111
00000000000000
11111111111111
00000000000000
11111111111111
Lower
Target
specification
Upper
specification
Charakteristiky
třı́děnı́/vyřazovánı́ produktů ležicı́ch mimo povolený rozsah.
± specifikace
Radek Mařı́k ([email protected])
Nástroje kvality.
September 14, 2007
6 / 27
Koncept kvality
Taguchiho přı́stup ke kvalitě
Produkce řı́zená cı́lem
Lower
specification
Target
Upper
specification
Charakteristiky
zaměřenı́ na pozici cı́lového produktu a na redukci / řı́zenı́ variace
6 sigma strategie uvedená Motorolou
specifikačnı́ omezenı́ produktu je ve vzdálenosti ± 6 násobku
standardnı́ odchylky produkce
2 defekty na miliardu produktů (za předpokladu normálnı́ho rozloženı́)
3.4 či méně defektů na milión produktů při ±1.5σ posunu středu
Radek Mařı́k ([email protected])
Nástroje kvality.
September 14, 2007
7 / 27
Koncept kvality
Taguchiho přı́stup ke kvalitě
Ztrátová funkce kvality
Ztrátová funkce inspekčnı́ strategie
Loss
$
Loss function
Target
LSL
USL
Quality characteristic
measure
Ztrátová funkce cı́lové strategie
Loss
$
Loss function
Off−target
loss $
LSL
Target
Off−target
dimension
USL
Quality characteristic
measure
př. SONY v USA a Japonsku s rozdı́lnou kvalitou produktů
Radek Mařı́k ([email protected])
Nástroje kvality.
September 14, 2007
8 / 27
Koncept kvality
Kvadratická ztrátová funkce
Taguchiho přı́stup ke kvalitě
[Tag86]
y . . . produkovaná hodnota výkonnostnı́ho indexu,
m . . . hodnota indexu výkonosti požadovaná zákaznı́kem,
L(y ) . . . ztrátová funkce vzhledem k rozdı́lu mezi y a m,
L(y ) může být rozložena do Taylorovy řady okolo m:
L(y ) = L(m + y − m)
L0 (m)
L00 (m)
= L(m) +
(y − m) +
(y − m)2 + · · ·
1!
2!
za předpokladu L(m) = 0,
L(y ) je minimálnı́ při y = m, L0 (m) = 0,
ztráta může být aproximována:
L(y ) ≈ k(y − m)2
k je neznámý koeficient,
K určenı́ k je potřeba vědět ztrátu D způsobenou odchylkou
∆ = y − m.
k = D/∆
Radek Mařı́k ([email protected])
Nástroje kvality.
September 14, 2007
9 / 27
Japonské nástroje v softwarovém procesu
Staré japonské nástroje
7 základnı́ch (“starých”) japonských nástrojů
[Kol95]
Charakteristika
užitečné pro vedoucı́ projektu a manažéry projektu,
řešı́ až 95% problémů spojených s udržovánı́m kvality,
Nástroje
diagram přı́čin a následků,
stratifikačnı́ analýza,
kontrolnı́ seznam,
histogram,
diagram rozptylu,
Pareto diagram,
průběhy řı́zenı́.
Radek Mařı́k ([email protected])
Nástroje kvality.
September 14, 2007
11 / 27
Japonské nástroje v softwarovém procesu
Kontrolnı́ formulář
Staré japonské nástroje
[Kan95]
je tiskopis s předtištěnými položkami, které se majı́ kontrolovat.
ke sběru dat,
ke klasifikaci pozorovaných dat.
N
Action
Expected
1.
Push button A
2.
Select menu File/New
3.
Write "Hello"
4.
Push button B
5.
Push button C
6.
Drag object O1
7.
Draw a line
8.
Change the line color
Radek Mařı́k ([email protected])
T1 T2
Dialog appears
A circle is drawn
Nástroje kvality.
September 14, 2007
12 / 27
Staré japonské nástroje
Japonské nástroje v softwarovém procesu
Kontrolnı́ seznam
[Kan95]
je kontrolnı́ formulář vyžadujı́cı́ potvrzenı́.
k shrnutı́ klı́čových bodů procesu,
Error Recovery
Testovánı́ softwaru
seznam obecných chyb,
seznam opravených chyb
programu
(PTF - program temporary fix).
Radek Mařı́k ([email protected])
Nástroje kvality.
Automatic error correction
Failure to report an error
Failure to set and error flag
Where does the program go back to?
Aborting errors
Recovery from hardware problems
No escape from missing disk
September 14, 2007
13 / 27
Japonské nástroje v softwarovém procesu
Staré japonské nástroje
Diagram přı́čin a následků - rybı́ kost (CE diagram)
[Kol95, Kan95]
je strukturovaný obrázek přı́mek a odboček
použı́vaný k vrstvenı́ a seskupovánı́ přı́čin,
následek zobrazený v obdélnı́ku na pravé straně,
přı́činy jsou nalevo.
Cause branch
Cause twig
Testovánı́ softwaru
objevit možné přı́činy defektů,
Cause twiglet
Effect
porozumět mechanismu selhánı́.
Radek Mařı́k ([email protected])
Nástroje kvality.
September 14, 2007
14 / 27
Japonské nástroje v softwarovém procesu
Staré japonské nástroje
Přı́klad CE diagramu - Cannyho algoritmus
detekce hran v obrazu a vlivy na kvalitu hrany
selection
noise filtering
thinning
man−made
neighborhood size
textured
kernel size
natural
input
image
sigma
nonmaximal
suppression
edge
strength
edge
detection
low
high
gradient magnitude
Radek Mařı́k ([email protected])
hysteresis thresholding
Nástroje kvality.
September 14, 2007
15 / 27
Japonské nástroje v softwarovém procesu
Pareto analýza
Staré japonské nástroje
[Kol95, Kan95]
Pareto princip aplikovaný na kvalitu navrhuje, že ztráta kvality je
rozložena nerovnoměrně tak, že několik málo kritických defektů
způsobuje největšı́ ztrátu.
Vilfredo Pareto (1848-1923) - distribuce bohatstvı́,
“80-20” pravidlo: 20% přı́čin způsobı́ 80% defektů.
Pareto diagram: frekvence vždy striktně klesajı́.
Přı́klad: detekce hran v obrazu [?]
missed edges
výběr způsobu prahovánı́ má daleko většı́ vliv než výběr filtru
gradient thresholds
Radek Mařı́k ([email protected])
Deriche/Sobel
Nástroje kvality.
September 14, 2007
16 / 27
Japonské nástroje v softwarovém procesu
Staré japonské nástroje
Histogram
je grafická reprezentace četnostı́ vzorků zvolené populace.
zobrazuje distribuci charakteristik parametru,
Testovánı́ softwaru
frekvence defektů produktu
podle závažnosti,
#
počet dnů, po které defekt
zůstává otevřen,
profil spokojenosti zákaznı́ka.
units
Radek Mařı́k ([email protected])
Nástroje kvality.
September 14, 2007
17 / 27
Japonské nástroje v softwarovém procesu
Diagram rozptylu
Staré japonské nástroje
[Kan95]
vztah dvou intervalových proměnných,
napomáhá datově založeným rozhodnutı́,
korelačnı́ koeficient dvou proměnných
vysoce citlivý na odlehlá data (outlier),
Testovánı́ softwaru - vztahy
McCabe’s index složitosti a
úrovně defektů (predikce),
A
rychlost defektů testovánı́ a
rychlost defektů zákaznı́ka,
rychlosti defektů vı́cekrát
použité komponenty na dvou
platformách.
B
Radek Mařı́k ([email protected])
Nástroje kvality.
September 14, 2007
18 / 27
Japonské nástroje v softwarovém procesu
Průběh
Staré japonské nástroje
[Kan95]
sleduje vývoj hodnoty parametrů v čase,
základ analýzy trendů,
S křivka sleduje kumulativnı́ vývoj parametru v čase oproti plánu.
Testovánı́ softwaru
počet otevřených problémů za
týden (zatı́ženı́ týmu)
procento oprav softwaru, které
překročı́ kritérium odezvy.
DELINQUENT %
stav testů vyjadřený testovacı́mi přı́pady provedenými a úspěšnými.
WEEK
Radek Mařı́k ([email protected])
Nástroje kvality.
September 14, 2007
19 / 27
Japonské nástroje v softwarovém procesu
Řı́dicı́ průběh
Staré japonské nástroje
[Kan95]
forma průběhu s definovanou kapacitou procesu.
kapacita procesu
Cp =
|USL − LSL|
6σ
USL je hornı́ specifikačnı́ hranice,
LSL je spodnı́ specifikačnı́ hranice,
6σ představuje celkovou variabilnost procesu.
je obtı́žné aplikovat při vývoji softwaru,
proces je pod kontrolou . . . všechny hodnoty parametrů jsou v
mezı́ch bez jakékoliv tendence,
process je mimo kontrolu . . . některé hodnoty jsou mimo meze nebo
vykazujı́ nějaký trend.
UCL
time
LCL
Radek Mařı́k ([email protected])
Nástroje kvality.
September 14, 2007
20 / 27
Japonské nástroje v softwarovém procesu
7 nových japonských nástrojů
Nové japonské nástroje
[Kol95]
Charakteristika
zaměřené vı́ce na strategické plánovánı́ kvality,
podporujı́ komunikaci.
pomáhajı́ nalézt společný postoj.
Nástroje
relačnı́ diagram,
diagram afinit,
systematický diagram,
maticový diagram,
analýza maticového diagramu,
procesnı́ rozhodovánı́ podle průběhu řı́zenı́,
šipkový diagram.
Radek Mařı́k ([email protected])
Nástroje kvality.
September 14, 2007
22 / 27
Japonské nástroje v softwarovém procesu
Nové japonské nástroje
Diagram přı́buznosti (affinity diagram)
použı́ván ke sběru a organizaci faktů, mı́něnı́ a myšlenek.
Hierarchie:
bloky - fakta, mı́něnı́, myšlenky.
ovály - skupiny,
šipky - vztahy.
Radek Mařı́k ([email protected])
Nástroje kvality.
September 14, 2007
23 / 27
Japonské nástroje v softwarovém procesu
Nové japonské nástroje
Přı́klad diagramu přı́buznosti - analýza názvů sekcı́
[For96]
Interpretace: jedná se o reálné, přirozené prostředı́. Úlohy jsou proto
složité, pro které scházı́ penı́ze a rozpoznánı́ ve společnosti. Rovněž
neexistuje přijatelná teorie.
Lack of Performance Evaluation in Computer Vision
Lack of theory
High complexity
No theory for algorithms
Vision is only one module
Measures are not comparable
Vision is too complex
The used models are wrong
Too many tuning parameters
Real environment
Recognition
Evaluation is task dependent
Testing is not acknowledged
Simulations are not reality
Ground truth is too expensive
Radek Mařı́k ([email protected])
Nástroje kvality.
September 14, 2007
24 / 27
Japonské nástroje v softwarovém procesu
Nové japonské nástroje
Maticový diagram - dům kvality
vztah mezi skutečnou a technickou kvalitou,
odhad mezı́ parametrů nových algoritmů.
závislost charakteristik,
pohled zákaznı́ka,
preference hladkých hranic,
uniformnı́ch oblastı́,
vysokého kontrastu mezi oblastmi,
pěkný tvar oblastı́
pohled technika
GU uniformnost šedi,
NU normalizovaná uniformita,
GC kontrast šedi,
SM tvarová mı́ra,
FRAG fragmentace,
FOM chyba pravděpodobnosti
Radek Mařı́k ([email protected])
Nástroje kvality.
September 14, 2007
25 / 27
Nové japonské nástroje
Japonské nástroje v softwarovém procesu
Maticový diagram segmentace obrazu
[Zha96]
Relationships values
+ Strong positive
− Strong negative
−
+
+
+
smooth boundaries
−
25
25
inter−region contrast
Quality characteristics
Radek Mařı́k ([email protected])
7
32
15
5
3
35
25
x
Nástroje kvality.
15
Weights
Ours
Compet.
PE
FRAG
5
15
ideal region shape
Priority scores
5
15
55
x
21
21
7
21
15
36
x
Shape
intra−region uniformity
15
Color
+
−
SM
GC
NU
Deg
ree Quality characteristics
of im
port (technical
Demanded
ance
to c language)
quality
usto
mer
(customer language)
GU
Image Segmentation
−
FOM
5
3
1
September 14, 2007
26 / 27
Japonské nástroje v softwarovém procesu
Nové japonské nástroje
Literatura I
W. Forstner.
10 pros and cons against performance characterization of vision algorithms.
In H.I. Christensen, W. Forstner, and C.B. Madsen, editors, Workshop on Performance Characteristics of Vision
Algorithms, Proceedings, April 19, 1996, Cambridge, U.K., pages 13–29,
http://www.vision.auc.dk/ hic/performance-ws.html, 1996. Sponsored by European Network of Excellence in Computer
Vision, http://afrodite.dist.unige.it.
Stephen H. Kan.
Metrics and Models in Software Quality Engineering.
Addison-Wesley, 1995.
William J. Kolarik.
Creating Quality: Concepts, Systems, Strategies, and Tools.
McGRAW-HILL, INC., 1995.
Genichi Taguchi.
Introduction to Quality Engineering.
Asian Productivity Organization, 4-14, Akasaka 8-chome, Minato-ku, Tokyo 107, Japan, 1986.
Y. J. Zhang.
A survey on evaluation methods for image segmentation.
PR, 29(8):1335–1346, 1996.
Radek Mařı́k ([email protected])
Nástroje kvality.
September 14, 2007
27 / 27