TRANSFORMACE DAT

TRANSFORMACE DAT
Pokud v EDA zjistíme, že rozdělení se příliš odlišuje od normálního (asymetrie,
odlehlé body, nehomogenita), vzniká problém, jak data vůbec vyhodnotit. Často lze
použít pro vyhodnocení dat jejich transformaci.
Je vyhledána vhodná transformace, která zajistí největší přiblížení normalitě, tato
transformace se provede, vypočte se průměr a jeho IS. Vypočtené údaje se přepočítají
do původních souřadnic.
 Důvody pro transformaci: vede ke stabilizaci rozptylu, zesymetričtění rozdělení, je
robustní k odlehlým bodům.
 Obvykle nastává jedna z následujících 3 situací:
1. Zamítnuta normalita v ZP, nejsou OB ⇒ TRANSFORMACE
2. Přijata/zamítnuta normalita v ZP, nalezeny OB, které nelze vyloučit ⇒
TRANSFORMACE
3. Přijata/zamítnuta normalita v ZP, nalezeny OB, které lze vyloučit ⇒
VYLOUČENÍ OB.
PRINCIP:
Původní data
x1, x2, …
Odhad polohy a
rozptylu
PŮVODNÍCH
Transformovaná data
y1, y2, …
Odhad polohy a
rozptylu
TRANSFORMOVANÝCH dat
(PROSTÁ) MOCNINNÁ TRANSFORMACE
 xλ

y = g ( x) − x−λ
ln x

ACH/CHEX1
o Symetrizující transformace.
λ > 0 o Optimální odhad se hledá minimalizací
λ < 0 asymetrie (klasického či robustního koeficientu
šikmosti).
λ = 0 o Pro λ = 0 jde o logaritmickou transformaci.
© David MILDE
1
BOX-COXOVA TRANSFORMACE
 xλ − 1

y = g ( x) =  λ
ln x

λ ≠0
λ =0
o Přibližuje rozdělení výběru k normálnímu vzhledem k šikmosti a špičatosti.
o Takto definovaná transformace je použitelná pouze pro kladná data. Tvar
transformační funkce pro některé parametry uvádí následující obrázek:
Posouzení (statistické) výhodnosti transformace:
o Q-Q graf (pro data před a po transformaci),
o graf logaritmu věrohodnostní funkce (osa y) na parametru λ (osa x).
Maximum = optimální parametr λ. Vodorovná přímka odpovídá 95 % IS maxima
věrohodnosti a svislé přímky odpovídají IS odhadu λ <λD, λH>. Obsahuje-li tento
interval +1, není nutné transformovat (transformace není přínosná).
ACH/CHEX1
© David MILDE
2
o Čím bude IS širší, tím je transformace méně významná.
o Logaritmus věrohodnostní funkce lnL se používá ve tvaru:
n
n
ln L(λ ) = − ln s ( y) + (λ − 1)∑ ln xi
2
i =1
2
ZPĚTNÁ TRANSFORMACE (RETRANSFORMACE)
Pokud se podaří nalézt vhodnou transformaci, která vede k přibližné normalitě, lze
určit průměr a rozptyl transformovaných dat. Pak je zapotřebí provést zpětnou
transformaci na původní proměnnou (data), protože požadujeme odhady parametrů
původních dat a ne transformovaných.
Lze použít dva přístupy:
- nekorektní (naivní): provedení prosté zpětné transformace
xR = g −1 ( y)
- korektní: vychází se z Taylorova rozvoje funkce y = g(x) v okolí
y.
DALŠÍ TRANSFORMACE
EXPONENCIÁLNÍ – založena na minimalizaci asymetrie.
MODIFIKOVANÁ MOCNINNÁ TRANSFORMACE – eliminace špičatosti u
symetrického rozdělení; nejprve se od dat odečte medián a následně se aplikuje
„Box-Coxova transformace“:
y = g ( x) = SIGN
x0,5 + 1) λ − 1
( x− ~
,
λ
kde SIGN má význam znaménka, než se aplikuje absolutní hodnota.
TRANSFORMACE STABILIZUJÍCÍ ROZPTYL – vyžaduje nalezení transformace y =
g(x), ve které je s2(y) konstantní:
y = g ( x) ≈ C ∫
ACH/CHEX1
dx
f ( x)
2
kde C = kons. ze vztahu
© David MILDE
 d g ( x) 
C=
f ( x)
 dx 
3