Algoritmy pro spojitou optimalizaci

Algoritmy pro spojitou optimalizaci
Vladimı́r Bičı́k
Katedra počı́tačů
Fakulta elektrotechnická
České vysoké učenı́ technické v Praze
10.6.2010
Vladimı́r Bičı́k (ČVUT Praha)
Algoritmy pro spojitou optimalizaci
10.6.2010
1 / 11
Úvod
Spojitá optimalizace
Obecná minimalizace funkce v prostoru reálných parametrů
Mnoho přı́stupů, dlouhodobě zkoumáno
Jádro práce
Nastudovánı́ řady různých algoritmů
Přepsánı́ do jednotného rozhranı́
Čerpáno z různých zdrojů (např. FORTRAN77, C++, Java)
Sjednocený popis algoritmů, zaměřenı́ na vstupnı́ parametry
JavaDoc dokumentace a odkazy k původnı́m publikacı́m
Vladimı́r Bičı́k (ČVUT Praha)
Algoritmy pro spojitou optimalizaci
10.6.2010
2 / 11
Aplikačnı́ prostředı́
JCool
Projekt vzniknuvšı́ jako výsledek diplomové práce M. Hvizdoše
Testovánı́ a porovnávánı́ optimalizačnı́ch metod
Obsahovalo několik základnı́ch funkcı́ a 3 optimalizačnı́ metody
Vladimı́r Bičı́k (ČVUT Praha)
Algoritmy pro spojitou optimalizaci
10.6.2010
3 / 11
Implementované optimalizačnı́ metody
Numerické optimalizačnı́ metody
Gradientnı́ metody
Lišı́ se v použitı́ Hessovy matice:
1
2
3
Conjugate Gradient: nepoužı́vá vůbec
Levenberg—Marquardt: použı́vá a dále upravuje
quasi–Newton: nepoužı́vá přı́mo, aproximuje
4
Orthogonal search – optimalizace po dimenzı́ch
5
Powell’s method – vylepšenı́, skládá směry
Covariance Matrix Adaptation Evolution Strategy
Vzorkovánı́ normálnı́ho rozdělenı́ vektoru vı́ce proměnných
Matice kovariance popisuje závislosti proměnných
Vladimı́r Bičı́k (ČVUT Praha)
Algoritmy pro spojitou optimalizaci
10.6.2010
4 / 11
Implementované optimalizačnı́ metody
Optimalizačnı́ metody inspirované přı́rodou
Mravenčı́ algoritmy
Přı́mo simulujı́cı́ chovánı́ mravenců (CACO, API)
Rozšı́řenı́ původnı́ho mravenčı́ho algoritmu o diskretizaci (AACA)
Rozšı́řenı́ původnı́ho mravenčı́ho algoritmu o pravděpodobnostnı́
vzorkovánı́ (ACO*, DACO)
Genetické algoritmy
Diferenciálnı́ evoluce (DE, SADE)
Pravděpodobnostnı́ vektor pro vzorkovánı́ populace (PBIL)
Simulace hejna hledajı́cı́ho potravu (PSO)
Kombinace algoritmů (HGAPSO)
Vladimı́r Bičı́k (ČVUT Praha)
Algoritmy pro spojitou optimalizaci
10.6.2010
5 / 11
Implementované testovacı́ funkce
Sada testovacı́ch funkcı́
Unimodálnı́ a multimodálnı́ funkce
Vı́cedimenzionálnı́ funkce, mnoho z nich parametrizovatelných
Zpravidla implementován předpis pro analytický gradient a
Hessovu matici
Dokumentované hodnoty globálnı́ch minim, včetně jejich pozic
Obrázek: Některé implementované testovacı́ funkce.
Vladimı́r Bičı́k (ČVUT Praha)
Algoritmy pro spojitou optimalizaci
10.6.2010
6 / 11
Provedené experimenty
Metodologie
Způsob testovánı́
100 opakovánı́, limit 2000 iteracı́
Všechny parametry v plném rozsahu
Pozorována úspěšnost řešenı́ a počet iteracı́
60
Average number of iterations
Average rate of success
100%
80%
60%
40%
20%
0%
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
50
40
30
20
10
0
0
0.1
0.2
0.3
0.4
Parameter range
AC
BE
BO
BR
EA
GP
GR
HI
LA
L3
L5
MA
MI
RN
RA
0.5
0.6
0.7
0.8
0.9
1
Parameter range
RO
SH
SB
SW
DJ
TR
WH
ZA
AC
BE
BO
BR
EA
GP
GR
HI
LA
L3
L5
MA
MI
RN
RA
RO
SH
SB
SW
DJ
TR
WH
ZA
Obrázek: PBIL, pravděpodobnost mutace, krok 0,05
Vladimı́r Bičı́k (ČVUT Praha)
Algoritmy pro spojitou optimalizaci
10.6.2010
7 / 11
Provedené experimenty
Doporučené parametry implementovaných optimalizačnı́ch metod
Výsledky experimentů
Doporučené hodnoty parametrů metod
Různá nastevenı́ pro různé typy funkcı́
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%
SADE
c
re f
de
DE
c
re f
de
RO
SH
SB
SW
DJ
c
re f
de
PSO-FI PSO-C
c
re f
de
L5
MA
MI
RN
RA
c
re f
de
PSO
c
re f
de
DACO
GP
GR
HI
LA
L3
c
re f
de
ACO*
c
re f
de
AC
BE
BO
BR
EA
c
re f
de
AACA
c
re f
de
c
re f
de
c
re f
de
API
PBIL HGAPSO
TR
WH
ZA
Obrázek: Porovnánı́ původnı́ch a doporučených parametrů
Vladimı́r Bičı́k (ČVUT Praha)
Algoritmy pro spojitou optimalizaci
10.6.2010
8 / 11
Provedené experimenty
Vzájemné porovnánı́ implementovaných optimalizačnı́ch metod I
Zhodnocenı́ konvergence
Porovnánı́ napřı́č numerickými, přı́rodou inspirovanými i všemi
dohromady
Doporučené použitı́ metod
Naznačenı́ pokračovánı́ v meta-optimalizaci
Vladimı́r Bičı́k (ČVUT Praha)
Algoritmy pro spojitou optimalizaci
10.6.2010
9 / 11
Provedené experimenty
Vzájemné porovnánı́ implementovaných optimalizačnı́ch metod II
Numerické metody
Mnohem přesnějšı́
Efektivnějšı́
Chybı́ jim globálnı́ konvergence
Možno použı́t i k zjištěnı́ typu funkce
Metody inspirované přı́rodou
Nepřesnějšı́, ale zvládnou i těžké funkce
Vyžadujı́ vı́ce iteracı́, časově náročnějšı́
Vladimı́r Bičı́k (ČVUT Praha)
Algoritmy pro spojitou optimalizaci
10.6.2010
10 / 11
Shrnutı́
Přı́nosy práce
Implementace a popis 7 numerických a 10 přı́rodou inspirovaných
optimalizačnı́ch algoritmů
Sada 32 testovacı́ch funkcı́ pokrývajı́cı́ širokou škálu různých
problémů
Popis chovánı́ algoritmů v závislosti na hodnotách parametrů
Sady doporučených parametrů metod s ohledem na
meta-optimalizaci
Porovnánı́ efektivnosti metod, doporučenı́ jejich použitı́
Vladimı́r Bičı́k (ČVUT Praha)
Algoritmy pro spojitou optimalizaci
10.6.2010
11 / 11