Hodnocení projektů a programů

Transkript

© W. K. Kellogg Foundation
First published in 1998 by:
W. K. Kellogg Foundation
P.O. Box 550, Battle Creek,
MI 49016-0550, USA
Tel.: +1 800 819 99 77
E-mail: [email protected]
http://www.wkkf.org
© Český překlad: Nadace VIA 2006
Přeložil:
Jan Kroupa
Redakční a jazyková úprava:
Eva Němečková, Jana Zahradníčková, Věra Šálková, Jan Kotecký
Obálka: Lenka Jasanská
Vydáno díky podpoře Trustu pro občanskou společnost ve střední a východní Evropě
Hodnocení projektů a programů
Principy a očekávání
Postup
Akční kroky
Plánování: Příprava na hodnocení
1.
Vytipování účastníků a sestavení hodnotitelského týmu
2.
Sestavení hodnotících otázek
3.
Rozpočet hodnocení
4.
Výběr hodnotitele
Realizace: Rozvržení a provedení hodnocení
5.
Rozhodnutí o metodách shromažďování údajů
6.
Shromažďování údajů
7.
Analýza a interpretace dat
Využití: Jak sdílet zjištění a využívat výsledky hodnocení
8.
Jak sdílet zjištění a nálezy
9.
Jak využívat proces a výsledky hodnocení
Praxe
Hodnocení projektu, které zvyšuje kvalitu poskytovaných služeb, zlepšuje řízení projektu a pomáhá vedoucím projektů vidět problémy zřetelněji a objevovat
nové možnosti rozvoje.
Předmluva
Leden 1998
Vážení čtenáři,
Nadace W. K. Kellogg Foundation je pevně přesvědčena, že úkolem hodnocení
není pouze prokázat, že projekt dosáhl cílů, ale podílet se také na jeho vylepšování. Hodnocení by mělo pečlivě posuzovat význam a prospěch programu
a usměrňovat realizaci programu a jeho řízení, tak aby pro realizátory programu bylo využitelné a přínosné. Hodnocení je užitečné pro dokumentaci dopadů a pro jejich kontrolu. Jeho výsledkem by nicméně měly být efektivnější programy, více příležitostí poučit se a hlubší porozumění, co je účelné a přínosné.
Tato příručka je sepsána tak, aby rozvíjela diskusi o úloze hodnocení na úrovni projektu. Byli bychom rádi, kdybyste o hodnocení začali přemýšlet poněkud
jinak a kdyby se nám společně podařilo tuto disciplínu proměnit z odtrženého
procesu monitorování na zavedenou a plnohodnotnou součást plánování a realizace programů.
Doufáme, že předkládané informace vám budou užitečné. Publikace by přinejmenším měla nabídnout solidní základ pro rozhodnutí, která ve výsledku přinesou lepší programy a efektivnější služby. Přivítáme jakoukoliv zpětnou
vazbu, která nám pomůže zhodnotit, nakolik se nám tento záměr podařilo
naplnit.
Děkujeme za váš zájem.
V úctě
Anne C. Petersen,
vedoucí programového oddělení
Aktualizováno v lednu 2004
I
Obsah:
Předmluva od Anne C. Petersen (vedoucí programového oddělení nadace W. K. Kellogg Foundation)
Úvodem
Část první
Východiska a očekávání nadace W. K. Kellogg Foundation
Kapitola první
Kde jsme: Pochopení přístupu nadace W. K. Kellogg Foundation k hodnocení
Kapitola druhá
Jak jsme se sem dostali: kontext, historie, paradigmata a vyváženost hodnocení
Historický kontext hodnocení v sociální oblasti
Vědecký přístup jako dominantní přístup k hodnocení
Udržení rovnováhy mezi poptávkou po průkaznosti a potřebou zlepšovat
Doporučení pro dosažení lepší rovnováhy
Kapitola třetí
Tři úrovně hodnocení
Hodnocení na úrovni projektu
Hodnocení významových celků
Hodnocení programových iniciativ a formování koncepcí
Část druhá
Hodnocení na úrovni projektu – návod
Kapitola čtvrtá
Tři složky hodnocení na úrovni projektu: hodnocení kontextu, realizace a výstupů
Hodnocení kontextu: Porozumění kontextu projektu
Hodnocení realizace: Porozumění způsobům, kterými byl projekt realizován
Hodnocení výstupů: Stanovení výstupů projektu
Příklady typů logických modelů programu
Kapitola pátá
Plánování a realizace hodnocení na úrovni projektu
Krok 1: Vytipování účastníků a sestavení hodnotitelského týmu
Krok 2: Sestavení hodnotících otázek
Krok 3: Rozpočet hodnocení
Krok 4: Výběr hodnotitele
Krok 5: Rozhodnutí o metodách, kterými budou sbírána data
Krok 6: Shromažďování údajů
Krok 7: Analýza a interpretace údajů
Krok 8: Jak sdílet zjištění a nálezy
Krok 9: Jak využívat proces a výsledky hodnocení
Bibliografie
1
1
2
2
5
5
5
6
7
10
15
15
15
18
19
20
20
21
21
22
25
28
39
49
49
50
50
53
56
58
69
70
84
87
95
95
97
104
II
HODNOCENÍ PROJEKTŮ A PROGRAMŮ
Úvodem
Účel publikace
Publikace, kterou držíte v ruce, vychází z přesvědčení, že účelem hodnocení je
projektům napomáhat tím, že jim poskytne zpětnou vazbu, spíše než aby fungovalo jako samoúčelné cvičení. Publikace uvažuje o hodnocení jako o využitelném a užitečném programovém nástroji. Byla napsána především pro vedoucí
projektů, kteří jsou přímo odpovědní za průběžné hodnocení projektů podpořených nadací W. K. Kellogg Foundation. Doufáme však, že ji vedoucí projektů
využijí jako zdroj informací pro další pracovníky, kteří nesou svůj díl odpovědnosti za hodnocení projektů, pro externí hodnotitele a pro členy správních rad.
Publikace je určena jak realizátorům projektů, kteří už s hodnocením mají jistou zkušenost, tak těm, kteří zatím žádné zkušenosti nezískali, ale mají čas
a kapacitu se v tomto směru něco naučit. Nabízí jim dostatek základních informací, aby dokázali hodnocení provést bez pomoci externího hodnotitele. Kromě
toho může publikace pomoci naplánovat a uskutečnit hodnocení s pomocí externího hodnotitele i těm realizátorům projektů, kteří s hodnocením nemají zkušenost a nedostává se jim času nebo prostoru k učení.
Publikace nemá ambici být vyčerpávajícím návodem, jak provádět hodnocení.
Nabízí konkrétní návod, jak přemýšlet o hodnocení, a navrhuje základní rozvrh
jeho přípravy a realizace buď samostatně, nebo s pomocí externího hodnotitele/konzultanta. Podrobnější informace o technických aspektech hodnocení najdete v literatuře doporučené v bibliografii v závěru publikace.
Uspořádání publikace
Publikace se skládá ze dvou hlavních částí. Pro příjemce grantů dohromady
představují návod, na jehož základě se mohou posunout od sdílené vize či představy, jak účinně hodnotit, až k rozvrhu přípravy a realizace hodnocení, tedy
k vlastní praxi. Konkrétně:
Část první nabízí obecný přehled toho, z čeho vycházíme a co očekáváme od
hodnocení. Shrnuje nejvýznamnější rysy hodnotícího přístupu naší nadace, a je
tak průvodcem všem příjemcům grantů při plánování a realizaci hodnocení na
úrovni projektu. Část první navíc shrnuje důvody, které vedly k tomu, že
v oblasti poskytování sociálních služeb došlo k určité nevyváženosti v definování a realizaci hodnocení. Přiloženo je naše doporučení, jak nastavit přiměřeněj-
III
ŮVODEM
ší rovnováhu mezi dokazováním, že programy dosahují cílů, a zlepšováním
jejich fungování. Část první je zakončena přehledem tří různých úrovní hodnocení, přičemž největší důraz přikládáme hodnocení na úrovni projektu (které je
hlavním tématem publikace).
Část druhá nabízí podrobnější popis tří složek hodnocení na úrovni projektu,
které mohou realizátorům projektů pomoci při hledání odpovědí na celou škálu
důležitých otázek o projektu. Část druhá navíc předkládá osnovu plánování, přípravy a realizace hodnocení na úrovni projektu. Tento oddíl zdůrazňuje důležité kroky, které je třeba učinit, a vztahuje je k obecnějším východiskům a očekáváním.
Část druhá je průběžně doplněna příklady ve formě případových studií o příjemcích našich grantů. Případové studie nabízejí vedoucím projektů konkrétní příklady, jak může být hodnocení pro projekty přínosné. Sdílení a výměna zkušeností, účinných a neúčinných přístupů a postupů, míry úspěšnosti, s jakou projekty dokážou reagovat na potřeby lidí, je klíčem k ponaučení z projektů, které
nadace W. K. Kellogg Foundation podpořila.
Nadace W. K. Kellogg Foundation byla založena v roce 1930 s cílem pomáhat lidem, aby si
pomohli sami, a to praktickým uplatněním teoretických znalostí a zdrojů za účelem zlepšení
kvality našeho života i života budoucích generací.
IV
1
Část první
Obsah
Východiska a očekávání nadace W. K. Kellogg Foundation
Kapitola první:
Kde jsme: Pochopení přístupu nadace W. K. Kellogg Foundation k hodnocení
Kapitola druhá:
Jak jsme se sem dostali: kontext, historie, paradigmata a vyváženost hodnocení
Udržení rovnováhy mezi poptávkou po průkaznosti a potřebou zlepšovat
Kapitola třetí:
Hodnocení by mělo pomoci projektům být kvalitnější, než se plánovalo…
Hodnocení by mělo v první řadě podporovat projekt…
Evaluation Approach
W. K. Kellogg Foundation, 1997
1
Východiska a očekávání nadace
W. K. Kellogg
Kapitola první
Kde jsme: Pochopení přístupu nadace
W. K. Kellogg Foundation k hodnocení
Nadace W. K. Kellogg Foundation přikládá hodnocení velký význam. Následující
zásady by měly práci při hodnocení ulehčit.
Hodnocení:
Posiluje projekty: Naším cílem je zvyšování kvality lidského života. Hodnocení
napomáhá tohoto cíle dosáhnout tak, že poskytuje průběžné systematizované informace, které posilují projekty v jejich průběhu, a – kde je to možné – výstupní údaje,
na jejichž základě je možné zhodnotit rozsah dosažených změn. Organizace by po
skončení hodnocení měla být silnější a měla by být schopna proces hodnocení lépe
využívat po ukončení podpory zvnějšku.
Uplatňuje mnohostranný přístup: Podporujeme multidisciplinární přístupy k řešení problémů. Hodnotící metody by měly zahrnovat celou škálu technik, které řeší
důležité otázky související s projektem.
Řeší reálné otázky: Jsme přesvědčeni o tom, že by komunitní organizace měly ukotvit prováděné hodnocení v reálných místních problémech. Hodnocení by proto mělo
vycházet z komunity a místních souvislostí (na základě místních podmínek a problémů). Hlavním účelem je popsat skutečné problémy a potenciál přímo v komunitách,
kterých se projekt týká, a poskytnout realizátorům a účastníkům spolehlivé informace, na jejichž základě budou schopni problémy řešit a potenciál dále rozvíjet.
Formuje participativní proces: Stejně jako se lidé podílejí na aktivitách projektu,
musí se podílet na jeho hodnocení. Nejlepší hodnocení zohledňuje různorodá hlediska a zapojuje zástupce lidí, kterým na projektu záleží. Účelné hodnocení navíc připravuje organizace na uplatňování hodnocení jako standardního prvku řízení a vedení.
Dává prostor flexibilitě: Při přípravě, realizaci a změnách projektů vytváříme prostor pro flexibilitu. Projekty, které nadace W. K. Kellogg podporuje, nejsou osamocenými aktivitami, ale komplexními, ucelenými programy zaměřenými na systémovou
2
ČÁST PRVNÍ
změnu v komunitách. Přístupy k hodnocení proto nesmějí být příliš striktní a předem
pevně dané, protože pak by bylo velmi obtížné zdokumentovat zásadní, složité, často
však těžko postižitelné změny, ke kterým dochází v průběhu realizace. Během hodnocení je třeba zohledňovat aktuální situaci, tedy upravovat je a přizpůsobovat potřebám projektu, který se v celé své složitosti vyvíjí.
Rozvíjí schopnosti a dovednosti: Hodnocení by se nemělo zabývat jen konkrétními
výstupy, ale také dovednostmi, znalostmi a přístupy, které si osvojují jednotlivci
zapojení do projektu.
Abychom dosáhli co nejdůkladnějšího porozumění hodnoceného projektu, podporujeme u všech osob zapojených do hodnocení jejich průběžnou sebereflexi a zapojení
do diskuse. Konkrétně v nadaci očekáváme, že
■ každý, kdo se podílí na hodnocení projektu, stráví čas přemýšlením a diskusí
o tom, jak jeho osobní předpoklady a přesvědčení ovlivňují jeho východiska pro
hodnocení
■ každý (zvláště lidé ve vedoucích pozicích, jako jsou vedoucí projektů, hodnotitelé, členové správní rady, programoví ředitelé nadace) bude přemýšlet o hodnotách
a koncepcích, na kterých je proces hodnocení postaven, a že upřímně přezkoumá,
jaký mají vliv na to, čemu je věnována pozornost a co se opomíjí, kdo je vyslyšen
a kdo ne, jak vznikají interpretace, k jakým se dochází závěrům a jak se prezentují.
Naše představa hodnocení vychází z přesvědčení, že hodnocení a řízení projektů jsou
spolu nerozlučně spjaty. V zásadě jsme přesvědčeni o tom, že „dobré hodnocení“
neznamená nic víc než „dobře věci promyslet“.
Efektivní hodnocení není „událostí“, která se odehraje na konci projektu. Jde o průběžný proces umožňující lidem, kteří rozhodují, aby lépe pochopili projekt, jeho
dopady na účastníky, na partnerské organizace a na komunitu, jakož i dopad vnitřních a vnějších vlivů na realizaci. Budete-li o nástrojích hodnocení uvažovat tímto
způsobem, umožní vám to shromáždit a analyzovat údaje potřebné pro rozhodování
v průběhu celého projektu: od průzkumu potřeb předcházejícího napsání projektu
přes provázání projektových aktivit s kýženými výstupy či provedení dílčích změn
v průběhu realizace programu až po dokázání dárcům, že zrovna váš projekt stál
a stojí za podporu.
3
Dále jsme přesvědčeni, že hodnocení nemá být prováděno jen proto, aby prokázalo,
že projekt dosahuje stanovených cílů, ale také proto, aby umožnilo jeho fungování
zlepšit. Nevnímejte proto hodnocení jako metr, kterým se zvenčí projekt poměřuje,
ale jako nástroj řízení a zdroj poučení cenný pro projekt, pro nadaci i pro odborníky
v oboru, kteří mohou těžit ze zkušeností jiných projektů.
4
ČÁST PRVNÍ
Kapitola druhá
Jak jsme se sem dostali: kontext, historie,
přístupy k hodnocení a jeho vyváženost
Nyní už víte docela přesně, jak k hodnocení přistupujeme: s vážností – a do jeho dalšího rozvoje investujeme. Kam se však náš přístup řadí v širším kontextu? Jak jsme
dospěli ke zmiňovaným hodnotám a názorům na užitečnost a potenciál hodnocení?
Odpovědi na tyto otázky vyžadují krátkou exkurzi do historie a základní porozumění umění a vědě výzkumných přístupů.
Původním posláním hodnocení programů v oblasti sociálních služeb a vzdělávání
bylo zlepšit kvalitu sociálních programů. Hned z několika důvodů však záhy došlo
k tomu, že se hodnocení programů začalo více a více soustřeďovat (implicitně i explicitně) na dokazování, že program dosahuje stanovených cílů, spíše než na jeho
vylepšování. Podle našeho názoru tak v hodnocení v sociální oblasti vznikla nerovnováha – výrazně převažující pozornost byla věnována prokazování funkčnosti programu prostřednictvím dotazníků a grafů shrnujících dopady, a to na úkor ucelenějších, kvalitativních přístupů, které si kladou za cíl programy zlepšovat.
Stručně rozebereme dva důvody zmíněné nerovnováhy:
■ historický kontext hodnocení programů ve Spojených státech
■ vliv dominantních výzkumných přístupů na hodnocení v sociální oblasti.
Přestože se lidé snažili řešit sociální problémy racionálně a s využitím průkazných
dokladů (např. hodnocení) po staletí, hodnocení jednotlivých programů bylo ve Spojených státech zahájeno až v rámci ambiciózních sociálních programů iniciativy
The Great Society, placených federální vládou v druhé polovině šedesátých let. V programech se utápělo obrovské množství prostředků, ale komplexní problémy, které se
pokoušely řešit, nezmizely. Veřejnost byla stále nedůvěřivější a rostl tlak na získávání důkazů o efektivitě jednotlivých projektů, aby bylo možné přidělovat zdroje, které
přece jen nebyly neomezené.
V té době „přicházelo stále častěji ke slovu systematické hodnocení, na jehož základě
by bylo možné ovlivňovat realizovaná opatření, ujistit zákonodárce a plánovače, že
nastoupili správnou cestu, a současně přizpůsobovat služby uživatelům“ (Cronbach et
al., 1980, str. 12). Z rozsáhlé investice v šedesátých a sedmdesátých letech vyplynulo
důležité ponaučení, že nemáme dostatek prostředků, abychom vyřešili všechny sociál-
5
ní problémy. Investice bylo nutné zaměřit cíleně. Efektivní zacílení však vyžadovalo podklady pro rozhodování, kam a jak investovat. „Hodnocení programů jako samostatná profesionální disciplína se zrodilo ze dvou impulsů…: za prvé, že nemáme dost
peněz, abychom udělali všechno, co je potřeba, a za druhé, že i kdyby bylo dost peněz,
jenom peníze na řešení složitých sociálních problémů nestačí. A protože není možné
udělat všechno, musí existovat podklady pro rozhodování, kterým věcem stojí za to se
věnovat. Zde do hry vstupuje hodnocení.“ (Patton, 1997, str. 11)
Tlak na dokazování efektivity sociálních programů, potřeba ujišťovat dárce, vládní
úředníky a veřejnost, že investice stála za to, nás ovlivňuje dodnes. Ve skutečnosti od
dob The Great Society tlak na prokazování hodnoty sociálních programů ještě vzrostl. Omezené zdroje, komplexnější, navrstvené sociální problémy, měnící se politické
klima a zdánlivý posun veřejného mínění ve vztahu k míře podpory, kterou vládní
a jiné instituce mají věnovat znevýhodněným nebo sociálně slabým skupinám obyvatel, narušily rovnováhu ještě výrazněji, takže pozornost je téměř výhradně soustředěna na skládání účtů („ukažte, že to funguje“) na úkor kvality („zjistěte, jak by to
mohlo fungovat lépe“).
Druhým faktorem, který vedl k přesunu důrazu na prokazování funkčnosti sociálních
programů, je vliv vědeckých metod na hodnocení v sociální oblasti. Většina lidí si pod
hodnocením projektů představuje komplexní experimentální schémata se širokou
cílovou skupinou a kontrolními vzorky, jejichž prostřednictvím hodnotitelé měří
dopady programů na základě statisticky významných změn v určitých výstupech:
například zda program vedl ke zvýšení příjmů, zlepšil práci škol, indikátory zdravotního stavu atd.
Vědecký přístup je založen na hypoteticko-deduktivní metodologii. Jednoduše řečeno, vědci/hodnotitelé testují hypotézy o dopadech sociálních programů s využitím
postupů statistické analýzy.
Snad proto, že tento způsob výzkumu vévodí řadě obecně uznávaných oborů a protože se opírá o striktní, propracované statistické teorie, dominuje také v sociální
oblasti a v oblasti vzdělávání a poskytování služeb – lidé, kteří v těchto oblastech
působí, musí často bojovat o legitimitu vlastní práce. Tento způsob výzkumu a hodnocení je navíc velmi dobře uzpůsoben k tomu, aby zodpověděl otázky, do kterých
byly programy historicky nejvíce tlačeny: Jsou efektivní? Mají výsledky?
6
ČÁST PRVNÍ
Hypoteticko-deduktivní model přírodních věd je vyvinut tak, aby vysvětlil, co se
stalo, a aby ukázal kauzální vztahy mezi určitými výstupy a „léčbou“ nebo službou,
která má dané výstupy přinášet. Dobře promyšlený a kvalitně provedený experimentální nebo částečně experimentální výzkum může poskytnout důležité informace
o specifických dopadech zkoumaného sociálního programu. Přispěl akademický program ke zlepšení známek studentů? Zvýšil účast na přednáškách? Byl účinný?
U mnoha kritérií nezbytných k provedení takových hodnocení je však omezena jejich
využitelnost na převážně jednorázové programy v relativně kontrolovaném prostředí.
Přírodovědný model výzkumu není dobře vybaven, aby nám pomohl pochopit složité, ucelené komunitní programy postavené na spolupráci.
Udržení rovnováhy mezi poptávkou po průkaznosti
a potřebou zlepšovat
Oba zmíněné faktory – nárůst tlaku na dokazování účinnosti a dominance vědeckých
východisek a modelů, které se nejlépe hodí na měření změny – vedly k tomu, že většina hodnotitelů, realizátorů projektů, vládních úředníků a veřejnosti považuje hodnocení programů za synonymum k prokazování účinnosti nebo funkčnosti programu.
Výsledkem je, že se běžná hodnocení prakticky vůbec nezabývají otázkami procesu,
realizace a zlepšování. Přitom se může velmi snadno stát, že negativně ovlivňují složitější, ucelenější komunitní programy, protože ty jsou pak často ignorovány jako
nehodnotitelné, nebo jsou hodnoceny tradičními způsoby, které nedokážou zachytit
propletené a často zmatečné způsoby, kterými takové programy dosahují změn (Connell, Kubisch, Schorr, Weiss, 1995; Schorr a Kubisch, 1995).
Není pochyb o tom, že dokazování účinnosti a měření dopadů je významné a cenné.
Jsme však přesvědčeni, že je stejně důležité shromažďovat a analyzovat údaje, které
umožní vylepšování sociálních programů. A pokud se důraz příliš vychýlí na stranu
měření statisticky směrodatných změn v kvantifikovatelných výstupech, připravíme
se o podstatné části celkového obrazu věcí. Ve výsledku tím ztratíme schopnost
obsáhnout bohatost a složitost současných sociálních programů – zvláště když jde
o systémové změny nebo o ucelené komunitní programy.
Následující odstavce představují některé z důsledků práce s omezeným modelem
hodnocení:
7
Důsledek 1: Začneme žít v přesvědčení, že existuje jediný způsob hodnocení.
Většina lidí (dokonce i ti vzdělaní v metodách výzkumu a hodnocení) si neuvědomuje, že použité metody, jako například experimentální modely, jsou součástí širšího
přístupu, obecnějšího pohledu na výzkum. Tyto modely jsou založeny na rozdílných
domněnkách o odpovědích na následující otázky:
■ Jakou povahu má skutečnost?
■ Jak se něco dozvíme?
■ Jaký by měl být vztah mezi vědcem/hodnotitelem a účastníky procesu hodnocení?
Dominantní přístup k výzkumu, který jsme popsali výše (hypoteticko-deduktivní),
odvozený od medicíny a dalších přírodovědných disciplín, představuje jeden takový
model, existují však další. Když v nějakém oboru začne dominovat jeden výzkumný
model, je mnohem snazší zapomenout, že existují další, které odpovídají na jiné
otázky a sledují jiné cíle.
Patton vysvětluje důsledky toho, že jsou opomíjeny jiné modely přístupu, takto:
Zdá se, že výrazné protežování hypoteticko-deduktivního modelu kladoucího
důraz na kvantitativní a experimentální přístup zbavilo převážnou část jeho protagonistů schopnosti vážně se zamýšlet nad jakoukoliv alternativou k modelu
nebo metodám hodnocení. Označení „výzkum“ (nebo hodnocení) je dnes v rámci
dominantního modelu používáno v totožném významu jako „vědecký přístup“
(1997, str. 270–271).
Jinými slovy, lidé začínají být přesvědčeni, že existuje jediný správný způsob hodnocení.
Důsledek 2: Neklademe si a nezkoumáme stejně důležité otázky.
Už jsme si řekli, že se převažující model výzkumu výborně hodí k zodpovězení určitých otázek po dopadech – těch otázek, na které v minulosti byly sociální programy
nuceny hledat odpovědi. Jenže zatímco vyzdvihuje specifické aspekty programu, jiné
důležité rozměry zůstávají opominuty.
Zde do hry opět vstupují modely a východiska výzkumu. Ještě významnější než
vědomí, že existují různé typy přístupů s různými předpoklady o běhu věcí světa
(tzn. neexistuje jediný správný způsob hodnocení), je to, do jaké míry tyto konkrétní
modely/předpoklady ovlivňují otázky, které pokládáme; co konkrétně považujeme za
důležité se dozvědět; jaké metody hodnocení používáme; jaké údaje shromažďujeme;
a dokonce k jakým interpretacím a závěrům dospějeme.
Pokud si neuvědomujeme, že rozvrh a výsledky hodnocení vycházejí z určitého přístupu nebo souboru předpokladů o tom, jak provádět hodnocení, je obtížnější si všimnout
8
ČÁST PRVNÍ
otázek a témat, která zůstávají stranou. Některé otázky a témata se stanou středem
pozornosti jedině v případě, že se na program podíváme optikou jiného přístupu.
Běžné metody výzkumu nám například neprozradí, jak, proč a za jakých podmínek
program dosahuje výsledků ani komu může být určen, a obdobně nezodpovědí další
procesní a realizační otázky. Přitom s ohledem na stále složitější sociální problémy
a situace dneška a na stále složitější sociální programy, které tyto problémy mají řešit,
existují významné otázky, na něž je třeba hledat odpovědi.
Důsledek 3: Nejsme schopni hodnotit
komplexní systémové změny a ucelené komunitní programy.
Tento důsledek je snad ze všech nejnebezpečnější. V politickém a společenském klimatu, který se vyznačuje rostoucí neochotou podporovat znevýhodněné skupiny obyvatel a skepticismem k užitečnosti jakýchkoliv sociálních programů, dochází k tomu,
že řada velmi slibných programů je nedoceněna nebo v ohrožení nedostatku zdrojů.
Jde především o programy systémových změn a o ucelené komunitní programy,
o nichž víme z praxe, ze zkušenosti nebo zdravým selským rozumem, že do života
vnášejí reálné změny.
Takové programy jsou však složité a nepřehledné. Nepatří do kritérií „seriózního“ kvantitativního hodnocení dopadů. Nesledují jednoduché uniformní cíle. Neexistuje standardizovaný způsob intervence, dokonce ani standardní účastník/spotřebitel. Dopady intervence nelze izolovat, protože programy integrují celou škálu různých typů intervence.
A protože tyto programy vycházejí z mnohostranných a mnohovrstevných komunitních partnerství, jejich cíle a klíčové aktivity/služby se neustále proměňují
a vyvíjejí, aby uspokojily potřeby a priority různorodých účastníků místního života. Zkrátka a dobře, tyto programy jsou prostřednictvím převládajícího přírodovědného přístupu „nehodnotitelné“ (Connell, Kubisch, Schorr a Weiss, 1995).
Co to znamená? Znamená to, že většina podobných programů vůbec není hodnocena, což značně ztěžuje situaci místních komunit, když chtějí prokázat svou efektivitu. Znamená to, že zbývající programy jsou hodnoceny tradičními metodami. To vede
buď k zúžení projektu, aby se vešel do rozvrhu hodnocení (což je problém, pokud to,
co skutečně přináší výsledky, je právě šíře nebo mnohostrannost programu), nebo ke
klasické zprávě, která dojde k závěru, že dopady programu jsou omezené (protože
výsledky se u podobných programů mohou dostavit za mnohem delší dobu a protože řada stěžejních průběžných výstupů je přehlížena). A konečně to znamená, že se
promrhá spousta peněz a že se dozvíme jen velmi málo o tom, jak tyto programy
opravdu fungují a jaký v nich skutečně dřímá potenciál (Connell, Kubisch, Schorr
a Weiss, 1995).
9
Důsledek 4: Ztratíme povědomí o tom,
že každé hodnocení má politické souvislosti a že je založeno na hodnotách.
Když zkoumáme dopady programu pouze vědeckými metodami, uniknou nám
významné souvislosti. Přidáme-li k tomu skutečnost, že statistické teorie mohou
vyvolat dojem, že před sebou máme neutrální objektivní pravdu, může se snadno
stát, že zapomeneme, že hodnocení je politický proces založený na hodnotách.
Prakticky každá fáze procesu hodnocení má politické důsledky, které ovlivní předmět
zájmu, přijatá rozhodnutí, způsob vnímání programu zvenčí a to, jakým zájmům bude
věnována pozornost a jaké budou ponechány stranou. Proto musí hodnotitelé chápat
důsledky svých kroků v průběhu jednotlivých fází hodnocení a musí být citliví k potřebám vedoucích projektů, řadových pracovníků, klientů a ostatních zúčastněných. Takové chápání vyžaduje neustálý dialog mezi všemi zainteresovanými skupinami a přijetí
odpovědnosti za věrné zachycení projektu v průběhu procesu hodnocení.
Protichůdné záměry, omezené zdroje, různé úhly pohledu a nedostatečně široká
základna sdílených vědomostí mohou vyústit v napjaté vztahy mezi hodnotiteli,
vedoucími a realizátory projektů. Je důležité otevřeně hovořit o tom, jak tyto faktory
ovlivňují proces hodnocení.
Jak tedy nastavit přijatelnější rovnováhu a rozvrhnout hodnocení tak, aby nejen prokazovalo účinnost programu, ale aby nám také umožnilo program zlepšovat a rozvíjet? Následující doporučení tvoří základ našich východisek pro hodnocení:
Doporučení 1: Zkoumejte alternativní typy a metody hodnocení,
které jsou vhodné pro naši práci, a uvažujte o nich.
Už jsme si řekli, že pokud při výzkumu vycházíme z jediného modelu přístupu, je
obtížné mít na paměti, že jde jen o jeden úhel pohledu a ne o jediný legitimní způsob hodnocení. Existují další modely – některé se rozvinuly v rámci jiných disciplín
jako antropologie, jiné vznikly v reakci na převládající modely přístupů. Vzhledem
k tomu, že zde nemůžeme tyto komplexní alternativní modely plně popsat, nabízíme
pro názornost jen několik ukázek, abychom podnítili vaše uvažování.
Interpretativní/konstruktivistický přístup: interpretativní nebo konstruktivistický přístup má kořeny v antropologické tradici. Těžiště pozornosti nespočívá ve vysvětlování, ale v pochopení studovaného fenoménu tím, že probíhají průběžné a úzké kontakty a jsou navazovány vztahy se zainteresovanými osobami (např. intenzivní pozo-
10
ČÁST PRVNÍ
rování a rozhovory). Interpretativní/konstruktivistický přístup se opírá o kvalitativní
údaje a o bohaté popisy, které vycházejí z těchto úzkých, průběžně rozvíjených vztahů s cílem shromáždit „sbírku ucelených pohledů na svět, celistvých světonázorových systémů a komplexních vnitřních psychických a interpersonálních stavů“ (Maxwell a Lincoln, 1990, str. 508). Jinými slovy, co jsou zač lidé, kteří se na programu
podílejí, a co pro ně znamenají nabyté zkušenosti. Ucelené pohledy tohoto typu se
často ztrácejí v běžném hodnocení, které se spoléhá na hodnotitelem určené kategorie shromážděných údajů a těmto souvislostem nevěnuje pozornost.
Hlavním cílem hodnocení postaveného na východiscích interpretativně/konstruktivistického přístupu je porozumění sociálnímu programu z mnoha různých úhlů
pohledu. Tento přístup se soustřeďuje na hledání odpovědí na otázky po procesu
a realizaci a po tom, co nabyté zkušenosti pro účastníky znamenají. Díky tomu nám
může pomoci pochopit souvislosti a komplexnost programu – a přispět k rozhodování o zlepšení řízení a vlastního chodu projektu.
Feministický přístup: feministicky zaměření badatelé a aktivisté (spolu s řadou etnických
a kulturních skupin včetně Američanů původem z Afriky a z Latinské Ameriky) již delší
dobu prosazují změny ve výzkumu a hodnocení, které vycházejí ze dvou zásad:
1. Zkušenosti dívek, žen a menšin byly historicky opomíjeny nebo ignorovány, protože jejich zkušenosti nepasovaly do rozvíjených teorií (teorií postavených převážně na datech o bílých mužích ze střední vrstvy).
2. V konvenčních metodologiích, vycházejících např. z nadřazenosti objektivního
oproti subjektivnímu vědění, odtažitosti badatele/hodnotitele od účastníků a předpokladu nezaujatého výzkumu/hodnocení nesouvisejícího s hodnotami, se objevily vážné trhliny.
Feministické metody výzkumu, které zahrnují velmi rozmanité soubory východisek
a technik, bývají označovány za „kontextové, inkluzivní, experimentální, angažované, sociálně relevantní, využívající řadu metodik, ucelené, byť ne nezbytně přenosné,
otevřené k prostředí a zahrnující emoce a zážitky mezi zkušenosti“ (Nelson, 1990,
strana 6, cit. Reinharz, 1983).
Participativní hodnocení: participativní hodnocení je metoda výzkumu, které se stále
častěji používá v rozvojových zemích a pro řadu komunitních projektů. Vychází převážně z následujících zásad: (1) vytvořit rovnocennější proces, ve kterém hlediska
hodnotitele nejsou o nic významnější než pohledy ostatních zainteresovaných osob
včetně klientů programu; (2) nastavit proces hodnocení a jeho výsledky tak, aby byly
do budoucna prakticky využitelné pro všechny zúčastněné. Participativní přístupy
11
usilují o praktičnost, o využitelnost, o přijetí spoluodpovědnosti za rozhodování ze
strany celé škály zúčastněných a o pomoc při zlepšování realizace a výstupů programu aktivním zapojením všech zúčastněných do procesu hodnocení.
Hodnocení založené na teoretických východiscích: dalším přístupem je hodnocení založené na teoretických východiscích. Využívá se jak v oblasti zneužívání omamných
látek (Chen, 1990), tak v oblasti hodnocení ucelených komunitních projektů (Weiss,
1995). Hodnocení založené na teoretických východiscích se pokouší řešit problémy
související s vyhodnocováním komplexních komunitních programů a dalších iniciativ, pro které se statistická analýza výstupů příliš nehodí. Základním východiskem je
tvrzení, že nemožnost účelně poměřovat konečné výstupy programu statistikou ještě
neznamená, že se o účinnosti programu nemůžeme nic dozvědět. Zastánci hodnocení založeného na teoretických východiscích dokonce tvrdí, že provázání výstupních
dat s pochopením procesů, které k nim vedly, může o dopadech programu a jeho nejvýznamnějších faktorech mnohé prozradit. (Schorr a Kubisch, 1995).
Hodnocení založené na teoretických východiscích vychází z předpokladu, že každý
sociální program je postaven na určité teorii – určitém myšlenkovém postupu, jak
a proč program přinese výsledky. Taková teorie může být buď explicitní, nebo implicitní. Klíčem k pochopení, co je na programu skutečně důležité, je prozkoumání této
teorie (Weiss, 1995). Proces je také znám jako sestavení logického modelu – nebo
obrazu – programu, který popíše, jak program funguje. Hodnotitelé a realizátoři pak
mohou podle předpokladu, jak program dosahuje změny, sestavit klíčové dílčí výstupy (jak pro cílové skupiny, tak pro spolupracující agentury a organizace), které v souhrnu povedou k dlouhodobých výstupům.
Dokumentace takových dílčích výstupů, které jsou měřeny kvantitativně i kvalitativně, nabízí řadu příležitostí. Ukazuje, zda se program rozvíjí správným směrem. Zaznamenávání krátkodobých výsledků poněkud zmírňuje tlak na dokazování dlouhodobých dopadů v průběhu prvního ze dvou roků, případně činí snesitelnější skutečnost, že se o programu nedá nic kloudného říci několik let. Umožňuje to realizátorům projektu upravovat teorii a program na základě toho, co se dozvídají, čímž se
zvyšuje potenciál dosahování dlouhodobých dopadů. Ve výsledku to pracovníkům
umožňuje porozumět a ukázat účinnost (různým zainteresovaným osobám) způsobem, který je pro tento typ komplexních programů smysluplný.
Zmíněný přístup k hodnocení také přináší spoustu důležitých informací o možnostech realizace obdobných komplexních programů. Kde čekají nástrahy? Které složky
jsou klíčové? Jaká ponaučení vyplývají z průběhu programu?
12
ČÁST PRVNÍ
Doporučení 2: Zpochybňujte otázky.
Otevřenost, jež si váží rozdílných úhlů pohledu, je živnou půdou pro reflexi o tom,
kterým otázkám není věnována pozornost a proč. Je možné, že tyto otázky zůstávají skryty za zvoleným přístupem k hodnocení. Nebo jde o otázky, jež nejsou politicky významné pro lidi, kteří mocensky ovlivňují danou situaci. Je možné, že jde
o otázky, které by se mohly dotknout bolestivých zkušeností, o kterých se často
nemluví nebo se ve společnosti veřejně neřeší. Veďte projektový a hodnotící tým
k tomu, aby neustále zpochybňoval otázky a aby se ptal, co zůstalo stranou pozornosti. Navíc je dobré se přesvědčit, že jste se zabývali následujícími otázkami:
■
■
■
■
■
■
■
■
■
Jak program funguje?
Proč měl, nebo neměl výsledky? Pro koho a za jakých podmínek?
Jaký byl proces přípravy a realizace?
S jakými překážkami se průběh programu potýkal?
Co znamenají nabyté zkušenosti pro účastníky?
Jak tyto významy souvisejí se zamýšlenými výstupy?
Jaká poučení vyplývají z přípravy a realizace programu?
Jaký vliv měl na přípravu, realizaci, úspěch a překážky programu širší kontext?
Které dopady programu jsou obtížně měřitelné (těžko kvantifikovatelné)?
Jak bychom mohli začít takové dopady účinně dokumentovat?
Doporučení 3: Aktivně se vyrovnejte s vlivem zvolených
přístupů hodnocení, politických souvislostí a hodnot.
Snad ještě důležitější než porozumění všem faktorům, které mohou mít na proces
hodnocení vliv, je přijetí konkrétních kroků, jež se s nimi vypořádají, abyste vy
i kolegové lépe pochopili realizovaný program, to, jak dosahuje výsledků a proč.
Následující tipy mohou využít vedoucí programů a pracovníci, kteří se podílejí na
hodnocení, aby se vyrovnali s vlivem zvolených přístupů hodnocení, politických souvislostí a hodnot:
■ Pronikněte do projektu – snažte se porozumět úlohám, odpovědnostem, organizační struktuře, historii a cílům, ale také tomu, jak politické souvislosti, hodnoty
a zvolené přístupy hodnocení ovlivňují realizaci a dopady programu.
■ Nastavte takové prostředí, aby všichni zúčastnění byli ochotni hovořit o svých
hodnotách a východiscích.
■ Vaše domněnky podrobte zkoumání. Neustále hledejte důkazy pro to, že se mýlíte.
■ Vyptejte se ostatních účastníků, jak se dívají na jednotlivé otázky. Naslouchejte.
■ Mějte na paměti, že „správných“ odpovědí může být víc.
■ Udržujte vazby se všemi účastníky zevnitř i zvenčí daného projektu, pravidelně
s nimi komunikujte a poskytujte jim zpětnou vazbu.
13
■ Zapojte do procesu hodnocení ostatní a pokuste se překonat případný odpor.
■ Připravte konkrétní strategie, jak se vyrovnávat s rozdíly a rozladěním.
■ Zařiďte, aby hodnocení a jejich zjištění byla využitelná a přístupná realizátorům
projektu a klientům. Včasná zpětná vazba a komunikativní vztah s realizátory
projektu a ostatními účastníky zvyšuje ochotu podělit se s hodnotitelem o důležité a citlivé informace.
■ Buďte citliví k pocitům a právům jednotlivců.
■ Tváří v tvář ke zjištěním vytvářejte otevřenou atmosféru, buďte odhodláni k provádění změn a buďte ochotni se učit.
Pro každou z těchto oblastí je možné využít dostupnou literaturu, uspořádat formální nebo neformální prezentace, využít rozesílané oběžníky, komise složené z realizátorů, klientů a dalších účastníků programu, dále stanovit dílčí cíle a oceňovat úspěchy, podporovat flexibilitu a sdílet alternativní úhly pohledu. Uvedené tipy vám
pomohou vypořádat se s politickými souvislostmi, prozkoumat více hodnotových
rámců, východisek a přístupů k hodnocení, pomohou vám dosahovat fundovanějších
rozhodnutí a pěstovat otevřenost prostředí, ve kterém není ohrožující mluvit upřímně o silných ani o slabých stránkách programu.
14
ČÁST PRVNÍ
Kapitola třetí
Tato publikace věnuje pozornost především hodnocení na úrovni projektu, přesto je důležité rozumět širšímu kontextu hodnocení. Rozlišujeme tři úrovně hodnocení. Dohromady nejlépe odrážejí naše sdílené vnímání možností, jak hodnocením posílit projekty jednotlivě i ve větším měřítku.
■ Hodnocení na úrovni projektu
■ Hodnocení významových celků
■ Hodnocení programových iniciativ a formování koncepcí
Za hodnocení na úrovni projektu odpovídají jednotliví vedoucí projektů. Vedoucí
projektu společně s příslušnými zaměstnanci organizace a ve spolupráci se správní radou (případně dalšími relevantními osobami) volí klíčové hodnotící otázky.
Dále rozhoduje, zda hodnocení provede interní hodnotitel, nebo zda najmout
externího konzultanta, a celé hodnocení na úrovni projektu řídí a koordinuje.
Základním cílem hodnocení na úrovni projektu je zlepšovat a rozvíjet podpořené
projekty.
Hodnocení na úrovni projektu lze v zásadě definovat jako důsledné, průběžné
shromažďování a analyzování informací, které se používají pro rozhodování.
Důsledné shromažďování informací
Pokud mají být odpovědi na položené otázky spolehlivé a důvěryhodné pro lidi
v projektu zainteresované, musí hodnocení shromažďovat informace důsledně
a pečlivě. Zdrojem informací mohou být individuální rozhovory, písemné průzkumy, fokusové skupiny, pozorování nebo numerické údaje, jako je například
počet účastníků. Metody shromažďování informací se mohou, nebo by se dokonce měly lišit projekt od projektu, nicméně důsledné shromažďování informací
předpokládá, že důkladně promyslíte, jaké informace potřebujete, a že nastavíte
systém jejich shromažďování a analýzy.
Klíčem pro shromažďování údajů je využívání celé škály zdrojů, hledisek a metod sběru informací. Kvalitní hodnocení zapojí hodnotící tým, který analyzuje,
15
interpretuje, dosahuje shody o významu shromážděných údajů a omezuje pravděpodobnost mylných nebo neplatných interpretací.
Využití pro rozhodování
Vzhledem k tomu, že neexistuje jediný a „nejlepší“ přístup k hodnocení, který
by bylo možné použít v každé situaci, je důležité rozhodnout, jaký je účel hodnocení, jaké otázky mají být zodpovězeny a jaké metody přinesou využitelné
informace, na které se budete moci spolehnout. I když se rozhodnete najmout
externího konzultanta, aby s hodnocením pomohl, projektový tým a další účastníci programu by se měli aktivně podílet na hledání odpovědí na tyto otázky. Vy
znáte projekt nejlíp a víte, co potřebujete. Navíc, protože jste jedním z primárních uživatelů informací získaných hodnocením a protože kvalita přijatých rozhodnutí záleží na kvalitě dostupných informací, je lepší mít „negativní“ informace, na které se můžete spolehnout, než „pozitivní“ informace, kterým příliš nedůvěřujete. Je třeba znovu zdůraznit, že účelem hodnocení na úrovni projektu
není jen dokazování, ale také zlepšování.
Vedoucí neotřelých projektů mají dost práce i bez shromažďování informací,
které budou účastníkům projektu k ničemu. Díky rozhodnutí, kdo bude shromážděné informace využívat, jaké informace budou pravděpodobně vyžadovat
a jak je budou využívat, se vám budou snáze vybírat otázky, na které by hodnocení mělo odpovědět.
Hodnocení na úrovni projektu nesmí být izolovanou činností a nemělo by se provádět jen na konci programu. Realizátoři projektu by měli promyslet, jak z hodnocení učinit smysluplnou součást projektu, která poskytuje významné informace
k řízení programu a k rozhodnutím o poskytování služeb. Hodnocení by mělo být
průběžné a mělo by probíhat v každé fázi projektu od plánování přes zahájení až
po realizaci, případně po rozšíření nebo přenos projektu jinam. Pro každou z uvedených fází mohou být jiné jak nejdůležitější otázky, tak hodnotící aktivity. Nadále však platí, že hodnocení napomáhá projektovému týmu a komunitním partnerům v efektivním rozhodování s cílem průběžně zlepšovat a rozvíjet program.
Příklady některých hodnotících aktivit, které se mohou uplatnit v různých fázích
programu, najdete v pracovním listu A na následující straně.
16
ČÁST PRVNÍ
Pracovní list A
Fáze programu
Možné aktivity hodnocení na úrovni projektů
před projektem
■
■
■
■
■
■
■
zahájení
■ určit základní východiska programu
■ nastavit systém získávání informací a jejich prezentace všem účastníkům
■ vyhodnotit proveditelnost postupů na základě aktuálního stavu lidských
a ostatních zdrojů
■ vyhodnotit údaje, které je možné shromáždit z rutinních projektových aktivit
■ nastavit systém shromažďování údajů, pokud to povede k zodpovězení příslušných otázek
■ shromáždit základní údaje o klíčových výstupech a oblastech realizace
realizace
a modifikace
■ vyhodnotit organizační procesy a faktory prostředí, které brání nebo
přispívají k úspěchu projektu
■ popsat projekt a vyhodnotit důvody změn oproti původnímu plánu
■ analyzovat zpětnou vazbu od realizátorů a účastníků o úspěších a ne-úspěších a využít získané informace k modifikaci projektu
■ poskytnout informace o krátkodobých výstupech projektu účastníkům
a těm, kteří rozhodují
■ využít údaje o krátkodobých výstupech ke zlepšení projektu
■ popsat očekávaný vliv krátkodobých výstupů na dlouhodobé výsledky
■ vyhodnotit předpoklady o tom, jak a proč program dosahuje výsledků, modifikovat podle potřeby
šíření
a udržitelnost
■
■
■
■
■
přenos
a koncepce
■ vyhodnotit vhodnost projektu pro jiné komunity
■ určit, které důležité součásti projektu jsou nezbytné pro jeho úspěch
■ upozornit na konkrétní souvislosti, které bránily nebo přispívaly k úspěchu
projektu
■ pokud je to vhodné, navrhnout strategie sdílení informací s tvůrci koncepcí
a místních politik a nabídnout odpovídající změny
vyhodnotit potřeby a potenciál cílové skupiny/komunity
specifikovat záměry a cíle plánovaných služeb/aktivit
popsat, jak budou plánované služby/aktivity/cíle naplňovat
rozhodnout, jaké zdroje v komunitě budou potřeba a jak budou zajištěny
určit návaznost mezi plány projektu a prioritami v komunitě
získat vstupní informace od zainteresovaných osob a skupin
připravit celkovou strategii hodnocení
sdílet zjištění v rámci komunity a s dalšími projekty
informovat alternativní zdroje financování o dosažených výsledcích
používat nadále hodnocení ke zlepšování projektu a k monitorování výstupů
sdílet nadále informace se všemi účastníky
vyhodnotit dlouhodobé dopady a ponaučení vyplývající z realizace, popsat,
jak a proč program přináší výsledky
17
Grantová podpora nadace je stále cílenější, protože se zaměřuje na skupiny projektů, které řeší otázky, jež považujeme za zvlášť významné. Hlavním důvodem
pro seskupování podobných projektů do „významových celků“ je snaha o větší
koncepčnost a o více systémových změn, než kolik by bylo možné dosáhnout
prostřednictvím jednoho projektu nebo řady nesouvisejících projektů. Hodnocení významových celků je nástrojem, který umožňuje určit, jak určitý soubor projektů dosahuje cílů z hlediska systémových změn. Zástupci projektů, které jsou
zařazeny do významového celku, se pravidelně setkávají na společných konferencích, aby měli vedoucí projektů, hodnotitelé významových celků a zástupci
nadace možnost prodiskutovat, co jim leží na srdci.
Vedoucí projektů se dozvědí zpravidla před obdržením grantu, zda se od nich
očekává účast a spolupráce v rámci širší skupiny. Občas se však stane, že významový celek se formuje až po rozdělení grantové podpory. Proto je důležité mít
přehled a vědět, co to hodnocení významových celků je, i když se v současné
době na práci žádného nepodílíte.
Informace získané hodnocením významových celků obecně používáme ke zvyšování efektivity poskytování grantů, k vyjasnění strategií rozsáhlých programových iniciativ a pro veřejnou diskusi o koncepcích. Hodnocení významových
celků není náhražkou hodnocení na úrovni projektu a hodnotitelé významových
celků také projekty nehodnotí. Už jsme řekli, že za hodnocení jednotlivých projektů ve vztahu k jejich cílům odpovídají příjemci grantů. Hodnocení na úrovni
projektu se zaměřuje na rozvíjení projektů a výstupů, které se týkají účastníků
projektu. Hodnocení významových celků se zaměřuje na posuny v dosahování
širších cílů rozsáhlejší programové iniciativy. Stručně řečeno, hodnocení významových celků se průřezově zabývá skupinou projektů a objevuje jednotící prvky
a témata, která – tím, že se vzájemně potvrzují – nabývají širšího významu.
Hodnotitelé významových celků poskytují zpětnou vazbu ke styčným bodům
a k průkopnickým metodologiím jednotlivých projektů v průběhu trvání programové iniciativy. Hodnotitelé významových celků jsou kromě toho připraveni na
požádání poskytnout technickou pomoc v hodnocení vašich projektů.
Veškeré údaje shromážděné realizátory projektů, které by mohly být užitečné
pro hodnocení významových celků, by měly být zpřístupněny jejich hodnotitelům. Nechceme však, aby hodnotitelé významových celků zasahovali do projektů ani aby vedli hodnocení na úrovni projektů. Informace jsou nadaci předává-
18
ČÁST PRVNÍ
ny v souborném formátu, abychom údaje nemohli přiřazovat jednotlivým klientům nebo účastníkům projektu.
Na hodnocení významových celků je zřejmě nejdůležitější, že jednotlivé projekty mohou těžit z ponaučení získaných v jiných podobných projektech. To, co se
v projektu naučíte vy, může posloužit ostatním.
Hodnocení programových iniciativ a formování koncepcí se věnuje nejširšímu
kontextu. Zabývá se souvislostmi jednotlivých programových iniciativ a koncepčními otázkami. Využívá k tomu informace vybrané a shromážděné jak
v hodnocení na úrovni projektů, tak v hodnocení významových celků, a to
s cílem efektivně rozhodovat o programové skladbě, podpoře a zdrojích. Tento
typ hodnocení dále podporuje komunity při prosazování koncepčních změn na
místní, regionální a celostátní úrovni.
Uvedené tři úrovně hodnocení v souhrnu poskytují údaje z celé škály zdrojů,
úhlů pohledu a úrovní, na jejichž základě lze rozvíjet a vyhodnocovat jednotlivé projekty i skupiny projektů. Interakce profesionálů, ke které dochází na všech
třech úrovních hodnocení, rozvíjí tvořivé, nezatížené uvažování o nových způsobech hodnocení programů a předávání informací, které, jak doufáme, ve
výsledku povede k pozitivním udržitelným změnám na místní úrovni. Informace získané z hodnocení na více úrovních – pokud jsou zkoumány jako provázaný celek – zároveň pomáhají správní radě a pracovníkům nadace efektivně
a solidně rozhodovat o programové skladbě a o strategických koncepcích.
19
2
Část druhá
Obsah
Kapitola čtvrtá:
Tři složky hodnocení na úrovni projektu: hodnocení kontextu, realizace a výstupů
Hodnocení kontextu: Porozumění kontextu projektu
Hodnocení realizace: Porozumění způsobům, kterými byl projekt realizován
Hodnocení výstupů: Stanovení výstupů projektu
Příklady typů logických modelů projektu
Kapitola pátá:
Plánování a realizace hodnocení na úrovni projektu
Krok 7: Analýza a interpretace dat
Využití: Jak sdílet zjištění a využít výsledky hodnocení
Vědění nestačí, musíme je uplatnit.
Chtění nestačí, musíme konat.
J. W. Goethe
20
ČÁST DR UHÁ
Kapitola čtvrtá
Tři složky hodnocení na úrovni projektu:
hodnocení kontextu, realizace a výstupů
Až příliš často se setkáváme s tím, že se běžné hodnocení zaměřuje pouze na
zkoumání výstupů nebo dopadů projektu, aniž věnuje pozornost prostředí, ve
kterém projekt působí, nebo procesům, které během projektu probíhají. Nepochybujeme o tom, že vyhodnocování krátkodobých a dlouhodobých výsledků je
nezbytné a důležité. Nicméně záběr zúžený výlučně na dopady vede k opomíjení stejně významných prvků hodnocení včetně důkladnějšího porozumění, jak
programy a služby dosahují výsledků, komu slouží a za jakých podmínek.
Provázání následujících tří složek hodnocení, vyvinutých předními hodnotiteli
a doporučovaných nadací W. K. Kellogg Foundation – hodnocení kontextu, hodnocení realizace a hodnocení výstupů – umožňuje realizátorům projektů věnovat pozornost širší škále významných otázek, souvisejících s projektem. Kvalitní hodnocení projektu by podle našeho názoru mělo:
■ zkoumat, jak projekt funguje v rámci ekonomického, sociálního
a politického prostředí projektu a komunity (hodnocení kontextu);
■ být k užitku při plánování, zahájení a realizaci projektu, stejně jako při
dokumentaci vývoje projektu (hodnocení realizace);
■ vyhodnotit krátkodobé a dlouhodobé výsledky projektu (hodnocení výstupů).
Jednotlivé složky hodnocení se zaměřují na různé aspekty projektu. Plán hodnocení by proto měl zahrnovat všechny tři složky. Míra důrazu kladená na jednotlivé složky se nicméně odvíjí od toho, v jaké fázi se projekt nalézá, jaký je účel
hodnocení a na jaké otázky chcete najít odpovědi. V souhrnu mohou uvedené tři
složky hodnocení zlepšit efektivitu projektu a jeho budoucí udržitelnost a rozvoj.
21
Hodnocení kontextu:
Porozumění kontextu projektu
Každý projekt je zasazen do komunity, řadu projektů realizují organizace větší nebo zastřešující. Vlastnosti charakteristické pro komunitu nebo zastřešující organizaci ovlivňují plánování
projektu, jeho fungování i schopnost dosahovat projektových cílů. Hodnocení kontextu se
obecně ptá: Které vlastnosti naší komunity nebo zastřešující organizace brzdí, nebo pomáhají dosahovat cílů projektu? Jaké okolnosti mají největší vliv na úspěchy a překážky projektu?
Jak využít hodnocení kontextu
Hodnocení kontextu má v průběhu projektu řadu využití. Na začátku projektu
se hodnocení kontextu může zaměřit na:
■ průzkum potřeb, potenciálu a zdrojů dotčené komunity s cílem naplánovat
účelné a účinné způsoby intervence v kontextu komunity;
■ vnímání politické atmosféry a orientace v kontextu sociálních služeb urče-
ných pro cílovou skupinu s cílem zvýšit pravděpodobnost, že zvolená intervence získá podporu místních organizací a vůdčích osobností.
Pokud proběhnou tyto typy aktivit v raných fázích projektu, často napomohou
zvýšit zapojení komunity, motivují k rozvíjení kontaktů a vztahů mezi místními organizacemi, a občas dokonce dají vzniknout novým koalicím.
V pozdějších fázích zralosti projektu se hodnocení kontextu může zaměřit na:
■ shromažďování informací o kontextu s cílem modifikovat plány projektu,
nebo vysvětlit nastalé obtíže (např. pomalejší růst, než se předpokládalo);
■ objevování silných a slabých stránek komunity a projektu v politických, soci-
álních i environmentálních souvislostech;
■ zkoumání dopadů proměňujících se regionálních a celostátních postojů na
realizaci a výsledky projektu.
Bez těchto informací je velmi obtížné fundovaně rozhodovat o tom, jak projekt
zlepšovat. Navíc platí, že když porozumíte překážkám v prostředí realizace projektu, může být zdánlivě problematický projekt vnímán jako úspěšný, když vezmete v úvahu překážky, které dokázal překonat.
22
ČÁST DR UHÁ
Hodnocení kontextu má zásadní význam také pro přenos programů nebo služeb.
I „úspěšné“ programy je nezřídka obtížné realizovat jinde, pokud konkrétní
okolnosti (vycházející z kontextu organizace, prostředí či osob), které zajistily
úspěch programu, nebyly v procesu hodnocení pochopeny a pojmenovány.
Podrobněji o hodnocení kontextu
Každý projekt je zasazen do různých souvislostí a v těch je důležité se vyznat
a porozumět jim. Už jsme řekli, že rozhodnutí, kterým z nich věnovat pozornost, záleží na fázi, ve které se projekt nalézá, na účelu hodnocení a na konkrétních otázkách, jež má hodnocení zodpovědět. Následující dva příklady ukazují,
jak hodnocení kontextu využít pro zlepšení projektu.
Příklad 1: Průzkum potřeb komunity
Během plánování nového programu, který je určen matkám pobírajícím sociální
dávky, se hodnocení kontextu může zaměřit na demografické údaje o matkách
žijících v komunitě a odkázaných na sociální podporu a na dostupnost a nabídku služeb. Otázky hodnocení kontextu navíc budou věnovat pozornost sociální,
ekonomické a politické situaci v komunitě a speciálně ženám pobírajícím sociální dávky coby podskupině uvnitř komunity. Využití získaných informací tohoto typu v průběhu plánování projektu pomůže zajistit realizaci účelných a kulturně citlivých programových aktivit nebo služeb.
Jednoduchým a účinným způsobem, jak zahájit proces hodnocení kontextu ve
fázi plánování projektu, je průzkum potřeb a potenciálu komunity. Tento proces
vám může pomoci:
■
■
■
■
■
objevit stávající aktivní skupiny v komunitě a pochopit vývoj jejich snah;
objevit stávající formální, neformální a potenciální vůdčí osobnosti;
objevit potřeby v komunitě a mezery ve službách;
objevit silné stránky a příležitosti na úrovni komunity;
porozumět cílové skupině (potřebám i potenciálu) s cílem zvyšovat a rozvíjet
důvěryhodnost projektu pro komunitu;
■ rozvíjet podmínky příznivé pro realizaci projektu zajištěním účasti komunity.
Průzkum potřeb a potenciálu komunity navíc pomůže zvážit přiměřenost cílů projektu a poskytne základní údaje pro pozdější hodnocení výstupů. Formalizovaný
průzkum potřeb může být náročný na čas i na prostředky. Pro většinu projektů
však připadá v úvahu neformalizovaný nebo zjednodušený průzkum potřeb.
23
Příklad 2: Hodnocení organizace
Program, který rok běžel, se v současné době potýká s obtížemi a neví, jak
pokračovat v práci s danou cílovou skupinou. V této situaci může pomoci, když
se hodnocení zaměří na organizační kontext, který přímo ovlivňuje příslušný
program (např. styl vedení, charakteristiky pracovníků – jejich vzdělání, zkušenosti a dovednosti, organizační kultura, poslání, partnerské organizace). Tyto
informace, jsou-li shromážděny a analyzovány pečlivě, mohou pracovníkům
pomoci objevit překážky bránící úspěchu a zlepšení projektu. Pomohou nám
pochopit, proč něco přinášelo nebo nepřinášelo výsledky a proč jsme některých
cílů dosáhli a jiných ne.
Díky hodnocení organizace mohou realizátoři projektu prozkoumat vnitřní
dynamiku projektu a zjistit, jak tato dynamika brání nebo pomáhá úspěchu projektu. Otázky, na které je třeba hledat odpovědi, mohou vypadat následovně:
■ Z jakých hodnot nebo vnitřního prostředí projekt vychází a do jakého širšího
■
■
■
■
■
institucionálního kontextu zastřešující organizace zapadá? V čem se shodují?
Nakolik rozdíly projektovým aktivitám brání?
Jak jsou rozloženy pravomoci, nastavena spolupráce a způsob administrace
mezi projektem a zastřešující organizací? Nakolik jsou vztahy mezi projektem
a organizací jasně vymezeny? Jak se jich dotýkají dosažené výsledky či neúspěchy projektu? Odpovídá toto rozvržení navrhovaným projektovým aktivitám?
Jaká je struktura a rozsah projektu v porovnání se strukturou a velikostí
zastřešující organizace?
Co je charakteristické pro vedení projektu – pro zaměstnance, kteří na něm pracují, a lídry? Jak jsou vyhledáváni členové projektu? Jaká je organizační kultura?
Jaké zdroje (např. finance, lidské zdroje, organizační nebo institucionální
podporu, zkušenosti a příležitosti vzdělávání) má projekt k dispozici? Jaké
zdroje má k dispozici hodnocení projektu?
Do jaké míry se mohou do procesu hodnocení zapojit lidé, kteří jsou zainteresováni na výstupech projektu?
Pokud hodnocení organizace nepomůže plně objasnit silné a slabé stránky projektu ve vztahu k cílové skupině, přichází na řadu prozkoumání dalšího kontextu, a to měnícího se regionálního a celostátního klimatu a jeho možných vlivů
na komunitu a projekt.
Poznámka závěrem: Zkoumání vnějšího a vnitřního prostředí projektu přináší
podklady pro hodnocení realizace a výstupů. Na jeho základě je možné vysvětlit, proč byl projekt realizován daným způsobem, proč bylo určitých cílů dosaže-
24
ČÁST DR UHÁ
no a jiných ne. Hodnocení různých kontextů projektu může navíc upozornit na
situace, které omezují jeho schopnost dosahovat předpokládaných cílů, nebo
dospět ke zjištění, že konkrétní intervence a jejich zamýšlené výsledky je velmi
obtížné měřit či přímo přisoudit působení projektu.
Hodnocení realizace:
Porozumění způsobům, kterými byl projekt realizován
Hodnocení realizace projektu zvyšuje pravděpodobnost úspěchu tím, že poskytne přehled
o tom, co se stalo a proč. Úspěšná realizace nového projektu zpravidla zahrnuje proces přizpůsobování ideálního plánu místním podmínkám, organizační dynamice a programovým
nejistotám. Cesta to bývá křivolaká a vlastní programy a služby nakonec často vypadají jinak
než původní plány. I dobře naplánované projekty je potřeba doladit v průběhu prvních měsíců realizace, a aby bylo možné dosahovat zlepšení, je zpravidla nezbytné získávané informace průběžně analyzovat.
Každý vedoucí projektu už hodnocení realizace používal, ať už ho nazýval hodnocením nebo
jinak. Hodnocení realizace projektu se zaměřuje na zkoumání hlavních aktivit, které mají dosahovat cílů projektu a zamýšlených výstupů. Otázky, na které hodnocení realizace hledá odpovědi, zahrnují: Jaké jsou klíčové složky/aktivity projektu (explicitní i implicitní)? Jak se tyto
aktivity vztahují k cílům a zamýšleným výstupům projektu? Které aspekty procesu realizace
zajišťují úspěch projektu a které pro něj představují překážky?
Jak lze využít hodnocení realizace projektu
Hodnocení realizace věnuje pozornost široké škále prvků. Lze je využít například pro:
■ objevení a co nejširší využití silných stránek, které mohou napomoci rozvoji
■
■
■
■
■
■
■
■
projektu;
objevení a minimalizaci překážek znesnadňujících realizaci projektu;
stanovení, zda cíle projektu odpovídají potřebám cílové skupiny;
vyhodnocení, zda dostupné zdroje umožňují realizaci projektových aktivit;
zhodnocení způsobu zapojení členů projektového týmu a vyhodnocení jejich
postřehů;
zhodnocení názorů komunity na projekt;
určení povahy interakce mezi pracovníky a klienty;
zjištění kvality služeb poskytovaných v rámci projektu;
dokumentaci systémových změn;
25
■ monitorování zkušeností klientů a ostatních účastníků s projektem a spoko-
jenosti se službami poskytovanými v rámci projektu a jejich využívání.
Podrobněji o hodnocení realizace projektu
Stejně jako u hodnocení kontextu se hodnocení realizace projektu v důrazech liší
podle fáze, ve které se projekt nachází, účelu hodnocení a konkrétních otázek, které
má hodnocení zodpovědět. Předkládáme tři příklady hodnocení realizace projektu.
Příklad 1: Nové programy
Hodnocení realizace projektu u nové nebo překotně se měnící organizace se může
zaměřit na informace, které pomohou těm, kdo rozhodují, s dokumentací vývoje
projektu a také s průběžným vyhodnocováním. To zjišťuje, zda úpravy a změny
mají návaznost na cíle projektu, zda odpovídají souvislostem vyplývajícím z prostředí a také potřebám cílové skupiny. Má-li k tomu hodnotitel projektu přispět,
musí dobře rozumět – z nejrůznějších hledisek – co se s projektem děje. Jak je
realizován a proč byla v jeho průběhu přijata konkrétní rozhodnutí? Zkrátka, do
jaké míry projekt vypadá a probíhá tak, jak byl původně naplánován? Jsou rozdíly mezi plánem a skutečností smysluplné pro klienty a cíle projektu? Jak projekt funguje v dané chvíli a jaké další změny možná budou potřeba?
Konkrétní otázky mohou zahrnovat:
■ Co v procesu realizace projektu umožňuje dosahovat cílů a co tomu brání?
■
■
■
■
(Do této diskuse by se měli zapojit všichni účastníci, kterých se to týká, jako
jsou klienti/uživatelé, obyvatelé/spotřebitelé, zaměstnanci, administrativa,
členové správní rady, další agentury a tvůrci koncepcí.)
Které z původních strategií nebo aktivit projektu jsou realizovány? Které ne?
A proč?
Jak je možné strategie nebo aktivity, jejichž realizace nebyla úspěšná, upravit nebo uzpůsobit tak, aby fungovaly?
Má projekt dopad na zvolenou cílovou skupinu? Proč? Proč ne? Jaké je třeba
provést změny, aby byl dopad na vybranou cílovou skupinu účinnější?
Jaká ponaučení je možné si odnést z původně plánovaného projektu? Jak je
možné využít je pro průběžnou revizi původního plánu projektu? Odrážejí
změny provedené v programu tato ponaučení nebo jiné, i nesouvisející okolnosti (např. personální situaci, organizační dynamiku atd.)? Jak bychom
mohli provedené změny lépe propojit na zdokumentovaná ponaučení z realizace projektu?
26
ČÁST DR UHÁ
Příklad 2: Zavedené programy
U programu, který již několik let funguje, může být hodnocení realizace projektu rozvrženo jako průběžný cyklus monitorování, zpětné vazby a vylepšování.
Tento typ neustálého monitorování poskytuje realizátorům projektu průběžnou
zpětnou vazbu, díky níž si mohou uvědomit, které aktivity běží, jak mají, a které
je nutné pozměnit a znovu od základu promyslet. Příklady otázek, které má hodnocení realizace projektu zodpovědět, zahrnují:
■ Které projektové aktivity běží, jak mají? Které ne? A proč?
■ Které okolnosti realizace projektu (prostory, načasování akcí, umístění, veli-
kost skupiny, dopravní dostupnost atd.) se zdají nejvhodnější a nejvíce odpovídají potřebám klientů?
■ Které strategie úspěšně podpořily zapojení a účast klientů? Které strategie
nebyly úspěšné?
■ Jak na sebe vzájemně působí jednotlivé složky projektu, jak se doplňují a do
jaké míry vytvářejí smysluplný celek? Které složky projektu jsou pro jeho
úspěch nejdůležitější?
■ Nakolik je realizace projektu účinně podporována organizační strukturou?
Jaké je potřeba provést změny?
Příklad 3: Testování pilotních programů
Vedoucím programů, kteří přemýšlejí o příležitostech budoucího rozvoje, se hodnocení realizace projektu může hodit při testování nových nápadů a rozhodování,
zda dávají smysl a jsou dosažitelné. Navržená podoba takového hodnocení může
zahrnovat předběžné shromažďování údajů od klientů s cílem přesněji stanovit
budoucí cíle a plány na základě neuspokojovaných potřeb nebo chybějících služeb. Konkrétní otázky pro takové hodnocení realizace projektu mohou zahrnovat:
■ Co je na projektu jedinečné?
■ Jaké silné stránky projektu můžeme rozvíjet, abychom uspokojili potřeby,
které nejsou uspokojovány?
■ Kde jsou ve službách/v programových aktivitách mezery? Jak je možné pro-
jekt upravit nebo rozšířit, aby uspokojil potřeby, kterým dosud nebyla věnována pozornost?
■ Je možné projekt účinně přenést jinam? Které faktory realizace jsou klíčové?
Jak mohou přenos jinam ovlivnit nejrůznější vnější okolnosti?
Shrnutí
Hodnocení realizace projektu by mělo zahrnovat následující cíle: zvýšit účinnost
stávajících aktivit podporou vzniku nových nebo úprav původně plánovaných
27
aktivit; poskytovat podporu dlouhodobé udržitelnosti projektu; nabízet vysvětlení, proč je určitých cílů dosahováno a jiných ne, a pomáhat vedoucím projektů
v rozhodování. Hodnocení realizace projektu navíc představuje dokumentaci
vývoje projektu pro dárce a lze je využít při hledání řešení nastalých problémů.
Hodnocení realizace projektu je stěžejním zdrojem informací pro interpretaci
výsledků a pro zvýšení účinnosti a váhy hodnocení výstupů. Vědět, proč projekt
dosahuje cílů, je důležitější než vědět, že jich dosahuje. Hodnocení výstupů vám
poví, jaký měl projekt/služba dopad na účastníky, na organizace a na komunitu.
Hodnocení realizace projektu umožňuje začlenit výstupní údaje do kontextu toho,
k čemu v průběhu realizace projektu skutečně došlo. Pokud nevíme, co přesně se
v projektu odehrálo a proč, je v zásadě nemožné zvolit smysluplná kritéria měření
účinnosti nebo prokázat příčinnou souvislost mezi aktivitami a výstupy projektu.
Hodnocení výstupů:
Stanovení výstupů projektu
Hodnocení výstupů je další důležitou součástí jakéhokoliv uceleného plánu hodnocení. Zabývá se krátkodobými a dlouhodobými výsledky projektu a pokouší se měřit změnu, kterou projekt přinesl. Hodnocení výstupů se může tázat: Jakých stěžejních výstupů chcete dosáhnout?
Jaký má projekt dopad na klienty, na pracovníky, na zastřešující organizaci a na komunitu?
Jaké neočekávané dopady projekt přinesl?
V průběhu hodnocení výstupů je důležité si zachovat pružnost a přizpůsobivost. Často se totiž
stává, že projekt má výstupy, které nebyly uvedeny jako cíle v původní projektové dokumentaci. Také výstupy projektů prevence, zvláště ve složitých, ucelených komunitních programech, jsou velmi obtížně měřitelné. Kvalitní hodnocení zkoumá výstupy na mnoha úrovních.
Takové hodnocení se nezabývá jen výslednými očekávanými výstupy, ale snaží se objevit
také nepředvídané a důležité průběžné výstupy.
Jak lze využít hodnocení výstupů
Hodnocení výstupů hraje důležitou úlohu během všech fází projektu. V raných
fázích se hodnocení výstupů soustřeďuje na:
■ stanovení kýžených a očekávaných výstupů projektu;
■ promýšlení, jak jsou jednotlivé výstupy zaměřené na klienty/účastníky pro-
vázány s konkrétními programovými nebo systémovými výstupy.
28
ČÁST DR UHÁ
Tento typ předběžného hodnocení zvyšuje pravděpodobnost, že realizované aktivity budou provázány s výstupy, kterých se snažíte dosáhnout. Pomáhá také pracovníkům neztrácet ze zřetele, jakých změn u účastníků usilují dosáhnout.
V pozdějších fázích zralosti projektu se účinný proces hodnocení výstupů zaměří na:
■ dokazování účinnosti projektu a přípravu argumentů pro další financování,
rozšíření projektu nebo jeho přenos jinam;
■ zodpovězení otázek, co fungovalo, pro koho, za jakých podmínek a jak zlep-
šovat realizaci programu a poskytované služby;
■ stanovení, které realizované aktivity a které širší souvislosti pomáhají dosáh-
nout výstupů projektu a které tomu brání, určení celkové účinnosti programu.
V následujících oddílech nabízíme škálu informací o hodnocení výstupů
spolu s nejnovějšími nápady k hodnocení výstupů projektů, zvláště u složitých, ucelených komunitních programů.
Typy výstupů
Každý projekt je jedinečný a zaměřuje se na dosažení široké škály rozličných
výstupů. Následující odstavce nabízejí podklady pro uvažování o různých
úrovních výstupů při přípravě plánu hodnocení výstupů.
Výstupy zaměřené na jednotlivce/uživatele
Když se řekne výstupy projektu, lidem se zpravidla vybaví cíle projektu. Problém bývá v tom, že programové cíle jsou často formulovány ve smyslu
poskytování služeb nebo jako systémové cíle (např. snížit počet žen závisících na sociálních dávkách). Chybí jasné prohlášení, jak se díky programu
zlepší situace klienta. Přitom v případě sociálních a dalších neziskových programů se nejdůležitější výstupy přímo týkají jednotlivých klientů/uživatelů.
Zajímá nás odpověď na otázku: „Jak tento program prospěje lidem, kterých
se týká?“ Až si sednete se zaměstnanci a pokusíte se tuto otázku zodpovědět,
ukáže se zcela zřetelně, že „snížení počtu žen závisících na sociálních dávkách“ není cíl zaměřený na klienta – jde o programově nebo systémově
zaměřený výstup.
Existuje řada způsobů, jak snížit počet žen závisících na sociálních dávkách
(deklarovaný výstup), ale ne všechny jsou pro klienty stejně přínosné. Program
se třeba může zaměřovat na rychlé umístění žen na nekvalifikovaná, mizerně
placená místa. Pokud však většina klientů potřebuje získávat a dlouhodobě rozvíjet kvalifikaci a nejrůznější dovednosti, pak taková metoda „snížení počtu žen
29
závisících na sociálních dávkách“ nemusí být z hlediska klientů programu nejvhodnější ani nejpřínosnější.
Změníme-li formulaci výstupu tak, aby byla zaměřena na klienta, jasně se
ukáže, že nám to pomůže napřít pozornost správným směrem a měřit to, co
je skutečně důležité pro zlepšení života žen závisících na sociálních dávkách.
Jeden z hlavních výstupů zaměřených na jednotlivce by mohl znít: „Klienti
získají životní a pracovní dovednosti, které jim umožní uspět ve zvoleném
oboru činnosti“, nebo „Klienti získají životní a pracovní dovednosti nezbytné
k soběstačnosti a ekonomické nezávislosti“.
Výstupy, kterých se budete snažit dosáhnout na úrovni jednotlivce/uživatele,
mohou zahrnovat změnu poměrů/situace klienta, jeho statutu, kvality života
nebo fungování, změnu přístupu nebo chování, vědomostí a dovedností. Některé programy se v oblasti výstupů zaměřených na jednotlivce/klienta mohou
zaměřovat na prevenci nebo udržení stávajícího stavu.
Výstupy programové a systémové
Důraz, který klademe na výstupy zaměřené na klienta, neznamená, že nás
nezajímají výstupy na úrovni programu a systému. Je potřeba promyslet,
jakých výstupů chcete dosáhnout v programu a jakých v rámci širšího systému (např. zlepšená dostupnost case managementu, rozšířené možnosti pracovního uplatnění, posílení partnerství mezi organizacemi). Takové výstupy
by však měly být vnímány jako strategie k dosažení konkrétních výstupů,
které se týkají klientů/uživatelů. Poté, co stanovíte výstupy zaměřené na jednotlivce/klienty, můžete určit, které specifické výstupy na úrovni programu
a systému povedou co nejúčinněji k dosažení deklarovaných zlepšení v životě jednotlivců. Programové a systémové výstupy musí být provázané s výstupy zaměřenými na klienty a pracovníci na všech úrovních organizace by měli
těmto návaznostem rozumět. To jim pomůže neztrácet ze zřetele výstupy
zaměřené na jednotlivé klienty a přitom sledovat naplňování programových
výstupů, které se snáze měří a kontrolují.
Příklad: Program, jehož cílem je zlepšit systém zdravotní péče posílením místní kontroly a rozhodování a zároveň restrukturalizovat financování a poskytování služeb, si jako jeden z hlavních výstupů stanovil výstup zaměřený na jednotlivce/klienta: „zlepšit zdravotní stav příslušníků komunity, na kterou je
program zaměřen“. Realizátorům a ostatním účastníkům však záhy došlo, že
dosažení tohoto cíle bude vyžadovat změny v systému zdravotní péče, v procesech a v rozhodování – na úrovni systémových cílů nebo výstupů.
30
ČÁST DR UHÁ
Konkrétně program využívá dvou nadřazených systémových výstupů, k podpoře a k dosažení primárního cíle zaměřeného na jednotlivé klienty (tj. ke
zlepšení zdravotního stavu). Tyto systémové výstupy zahrnují participativní
rozhodovací procesy a zvýšenou účinnost systému zdravotní péče. Aby dosáhli uvedených systémových výstupů, snažili se realizátoři programu: (1) zavést
participativní transparentní proces rozhodování na komunitní úrovni pro
dosažení zásadní reformy systému zdravotní péče; (2) dosáhnout pokrytí celé
komunity cenově přiměřeným zdravotním pojištěním a zlepšit dostupnost
potřebných zdravotních služeb; (3) nastavit ucelený, integrovaný systém
poskytování služeb, který klade důraz na péči o zdraví, na prevenci nemocí
a na základní péči a který prováže lékařské, zdravotní a sociální služby. Uvedené klíčové cíle a aktivity včetně jejich dosahování a naplňování mají přímou návaznost na systémové výstupy – tj. zavedení participativních rozhodovacích procesů a zvýšení účinnosti systému zdravotní péče.
Projektový tým nicméně zjistil, že je v běhu každodenního pracovního nasazení velmi snadné ztratit ze zřetele, že aktivity, jimž se věnuje s cílem dosáhnout systémových výstupů, nejsou samoúčelné, ale že jde o prostředky
k dosahování klíčového výstupu zaměřeného na jednotlivé klienty, tedy zlepšení zdravotního stavu. Vedoucí programu v jedné komunitě proto přišli
s efektivní metodou, jak pomoci realizátorům projektu a ostatním účastníkům, aby neztráceli ze zřetele spojitost mezi systémovými výstupy a výstupy
zaměřenými na klienty. Metoda spočívala v „naslouchání“ příslušníkům
komunit, ve kterých pracovali. Pracovníci organizace udělali rozhovory téměř
s deseti tisíci obyvatel a zjišťovali jejich názory na to, jak zlepšit zdravotní
stav lidí, kteří v příslušné komunitě žijí. Projektový tým pak propojil výsledky hodnocení se systémovými výstupy a aktivitami, jimž se každodenně
věnoval. Výsledkem bylo, že zaměstnanci dokázali přesně formulovat návaznost mezi tím, co dělají na úrovni systému (zlepšují rozhodovací procesy
a účinnost), a výsledným cílem zlepšit zdravotní stav místních obyvatel.
Výstupy zaměřené na širší rodinu a na komunitu
Důležité je přemýšlet také o tom, jaký má konkrétní cíl zaměřený na jednotlivé klienty skutečný význam v širších souvislostech. Řada programů se zaměřuje na rodiny, na sousedská společenství, v některých případech na celou
komunitu. Kromě výstupů zaměřených na jednotlivce je potřeba promyslet,
jakých chcete dosáhnout výstupů zaměřených na rodinu a komunitu – dílčích
i dlouhodobých. Výstupy zaměřené na rodiny mohou například zahrnovat
zlepšení komunikace, zlepšení spolupráce mezi rodiči, dětmi a školou, zabezpečení dětí před zneužíváním. Výstupy na úrovni komunit mohou zahrnovat
31
zvýšení aktivní občanské účasti a zapojení, snížení kriminality, přesun autority z tradičních institucí na komunitní organizace a skupiny aktivních občanů
nebo užší spolupráci mezi komunitními organizacemi a institucemi.
Dopady na organizace
Projekty mají kromě vnějších výstupů dopady také dovnitř organizace – individuální i institucionální – kterým je důležité rozumět a zdokumentovat je.
Organizační výstupy velmi často souvisejí s tím, jak je program účinný v dosahování výstupů zaměřených na jednotlivé klienty. Jejich pochopení je navíc
významné pro zlepšování řízení programu a zvyšování efektivity organizace.
Otázky, které je při stanovování takových výstupů dobré zvážit, zahrnují:
Personální dopad
Jak projekt ovlivňuje život a kariérní směřování zaměstnanců organizace? Co
nového jim projekt přinesl – nové nasměrování, dovednosti, kariérní příležitosti, rozšířené obzory?
Dopad na instituci/organizaci
Jaký měl projekt vliv na mateřskou organizaci? Způsobuje projekt v organizaci, agentuře, škole nebo univerzitě, která ho realizuje, nevoli? Změnila organizace v důsledku získaných finančních prostředků poslání, zaměření aktivit
nebo klientelu? Došlo k posílení spolupráce mezi institucemi?
Rozvrh a realizace procesu hodnocení výstupů
Jak jsme uvedli výše, významným prvním krokem v procesu hodnocení výstupů je přimět projektový tým a stěžejní účastníky, aby promysleli jednotlivé
úrovně výstupů programu a pochopili, jak je důležité vyjít od výstupů zaměřených na jednotlivce, a ne od programových nebo systémových výstupů.
Jakmile projektový tým pochopí, co je to hodnocení výstupů a k čemu je lze
využít, může si hodnotící tým položit následující otázky, jejichž zodpovězení
umožní rozvrhnout proces hodnocení výstupů:
1.
2.
3.
4.
5.
6.
32
Komu má projekt prospět?
Jakých výstupů hodláte pro cílovou skupinu dosáhnout?
Jak určíte, že jsme výstupů dosáhli?
Jaké budete shromažďovat údaje a jakým způsobem?
Jak budete využívat výsledky?
Jaké si stanovíte mezníky?
ČÁST DR UHÁ
(struktura vychází z práce M. Q. Pattona pro W. K. Kellogg Foundation popsané v Utilitation-Focused Evaluation, vydání z roku 1997)
1. Komu má projekt prospět? Než stanovíte jednotlivé výstupy zaměřené na
klienty, musíte specifikovat cílovou skupinu programu. Komu má projekt
sloužit? Kdo jsou jeho klienti/uživatelé? V tomto směru je důležité být co nejkonkrétnější. Je možné, že zjistíte, že se program zaměřuje na několik podskupin určité cílové skupiny. Třeba program, který je určen ženám žijícím
v chudobě, může dospět k tomu, že je potřeba cílovou skupinu rozdělit na dvě
samostatné podskupiny s rozdílnými potřebami – ženy v nápravné výchově
a ženy na sociální podpoře.
Pokud je program zaměřen na rodiny, můžete výstupy stanovit pro rodinu
jako celek a doplnit je samostatnými výstupy pro rodiče a pro děti. Zde by
opět bylo třeba oddělit několik podskupin uživatelů.
2. Jakých výstupů hodláte pro cílovou skupinu dosáhnout? Jakmile si řeknete, komu přesně je projekt určen, můžete začít formulovat výstupy. Jakých
konkrétních změn hodláte v životě klientů dosáhnout? Jak jsme uvedli, může
jít o změny chování, znalostí a dovedností, statutu, fungování atd. Klíčem je
formulace jasných a jednoznačných výstupů, které mají přímou návaznost na
změny v životě konkrétních lidí.
3. Jak určíte, že jste výstupů dosáhli? Abyste byli schopni měřit účinnost
programu, musíte získat přehled o tom, do jaké míry program dosahuje stanovených výstupů. K tomu je potřeba nějak měřit změny, které má program
přinášet. Jde o další situaci, ve které mohou zaměstnanci a účastníci projektu ztratit ze zřetele výstupy zaměřené na jednotlivé klienty a začít se věnovat
výhradně kritériím a indikátorům kvantifikujícím tyto výstupy.
Výstupy a indikátory se nezřídka pletou dohromady, přitom jde o odlišné koncepty. Indikátory jsou měřitelné aproximace výstupů, kterých se snažíte
dosáhnout. Například sebeúcta sama o sobě je velmi obtížně měřitelná. Skóre
v Coopersmithově testu sebeúcty je indikátorem míry sebeúcty určitého člověka. Důležité je mít na paměti, že výstupem zaměřeným na jednotlivce není
zvýšit účastníkovo skóre v Coopersmithově testu, ale zvýšit míru úcty, kterou
k sobě chová. Coopersmithův test je zkrátka jen jedním způsobem, jak míru
sebeúcty měřit.
33
Program může například navrhnout pravidelné čtvrtletní hodnocení sebeúcty
žáků ze strany učitele. Indikátor se změnil ze standardizovaného, normovaného testu na otevřenější, kvalitativní zhodnocení sebeúcty, výstup nicméně
zůstává stejný: zvýšená sebeúcta.
4. Jaké budete shromažďovat údaje a jakým způsobem? Indikátory, které
zvolíte pro jednotlivé výstupy, budou záviset na názorech členů hodnotícího
týmu, jak nejpřesněji se dá změřit stanovený výstup, dále na zdrojích vyčleněných na shromažďování údajů (získávání a interpretace některých indikátorů je náročná na čas a práci, např. studentská portfolia versus standardizované testy) a na míře zásahu do soukromí, tedy na tom, jak moc metoda shromažďování údajů účastníky obtěžuje. Hodnotící tým by měl také zvážit současnou situaci v hodnocení a možnost využít indikátory, které existují –
pokud nějaké existují – pro konkrétní výstupy, jež hodláte měřit. Doposud se
velmi málo pozornosti věnovalo stanovení jasných, sdílených indikátorů pro
méně konkrétní výstupy ucelených komunitních programů; např. změny
mocenských struktur v komunitě, zvýšená míra zapojení občanů na komunitní úrovni, rozvíjení aktivit vůdčích osobností a budování komunit (Connell,
Kubisch, Schorr, Weiss, 1995).
Běžným problémem je, že programy tímto krokem začínají – nejprve se řekne,
co lze měřit. Program se pak může snažit dosáhnout pouze těch výstupů,
které umí změřit nebo které jsou relativně snadno měřitelné. Vzhledem
k tomu, že měření aktivit a chování lidí nemůže nikdy nabídnout přesný
a spolehlivý obrázek pro všechny výstupy (zvlášť v případě složitějších pocitů a stavů) a že realizátoři a účastníci programů často znají jen určitou část
existujících indikátorů, je velmi pravděpodobné, že zahájení programu stanovením měřitelných ukazatelů povede k omezení potenciálu programu vyloučením klíčových výstupů. Jsme přesvědčeni, že je důležité vyjít z celkových
cílů a výstupů programu, a teprve pak určit, jak se tyto výstupy budou měřit.
Podle našeho názoru je lepší mít smysluplné výstupy, které se obtížně měří, než
snadno měřitelné výstupy, kterým chybí přímá návaznost na podstatu programu, jež má něco přinést konkrétním lidem.
5. Jak budete využívat výsledky? Nakonec je potřeba zajistit, aby zjištění,
která hodnocení výstupů přinese, byla využitelná. Doporučujeme, abyste
s hodnotícím týmem prodiskutovali, jak budete výstupy procesu hodnocení
od začátku využívat. Měli byste si rozmyslet, dokonce ještě než dotáhnete
strategie shromažďování údajů, jak různé výstupní údaje použijete a co konkrétně na základě jednotlivých zjištění podniknete. Zvýší se tak pravděpodobnost, že se soustředíte na klíčové výstupy, že vyberete nejpřesnější a nejsmy-
34
ČÁST DR UHÁ
sluplnější indikátory, že shromáždíte údaje s nejvyšší výpovědní hodnotou
a že je budete analyzovat a interpretovat po smyslu věci. Navíc se zvýší pravděpodobnost, že budete na zjištění reagovat a pracovat s nimi, protože všichni měli od začátku jasno, co shromažďují a proč.
6. Jaké si stanovíte mezníky? Mezníky jsou indikátory vývoje, které specifikují očekávanou nebo kýženou míru dosažení určitého výstupu (např. procento účastníků, kteří se přihlásí do doplňkových vzdělávacích programů,
nebo počet žáků, kteří si zlepší známku ze čtení). Stanovení smysluplných
mezníků umožňuje realizátorům a účastníkům projektu dokumentovat
pokrok v dosahování cílů programu. Mezníky umožňují jasněji a konkrétněji
vnímat, kterým směrem se ubíráte a zda jste úspěšní.
Mezníky se nejlépe stanovují na základě předcházejících výsledků. Může se
tedy stát, že se rozhodnete počkat, až budete mít k dispozici nějaké první
údaje o výstupech, než se do stanovování mezníků pustíte. Pokud si nemůžete dovolit čekat na první výstupní údaje, je možné mezníky nastavit podle
srovnatelných nebo souvisejících programů.
Měření dopadů systémových změn a ucelených komunitních programů
Jak jsme si řekli, k hodnocení dopadů složitějších systémových změn a ucelených komunitních programů je potřeba přistupovat poněkud jinak. Realizace takových programů je náročná a dlouhá a vyžaduje pružný přístup postavený na spolupráci a průběžných modifikacích. Konečné výstupy není léta
vidět a řada kýžených výstupů se velmi obtížně měří tradičními kvantitativními metodami. Přesto jsou takové programy pro dosahování skutečných
změn v komunitách velkým příslibem.
Při hodnocení takových programů je potřeba využívat nových metod, jako je
participativní hodnocení nebo hodnocení založené na teoretických východiscích, abychom zjistili co nejlépe, jak a proč daný program dosahoval výsledků. Pokud společně stanovíte klíčové průběžné výstupy, dokážete lépe zdokumentovat vývoj programu a pochopit, jak dosahuje kýžených dlouhodobých
výstupů.
Existují dvě kategorie průběžných výstupů, jejichž měření byste měli zvážit.
První zahrnuje průběžné výstupy, které se přímo týkají cílové skupiny programu. Například průběžné výstupy související s dlouhodobým cílem omezovat
poskytovanou veřejnou podporu mohou zahrnovat pomoc s ukončováním
vztahů zneužívání či drogové závislosti.
35
Druhá kategorie průběžných výstupů zahrnuje změny schopnosti projektu
nebo komunity dosahovat kýžených dlouhodobých cílů (Schorr a Kubisch,
1995). U projektu, který má zvýšit počet studentů odcházejících studovat na
vysokou školu, může být důležitým průběžným výstupem realizace nového
programu profesionálního rozvoje, jehož cílem je vzdělávání pracovníků psychologických poraden a učitelů, jak motivovat studenty a jak je připravovat
na vysokoškolské studium. Podobně také zlepšení informovanosti o dostupné
finanční podpoře a o stipendiích pro studenty nebo rozšíření počtu a typu letních a mimoškolních vzdělávacích příležitostí pro studenty.
Měření dopadů prostřednictvím logických modelů programu
Užitečnou metodou, jak si zobrazit postup při dosahování průběžných a dlouhodobých výstupů, je zpracování a využívání logických modelů programu.
Jak jsme uvedli výše, logický model programu je diagram fungování programu zobrazující teoretická východiska, na kterých je program postaven. Logický model programu zobrazuje provázanost výstupů (krátkodobých i dlouhodobých) s aktivitami a procesy programu a s jeho teoretickými východisky
a zásadami. Takový model je pro program vodítkem, které jasně ukazuje očekávané fungování programu, následnost jednotlivých aktivit a způsoby dosahování kýžených výstupů.
Příprava a používání logických modelů programů má řadu přínosů. Za prvé
jde o výhody při rozvržení programu. Využívání logického modelu programu
jako součásti procesu hodnocení umožní realizátorům programu soustřeďovat
pozornost na výstupy, provázat průběžné výstupy s dlouhodobými cíli, provázat jednotlivé aktivity a procesy s kýženými výstupy a neztrácet ze zřetele
zásadní východiska programu. Zkrátka a dobře, sestavení logického modelu
programu nám pomáhá jednoznačně ujasnit přemýšlení o programu, o tom,
jak by měl dosahovat výsledků podle původních záměrů, a o tom, jaké úpravy bude případně třeba učinit, až se program plně zprovozní.
Za druhé, logický model programu je výtečným základem pro průběžné hodnocení programu. Ukazuje totiž krok za krokem, jak program dosahuje cílů.
Proto je díky němu možné systematičtěji rozhodovat, které části programu je
potřeba podrobněji prozkoumat, abychom dokázali určit, zda naše předpoklady byly správné, nebo zda jsme se mýlili. Logický model programu pomáhá
zaměřit pozornost hodnocení na měření jednotlivých souborů položek zaznamenaných v modelu a zjišťovat, co se odehrálo, co fungovalo, co ne a ve vztahu ke komu. Hodnotící tým má možnost zjistit, kde model nedrží pohromadě
nebo v čem program nefunguje podle původních záměrů.
36
ČÁST DR UHÁ
Již jsme si řekli, že logické modely a hodnocení založené na teoretických
východiscích jsou užitečné při hodnocení komplexních programů, které mají
výstupy těžko postižitelné (např. širší zapojení komunity) nebo výstupy dlouhodobé, jichž nebude dosaženo několik let. Logický model programu zachycuje průběžné a snáze měřitelné výstupy, které jsou předpokladem dosahování dlouhodobých a těžko postižitelných výstupů. Ve výsledku proto nabízí
užitečný nástroj pro zaznamenávání vývoje komplexních programů a pro
zavádění průběžných zlepšení na základě nových informací.
A nakonec, příprava logického modelu projektu je přínosem sama o sobě. Jde
o interaktivní proces, který vyžaduje spolupráci účastníků na vyjasňování
základní logiky projektu a identifikaci podmínek, které jsou pro úspěch
programu nejpříznivější. Umožňuje rozpoznat chybějící aktivity, nedostatky
v očekávaných výstupech a teoretických předpokladech. Díky tomu je pak
možné provádět změny na základě sdíleného konsenzu a logických postupů
spíše než na základě osobních pocitů, politických manipulací a ideologie. Jednoznačnost uvažování, kterou přináší proces sestavení logického modelu, se
významně podílí na celkové úspěšnosti programu. Model sám je základním
těžištěm diskuse. Můžeme jej použít, když program objasňujeme ostatním
nebo když potřebujeme, aby jej všichni zúčastnění přijali za svůj.
Typy logických modelů programu
Ačkoliv se můžete setkat s logickými modely všech tvarů a velikostí, jako nejužitečnější se ukazují tři typy logických modelů. Prvním typem je model
výstupů. Tento typ postihuje vzájemnou provázanost dlouhodobých a krátkodobých cílů. Důraz je kladen na krátkodobé cíle coby způsob dosahování dlouhodobých cílů. Logický model výstupů je vhodný pro programy zaměřené na
dlouhodobé nebo těžko postižitelné výstupy, které se obtížně měří. Sestavení
logického modelu, který popíše návaznost krátkodobých (nebo průběžných)
a dlouhodobých výstupů, umožní lépe vyhodnocovat vývoj a úspěchy programu a objevit nedostatky a slabé stránky realizace. Příkladem tohoto typu je
Logický model programu komunitního partnerství pro zdraví, viz obr. 1.
Dalším typem logického modelu programu je model aktivit. Tento typ propojuje rozmanité aktivity s odkazem na nutný postup během realizace programu. Určité činnosti je třeba provést, než se lze pustit do jiných. Logický model
aktivit je vhodný pro komplexní programy, které zahrnují aktivity na mnoha
úrovních a partnerství mezi institucemi. V takových případech potřebují mít
všichni účastníci celkový přehled o tom, jak jednotlivé aktivity a procesy
zapadají do soudržného celku a jak dosahují kýžených výstupů. Model navíc
37
nabízí účinný způsob, jak zdokumentovat vývoj a stanovit mezníky coby součást procesu hodnocení. Které aktivity byly dokončeny? Kde se program setkal s překážkami? Jak úspěšně byly aktivity dokončeny? Jaké aktivity a procesy byly objeveny až v průběhu programu, a přitom byly klíčové pro jeho
úspěch? Příkladem tohoto typu je Logický model programu zlepšení zdravotní péče v Calhoun County, viz obr. 2.
Třetím typem logického modelu programu je model teoretických východisek. Tento typ provazuje jednotlivá teoretická východiska, aby objasnil
základní předpoklady, na kterých je program postaven. Je zvláště vhodný pro
ucelené, mnohostranné programy, které se zaměřují na více cílových skupin
(např. na více členů rodiny, na celé komunity, na více institucí nebo organizací v komunitě atd.). Model teoretických východisek je zároveň užitečný pro
jednodušší programy, protože velmi dobře popisuje, proč se očekává, že program bude uspěšný. Příklad tohoto typu viz obr. 3, Konceptuální model podpory rodiny.
Často se stává, že realizátoři projektu zjistí, že musí skloubit dva nebo tři
logické modely programu dohromady. Příklad takového hybridního modelu
viz obr. 4, Řízení lidských zdrojů při strategickém propojení informačních
systémů.
38
ČÁST DR UHÁ
Příklady typů logických modelů programu
Obr. 1
Model výstupů
Logický model programu komunitního partnerství pro zdraví
Pro koho
Předpoklady
Proces
Výstupy
Dopady
Jednotlivci a rodiny
bez zdravotního
pojištění
Zaměřené na klienty
vycházející z komunity
založené na potřebách
Příprava postupů
case managementu
10% nárůst využívání
klinik ze strany
klientů
Jednotlivci a rodiny
s nedostatečným
zdravotním
pojištěním
Integrované zdravotní
a psychosociální
služby
Zlepšení zdravotní
péče pro jednotlivce
a rodiny z daného
okresu, kterým se
nedostávalo služeb
nebo kteří trpěli jejich
nedostatkem
Jednotlivci a rodiny,
kterým nejsou
poskytovány služby
Jednotlivci a rodiny,
kterým jsou
poskytovány
nedostačující služby
Dostupné všem lidem
s nižšími příjmy,
kteří potřebují služby
Spolupráce mezi
partnery s cílem
překonat překážky
v poskytování služeb
Sdílení odborných
znalostí a dovedností
Dokumentace
pacientů
Spuštění grantového
programu na zvýšení
udržitelnosti
Advokacie za zdravotní
potřeby lidí a komunit
Provádění průběžného
hodnocení
20% nárůst v počtu
pacientů využívajících
agentury zapojené
do projektu
10% snížení počtu
klientů, kteří na kliniku
nikdy nechodí
20% nárůst počtu
pacientů, kteří po
absolvování vyšetření
dokončí léčbu
30% nárůst počtu
klientů, kterým se
dostalo odpovídajících
služeb
Všichni klienti mají
stanoveny cíle pro
case management
Zvýšení pojištěneckých výhod
Zjištění neuspokojovaných potřeb a mezer
ve službách
Spolupráce
partnerů
39
Obr. 2
Model aktivit
Logický model programu zlepšení zdravotní péče v Calhoun County
A
B
C
D1
Potřebné vstupy/ zdroje
(průběžně)
Fáze plánování – aktivity
(1994-96)
Fáze plánování – výstupy
(1994-96)
Fáze realizace krátkodobých cílů – aktivity
(1996-97)
1.
2.
3.
4.
5.
6.
7.
Odhodlání vůdčích osobností komunity rozvíjet
sdílenou vizi zlepšování
zdravotního statutu
v celém regionu (A-1-4)
Široká základna občanů
odhodlaných k regionální
systematické reformě
poskytování služeb zdravotní péče
Zásada průběžného zlepšování programu prostřednictvím sdíleného
rozhodování na základě
dat a rozvíjení kapacity
Neutrální skupina, která
bude katalyzátorem dialogu a bude integrovat
reformu do potřebných
aktivit
Neutrální finanční
zástupce/prostředník
a finanční podpora
komunity dostatečná pro
udržitelnost aktivit po
skončení grantu
(A-2)
Technická odbornost
v oboru pojištění, zdravotní péče, advokacie na
úrovni komunity
a v oboru telekomunikací
(A-1-5)
Odborné znalosti v oblasti strategického plánování, managementu, hodnocení a PR
(A-3-6)
1.
2.
3.
4.
5.
6.
Nastavení rozhodovacích
procesů v komunitě (B-2)
Nastavení administrativní
struktury programu (B-3)
Ustavení pracovních skupin, které shromáždí
názory komunity a doporučí plán zlepšení (B-4)
Uspořádání komunitního
setkání k získání zpětné
vazby k vizi a plánování
(B-1)
Příprava strategického
plánu k dosažení
z komunity vzešlé vize
zlepšeného zdravotního
stavu (B-5)
Příprava a provedení
předběžného průzkumu
potřeb, komunikace
a aktivity propagující
myšlenky programu
(B-5)
1.
2.
3.
4.
5.
6.
7.
Navázání spojení mezi
stávajícími vůdčími osobnostmi komunity/zainteresovanými osobami (C-1)
Funkční struktura a personální zajištění pro realizaci (C-2)
Ustavení realizačních
týmů (C-3)
Navržení a schválení
komunitní vize systémové reformy zdravotní
péče (C-6)
Koncepční změny –
plány zdravotní péče,
výměna dat, integrace
služeb, lékařská pomoc –
prozkoumány s cílem
využít je jako určující síly
ve fázi plánování a realizace (C-3,5,6)
Poskytnutí finančního
příspěvku komunity na
podporu telekomunikační
sítě a dalších aktivit
(C-3,5,6)
Viditelná podpora veřejnosti pro vizi vzešlou
z komunity
(C-4, 6)
1.
Příprava, pilotní testování
a propagace sdíleného
modelu rozhodování
(D-5)
2. Rozvíjení schopnosti
účastníků ovlivňovat
tvorbu místních koncepcí
prostřednictvím vzdělávání a náborem nových
zaměstnanců
(D-6)
3. Spotřebitelé, plátci
a poskytovatelé jsou
vytipováni a motivováni
k práci v komisích/pracovních skupinách programu za účelem dosahování společných cílů
(D-1,2,6)
4. Příprava modelu –
dostupnost
v komunitě/pokrytí
vyhodnoceno průzkumem (D-3)
5. Příprava PR, marketingu
a spotřebitelských programů na podporu strategie zapojování (D-4-6)
6. Navržení výměnných protokolů, které podporují
rozšíření společné sítě
(D-3, 4,6)
7. Příprava vzdělávacích
a podpůrných služeb
zajišťujících poskytování
a rozvoj služeb
(D-3,4)
8. Smlouva s programem
o zajišťování průběžného
vyhodnocování stavu
zdravotnictví v komunitě
(D-3,4,6)
9. Podpora poskytnutá
předním projektům zlepšování zdravotních služeb v komunitě
10. Příprava školících a vzdělávacích aktivit vedoucích
k rozvoji kapacity (schopností a dovedností) organizací propagujících zdraví
(D-2,6)
pokračování na další straně
40
ČÁST DR UHÁ
D2
E
F
G
Fáze realizace krátkodobých cílů – výstupy
(1996-97)
Fáze realizace střednědobých cílů – výstupy
(1997-98)
Dlouhodobé
výstupy
(1998-99)
Kýžená změna
1.
Sdílený model rozhodování rozšířen organizacím
ve zdravotní oblasti
(E-1,2)
2. Kapacita členských organizací ovlivňovat tvorbu
veřejných politik se zvýšila (E1-3)
3. V projektových aktivitách
fungují vztahy mezi organizacemi a komunikace
se zlepšila.
4. Strategické plánování
pomáhá zúčastněným
dosahovat sdílenou vizi –
zlepšený zdravotní statut
v Calhoun County
(E-3,4)
5. Kontrakt pro administrátora třetí strany na
aukci/cenu je uzavřen
podle kritérií výboru Aliance plánovaného nákupu zdravotních služeb
(E-4)
6. Uzavření smluv o zdravotní péči sjednané
Aliancí plánovaného
nákupu zdravotních služeb (E-4)
7. Protokoly výměny informací a technologické/
administrativní infrastruktury mají dostatečnou kapacitu na podporu
poskytování služeb
(E-4)
8. Školení a poskytovaná
podpora přispívají k rozšíření systému Informační sítě (E-4)
9. Data komunitního vyhodnocování zdravotní oblasti jsou využívána k fundovanému průběžnému
rozhodování o zdravotní
péči (E-4)
10. Funkční řízení primární
péče a předávání
klientů (E-4)
11. Zvýšení místní
kapacity pro integraci
zdravotních služeb
(E-4)
12. Funkční, komunitou podporované drobné projekty
zlepšování zdravotního
statutu
(E-4)
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
Místní organizace působící ve zdravotní oblasti
více využívají sdíleného
rozhodování
Komunitní advokacie,
která čerpá vliv na základě průzkumů, proměňuje
veřejné koncepce
s dopadem na komunitní
zdravotní statut
Plátci a poskytovatelé
rozvíjejí koordinaci zdrojů
a zlepšují řešení sporů
Zlepšená dostupnost/
pokrytí klientů, kterým
v komunitě nejsou
vůbec nebo nedostatečně
poskytovány služby
Zjištění zvýšeného počtu
smluv o poskytování
zdravotní péče
Decentralizace zdravotnických záznamů
Zdravotnická informační
síť je hybatelem zlepšování zdravotní péče
Dostupná infrastruktura
a zdroje pro udržitelnost
pravidelného komunitního vyhodnocování ve
zdravotní oblasti
Zvýšená integrace systému poskytování zdravotní
péče
Poskytovatelé primární
péče jsou aktivní v programu řízení nemocí
vycházejícího z průzkumů
Zvýšená dostupnost/
participace – propagace
zdraví a primární péče
Komunitní organizace
výrazně přispívají
a poskytují průběžnou
podporu propagaci zdraví
a primární péče
Omezení výskytu sledovaného rizikového
chování
1.
2.
3.
4.
5.
6.
Participativní, kontrolovatelné komunitní rozhodovací procesy o otázkách
zdraví
Komunitní administrativní
proces, který podporuje
shromažďování údajů
o zdraví a koordinaci
tvorby koncepcí, advokacie, řešení sporů a zdrojů
Pokrytí celé komunity
s dostupností přiměřeně
nákladné péče v komunitě – definovaný základní
plán zdravotních služeb
včetně strategie zahrnutí
klientů, kterým se nedostává služeb nebo jsou
jim poskytovány nedostatečně
Na komunitní úrovni fungující informační systém
o zdravotní péči, monitorující parametry výkonu,
kvality a účinnosti vzhledem k nákladům,
dostupné záznamy
a spokojenost zákazníků
Na komunitní úrovni fungující vyhodnocování
zdravotní oblasti – využívá komunitní zdravotní
profily a indikátory
dostupnosti, zdravotního
stavu, systému využívání
zdrojů a rizik
Ucelený, integrovaný
systém poskytování zdravotní péče, který klade
důraz na úlohu propagace zdraví, prevenci
nemocí a primární péči,
integruje systémy lékařských, zdravotnických
a sociálních služeb
1.
2.
3.
Participativní
rozhodování
Zvýšená účinnost systému zdravotní péče
Zlepšený zdravotní stav
41
Obr. 3
Model teoretických východisek
Konceptuální model podpory rodiny
Charakteristiky rodiny
Charakteristiky komunity
Spokojenost rodiny
Přístup/zásady
podpory rodiny
Silné stránky
Procesy
dospělých
Interakce
Bezpečné a starostlivé
Rozvoj zdraví,
programu/rodin
rodinné prostředí
sociálních dovedností,
a vztahy
citového vnímání,
Interakce mezi
Odpovídající rodinné
a jazykových dovedností
Aktivity zaměřené
na rodinu
členy rodiny
zdroje
na rodiče
Interakce mezi
Programové aktivity
na děti
Spokojenost dětí
poznávání
Silné sítě sociální
Úspěch ve škole
rodinami
na komunitu
podpory rodin
Spokojenost komunity
Interakce rodin
a institucí v komunitě
Rozvíjení sociální
odpovědnosti
Bezpečné a starostlivé
prostředí komunity
Přijetí zdravého
Odpovídající komunitní
zdroje
Silné sítě sociální
podpory komunity
42
životního stylu
ČÁST DR UHÁ
Obr. 4
Hybridní/kombinující model
Řízení lidských zdrojů při strategickém propojení informačních systémů
(HRISM)1996
Drexelská
univerzita
Floridská
státní
univerzita
Illinoiská
univerzita
Michiganská
univerzita - SILS
1
Reforma profesionálního
vzdělávání
National Video
Resources, s.r.o.
Rehabilitační
středisko
Crotched Mtn.
Newyorská
veřejná
knihovna
Kongresová
knihovna
Michiganská
univerzita –
M-Link
2
Nová definice
služeb komunitní knihovny
Sdružení
amerických
knihoven OITP
Rada
pro zdroje
knihoven
Zvýšení
schopnosti
profesionálních
zaměstnanců
a veřejných
institucí naplňovat poptávku
po informačních
službách
v komunitách
Nadace
Benton
Foundation
3
Centrum
strategické
komunikace
Posílení hlasu
informačních
pracovníků
a veřejných
knihoven ve
veřejné diskusi
Harvardova
univerzita
Knihovny
za budoucnost
Sdružení amerických
knihoven – fundraising
American
Documentary,
s.r.o.
Nadace LaPlaza
TeleCommunity
Rada městských
knihoven
Greater Kalamazoo
Telecity
43
Sestavení logického modelu programu
Logické modely je možné sestavovat nejrůznějšími způsoby. Výchozím bodem
mohou být prvky stávajícího programu, které jsou následně seřazeny v logickém
sledu. U nového programu, který je ve fázi plánování, je možné vyjít z poslání
a dlouhodobých cílů programu. Dílčí, střednědobé cíle, které vedou k naplňování dlouhodobých cílů, jsou do modelu vkládány před krátkodobými cíli, jež z dílčích cílů vyplynou. Logický model aktivit je možné sestavit obdobným způsobem: dlouhodobé aktivity jsou provázány se střednědobými a s krátkodobými
aktivitami.
Klíčem k sestavování jakéhokoliv modelu je příprava pracovního návrhu, který
může být propracováván v průběhu programu. Největším přínosem logického
modelu je proces jeho sestavování, vyhodnocování a upravování. Účinný logický model se ve skutečnosti propracovává a upravuje opakovaně v průběhu procesu hodnocení souběžně s tím, jak pracovníci a účastníci programu přicházejí
na to, proč a jakým způsobem program dosahuje cílů a jak je udržován v chodu.
Když vyzkoušíte jednotlivé části modelu, zjistíte, které aktivity přinášejí výsledky a které ne. Můžete také přijít na to, že některé výchozí předpoklady byly
mylné a že je potřeba model upravit podle aktuální skutečnosti. Na základě
modelu se budete učit a budete provádět odpovídající změny. Spoustu věcí se
však dozvíte ze zavádění programu do praxe, které by mělo být přímým zdrojem
informací pro sestavování a pro úpravy modelu a pro stanovení mezníků a měřitelných faktorů. Interaktivní proces hodnocení ve výsledku povede k neustálému vylepšování programu, ale také k pochopení programu a jeho chodu ze strany realizátorů i ostatních zúčastněných.
Udržitelnost
Výstupem zásadního významu je udržitelnost. Aktivity související s projektem –
ne-li projekt sám – mohou být udržitelné za peníze samosprávy nebo státu, ze
zdrojů nadací, soukromých dárců nebo po převzetí větší organizací. Úspěšná příprava strategie přechodu z krátkodobého financování na dlouhodobé může být
pro budoucnost projektu rozhodující. Pro potenciální dárce jde o velmi důležité
výstupy.
V souvislosti s tím se pozornost soustřeďuje na podmínky, v nichž působí slibné sociální programy. Objevuje se stále více dokladů, které svědčí o tom, že dlouhodobý úspěch programu má co do činění se schopností klíčových účastníků
měnit podmínky, ve kterých program působí, a vytvářet tím prostředí příznivé
pro další rozkvět programu. Schopnost měnit podmínky, ve kterých program
působí, se pro výsledný úspěch často ukazuje důležitější než míra inovace, s níž
44
ČÁST DR UHÁ
program přichází. Vzhledem k tomu je potřeba věnovat pozornost a dokumentovat sociální, politické, kulturní a ekonomické podmínky, které podporují růst
a udržitelnost nebo které jsou na překážku, a přicházet s účinnými strategiemi
formování příznivých podmínek a proměňování nepříznivých či nepřátelských
prostředí.
Přenos a šíření
Projekt se musí postarat o vlastní udržitelnost. Má-li však mít dopad v širším
kontextu, musí být propracován natolik, aby bylo možné jej přenést jinam nebo
aby bylo možné šířit důležitá ponaučení, která z něj vyplynula. Toho mohou projekty dosahovat publikační činností, spoluprací a účastí v sítích projektů/komunit potýkajících se s podobnými otázkami, prezentací informací na místní, regionální nebo celostátní úrovni, poradenstvím pro podobné projekty nebo asistencí při přenosu projektu do jiných komunit. Veškeré uvedené aktivity patří mezi
výstupy projektu.
Dopad na strategické koncepce
Máme zájem spolupracovat na ovlivňování tvorby strategických koncepcí na
místní, regionální i celostátní úrovni. Víme, že průzkumy a hodnocení zřídka
ovlivňují formování koncepcí přímo. Tvorba těchto koncepcí je ovlivňována složitým prolnutím faktů, předpokladů, ideologie a osobních zájmů a přesvědčení
lidí, kteří o nich rozhodují. Zároveň je však zásadně důležité proaktivně připravovat hodnocení a využívat jeho výsledky, a to nejenom za účelem zlepšování
praktické realizace, ale také s cílem zlepšovat a měnit strategické koncepce na
všech úrovních. Jen smysluplné provázání koncepcí a praxe dává naději na skutečnou a udržitelnou změnu v životě konkrétních lidí a komunit.
Dosažení změny koncepce se může zdát nemožné, tohoto cíle je však často dosahováno sdíleným úsilím, síťováním a spoluprací. Takové aktivity je třeba zdokumentovat stejně jako jakoukoliv reakci na snahu o změnu koncepce.
Následující odstavce nabízejí vodítko pro uvažování o dopadech na strategické
koncepce při přípravě a realizaci hodnocení:
Předem prodiskutujte koncepční cíle. Účinným způsobem, jak zahájit proces
ovlivňování koncepcí, je od počátku ho zařadit do diskuse o přípravě a realizaci
hodnocení. Za prvé je potřeba zajistit, aby každému, kdo se hodnocení účastní,
bylo jasné, jak mohou koncepce a jejich tvůrci zasáhnout ostatním do života.
Pak je možné začít mluvit o konkrétních typech koncepcí, které se pokusíte
ovlivnit. V závislosti na fázi programu a jeho cílech může jít o celou škálu kon-
45
cepcí, od provozních koncepcí vaší organizace přes koncepce větších systémů, ve
kterých pracujete nebo na nichž se podílíte jako partneři (např. místní nápravná
zařízení pro mladistvé, místní správa sociálního zabezpečení) až po krajské
vyhlášky a celostátní legislativu. V diskusi o dopadech na koncepce je dobré si
položit otázky jako: Jaké typy koncepcí bychom rádi změnili a na jaké úrovni?
Koho se snažíme ovlivnit? Co potřebují slyšet? Předem promyslete, co by jim asi
tak mohlo ležet na srdci, a zapracujte otázky do připravovaného hodnocení,
abyste se jim věnovali s předstihem.
Nakonec do plánovaného hodnocení zapracujte koncepční cíle. V mnoha případech se stává, že programové a organizační otázky, na které hodnocení hledá
odpovědi, se mohou významnou měrou týkat koncepcí. Ne vždy je tedy potřeba
vytvořit nový soubor otázek. Může stačit, když stávající hodnotící otázky doplníte o další rozměr.
Promyslete, jaká je cílová skupina programu. Při komunikaci nálezů a zjištění pečlivě zvažte, komu jsou určeny. Jak budou tito lidé reagovat na to, co jste
se dozvěděli? Co jim bude pravděpodobně ležet na srdci? Na co se budou ptát?
Připravte si odpovědi na tyto otázky. Mějte na paměti, že většina tvůrců koncepcí chce jednoduché a přímé odpovědi, kterým každý rozumí. Nechtějí se pouze
dozvědět, v čem je problém, ale také, jak přispět ke zlepšení života lidí. Vystřihejte se abstraktního žargonu průzkumů a vysvětlete, co jste zjistili o tom, proč
a jak program dosahuje výsledků.
Ať už je cílová skupina jakákoliv, nálezy a zjištění hodnocení musí být prezentovány přesvědčivě. To neznamená, že byste měli zkreslovat údaje či zneužívat
výsledky hodnocení k vytváření nepravdivě pozitivních marketingových nebo
PR materiálů. Nabízí se škála způsobů, jak výsledky hodnocení představit
o poznání přesvědčivěji než prostřednictvím tradiční hodnotící zprávy plné
odborného žargonu, kategorií a kritérií odvozených z provedeného výzkumu.
Mluvte o skutečných příbězích a věcech ze života. Jakákoliv prezentace by měla
nabídnout plastický a srozumitelný obrázek o programu a lidech, na které se
zaměřoval.
Řekněte místním, co víte. Významným způsobem, jak dosáhnout koncepční
změny, je informovat širokou veřejnost. Postoje a názory veřejnosti mají dalekosáhlý dopad na tvorbu koncepcí na všech úrovních. Vzdělávání příslušníků
komunity v dotčených otázkách – zvláště v technologickém věku, kdy jsou bombardováni množstvím prázdných a neúplných informací – z nich může učinit
odhodlané zastánce vaší věci a partnery při formování koncepcí.
46
ČÁST DR UHÁ
Účastníci programu a absolventi škol jsou další významnou skupinou, se kterou
byste se měli podělit o výsledky a zjištění vyplývající z hodnocení. Investujete
tím do rozvoje jejich vědomostí a dovedností a pomáháte posilovat jejich hlas.
Účastníci programu bývají často nejnadšenějšími zastánci změny koncepce, protože mohou mluvit jak z vlastní zkušenosti, tak na základě výsledků procesu
hodnocení.
Buďte proaktivní. Nebojte se – v mezích zákona stanoveného platnou legislativou – lobbovat na základě toho, co jste zjistili. Neziskové organizace jsou často
ke slovům „advokacie“ nebo „lobbování“ značně podezíravé a řada hodnotitelů
se „advokační“ úloze hodnocení vyhýbá. Není však nic špatného šířit svoje
poznatky, když jsou podloženy fakty (kvantitativními a kvalitativními), které
jste shromáždili v průběhu fundovaného procesu hodnocení. Pokud hodnocení
provedete důkladně a pečlivě a výsledky podrobíte reflexi, leccos se dozvíte
a o lecčem budete moci mluvit. Nenechávejte si to pro sebe.
Řekněte upřímně, jaké typy koncepcí by na základě zjištění mohly být účinné.
Nenechávejte to na tvůrcích koncepcí nebo na zákonodárcích. Když hodnocení
prokáže, že stojí za to, i oni spíše zvolí účinná, dlouhodobá řešení.
Komunikujte o procesu hodnocení stejně jako o výsledcích. Jak jsme si řekli,
zkušení praktici v sociální oblasti obtížně hledali účinnější způsoby, jak vyhodnocovat složité sociální problémy a sociální programy, které mají tyto problémy
řešit. Co se týče vlastního procesu hodnocení, je třeba stále se mnohému učit
a nabývané poznatky sdílet. Řada tvůrců koncepcí a dárců, stejně jako projektoví pracovníci a výzkumníci, se musí dále vzdělávat a doplňovat informace o silných a slabých stránkách jednotlivých přístupů k hodnocení. Často se stává, že
je program tlačen do určitého typu hodnocení jen proto, že je dárce nebo autor
koncepce přesvědčen, že ví, jak má hodnocení vypadat (tzn. má mít tradiční formát). Rozšiřováním povědomí o potenciálu a o omezeních různých hodnotících
východisek a přístupů pomůžeme vytvářet příznivější prostředí pro zkoušení
a uplatňování přístupů nových.
Shrnutí
Hodnocení výstupů pomůže určit, nakolik úspěšně program pomáhá zlepšovat
život cílové skupiny projektu. Navíc přispěje k zajištění dlouhodobé existence
programu, protože umožní stávajícím i potenciálním dárcům a tvůrcům koncepcí pochopit, čeho program dosáhl a jak.
47
Výsledky hodnocení výstupů by neměly být využity pouze k dokumentaci toho,
že program má oprávnění na existenci, tedy jako potvrzení toho, že program
dosáhl cílů. Hodnocení by mělo být vnímáno i jako zdroj důležitých informací,
které mohou podpořit rozvoj a růst programu. To nás vrací zpět k tomu, jak důležité je provádět hodnocení výstupů souběžně s hodnocením kontextu a realizace.
48
ČÁST DR UHÁ
Kapitola pátá
Plánování a realizace hodnocení
na úrovni projektu
Pochopení východisek, očekávání a hlavních složek hodnocení je jen polovinou
účinného hodnocení na úrovni projektu. Následující kapitola nabízí návod, který
vás – byť není uceleným manuálem – provede procesem plánování a realizace
hodnocení na úrovni projektu coby nedílnou součástí projektu.
Z literatury o hodnocení a z vlastních zkušeností s příjemci grantů v mnoha různých oborech zřetelně vysvítají tři věci. Za prvé, proces hodnocení je jedinečný
pro každý projekt a pro každou komunitu. Neexistuje jediný správný způsob hodnocení. Každý projekt je zaměřen na jiné klienty, využívá rozličné přístupy
k poskytování služeb, klade si jiné cíle, nachází se v jiné fázi přípravy nebo realizace a potýká se s jinými problémy, které vyplývají z kontextu. Proto se bude
navržený proces hodnocení výraznou měrou odvíjet od místních podmínek
a okolností.
Za druhé, existují určité klíčové prvky nebo kroky, kterým musí být v průběhu projektu věnována pozornost, aby mohly být navrženy a uskutečněny takové strategie hodnocení, které povedou k reálným zlepšením.
Za třetí, plánování probíhá průběžně. Níže popsané kroky v praxi nemusí být
vždy lineárně řazeny. Přestože existuje určité pořadí v tom, jak se projekt původně hodlal zabývat jednotlivými kroky, zůstávají svou podstatou proměnlivé
a vyvíjejí se. Rozličné aspekty každého kroku vstupují do hry v celém průběhu
přípravy a realizace strategií hodnocení.
Následující část se zabývá stěžejními otázkami, které je třeba zvážit pro každý
krok předkládaného návodu, jenž je strukturován do dvou fází: plánování a realizace. Je důležité uvědomit si, že proces plánování nekončí zahájením realizace projektu, ale že formuje i její průběh. Každý krok realizace vyžaduje plánování předem. Popisy akčních kroků navíc nemohou být úplné. Účastníci každého projektu musí prodiskutovat, jak nabízený návod upravit na míru konkrétní
situaci a jak díky němu nalézt odpovědi na otázky, které projekt nastoluje.
A konečně, i když je každý krok důležitý sám o sobě, jsou všechny vzájemně
provázané. Účinné a užitečné hodnocení může zajistit jedině promyšlené přepracování uvedených kroků do vašeho vlastního „návrhu akčního plánu“.
49
Plánování
1. Vytipování účastníků a sestavení hodnotitelského týmu
2. Sestavení hodnotících otázek
3. Rozpočet hodnocení
4. Výběr hodnotitele
Každé hodnocení se týká celé škály účastníků. Účastníky jsou v tomto smyslu
osoby nebo skupiny osob, které mají zájem na hodnocení projektu nebo na jeho
výsledcích. Účastníky jsou dárci, realizátoři a administrátoři projektu, osoby
přímo do projektu zapojené nebo uživatelé, vůdčí osobnosti komunity, spolupracující organizace a všichni ostatní, kteří mají – přímo nebo nepřímo – zájem, aby
program byl účelný a účinný.
Účastníky školního programu, který se zaměřuje na rozvíjení komunikačních
zručností a schopností řešit konflikty mezi žáky základních škol, by mohli být
například autoři programu, zúčastnění učitelé, školní rada, administrativa školy,
rodiče, zúčastnění žáci, daňoví poplatníci, dárci a nakonec nezapomínejme na
hodnotitele. Je důležité mít na paměti, že hodnotitelé (ať interní nebo externí)
jsou účastníky hodnocení, a ne neutrálními zástupci třetí strany, jak si spousta
lidí myslí. Hodnotitelé mají jednoznačně zájem odvést dobrou práci.
Chcete-li shromáždit co nejrůznější pohledy na dotčené téma, zapojte do úvodní diskuse o hodnocení co nejvíce účastníků. Jinak se může velmi snadno stát,
že hodnocení rozvrhnete pouze podle potřeb a zájmů několika osob – zpravidla
podle těch s největším vlivem – a že opominete další významné otázky a témata, která se týkají účastníků, již k úvodní diskusi nebyli přizváni.
Zapojení všech účastníků může být pochopitelně nereálné. Pokuste se však při přípravě nebo revizi plánu hodnocení získat připomínky zástupců co nejvíce skupin
účastníků a včas jim poskytujte zpětnou vazbu a informace o výsledcích. Doporučujeme také nominovat přiměřenou skupinu zástupců účastníků do hodnotícího
týmu. Tým by se měl, pokud možno osobně, scházet a průběžně o hodnocení rozhodovat. Práce týmu v průběhu celého procesu hodnocení (nejen na počátku při
50
ČÁST DR UHÁ
přípravě plánu hodnocení) může realizátorům projektu ušetřit spoustu starostí
s hodnocením a zvýšit množství a spolehlivost získaných informací. Navíc se tím
zvyšuje pravděpodobnost, že doporučení budou přijata a uplatněna v praxi.
Tento krok sice bývá značně náročný na čas a skrývá potenciální konflikt, přesto
rozhodně stojí za to. Zapojení široké škály účastníků pomůže zajistit, že proces
hodnocení proběhne hladce: více lidí má zájem a je ochotno pracovat na shromažďování nezbytných informací. Projektový tým nemá z hodnocení obavy, shromážděné informace jsou spolehlivější a odrážejí více hledisek, hodnotící tým je nucen,
aby promýšlel smysl protichůdných informací. Doporučení mají větší šanci na přijetí širší veřejností a na úplnější realizaci, které bude kladeno méně odporu.
Příklad: Programový tým úspěšného dlouhodobého programu, zaměřeného na
rozvíjení veřejného povědomí o problematice povrchových vod a pitné vody,
sestavil hodnotící tým, do kterého byl nominován ředitel programu, klíčoví
zaměstnanci a místní hodnotitel. V počáteční fázi procesu přípravy plánu hodnocení si tým uvědomil, že potřebuje informace a názory dalších lidí „zvenčí“,
zvláště zástupců samosprávy, jako jsou pracovníci odboru vodního hospodářství, stavebního odboru, odboru plánování, ale také stěžejních zastupitelů. Tito
účastníci se sice přímo nepodíleli na realizaci programu, ale šlo o klíčové osoby
pro ovlivňování koncepcí týkajících se kvality povrchových vod a pro rozvíjení
veřejného povědomí a schopnosti zabývat se otázkami komunitního rozhodování, ovlivňujícího kvalitu povrchové a pitné vody.
Uvedení účastníci navíc týmu zprostředkovali jedinečná hlediska. Šlo o lidi, kterých se práce projektového týmu bezprostředně dotkne, a proto dokázali s realizátory nejlépe spolupracovat při testování otázek a volbě konkrétních kroků.
Plán hodnocení se navíc zaměřoval především na shromažďování informací od
účastníků zvenčí. Proto bylo potřeba, aby se zástupci těchto skupin zúčastnili
diskusí o procesech a struktuře shromažďování údajů. Ale jak se nejlépe dostat
k zástupcům místní samosprávy?
Projektový tým se nejprve rozhodl doplnit primární hodnotící tým o zástupce
dalších skupin účastníků. Záhy se však ukázalo, že zapojení všech by znamenalo rozšířit hodnotící tým natolik, že by nedokázal efektivně pracovat. Telefonáty potenciálním zástupcům navíc odhalily další problém. Většina oslovených
sice měla zájem se zapojit a přispívat svými názory, ale když se dozvěděli, kolik
času a energie budou muset hodnocení věnovat, nebyli si jisti, zda si to vzhledem k už tak nabitým pracovním rozvrhům budou moci dovolit. Šlo o veřejné
činitele, takže všichni museli plnit řadu povinností včetně účasti v nejrůzněj-
51
ších komisích a na jednáních nad rámec běžné pracovní doby. Zdálo se nereálné, že by se dokázali jednou za čtrnáct dní nebo jednou měsíčně účastnit setkání hodnotícího týmu.
Místo toho, aby se projektový tým vzdal a pominul důležitý vklad těchto účastníků (což se při hodnocení na úrovni projektu, které se snaží zapojit více účastníků „zvenčí“, velmi často stává), rozhodl se sestavit druhý, ad hoc tým složený přibližně z dvaceti zástupců uvedených skupin účastníků. Tento tým se příležitostně scházel v klíčových okamžicích procesu hodnocení, aby poskytl zpětnou vazbu primárnímu hodnotícímu týmu. Sekundární tým se scházel dvakrát
třikrát do roka k diskusím u kulatého stolu, aby probral konkrétní témata hodnocení a mohl se vyjádřit k následným krokům programu a jeho hodnocení.
Doplňkovým přínosem kulatých stolů bylo společné řešení problémů zástupci
místní samosprávy z různých komunit, vzájemné obohacování a formování
skupiny lidí, kterým téma povrchových vod není lhostejné. To posilovalo nejen
hodnocení programu, ale i program sám.
Primární hodnotící tým navíc vyzval pět zástupců uvedených skupin účastníků,
aby se častěji a více podíleli na formování programových a hodnotících otázek
a témat. Projekt tak získával a zohlednil pestřejší škálu hledisek, přitom však
zapojení do hodnocení zůstalo pro všechny zúčastněné zvládnutelným procesem.
Pamatujte…
■ Množství pohledů nejrůznějších skupin účastníků vám pomůže neztrácet ze zřetele mnohovrstevnost zájmů spojených s projektem. Hodnotící tým bude lépe odolávat tlaku jednotlivých účastníků na rychlá řešení a nebude mít sklon k unáhleným
soudům, pokud zrovna pro projekt nebudou to nejlepší.
■ Účastníci budou mít různé, někdy dokonce protichůdné zájmy a pohledy. Navíc
jsou z hlediska moci v nerovnocenném postavení. Vedoucí projektu má větší
pravomoci než řadový člen týmu. Zákonodárci mají větší pravomoci než žáci
první třídy. Dárce je nadán specifickým vlivem. Položte si otázky: Které účastníky není v procesu slyšet? Proč? V čem můžeme dosáhnout shody a jak nastavíme priority?
■ Hodnotitelé jsou také účastníky hodnocení. Jaké mají zájmy? Jak mohou jejich
zájmy ovlivnit plánování hodnocení, otázky, na které se bude soustřeďovat
pozornost a způsoby interpretace?
52
ČÁST DR UHÁ
Návrh plánu hodnocení bude pravděpodobně vyžadovat četná setkání s hodnotícím týmem a dalšími účastníky. Jedním z prvních kroků, na kterém by měl
hodnotící tým pracovat, je stanovení cílů hodnocení. V této fázi je nejdůležitější
a možná nejnáročnější rozhodnout, na jaké otázky je třeba nalézt odpovědi.
Znovu opakujeme, že kladené otázky jsou závislé na fázi projektu, na místních
podmínkách a na výsledném účelu hodnocení. Základní otázky, na které by hodnocení v průběhu celého projektu mělo hledat odpovědi, zahrnují například:
1. Čeho má projekt dosáhnout?
2. Jak poznáte, že projekt stanovených cílů dosáhl?
3. Jaké aktivity budou v rámci projektu realizovány,
aby bylo stanovených cílů dosaženo?
4. Co může rozvíjet nebo omezovat schopnost dosahovat stanovených cílů?
5. Co řeknete ostatním, kteří mají o projekt zájem?
Při hledání klíčových otázek se inspirujte větším množstvím zdrojů. Možné
zdroje přispívající k formování úvodních otázek zahrnují například:
Zavazující dopis – nadace W. K. Kellogg Foundation po každém rozhodnutí
podpořit projekt posílá příjemci grantu zavazující dopis, jenž zpravidla obsahuje hodnotící otázky, kterým by podle názoru nadace měl projekt věnovat pozornost. Hodnocení na úrovni projektu by se však nemělo omezit pouze na zodpovězení těchto otázek.
Vedoucí projektu – vedoucí projektu je nedocenitelným zdrojem informací,
protože se nejspíš účastnil koncepční přípravy projektu, sepsání projektu, plánování a realizace. Je pravděpodobné, že má o věcech ucelený přehled.
Členové projektového týmu a dobrovolníci – členové projektového týmu
a dobrovolníci mohou přijít s vynikajícími hodnotícími otázkami, protože se
podílejí na každodenním provozu a organizaci vnímají zevnitř.
Klienti projektu – klienti/spotřebitelé mohou hodnotícímu týmu nabídnout
zásadní hlediska, protože se jich přímo dotýkají služby poskytované projektem.
Jejich vnímání projektu bude pravděpodobně zcela odlišné od všech ostatních.
Členové správní rady, poradního sboru a dalších řídících výborů projektu
– tyto skupiny mají často na projektu vlastní zájem a mohou přijít s otázkami,
53
na které se chtějí prostřednictvím hodnocení dozvědět odpovědi. Mohou požadovat, aby určitým otázkám byla věnována pozornost, protože potřebují informace k rozhodování.
Vůdčí osobnosti komunity – vůdčí osobnosti komunity z řad podnikatelů
nebo z oblasti sociálních služeb, státní správy a samosprávy dovedou mluvit
o tématech, která se týkají podmínek cílové skupiny. Díky intenzivní účasti na
životě komunity bývají často nedocenitelným zdrojem informací.
Spolupracující organizace – organizace a agentury, které s příjemcem grantu
spolupracují, by se vždy měly podílet na formulaci hodnotících otázek.
Projektový dokument a další materiály – projektový dokument, korespondence
s dárcem, cíle a aktivity projektu, zápisy z jednání správní rady a poradního sboru
a další dokumenty je také možné využít při formulaci účelných hodnotících otázek.
Odborná literatura a specializovaní konzultanti – potenciálními zdroji informací pro hodnotící tým mohou být další profesionálové v oboru a tematicky
zaměřená odborná literatura.
Podobné projekty – hodnotící otázky lze také získat od vedoucích a členů projektového týmu jiného projektu, zvlášť pokud jde o podobný projekt.
Je jasné, že nebudete mít přístup ke všem výše uvedeným zdrojům ani nebudete
schopni prozkoumat všechny otázky, které připadají v úvahu. Proto je v dalším
kroku třeba, aby reprezentativní vzorek účastníků seřadil potenciální otázky
v pořadí priorit a rozhodl, kterým bude věnována pozornost. Otázky je možné
seřadit v pořadí priorit tak, že je čitelně vypíšete na velký papír, aby se o nich snadno diskutovalo na jednání. Další možností je e-mailová výměna a připomínkování
otázek, jejichž zařazení tým zvažuje.
Aby bylo možné otázky zodpovědět, mějte na paměti, že bude možná potřeba je
dále specifikovat. Například pokud chcete najít odpověď na široce položenou otázku „Co tento projekt přinesl účastníkům?“, budete nejspíš muset zodpovědět několik konkrétnějších otázek jako:
■ Zlepšil projekt využívání klinických vyšetření?
■ Měl projekt dopad na uspokojování citových potřeb účastníků?
■ Snížil projekt počet těhotenství v nezletilosti u naší cílové skupiny
ve srovnání s mládeží v jiných lokalitách?
54
ČÁST DR UHÁ
Účinným způsobem, jak zúžit potenciální záběr hodnocení, je sestavení logického modelu programu. Jak už jsme si několikrát řekli, logický model programu
popisuje, jak program dosahuje výsledků. Podaří-li se vám dosáhnout shody
o logickém modelu programu, zjistíte, že z něj mohou pro hodnotící tým vyplynout jasné body, na které je třeba se soustředit. Logický model pomůže vyjasnit,
které proměnné jsou v dosahování kýžených cílů klíčové. S ohledem na množství otázek, které si ve vztahu k projektu můžete položit, vám logický model
pomůže jejich pole systematicky zúžit zvýrazněním návazností mezi jednotlivými složkami programu, jeho výstupy a východisky. Budete tak snadněji hledat
odpovědi na otázky jako: Jak by měl program fungovat? Kde východiska programu drží pohromadě a kde ne? Kde má model mezery a které předpoklady jsou
nereálné? Které části modelu se podle všeho vyznačují nejvýznamnějšími dopady a návaznostmi na další prvky? Které části modelu nefungují v praxi? Existují klíčová východiska, která v programu nebyla zohledněna a měla by být?
Uspořádání hodnotících otázek na základě logického modelu programu vám
umožní kvalitněji rozhodnout, na které otázky v hodnocení upřít pozornost.
Kromě toho budete schopni lépe využívat zjištění hodnocení ke zlepšování programu prostřednictvím revize modelu a následným sestavením akčního plánu,
který změny zavede do praxe.
Pamatujte…
■
Konkrétní východiska hodnocení/výzkumu, která si hodnotící tým osvojí, ovlivní kladené
otázky. Zeptejte se sami sebe a členů hodnotícího týmu, proč si kladete právě tyto otázky a zda na něco nezapomínáte.
■
Různé účastníky budou zajímat různé otázky. Při rozhodování o otázkách nespoléhejte
na jednoho nebo dva lidi (na externího hodnotitele nebo na dárce). Snažte se získat
pohledy a názory z co nejvíce stran, abyste před rozhodnutím o výběru otázek získali
ucelený obrázek.
■
Důležitých otázek, které stojí za pozornost, je řada. Držte se v jednotlivých fázích hlavního účelu hodnocení a sestavte pořadí prioritních otázek, které je třeba zodpovědět.
Vzhledem k tomu, že se hodnocení stane nedílnou součástí řízení a realizace projektu, můžete se k cílům a otázkám hodnocení průběžně vracet a podle potřeby je upravovat.
■
Prozkoumejte hodnoty, které jsou v kladených otázkách obsaženy. Čí to jsou hodnoty? Jak je vnímají ostatní účastníci projektu, zvláště uživatelé? Nenašly by se jiné
nebo lepší otázky, na kterých by se shodli členové hodnotícího týmu a ostatní účastníci?
55
Hodnocení od organizace vyžaduje investici cenných zdrojů včetně času
a peněz. Přínosy dobře naplánovaného a pečlivě provedeného hodnocení však
převáží nad náklady. Část rozpočtu projektu by měla být určena na realizaci hodnocení. Obecně platí, že hodnocení stojí něco mezi 5 a 7 procenty celkového rozpočtu projektu. Pokud jste v původním rozpočtu podcenili náklady na hodnocení, měli byste požádat o doplňkové zdroje.
Je pravděpodobné, že budete muset přehodnocovat jednotlivé položky rozpočtu
na hodnocení, až doplníte podrobnosti plánu a začnete s realizací. Přesto byste
rozpočet na hodnocení měli považovat za součást plánovacích kroků.
Worthen a Sanders (1987) nabízejí užitečný rámec pro sestavování rozpočtu
hodnocení (viz pracovní list B). Upravte si tento rámec tak, aby vyhovoval potřebám vaší organizace, a doplňte výdaje, které v něm nejsou uvedeny. Jednotlivé
kategorie zahrnují:
1. Platy a odměny hodnotícího týmu – Náklady budou ovlivněny množstvím času, které s hodnocením musí strávit zaměstnanci organizace,
a mírou odbornosti nezbytnou k provedení jednotlivých úkolů hodnocení.
2. Konzultanti – Pokud vaši zaměstnanci potřebují s hodnocením pomoci,
budete muset najmout externího konzultanta. Konzultanti mohou nabídnout specializovanou odbornost nebo jiný pohled na proces hodnocení.
3. Cestovné – Cestovní náklady pro zaměstnance nebo hodnotitele se liší projekt od projektu. Projekty, které probíhají daleko od sídla hodnotitelů,
a projekty, které běží zároveň na několika místech, mohou vyžadovat vysoký rozpočet na cestování. Všechny projekty by navíc do rozpočtu měly
zahrnout cestovní náklady na hodnotící konferenci.
4. Komunikace – Rozpočet musí zahrnovat náklady na komunikaci, například poštovné, telefony atd.
5. Tisk a kopírování – Tyto náklady pokrývají přípravu nástrojů shromažďování údajů, zprávy a další dokumenty.
6. Tištěné materiály – Tato kategorie zahrnuje náklady na získání nástrojů
poskytujících data a také podkladových materiálů z knihoven.
7. Vybavení a zařízení – Tato kategorie pokrývá náklady na konkrétní vybavení a zařízení (např. počítače, software), jež je k hodnocení třeba zakoupit nebo pronajmout.
56
ČÁST DR UHÁ
Pracovní list B
Plánování rozpočtu hodnocení
1. rok
2. rok
3. rok
4. rok
1. Mzdy a odměny členů
hodnotícího týmu
,-Kč
,-Kč
,-Kč
,-Kč
2. Konzultanti
,-Kč
,-Kč
,-Kč
,-Kč
3. Cestovné
,-Kč
,-Kč
,-Kč
,-Kč
4. Komunikace
(poštovné, telefony atd.)
,-Kč
,-Kč
,-Kč
,-Kč
5. Tisk a kopírování
,-Kč
,-Kč
,-Kč
,-Kč
6. Tištěné materiály
,-Kč
,-Kč
,-Kč
,-Kč
7. Vybavení a zařízení
,-Kč
,-Kč
,-Kč
,-Kč
8. Ostatní
,-Kč
,-Kč
,-Kč
,-Kč
9. Ostatní
,-Kč
,-Kč
,-Kč
,-Kč
10. Celkem
,-Kč
,-Kč
,-Kč
,-Kč
57
Pamatujte…
■
Je pravděpodobné, že budete muset rozpočet měnit. Zaveďte mechanismus revize a úpravy rozpočtu hodnocení na základě toho, co se v průběhu hodnocení odehraje.
■
Rozpočty hodnocení často nepočítají s dostatkem zdrojů na analýzu a interpretaci. Abyste zajistili dostatek zdrojů na analýzu a interpretaci, promyslete, jak
ušetřit čas a peníze v průběhu přípravy, shromažďování údajů a psaní zpráv.
■
Kvalitativní hodnotící studie založené na interpretativních a konstruktivistických
východiscích mohou být velmi účelné pro proniknutí do programu a pro skutečné porozumění, jak a proč program dosahuje cílů. Takové studie často bývají
značně nákladné na realizaci, neboť vyžadují spoustu času na rozhovory a na
pozorování účastníků projektu. Promyslete, jak využít členy projektového týmu,
dobrovolníky nebo obyvatele, a pokuste se začlenit techniky kvalitativního sběru
a analýzy informací do každodenního provozu projektu.
■
Zvažte, zda nesestavit také časový rozpočet hodnocení a přehled nákladů/zdrojů. Čas, který hodnocením strávíte, se bude lišit v závislosti na otázkách, na něž
se snažíte odpovědět, na dostupných lidských a finančních zdrojích a dalších
vnějších faktorech. Otázky času a načasování je potřeba dobře promyslet, abyste zajistili, že hodnocení bude proveditelné a že vám poskytne přesné, spolehlivé a užitečné informace. Spousta projektů v rozpočtu nepočítá s dostatkem času
na hodnocení. Může se tak stát, že hodnocení nakonec není tak přínosné a užitečné, jak se původně očekávalo. Časový rozpočet může v tomto ohledu výrazně
pomoci.
Již jsme uvedli, že ne všechny projekty musí nezbytně mít nezávislého hodnotitele. Tato publikace je naopak napsána proto, aby pomohla příjemcům grantů
v hodnocení vlastními silami. Hodnocení je zásadní myšlenkový proces a šikovný projektový tým nerad toto přemýšlení nechává na někom zvenčí. Přesto je
v určitých případech na místě využít odborníky na hodnocení.
Typy hodnotitelů
Obecně existují tři typy hodnotitelů: externí hodnotitelé, interní hodnotitelé
a interní hodnotitelé spolupracující s externím konzultantem. Musíte sami rozhodnout, který typ hodnotitele je pro projekt nejpřínosnější.
58
ČÁST DR UHÁ
Externí hodnotitel
Externí hodnotitel je na hodnocení pronajat jinou agenturou nebo organizací.
Takové hodnotitele najdete často při univerzitách nebo vysokých školách, při
nemocnicích, v konzultačních firmách nebo v institucích spolupracujících s projektem. Externí hodnotitelé mají vlastní zázemí ve své organizaci, takže mají
obecně přístup k více zdrojům než interní hodnotitelé (tzn. počítačové vybavení, podpůrný personál, odborné materiály atd.). Navíc mívají širší odborné zkušenosti s hodnocením než interní hodnotitelé, zvláště když se hodnocení na
úrovni projektů profesně věnují nebo již provedli větší výzkum, který se dotýkal
vaší cílové skupiny. Externí hodnotitelé mohou navíc přinést jiný pohled na hodnocení, protože nejsou s projektem přímo svázáni. Jistá odtažitost však může
být i nevýhodou. Externí hodnotitelé nejsou členy projektového týmu, každodenní provoz projektu jim může být cizí, jejich znalost potřeb a cílů projektu tím
může být omezena, stejně jako přístup k aktivitám projektu.
Interní hodnotitel
Druhou možností je předat odpovědnost za hodnocení členovi projektového
týmu nebo zaměstnat hodnotitele, který se stane členem projektového týmu.
Interní hodnotitel nemusí mít na starosti jen hodnocení, může mít další odpovědnost. Interní hodnotitel pracuje v rámci projektu, a tak k němu může mít
blíže, zná lépe projektový tým, příslušníky komunity, má přístup k organizačním zdrojům a získává více neformálních zpětných vazeb od všech účastníků
projektu. Internímu hodnotiteli nicméně může chybět pohled zvenčí a odborné
dovednosti externího hodnotitele.
Když najímáte interního hodnotitele, mějte na paměti, že univerzitní vzdělání
v oblasti hodnocení nebývá tak časté. Mnoho lidí, kteří nyní pracují jako hodnotitelé, v minulosti vykonávali manažerskou nebo administrativní práci nebo se
zabývali aplikovaným výzkumem společnosti. Zkuste proto vybírat ne ty, kdo
sami sebe označují za profesionální hodnotitele, ale ty, kdo už mají za sebou
zkušenost s hodnocením podobných typů projektů.
Interní hodnotitel spolupracující s externím konzultantem
Poslední možností je skloubit kvality obou předcházejících typů hodnotitele. Hodnocení provádí člen projektového týmu a externí konzultant ho podporuje v technických a odborných aspektech hodnocení a pomáhá shromažďovat specializované informace. V této kombinaci si hodnocení může udržet nadhled, aniž ztrácí
výhodu interního hodnotitele, který se o projektu vše dozvídá z první ruky.
59
Úloha hodnotitele
Ať se rozhodnete pro externího nebo pro interního hodnotitele nebo pro nějaké
skloubení práce obou, je důležité promyslet, jaká je úloha hodnotitele. Podobně
jako se rozrůznily cíle a přístupy k hodnocení na úrovni programu, rozrůznily
se i úlohy hodnotitelů a jejich vztahů k hodnocenému programu. (Zároveň je
třeba si uvědomit, že představa hodnotitele zastávajícího hned několik rolí je
kontroverzní. Lidé, kteří vyznávají tradiční schéma hodnocení, nadále vnímají
úlohu hodnotitele jako úzce vymezenou na posuzování přínosu či hodnoty programu.)
Z našeho pohledu hlavním cílem hodnocení je aktivně zapojit účastníky projektu do procesu hodnocení a dosáhnout toho, že proces hodnocení a vyplývající
zjištění budou smysluplné a využitelné těmi, kdo ve výsledku nesou odpovědnost za zlepšování a průběžnou revizi programu. V důsledku to znamená, že
neexistuje jediný správný způsob hodnocení. S ohledem na tento předpoklad
patří mezi stěžejní dovednosti šikovného hodnotitele především schopnost
naslouchat, vyjednávat, propojovat různé pohledy na věc, analyzovat konkrétní
situaci a pomáhat hodnotícímu týmu s přípravou plánu hodnocení, který přinese užitečné a zásadní informace a konečné výstupy.
Programový tým by měl společně s účastníky projektu promyslet, jaké potenciální role by hodnotitel mohl sehrát, a rozhodnout, která role či kombinace rolí
hodnotitele je nejvhodnější s ohledem na danou situaci, účel hodnocení a otázky, na které se pokoušíte odpovědět.
Jednou z významných věcí, které je třeba promyslet, je vzájemný vztah mezi
hodnotitelem a stěžejními účastníky programu nebo hodnotícím týmem. Mezi
otázky, které bychom měli promyslet, patří: Měl by tento vztah být odtažitý,
nebo má jít o vztah aktivní, úzké spolupráce? Do jaké míry bude o procesu hodnocení rozhodovat hodnotitel a do jaké míry účastníci programu/hodnotící tým?
Jak aktivní by měli být v procesu hodnocení klíčoví členové projektového týmu
a účastníci programu?
V závislosti na hlavním účelu hodnocení a podle toho, s kým nejblíže spolupracuje (dárce, projektový tým, účastníci programu nebo příslušníci komunity),
může být hodnotitel považován za konzultanta, který má pomoci vylepšit program; za člena týmu, který se specializuje na hodnocení; za spolupracovníka; za
facilitátora procesu hodnocení; za odborníka obhajujícího určité téma; za odborníka na syntézu. Je-li účelem hodnocení stanovit přínos nebo hodnotu programu, je dobré poohlédnout se po hodnotiteli, který je příslušně metodologicky
60
ČÁST DR UHÁ
vybaven a má zkušenosti. Pokud se hodnocení zaměřuje na vylepšování programu, budete hledat člověka, který se v programu dobře vyzná a dokáže jej reflektovat. Je-li primárním cílem hodnocení příprava nového programu na základě
toho, co v předchozím projektu fungovalo, musí být hodnotitel silným týmovým
hráčem s analytickými schopnostmi.
Zkušenost nicméně ukazuje, že nejdůležitější vlastností hodnotitele je schopnost
pružně reagovat na aktuální situaci a řešit vyvstalé problémy.
Obr. 5 na následující stránce nabízí shrnutí konkrétních situací, na které program může narazit, a jejich dopadů na úlohu hodnotitele.
61
Obr. 5
Situace vyžadující od hodnotitele specifické dovednosti
Situace
Nárok
Požadovaná dovednost hodnotitele
1. vysoce kontroverzní
téma
zprostředkování různých
úhlů pohledu
dovednosti v řešení konfliktů
2. program hodně
na očích
vypořádání se s publicitou programu, komunikace zjištění
v mediálním prostředí
dovednosti veřejné prezentace
dovednosti grafického zpracování
dovednosti v práci s médii
3. velmi proměnlivý
program
přizpůsobování se změnám
kontextu, témat a zaměření
tolerance pro víceznačnost
schopnost rychle reagovat
flexibilita
schopnost rychle se učit
4. multikulturní nebo
mezinárodní program
zohlednění různých perspektiv
a hodnot, udržení povědomí
o kulturních omezeních a předsudcích
citlivost k odlišným kulturám
schopnost pochopit a zohlednit různé
úhly pohledu
5. týmová iniciativa
řízení lidí
schopnost objevit a využít
dovednosti členů týmu
schopnost rozvíjet týmového ducha
a týmovou práci
6. hodnocení je
napadeno
uchování důvěryhodnosti
klid
schopnost držet se průkazných
zjištění a závěrů
integrita
7. zkorumpovaný
program
vypořádání se s etickými otázkami, dodržování standardů
vyhraněný cit pro etické otázky
upřímnost
Upraveno podle: Patron, Utilization-Focused Evaluation, str. 131
62
ČÁST DR UHÁ
Jak hledat hodnotitele
Snad největší frustraci v oblasti hodnocení přináší shánění hodnotitele. Často
jsou dobrým zdrojem vysoké školy a univerzity, stejně jako soukromé firmy,
které najdete v telefonním seznamu v oddíle „konzultanti managementu“. Hodnotitele může doporučit také příslušný dárce, pokud vede databázi konzultantů,
kteří se hodnocení věnují.
Kvalifikace hodnotitele
Než si mezi potenciálními hodnotiteli začnete vybírat, měli byste stanovit, jakou
má mít váš hodnotitel kvalifikaci. Můžete například požadovat znalost dané
komunity nebo předchozí zkušenost s prací s příslušnou cílovou skupinou. Jiný
program může požadovat hodnotitele, který má zkušenost s konkrétním tématem nebo s hodnocením určitého typu projektu. Worthen a Sanders (1987) doporučují, aby hodnotitel měl některé základní kvalifikace včetně formálního vzdělání v oblasti hodnocení; další vzdělání, které s hodnocením souvisí; odborné
vzdělání v souladu se zaměřením projektu; předchozí zkušenosti s hodnocením
a osobní předpoklady, které vyhovují vaší organizaci. Níže najdete pracovní list C
s podrobnějšími údaji o základních kvalifikacích hodnotitele.
Pracovní list C
Pomocný seznam pro výběr hodnotitele
Hodnotitel je:
(zaškrtněte jednu možnost pro každou položku)
1. Do jaké míry hodnotitele k hodnocení kvalifikuje jeho formální
vzdělání? (zvažte dosažený stupeň vzdělání, absolvované speciální
kurzy zabývající se metodologií hodnocení, zda se potenciální hodnotitel podílel na aplikovaném výzkumu v příslušné oblasti atd.)
dostatečně
kvalifikovaný
nedostatečně
kvalifikovaný
nelze posoudit
3. Do jaké míry odpovídá profesionální zaměření potenciálního hodnotitele požadovanému přístupu k hodnocení? (zvažte zaměření
základních východisek a metodologické zaměření)
odpovídá
přijatelně
neodpovídá
přijatelně
nelze posoudit
4. Do jaké míry potenciálního hodnotitele k hodnocení kvalifikují jeho
předešlé zkušenosti? Jaké má předchozí zkušenosti s podobnou
prací? (projděte ukázky prací nebo kontaktujte referenční osoby)
dostatečně
kvalifikovaný
nedostatečně
kvalifikovaný
nelze posoudit
5. Do jaké míry je přijatelný osobní styl a vlastnosti hodnotitele? (zvažte takové aspekty, jako jsou poctivost, povaha, schopnost komunikovat, osobní zvyky/způsoby, schopnost řešit konflikty atd.)
přijatelný
nepřijatelný
nelze posoudit
Shrnutí
Do jaké míry je potenciální hodnotitel kvalifikovaný a přijatelný, aby
provedl hodnocení, vycházíme-li z výše položených otázek?
dostatečně
kvalifikovaný
a přijatelný
nedostatečně
kvalifikovaný
a nepřijatelný
kvalitu ani
přijatelnost
nelze posoudit
2.
Do jaké míry potenciálního hodnotitele k hodnocení kvalifikuje
předchozí zkušenost s hodnocením? (zvažte rozsah zkušeností
a jejich relevanci)
63
Kdy najmout hodnotitele
Pro to, abyste najali hodnotitele, sice neexistuje „nejvhodnější“ okamžik, ale zkušenost ukazuje, že úspěšné projekty hodnotitele najímají spíše dříve než později.
V ideálním případě může hodnotitel pomoci již v raných fázích psaní projektu.
Pokud to není možné, měli byste hodnotitele najmout předtím, než začnete projekt realizovat, nebo alespoň v průběhu prvních několika měsíců realizace projektu. Nikdy nečekejte až do doby, kdy máte dárci odevzdávat zprávu za první
rok činnosti.
Smluvní náležitosti
Náležitosti smlouvy, kterou uzavíráte s hodnotitelem, se liší projekt od projektu.
V řadě případů je hodnotitel zaměstnancem organizace. V jiných projektech se
rozhodnou hodnotitele najmout jako zaměstnance na částečný nebo plný úvazek,
za což pobírá mzdu a odměny srovnatelné s ostatními zaměstnanci organizace.
Není výjimkou, že uzavřete smlouvu s externím hodnotitelem, který buď pracuje
na volné noze, nebo pro jinou organizaci. Externí spolupráce s konzultantem je jednodušší pro administrativu projektu, protože za něj není třeba platit odvody. Zároveň to však znamená, že budete mít prováděné hodnocení méně pod kontrolou.
Řada organizací vyhlašuje výběrové řízení a volí mezi písemnými nabídkami
několika potenciálních konzultantů. Písemné nabídky a kvalifikace konzultantů
jsou při výběru posuzovány projektovým týmem. Písemná smlouva by měla být
podepsána před zahájením vlastní spolupráce s projektem. Řada organizací má
velmi specifická pravidla pro výběrová řízení a uzavírání smluv včetně daného
oprávnění podepisovat za organizaci smlouvy. Před vypsáním výběrového řízení
se ujistěte, že pravidla stanovená ve vaší organizaci dobře znáte.
Hodnotitelům lze platit mnoha způsoby, záleží na vás, jak se před podepsáním
smlouvy s konzultantem dohodnete. Drobnější konzultantské zakázky se někdy
platí najednou po ukončení smlouvy nebo po předání závěrečné hodnotící zprávy. Větší zakázky se zpravidla platí v měsíčních splátkách na základě podrobného časového rozpisu odvedené práce.
Práce hodnotícího týmu
Mějte na paměti, že při přípravě a realizaci hodnocení je užitečné pracovat jako
tým se zaměstnanci organizace, s příslušnými účastníky projektu a s hodnotitelem. Dobře naplánované hodnocení může být průsečíkem vašich snah a zkušeností. Navíc díky tomu nepůjde o tajuplný proces, kterému rozumí jedině hodnotitel.
Týmové práce je možné dosáhnout mimo jiné tím, že spolu budou všichni zúčast-
64
ČÁST DR UHÁ
nění komunikovat jasným a srozumitelným jazykem (bez použití žargonu) a že
budou spoluvytvářet atmosféru otevřenou novým nápadům a respektující odlišné
pohledy na věc. Komunikovat je dobré pravidelně. Navíc byste měli navrhnout
systém, který pomůže překonat rozdíly a řešit neshody. Nemusíte se shodnout na
všech, dokonce ani na většině otázek, které s hodnocením souvisejí, měla by však
probíhat otevřená diskuse provázená pocitem sounáležitosti v projektu.
Příklad 1: Program zaměřený na poskytování vzdělávacích služeb rodinám
a dětem z ekonomicky znevýhodněné městské komunity byl pilotně testován
v partnerské spolupráci některých institucí včetně několika afroamerických
kostelů, zdravotnických center a poskytovatelů vzdělávání. Při výběru hodnotitele se pracovníci jedné z partnerských organizací obávali nesouladu s člověkem, jenž bude na práci najat. Program byl totiž určen převážně afroamerické
komunitě a oni měli pocit, že afroamerické komunity a jejich příslušníci byli
ve výzkumech zavedených institucí zneužíváni. K tradičním způsobům hledání hodnotitele – na univerzitách, výzkumných pracovištích nebo soukromých
konzultačních firmách – byli proto skeptičtí.
Program byl navíc soustředěn kolem afroamerického kostela a zaměřoval se na
důležitost spirituality pro nezávislý, smysluplný život. Z toho důvodu chtěli
hodnotitele, který by byl citlivý k jemným nuancím a významům afroamerické spirituality a kostela. Zaměstnanci oné organizace byli přesvědčeni, že hodnotitel bez uvedených předpokladů opomine stěžejní části programu nebo
špatně pochopí některé jeho části a dopady. Kromě toho chtěli hodnotitele,
který je odborníkem na metodologii, aby jim dokázal pomoci navrhnout účinné způsoby měření spirituality, aniž ji zbaví podstaty.
Na základě uvedených obav a požadavků sestavil projektový tým jednoznačná kritéria, podle kterých budou zájemce z řad hodnotitelů posuzovat. Konkrétně hledali zájemce, kteří měli jednu nebo více z následujících vlastností:
■ předchozí spolupráce nebo studium u afroamerických výzkumných pracovníků a praktiků, kteří prosazovali změny v přístupu k hodnocení a výzkumu prováděnému v afroamerických komunitách;
■ zkušenost a hluboké pochopení afroamerické spirituality a náboženského
života;
■ rozvojový a participativní přístup, který by podporoval a motivoval projektový tým a účastníky projektu k aktivnímu zapojení do přípravy hodnocení;
■ fundovaný metodologický základ, zvláště v oblasti vývoje účinných, neotřelých způsobů měření těžko postižitelných cílů, jako je zvýšení spirituality.
65
Z příkladu je jasné, že většina programů bude od hodnotitele vyžadovat řadu
odlišných nebo dalších charakteristik, v závislosti na konkrétním typu programu nebo dotčené cílové skupině. Programový tým a klíčoví účastníci by se
neměli bát tato kritéria výslovně definovat, protože jim to usnadní hledání
hodnotitele, jenž se na danou práci bude nejlépe hodit. V některých případech
to může znamenat najmout celý tým hodnotitelů, z nichž každý bude mít jiné
požadované vlastnosti. Jindy může být nejvhodnější spolupráce externího
hodnotitele a interního zaměstnance, který má dostatečný přehled o potřebách
dotčených klientů, o komunitě, ve které program působí, nebo o východiscích,
na kterých je program postaven. Toto je jeden z důvodů, proč se přimlouváme
za to, aby každý hodnotitel na úrovni programu pracoval v širším hodnotícím
týmu složeném z klíčových zaměstnanců a účastníků programu. Zajistí to
zohlednění vícero rozmanitých pohledů na program a na to, co je třeba na
základě získaných informací podniknout.
Příklad 2: V jiném případě najala organizace pracující s ekonomicky znevýhodněnými ženami externího hodnotitele, aby vyhodnotil rané fáze nového
programu pro ženy žijící v chudobě, který se pilotně zkoušel ve třech komunitách. Vedoucí projektu ani zaměstnanci organizace v té době neměli příliš zkušeností s hodnocením, a tak hodnotitele najali především na základě jeho zkušeností s metodami hodnocení.
Spolupráce se z několika důvodů nevydařila a hodnotitel nebyl užitečný ani
projektovému týmu, ani dalším účastníkům projektu. Hlavní důvod neúspěchu hodnocení tkvěl především v přesvědčení programového týmu, že najatý
hodnotitel neporozuměl tomu, jak účinně pracovat se znevýhodněnými ženami, jimž se program věnoval. Zaměstnanci měli navíc pocit, že hodnotitel měl
výrazně odlišný přístup a názory na to, co je úspěchem a pozitivním výstupem
projektu a co je důležité zdokumentovat. Hodnotitel například definoval jako
pozitivní výstup zajištění zaměstnání v případě zadržení daně z příjmu. Zdálo
se, že zcela ignoruje výstupy, které za klíčové považoval projektový tým, jako
například zvýšení sebeúcty, dovednosti překonávat a řešit problémy atd. Projektový tým však zároveň žil v přesvědčení, že do věci nemůže vstupovat –
zvláště proto, že se mu nedostává odborných znalostí v oblasti hodnocení
potřebných pro jasné formulování toho, proč hodnocení nepřinese užitečné
informace.
Projektový tým navíc nechápal svou potenciální roli při stanovení účelu a cílů
hodnocení ani při definování úlohy hodnotitele. Předpokládali, že to je práce
hodnotitele. Najatý hodnotitel sdílel jejich přesvědčení, že rozvrh hodnocení
66
ČÁST DR UHÁ
a definování rolí je práce hodnotitele, a tak se o úlohách nikdy otevřeně nediskutovalo.
Najatý hodnotitel měl zkušenosti s tradičními průzkumy a studiemi dopadů,
takže předpokládal, že se po něm chce, aby posoudil přínos a hodnotu programu prostřednictvím dotazníkového šetření, doplněného následnými telefonickými rozhovory. Protože se nezapojili zaměstnanci a další účastníci programu
a aktivně nepřispěli k vytváření podoby hodnocení, nebyly vůbec využity stěžejní informace o klientech, jimž byl program určen. Ve výsledku to mělo
dopad na důvěryhodnost a využitelnost výsledků hodnocení. Řada žen například v dotazníkovém šetření očividně lhala (tvrdily, že nejsou na podpoře,
a přitom ji pobíraly). Zaměstnanci se obávali, že by se to v písemně vyplňovaném dotazníku mohlo velmi snadno stát – ženy, se kterými pracovali, nedůvěřují neznámým, nepochopitelným formulářům vyplňovaným pro někoho,
koho nikdy neviděly. Srovnatelná životní zkušenost pro ně dosud téměř vždy
znamenala něco nepříjemného.
Programový tým dále věděl, že spousta účastnic programu nemá doma telefon,
takže následné telefonické rozhovory, důležitá druhá fáze sběru údajů, nepředstavovaly vhodný způsob shromažďování informací. Protože však zaměstnanci a hodnotitel nebyli součástí jednoho hodnotícího týmu, nebyly uvedené
informace v průběhu hodnocení zohledněny.
Zaměstnanci, kteří byli odhodláni ženám pomáhat a byli citliví k tomu, čím
vším tyto ženy prošly, nakonec začali hodnotiteli zazlívat jeho zdánlivou necitlivost k situaci těchto žen. Vyčítali mu, jak se ženy při tak chladném a neosobním hodnocení musí cítit. Vztah se rychle zhoršoval, a když byla napsána
závěrečná zpráva, byla většina zaměstnanců a účastníků projektu zklamaná.
Měli pocit, že o nejdůležitějších rysech charakteristických pro program ani
o klientkách programu se ve zprávě nic nepíše. Jeden zaměstnanec to vyjádřil
následovně: „Náš program jsem ze zprávy vůbec nepoznal. Ani naše klientky.
Ani to, co jim program přinesl. Nic z toho tam prostě není.“
V druhém roce realizace programu se naskytla příležitost najmout nového
hodnotitele. Zaměstnanci se sešli a dohodli se, že nejdůležitější charakteristikou, kterou by se hodnotitel měl vyznačovat, je shoda jeho osobních hodnot
a principů s těmi, které vyznává organizace. Najatý hodnotitel měl být navíc
zapálený pro řešení problematiky chudých žen stejně jako oni. A další podmínkou bylo, aby se hodnotitel ke klientkám choval stejně uctivě a vstřícně
jako každý zaměstnanec nebo dobrovolník.
67
Po dvou letech spolupráce s externím hodnotícím týmem, který vycházel
z principů feminismu a rozvojového hodnocení, vnímali zaměstnanci možné
přínosy hodnocení mnohem pozitivněji. Aktivně předem určili úlohu hodnotitelů coby konzultantů pro rozvoj. Ve spolupráci s nimi zajišťovali průběžné
zlepšování programu, místo aby je vnímali jako nezávislé soudce, kteří posuzují přínos a hodnotu programu.
Pamatujte…
■ Při najímání externího hodnotitele zvažte jeho přístup k hodnocení a míru vhodnosti
tohoto přístupu z hlediska odpovědí na otázky, které jste si položili. Pozvěte ty, kteří
postoupí do závěrečného kola výběrového řízení, na schůzku s projektovým týmem
a účastníky projektu, se kterými budou úzce spolupracovat, abyste zjistili, čí osobní styl
nejlépe odpovídá vaší organizační kultuře.
■
Významnou součástí práce hodnotitele (interního nebo externího) je pomáhat rozvíjet
dovednosti, znalosti a schopnosti ostatních zaměstnanců a účastníků projektu. Je lepší
mít hodnotitele, který společně se zaměstnanci integruje hodnocení do každodenního
řízení a realizace projektu, než hodnotitele, který vystřihne technicky dokonale provedené hodnocení se závažnými doporučeními, jehož zjištění však nikdo nepoužívá a na něž
nikdo nedokáže navázat.
■
Berte hodnocení jako sdílenou odpovědnost. Dejte pozor, abyste veškeré rozhodování
spojené s hodnocením nesvěřili hodnotiteli. Aktivně se zapojujte a rozvíjejte týmovou
práci.
68
ČÁST DR UHÁ
Realizace
5. Rozhodnutí o metodách, kterými budou sbírána data
6. Shromažďování údajů
7. Analýza a interpretace údajů
Má-li hodnocení posílit aktivity projektu, musí být pečlivě připravené. Plán hodnocení,
který je na druhou stranu příliš striktní, může potlačovat experimentování a přiměřené
riskování, díky němuž by projektový tým mohl objevit účelnější a účinnější projektové
aktivity nebo strategie. Na druhou stranu hodnocení, které není pečlivě připravené,
může maskovat nepřiznané, ale přitom podstatné předsudky a hodnocení. Nepřipravenost často vede k plýtvání cennými zdroji na shromažďování informací, které o důležitých otázkách nic nevypovídají, nebo k nepřesným či neplatným interpretacím.
V celém průběhu realizace je potřeba mít na paměti tři základní věci:
Sestavte plán, který dokáže pružně reagovat na nastalou situaci. Plán hodnocení by se měl vystřihat postupů, které vyžadují příliš svazující kontrolu. Plán
by měl spíše sázet na přirozenější postupy, které jsou schopné pružně reagovat
na aktuální situaci a umožňují revizi a úpravy podle potřeby.
Hodnocení schopné pružně reagovat na nastalou situaci dosáhnete, pokud:
■ naplánujete hodnocení tak, aby odpovídalo potřebám cílové skupiny a ostatních účastníků projektu;
■ shromáždíte údaje, které jsou relevantní pro konkrétní otázky a potřeby projektu;
■ budete průběžně revidovat hodnotící otázky a plány ve vztahu ke změnám
podmínek (např. nedostatečný rozpočet, odchod zaměstnanců, nemožnost
odpovědět na položenou otázku v této fázi projektu apod.);
■ budete citlivě vnímat kulturní otázky komunity a reagovat na ně;
■ budete mít přehled o dostupných zdrojích pro financování hodnocení a včas
požádáte o doplňkové zdroje, pokud je to nezbytné;
■ získáte povědomí o stávající kapacitě projektu (např. mohou zaměstnanci
zapojení do projektu strávit 30 minut denně vyplňováním formulářů, které
dokumentují jejich aktivity a vnímání projektu?);
■ si uvědomíte možnosti a omezení dostupných technologií a zajistíte časovou
rezervu pro řešení nepředvídatelných problémů.
69
Shromážděte a analyzujte informace z různých úhlů pohledu. Příjemci grantů se potýkají se složitými sociálními problémy z celé škály rozmanitých kulturních a společenských perspektiv. Hodnocení je proto třeba pečlivě připravit, aby
zohledňovalo různorodé pohledy, hodnoty, přesvědčení, potřeby a zájmy účastníků projektu. Například projekt v oblasti zemědělství může mít výrazný ekonomický přínos, ale také negativní dopady na rodinu a širší kulturně společenské
prostředí. Pokud byste takový projekt hodnotili pouze z ekonomického hlediska,
bude jednoznačně úspěšný. Půjde však o ucelený a přesný obrázek programu?
Vždy se vracejte k položeným hodnotícím otázkám. Hodnotící otázky (spolu
s výsledným účelem a cíli hodnocení) jsou klíčem k navržení účinného plánu.
Hodnotící týmy se až příliš často soustřeďují na informace a na metody shromažďování informací a ztrácejí přitom ze zřetele otázky, na které chtějí znát odpovědi. Čím jednoznačněji provážete plán hodnocení s nejzávažnějšími otázkami,
tím pravděpodobněji na položené otázky naleznete smysluplné odpovědi. Bez
této návaznosti riskujete, že shromáždíte spoustu informací, aniž se jakkoliv přiblížíte zodpovězení nastolených otázek.
Doporučujeme využívat více metod hodnocení tak, aby projekty k hodnocení přistupovaly z různých úhlů pohledu. Stejně jako jeden program nedokáže vyřešit
složitě provázané sociální problémy, nedokáže jedna metoda hodnocení popsat
a vysvětlit složitost a bohatost projektu. Kdykoliv je to možné, měl by plán hodnocení zahrnovat kvalitativní i kvantitativní metody shromažďování údajů.
Když vyberete otázky, kterým chcete věnovat pozornost, je potřeba rozhodnout,
jaké informace budete potřebovat k jejich zodpovězení, od koho a jakým způsobem je získáte. Dále musíte rozhodnout, jak budete shromážděné informace
analyzovat a jak je budete využívat. Pokud uvedená rozhodnutí učiníte na počátku plánovacího procesu, omezíte riziko shromažďování nepotřebných informací. Při plánování mějte na paměti, že plán musí být jednoduchý a schopný pružně reagovat na proměňující se potřeby projektu. Zvažujte především vhodnost
metod shromažďování údajů pro konkrétní situaci projektu, místo abyste se
slepě drželi plánu hodnocení. Budete-li se držet konkrétních otázek, které chcete zodpovědět, budete schopni lépe rozhodnout, jaké metody použít.
Existuje několik různých metod shromažďování údajů, ze kterých si můžete
vybírat, včetně pozorování, rozhovorů, písemných dotazníků, testů a průzkumů
70
ČÁST DR UHÁ
nebo studia dokumentů (jsou popsány níže v tomto oddílu). Až se budete rozhodovat, kterou metodu použít, zohledněte následující čtyři kritéria.
1. Zdroje, které jsou k dispozici pro provedení hodnocení
Než sestavíte plán hodnocení, které si vyžádá značnou část rozpočtu projektu
(přes 15 procent) a výraznou investici času zaměstnanců, zjistěte, jaké zdroje
jsou pro hodnocení k dispozici, a hodnocení rozvrhněte podle nich. Pokud na
náklady hodnocení vychází méně než 7 až 10 procent celkového rozpočtu projektu, je na místě zvážit, zda nepožádat o doplňkové zdroje. Propočítání nákladů pro několik různých metod shromažďování údajů, které odpovědí na stejnou
otázku, a vhodná, pečlivě promyšlená skladba užitých metod mohou pomoci
omezené zdroje efektivněji využít.
2. Citlivý přístup k respondentům a k účastníkům projektu
Zohledňuje plán hodnocení kulturní rozmanitost účastníků projektu a hodnotícího týmu? Pokud například polovina cílové skupiny mluví pouze španělsky,
počítá plán s tím, že se průzkumy spokojenosti zákazníků budou tisknout dvojjazyčně? Máte v hodnotícím týmu někoho, kdo ovládá španělštinu natolik plynně, aby dokázal přetlumočit odpovědi? Podobně, pokud pracujete s cílovou skupinou s nízkou úrovní vzdělání, by bylo nevhodné naplánovat široký poštovní
průzkum, protože se bude klientům obtížně číst, a tak bude těžko srozumitelný.
3. Spolehlivost
Nakolik spolehlivé budou hodnotící zjištění vzhledem k metodám, které jste
zvolili? Nebyly by jiné metody důvěryhodnější anebo spolehlivější, aniž zvýší
náklady? Až budete vybírat mezi různými metodami a nástroji, položte si následující otázky:
■ Je metoda platná? Jinými slovy, měří skutečně to, co tvrdí, že měří?
■ Jak spolehlivý je nástroj měření? Poskytne stejné výstupy, i kdyby byl použit
v jiném okamžiku nebo na jiném místě?
■ Jsou metody a nástroje vhodné pro cílovou skupinu, které se věnujete, a pro
problematiku, kterou vyhodnocujete?
■ Dokážou metody a nástroje postihnout zásadní otázky, důležité změny a rozmanité výstupy projektu?
■ Jaké odborné znalosti vyžaduje realizace plánu hodnocení? Disponují jimi
vaši zaměstnanci nebo konzultanti?
Spolehlivost lze zvýšit také použitím více metod, protože hodnotitel pak zjištění
může srovnávat a ověřovat.
71
Ke spolehlivosti ještě poznámka na závěr: Hovořili jsme o dominanci kvantitativního hodnocení zaměřeného na vyhodnocování dopadů. Řada vědců,
výzkumných pracovníků, tvůrců koncepcí, dárců a dalších zainteresovaných
osob bude možná pochybovat o spolehlivosti závěrů hodnocení, které bylo provedeno na základě alternativních modelů hodnocení, například těch, která jsme
uvedli výše. V takových případech je důležitou součástí práce hodnotícího týmu
vzdělávání účastníků projektu o spolehlivosti zvolených přístupů k hodnocení
a o jejich schopnosti účinně nalézat odpovědi na otázky, které jsou pro úspěch
projektu stěžejně důležité.
4. Důležitost informací
Nezapomeňte zvážit význam každé informace, kterou se rozhodnete shromáždit
jak s ohledem na celkové hodnocení, tak s ohledem na účastníky programu.
Shromažďování některých typů informací je obtížnější a nákladnější než shromažďování jiných. Rozhodnutí, které informace jsou nejdůležitější, může výrazně omezit plývání energií a zdroji.
Kvantitativní v. kvalitativní metody
Většina hodnocení do jisté míry pracuje s kvantitativními informacemi: co se
dá spočítat a změřit. Hodnocení může například uvést počet lidí, kteří se účastní aktivit projektu, množství poskytnutých služeb nebo produktů, stejně jako
množství dostupných nebo potřebných materiálních zdrojů. Jiné projekty
mohou měřit úmrtnost kojenců v dané komunitě; procento vůdčích osobností
komunity, které jsou příslušníky některé menšiny; procento studentů, kteří
nedokončí střední školu, nebo počet obyvatel, kteří v dané komunitě žijí pod
hranicí životního minima.
Kvalitativní informace může být použita v popisu toho, jak projekt dosahuje
výsledků a co může znamenat pro lidi, jichž se dotýká. Kvalitativní analýza
může mít větší hodnotu než kvantitativní informace, protože projekt zasazuje do
kontextu. Může být také významnější pro vedoucího projektu, který musí přijít
s doporučeními pro jeho zlepšení. Kvalitativní informace je nabita lidskými city
a pocity, a tak díky ní mohou i nezaujatí pozorovatelé pochopit, co projekt ve
skutečnosti znamená pro lidi, jimž je určen.
Úspěch projektu zčásti závisí na odpovídajícím zvážení faktorů, které se obtížně měří. Využitím kvantitativních metod můžete třeba zjistit, že řadu domácností v chudé komunitě vedou opuštěné matky. Pokud však nevíte nic o vztazích
mezi těmito domácnostmi (společná péče o děti, sdílení zdrojů atd.) ani o finančních příspěvcích od mužské části příbuzenstva, je velmi snadné přecenit význam
72
ČÁST DR UHÁ
této informace jako indikátoru zdravotního stavu. Jinými slovy, kvalitativní
metody, jako jsou například podrobné rozhovory s účastníky a pozorování,
mohou hodnotiteli pomoci porozumět kontextu projektu. Kontext se pak stává
rámcem pro smysluplné pochopení dalších kvantitativních údajů (čísel, poměrů
a procent).
Volba nejvhodnějšího způsobu shromažďování údajů může být obtížná. V následujících odstavcích naleznete krátká shrnutí základních metod. Každé shrnutí
popisuje hodnotu a účel dané metody, typy informací, které je metodou možné
shromažďovat. Je také doplněn příklad, jak je možné metodu využít v kombinaci s jinými metodami. Je důležité mít na paměti, že popisy nejsou vyčerpávající,
a navíc nezahrnují všechny metody shromažďování údajů.
Pozorování
Jedním ze způsobů, jak shromažďovat informace, je pozorovat aktivity realizátorů a účastníků projektu. Pozorování je zvláště užitečné při hodnocení kontextu a realizace, protože může poukázat na silné a slabé stránky vlastního chodu
projektu a umožnit nabídnout doporučení pro zlepšení.
Informace získané pozorováním vám umožní:
■ formulovat otázky, které je možné klást v následných rozhovorech;
■ prozkoumat vlastní fyzické a společenské prostředí projektu, charakteristiky
pracovníků a klientů, skupinovou dynamiku a formální i neformální aktivity;
■ objevit aspekty projektu, kterých si zaměstnanci a účastníci projektu nejsou
vědomi;
■ zjistit, o kterých tématech nejsou zaměstnanci a účastníci projektu ochotni
diskutovat;
■ sledovat, jak se projektové aktivity s postupem času mění a jak se vyvíjejí.
Pozorování coby strategie shromažďování informací má přes všechny klady
v určitých situacích omezené využití. Například pozorování některých událostí,
jako jsou třeba návštěvy lékaře, není vhodné, pokud by zasahovalo do důvěrné
povahy vztahu mezi lékařem a pacientem. Jiné typy pozorování, byť nejsou protiprávní, mohou narušovat kulturní hodnoty nebo společenské normy. Hodnotí-li
například projekt zaměřený na práci s těhotnými ženami muž, neměl by viditelně vstupovat do programových aktivit, pokud by jeho přítomnost mohla působit
rušivě. Pokud jste na pochybách, je dobré, aby si hodnotitel o konkrétních situacích, které by chtěl pozorovat, promluvil s vedoucím projektu.
73
Hodnotitel by si měl uvědomit, že i nejpasivnější, nejméně nápadný pozorovatel
pravděpodobně ovlivní situace, které pozoruje. Nemyslete si, že když něco pozorujete, jste automaticky svědky „přirozeného“ průběhu událostí.
S odkazem na to, co jsme uvedli v předcházejících odstavcích,
vám nabízíme několik tipů:
1. Najděte způsoby, jak pozorování využít k doplnění nebo potvrzení údajů, které získáte
z jiných zdrojů (např. průzkumů, rozhovorů, fokusových skupin). Stanovte cíle pozorování, ale buďte připraveni je na místě pozměnit. Není špatné si sepsat základní otázky, které
by vás při pozorování vedly, například: Jak účastníci reagují na prostředí projektu? Cítí se
bezpečně? Chovají se k zaměstnancům jako k sobě rovným? Jak se vzájemně oslovují?
2. Buďte praktičtí. Pokud je váš čas omezen a pokud hodnotíte rozsáhlý projekt nebo projekt, který bude probíhat na více místech, nebude možné pozorovat všechno. Rozhodněte, co je nejdůležitější nebo co není možné zjistit z jiných zdrojů, a soustřeďte se na
vybrané oblasti.
3. Buďte systematičtí. Jakmile si stanovíte zaměření (například vztahy zaměstnanců),
prozkoumejte ho z různých úhlů. Pozorujte projekt v různých okamžicích dne, pozorujte odlišnoti různých osob, zjistěte, zda byste se nemohli zúčastnit schůzky zaměstnanců.
4. Buďte připraveni. Navrhněte nástroje pro efektivní zaznamenávání výsledků pozorování,
abyste se mohli soustředit na to, co se děje na místě. Pokud nástroje dobře nefungují,
upravte je.
5. Buďte zvídaví. Udělejte si čas, abyste své postřehy mohli probrat s vedoucím projektu
a dalšími zaměstnanci. Umožní vám to pozorované situace zasadit do kontextu a lépe
pochopit, co se odehrálo.
6. Buďte otevření. Kdo nemá naději v beznadějném, nenalezne to. – Hérakleitos, 5. století před naším letopočtem.
Rozhovory
Rozhovory mají stejně jako ostatní metody shromažďování údajů hned několik
využití. Nabízejí možnost kontrolního srovnání a doplnění informací získaných
pozorováním. Hodnotitel rozhovory provádí, aby zjistil, jak zaměstnanci a klienti vnímají své zkušenosti s projektem, nebo aby prozkoumal otázky, které se
právě v projektu diskutují. Interní informace získané rozhovory mohou zprostředkovat podrobné porozumění obtížně měřitelných konceptů, jako je například zapojení komunity nebo možnost spolurozhodovat.
74
ČÁST DR UHÁ
Rozhovory je možné použít ve všech fázích hodnocení, ale zvláště užitečné jsou
při hodnocení realizace a kontextu. Rozhovory poskytují podrobné, hloubkové
informace, a proto mohou ukázat, zda byl program realizován v souladu
s původním plánem, a pokud ne, v čem se změnil a proč. Takový typ informací
umožňuje tvůrcům koncepcí a administrátorům pochopit, jak vlastně program
funguje. Informace mohou být užitečné také pro potenciální zájemce o realizaci
podobného programu.
Jedním z prvních kroků při rozhovorech je nalezení lidí, kteří mají přehled, tedy
lidí, kteří vám budou schopni poskytnout informace k věci. Může jít o lidi, kteří
se podílejí na poskytování služeb nebo mají v komunitě něčím výsadní postavení a díky němu specifickou znalost určitých souvislostí, nebo jsou jednoduše
odborníky na téma, kterým se právě zabýváte. Člověk nepotřebuje mít univerzitní diplom ani prestižní titul, aby byl cenným zdrojem informací. Zdrojem informací mohou být pacienti, zaměstnanci organizace, příslušníci komunity, místní
vůdčí osobnosti, politici nebo odborníci všeho druhu. Podle typu informace, kterou sháníte, povedete rozhovor s jedním nebo s několika informátory.
Kromě nalezení informátorů budete také muset rozhodnout, která metoda vedení rozhovoru je pro dané hodnocení nejvhodnější. Obr. 6 popisuje různé metody vedení rozhovorů a shrnuje silné stránky a slabiny každé z nich.
Chcete-li rozhovor nahrávat, dovolte se nejprve dotazovaného. Pokud se objeví
náznaky, že by přítomnost diktafonu mohla být dotazovanému nepříjemná,
zvažte, zda nebude lepší dělat si poznámky. Nahrávat je potřeba jen v případě,
že potřebujete přepis celého rozhovoru a přesné citace. Pokud se rozhodnete
v průběhu rozhovoru nebo některé jeho části soustředit výhradně na dotazovaného a nedělat si poznámky, sepište své dojmy co nejdříve po skončení rozhovoru.
75
Obr. 6
Situace vyžadující od hodnotitele specifické dovednosti
Typ rozhovoru
Charakteristiky
Silné stránky
Slabé stránky
Neformální,
konverzační
rozhovor
Otázky vyplývají z aktuálního
kontextu a jsou kladeny
v přirozeném sledu. Žádné
otázky, témata ani formulace
nejsou předem definovány.
Zvyšuje se relevantnost otázek. Rozhovor se přirozeně
rozvíjí podle výsledků pozorování. Rozhovor je na míru
uzpůsobován konkrétní
osobě a okolnostem.
Otázky mohou být rozdílně
položeny, a tak od různých
lidí můžou být získány rozdílné informace. Výstupy
mohou být méně systematické a ucelené, pokud na
některé otázky přirozeně
„nedojde“. Zpracování
a analýza dat může být
obtížná.
Rozhovor
podle osnovy
Témata a okruhy jsou předem zevrubně načrtnuté,
tazatel rozhoduje o pořadí
a konkrétní formulaci otázek
v průběhu rozhovoru.
Osnova zvyšuje ucelenost
údajů a zaručuje, že údaje
shromážděné u každého
respondenta vykazují jistou
systematičnost. Logické
mezery v údajích lze předvídat a vyplnit. Rozhovory
zůstávají do značné míry
konverzační a mohou reagovat na aktuální situaci.
Významná a aktuální témata
mohou být bezděčně opominuta. Možnost tazatele volit
pořadí a formulaci otázek
může vést k získání odpovědí, které se značně liší
a jsou navzájem nepoměřitelné.
Standardizovaný,
otevřený rozhovor
Formulace a pořadí otázek je
předem přesně stanoveno.
Všem respondentům jsou
položeny stejné otázky ve
stejném pořadí. Otázky jsou
formulovány jako zcela otevřené.
Respondenti odpovídají na
stejné otázky, což zvyšuje
srovnatelnost odpovědí. Od
každého dotazovaného jsou
získány odpovědi na všechny kladené otázky. V případě, že bylo využito několik
tazatelů, dopad jejich osobnostních rysů a předpojatostí
je redukován. Dovoluje uživatelům hodnocení vidět
a revidovat nástroje použité
při hodnocení. Umožňuje
snazší třídění a analýzu
údajů.
Nízká míra flexibility v přizpůsobování rozhovoru konkrétnímu respondentovi
a situaci. Standardizované
formulace otázek mohou
bránit nebo omezit přirozenému plynutí otázek a odpovědí.
Rozhovor
s uzavřenými
otázkami
Otázky a možnosti/škála
odpovědí jsou předem stanoveny. Respondenti si vybírají z pevně daných
odpovědí.
Analýza údajů je jednoduchá. Odpovědi je možné
přímo srovnávat a snadno
kategorizovat. V krátkém
čase lze položit mnoho
otázek.
Respondenti musí své zkušenosti a pocity napasovat
do kategorií určených tazatelem. Rozhovor může být
vnímán jako neosobní, neúčelný a mechanický. Omezení otázek na jednotlivé možnosti nemusí bez zkreslení
postihnout, co si respondent
skutečně myslí nebo co
zažil.
Podle: Patton, 1990
76
ČÁST DR UHÁ
Skupinové rozhovory
Hodnotitel si může vybrat, zda bude rozhovory dělat jednotlivě, nebo ve skupině. Pokud chce hodnotitel zachovat anonymitu respondenta nebo chce zajistit,
aby bez obav hovořil o nepopulárních věcech, je nejlepší vést rozhovory jednotlivě. Navíc to hodnotiteli umožňuje srovnávat různé pohledy na určitou událost,
což je zvláště užitečné, když se vyptává na citlivé otázky. Například Oscar Lewis
ve studii o mexické rodině z roku 1961 The Children of Sanchez kladl otázky členům Sánchezovy rodiny jednotlivě, protože měl obavu, že děti v přítomnosti
dominantního otce neřeknou, co si myslí.
V případě, že není nutné zachovávat diskrétnost získaných dat a hodnotitel chce
rychle získat přehled o paletě názorů na určité téma, je možné dát přednost skupinovému rozhovoru. Oblíbenou technikou skupinového rozhovoru je fokusová
skupina, kdy se šest až osm lidí na hodinu dvě sejde, aby prodiskutovali konkrétní téma, třeba otázky místní zdravotní péče. Na rozdíl od náhodného reprezentativního vzorku populace jsou účastníci fokusové skupiny vybíráni na
základě určitých sdílených charakteristik (např. může jít o diabetiky, těhotné
ženy, nebo se jich dotýká jiná zdravotní problematika), takže jejich názory mají
pro studii patřičnou výpovědní hodnotu.
Na setkání fokusové skupiny účastníci odpovídají na soubor předem stanovených otázek. Neočekává se však od nich, že se budou snažit dosáhnout konsenzu nebo že přehodnotí své názory, a ani k tomu nejsou vedeni. Mají pouze sdělit své stanovisko. Pro řadu účastníků je účast ve skupině stimulující, neboť jim
pomáhá mluvit o věcech, které by je jednotlivě nenapadly.
Technika nominální skupiny nebo delfská technika se využívají v případě, že
chcete položit konkrétní otázku skupině lidí, abyste vytvořili seznam odpovědí,
které pak společně seřadíte podle důležitosti. Tyto techniky byly vytvořeny za
účelem facilitace efektivního skupinového rozhodování zaneprázdněných manažerů. Mohou však být užitečné i v hodnocení, zvláště když má skupina odborníků, příslušníků komunity nebo zaměstnanců organizace předložit doporučení
pro probíhající projekt.
Technika nominální skupiny je jednoduchá metoda, kterou lze využít, kdykoliv
se jednotliví účastníci sejdou na osobním setkání. Delfská technika vyžaduje
pečlivější přípravu a organizaci, ale osobní setkání účastníků není podmínkou.
Je možné ji využít například, když chcete, aby vůdčí osobnosti komunity seřadily nejdůležitější místní problémy se zdravotní péčí, a přitom jim nabitý rozvrh
nedovolí osobně se zúčastnit setkání skupiny.
77
Příklady otázek, které je možné zodpovědět oběma technikami, zahrnují: Jaký
typ programu je vhodný pro dospívající mládež? Jaké jsou nejzávažnější problémy, se kterými se potýkají senioři v komunitě? Které aktivity projektu zaměřeného na zdravotní péči považujete za nejúspěšnější?
Technika nominální skupiny
Tato technika znamená, že se pět až devět účastníků (pokud je to možné, ne víc
než sedm) posadí ke stolu, přičemž jeden člověk je vede. Je-li účastníků více, je
potřeba rozdělit je do menších skupin. Jedno sezení (zabývající se jednou otázkou)
zpravidla trvá šedesát až devadesát minut. Základní kroky vypadají následovně:
1. Tiché sepsání nápadů – Po úvodním přivítání vedoucí skupiny přečte nahlas
otázku, na kterou mají účastníci odpovídat. Pak účastníci obdrží pracovní list
(na kterém je v horní části otázka vytištěná) a jsou požádáni, aby v pěti minutách sepsali své nápady. Diskuse není povolena.
2. Kolečko zpětné vazby k nápadům – Vedoucí skupiny postupně požádá jednotlivé účastníky, aby pro ostatní několika slovy shrnuli jeden ze svých nápadů.
Nápady jsou očíslovány a sepsány, aby na ně všichni viděli. Proces pokračuje
do vyčerpání všech nápadů. Diskuse v průběhu této fáze není dovolena.
3. Diskuse o jednotlivých nápadech – Každý nápad napsaný na tabuli je jednotlivě prodiskutován. Cílem této diskuse je ozřejmit a vyjasnit jednotlivé úhly
pohledu, nikoliv řešit rozdíly v názorech.
4. Předběžné hlasování – Účastníci jsou požádáni, aby vybrali určitý počet „nejdůležitějších“ položek ze seznamu (zpravidla pět až devět). Pak mají na lístcích tyto položky seřadit podle důležitosti. Lístky jsou posbírány a promíchány, aby byla zachována anonymita. Hlasy jsou přečteny nahlas a zaznamenány do tabulky, ve které je ke každé položce přiřazeno pořadí, jež pro ni bylo
stanoveno na jednotlivých hlasovacích lístcích.
5. Diskuse o předběžném hlasování – Průběh hlasování je krátce prodiskutován.
Účastníkům je sděleno, že účelem této diskuse je doplňující vyjasnění, ne přesvědčování ostatních, aby změnili své hlasování.
6. Závěrečné hlasování – Zopakování kroku 4.
Delfská technika
Tato technika je propracovanější než technika nominální skupiny. Zpravidla
využívá série poštovních dotazníků, které se posílají po sobě, vždy po analýze
výsledku předcházejícího. Proces zpravidla trvá týdny, dokonce měsíce. Základní kroky zahrnují:
78
ČÁST DR UHÁ
1. Každý účastník sepíše seznam témat jako odpovědi na otázku.
2. Hodnotitel zpracuje a rozešle shrnutí odpovědí, které mají účastníci očíslovat
v pořadí důležitosti nebo shody.
3. Hodnotitel shrne výsledky v novém dotazníku, který odráží skupinový konsenzus.
4. Účastníci opět zareagují, přehodnotí pořadí a sepíší krátká vysvětlení pro své
odpovědi.
5. Hodnotitel sestaví závěrečný dotazník s revidovanými prioritami a pořadím
a uvede hlavní důvody neshod.
6. Každý účastník provede závěrečné přehodnocení pro konečný konsenzus skupiny.
Písemné dotazníky
Průzkum nebo dotazník je písemný dokument, který vyplňuje skupina lidí. Průzkumy mohou být dlouhé nebo krátké a lze je uplatnit v mnoha situacích. Například dotazník průzkumu spokojenosti pacienta může být vytištěn na pohlednici
a klienti ho mohou dostat při odchodu z nemocnice. Komplexnější odpovědi
mohou vyžadovat delší nebo podrobnější dotazník.
Otázky v dotazníku mohou být otevřené nebo uzavřené. Otevřené otázky se
mohou ptát: Jak na vás program působí? Co byste rádi, aby se v komunitě zlepšilo? Otevřené otázky poskytují o tématu poměrně bohatou informaci, umožňují respondentům prezentovat jejich myšlenky, názory a pocity a jsou poměrně
nenákladné. Mají však své nevýhody. Lidé se někdy zdráhají napsat svůj názor,
a vyplnění a analýza průzkumu mohou být značně náročné na čas.
Uzavřené otázky oproti tomu nabízejí diskrétní možnost výběru z daných odpovědí, z nichž si respondent vybere tu nejvhodnější. Například:
Jak často využíváte naše centrum?
a) nikdy
b) párkrát do roka
c) jednou měsíčně
d) několikrát za měsíc
e) jednou týdně
f) častěji než jednou týdně
Uzavřené otázky mají výhodu jednotnosti a snadného využití ve statistické analýze. Dotazníky lze bez problémů využít pro velké skupiny respondentů a zpravidla se snadno vyplňují. Dotazníky postavené na uzavřených otázkách však do
79
jisté míry respondentům vnucují soubor pevně daných přístupů a hodnot, protože jim nabízejí volbu z omezené škály možností. Proto zřídka přinesou neočekávané informace a omezují možnost získat dostatečné porozumění dané problematiky a rozlišovat jemné významové nuance. Písemné dotazování není
vhodné pro respondenty, kteří dostatečně nevládnou jazykem nebo kterým jsou
běžné konvence vyplňování dotazníků zcela cizí. U této cílové skupiny je vhodnější provést průzkum telefonem nebo osobně.
Při sestavování dotazníku je potřeba dodržovat několik základních pravidel.
1. Otázky musí být stručné a jasné, v ideálním případě ne delší než dvacet slov.
Dbejte na to, aby respondent dostal všechny informace, které k zodpovězení
otázky potřebuje.
2. Vystřihejte se otázek, které otevírají více než jednu hlavní myšlenku nebo téma.
3. Všechny otázky musí být relevantní pro danou problematiku.
4. Nepoužívejte žargon. Cílová skupina musí být na položené otázky schopná
odpovědět. Pokud jim odborná terminologie není blízká, nepoužívejte ji.
5. Vyhněte se slovům, která nejsou exaktní (např. obecně, zpravidla, průměrně,
typicky, často, zřídka). Pokud taková slova použijete, může se stát, že získané informace nebudou spolehlivé nebo využitelné.
6. Vyhněte se negativním formulacím otázek.
7. Vystřihejte se předpojatostí. Zaujaté otázky přinesou zaujaté odpovědi.
8. Přesvědčte se, že odpověď na jednu otázku plynule navazuje na další. Pokud
je to nutné, doplňte například: „Pokud ano…?“, případně „Pokud ne…?“.
9. Dejte respondentům přesné instrukce, jak odpovědi na otázky zaznamenávat. Například jednoznačně vysvětlete, zda má respondent napsat odpověď,
zaškrtnout rámeček nebo zakroužkovat číslo atd.
10. Nabídněte alternativní odpovědi. Zařaďte například „ostatní“, „jiné“ pro
odpovědi, které se nevměstnají do uvedených kategorií.
11. Dotazník by měl hezky vypadat. Dejte si záležet na jeho formátování, používejte podtitulky, mezery atd. Respondent by měl mít už od pohledu pocit,
že se dotazník bude snadno vyplňovat. Neobvykle dlouhé dotazníky mohou
respondenty vyplašit.
12. Předem rozhodněte, jak budou odpovědi zaznamenány a analyzovány.
Po sestavení dotazníku je potřeba ho vyzkoušet. Požádejte zkušební vzorek respondentů, aby se vyjádřili k jednoznačnosti otázek, k času, který vyplňováním
strávili, a k dalším konkrétním problémům, na které při vyplňování dotazníku
narazili. Zpětná vazba od zkušebního vzorku respondentů vám pomůže dotazník zdokonalit.
80
ČÁST DR UHÁ
Testy
Testy mohou být užitečnými nástroji hodnocení. Při hodnocení kontextu můžete touto metodou získat informace o potřebách cílové skupiny. Při hodnocení
výstupů se můžete dozvědět například o změně zdravotního stavu nebo chování, které jsou výsledkem působení projektu. Správná příprava, realizace a analýza většiny takových měření nicméně vyžaduje odbornou zkušenost a specializované vzdělání.
Měření tělesného stavu populace mohou obnažit priority zdravotních potřeb
nebo naznačit rozsah určitého zdravotního problému u cílové skupiny nebo
komunity. Podobná měření lze najít v široce rozprostřených průzkumech sledujících například údaje o hladině cholesterolu, o krevním tlaku nebo další údaje
týkající se tělesného stavu populace, které shromáždily jiné komunitní organizace nebo nemocnice. Například vysoký výskyt novorozenců s nízkou hmotností
hlášených z místních nemocnic vás může přivést k přípravě vzdělávacího programu o prenatální péči pro budoucí matky.
Měření tělesného stavu lze využít také pro hodnocení výstupů projektu. Zvýšení
průměrné váhy novorozenců, kteří se narodí absolventkám vašeho programu,
může být indikátorem, že program uspokojuje zjištěnou potřebu. Statistické testy
platnosti tohoto typu údajů mohou dále potvrdit pozitivní dopady projektu.
Testy znalostí a dosažených výsledků se používají k měření znalostí a chování cílové skupiny. Testováním před a po účasti ve vzdělávacím programu můžete nejdříve posoudit, co se účastníci potřebují naučit, a pak změřit, co se skutečně naučili. Mějte však na paměti, že prokázaná znalost nevypovídá nic o tom,
že ji účastník používá v každodenním životě.
Další typy testování znalostí a dosažených úspěchů jsou založené na pozorování, jako například když zaměstnanec organizace pozoruje interakci matky s dítětem, aby určil, zda došlo k posunu v jejích rodičovských dovednostech. Návštěvy doma mohou pro změnu zahrnovat pozorování, jak se zlepšila hybnost staršího člověka nebo zda se od pečovatele naučil konkrétní dovednosti. Mají-li být
taková pozorování využitelná jako měření výstupů projektu, je třeba je zdokumentovat, aby bylo možné je srovnávat v čase nebo s jinými případy (viz oddíl
Pozorování výše). Pro kódování pozorování jsou k dispozici standardizované
indexy.
Vlastní zprávy účastníků včetně standardizovaného vyhodnocení psychologického stavu a postojů je také možné využít při zjišťování potřeb a hodnoce-
81
ní výstupů. Můžete vytvořit vlastní nástroje, například abyste určili spokojenost
klientů se stávajícími zdravotními službami nebo zjistili jejich reakce na služby
nabízené v rámci projektu. Lze také využít standardizované dotazníky sestavené zdravotními odborníky, které se týkají témat, jako je spokojenost pacientů,
obecný zdravotní stav (včetně psychických, emočních a sociálních funkcí),
duševní zdraví, stavy deprese nebo invalidita. Využití dotazníků, které sestavil
někdo jiný a které jsou odzkoušené v praxi, má své výhody. Mějte však na paměti, že standardizovaná hodnocení nemusí odpovídajícím způsobem odrážet důležitost a jedinečnost určitých konkrétních aspektů vašeho projektu nebo aktuální situace cílové skupiny.
Studium dokumentů
Interní materiály jsou pro hodnotitele programu dalším potenciálním zdrojem
cenných údajů. Patří mezi ně poslání, popisy organizační struktury, výroční
zprávy, harmonogramy činnosti, denní výkazy, zpracované projekty, záznamy
o využívání projektu klienty a účastníky, propagační materiály atd. Uvedené
materiály a další dokumenty umožní hodnotiteli, aby se seznámil s historií,
východisky, cíli a výstupy příslušného projektu a aby vysledoval důležité posuny a změny v průběhu nebo dozrávání programu. Studium dokumentů může být
navíc užitečné při formulování otázek v dotaznících nebo rozhovorech. Mějte na
paměti, že psané dokumenty nemusí nezbytně nabízet ucelené ani správné
odpovědi na konkrétní problémy, protože mohou obsahovat omyly, opomenutí
a zveličení. Jde jednoduše o další formu získávání informací, kterou je potřeba
využívat uvážlivě a souběžně s jinými typy údajů.
V následujícím seznamu najdete různé typy dokumentů, které se v rámci projektu běžně archivují, a několik doporučení, jak je využít. Seznam není vyčerpávající, má spíše charakter doporučení:
1. Zprávy – pomohou vám zjistit, jak projekt začal, jak v současné době funguje, čím se zabývá, jak hodlá dosáhnout stanovených cílů, jaké cílové skupině
je určen, jakým způsobem má být dosažena jeho udržitelnost atd.
2. Propagační materiály – brožury a letáčky (nebo jejich neexistence) hodnotiteli pomohou vyhodnotit úsilí projektu o přesah do vnějšího prostředí.
3. Harmonogramy a výkazy – mohou poskytnout podrobný přehled o aktivitách
projektu, o vztazích mezi zaměstnanci, o důležitých událostech v životě organizace a o změnách ve vývoji projektu.
4. Zápisy z jednání – obecně poskytují informace o účasti, dominantním postavení nebo jiných vztazích a rolích, o plánování a o rozhodování.
82
ČÁST DR UHÁ
Příklad: Projektový tým velké komunitní organizace, která se věnuje zdravotní reformě, zahájil hodnocení s cílem stanovit dopady a ponaučení z programů realizovaných v minulosti. Hodnocení se nemělo soustředit na „úspěšnost“ jednotlivých projektů, ale spíše na pokrok organizace v naplňování
obecného poslání – tím bylo zlepšování dostupnosti zdravotní péče pro příslušníky komunity, rozvoj znalostí v oblasti preventivní péče o zdraví a omezování zdravotně rizikových návyků a chování.
Hodnotící tým, složený ze zástupců jednotlivých projektů a z externího hodnotitele, předem stanovil zásadní otázky hodnocení: Jsou služby zdravotní
péče pro místní obyvatele celkově dostupnější? Vědí místní obyvatelé, jaké
chování s sebou přináší zdravotní rizika? Snížil se výskyt zdravotně rizikového chování mezi místními obyvateli? Jaké ponaučení přinesla realizace jednotlivých programů? Jakých příležitostí se nepodařilo využít s cílem zlepšit zdravotní stav příslušníků místní komunity?
S ohledem na účel hodnocení, položené stěžejní otázky a na reálně dostupné
lidské a finanční zdroje se hodnotící tým rozhodl, že je třeba co nejvíce využít značného množství údajů, které již byly shromážděny v jednotlivých projektech, aby zvolené metody shromažďování údajů zbytečně neduplikovaly
dříve provedené aktivity, a tak neplýtvaly cennými zdroji. Hodnotící tým však
chtěl získat rozmanité názory a pohledy na věc, a proto se rozhodl, že zvolené otázky budou nejlépe zodpovězeny souběžným využíváním kvantitativních a kvalitativních údajů získaných pozorováním a rozhovory na místě,
stejně jako studiem dříve získaných údajů.
Kvalitativní informace se podle plánu měly opírat o rozsáhlé studium existujících dokumentů, jako byly průběžné zprávy o jednotlivých projektech, předchozí hodnotící zprávy, poslání a organizační diagramy. Organizace předpokládala, že hodnotící tým díky tomuto studiu získá přehled o kontextu, historii, cílech a dosažených výstupech jednotlivých projektů ve vztahu k organizaci jako celku. Na základě získaných informací hodnotící tým navíc hodlal
vytipovat klíčové zdroje informací pro následné rozhovory a stanovit cíle
pozorování na místě.
Díky tomu, že jednotlivé projekty archivovaly průběžné údaje o počtu účastníků/klientů a další informace specifické pro konkrétní projekt (délka účasti
v projektu, četnost výměny klientů, dopady před programem a po něm atd.),
byly už pro potřeby tohoto hodnocení určité kvantitativní informace k dispozici a nebylo třeba je shromažďovat znovu.
83
Hodnotící tým hodlal využitím uvedených metod shromažďování informací
získat ucelenější obrázek o dosavadním úsilí organizace reformovat zdravotní péči.
Pamatujte…
■ Stanovte metody shromažďování údajů podle toho, jak jsou vhodné k zodpovězení stěžejních hodnotících otázek a k dosažení výsledného účelu hodnocení.
■ Volte metody v návaznosti na dostupné zdroje. Může to znamenat, že budete
muset upravit plán hodnocení a zvolené metody nebo navrhnout jiné varianty,
abyste se vešli do rozpočtu. Další možnost je, že bude nezbytné zajistit doplňkové zdroje, abyste mohli hodnocení provést tak, jak je považujete za nejúčelnější a nejužitečnější.
■ Vybírejte metody podle vhodnosti pro cílovou skupinu a pro účastníky programu.
■ Kde je to vhodné, zvyšujte spolehlivost a využitelnost výsledků hodnocení tím,
že skloubíte různé metody hodnocení.
V okamžiku, kdy jste dopracovali hodnotící otázky a zvolili metody hodnocení,
může hodnotící tým začít shromažďovat potřebné informace. Než začnete chystat osnovy rozhovorů a formulovat otázky dotazníkových šetření, prozkoumejte
dostupné informace o cílové skupině, komunitě a projektu. Mezi důležité otázky, na které byste měli hledat odpovědi ve vlastní organizaci i z jiných zdrojů,
patří:
■ Proč vás daná informace zajímá?
■ Jak je v současné době využívána?
■ Může vám pomoci v hledání odpovědi na některou ze stěžejních otázek
hodnocení? Jak?
■ Co stále chybí?
■ Nenašla by se chybějící data v jiných informačních zdrojích?
Dbejte na to, abyste shromažďovali pouze informace, které využijete, a abyste
využili všechny informace, které shromáždíte.
84
ČÁST DR UHÁ
Proces shromažďování údajů je pro hodnocení na úrovni projektu klíčový. Většina organizací shromáždí obrovské množství informací o tématech a otázkách,
které se nějak dotýkají jejich práce. Značná část shromážděných informací však
často zůstává nevyužita v počítačových systémech vedení organizací nebo zůstává izolována v určité části organizace. Proto nutnou součástí procesu shromažďování informací je prozkoumání stávajících systémů evidence, přijetí rozhodnutí, které údaje je potřeba shromažďovat a jak budou využity, a také kritické zvážení, jaké údaje projektový tým potřebuje a doposud je systematicky neshromažďoval. Diskuse o shromažďování údajů uvnitř organizace navíc zpravidla zlepšuje funkční komunikaci napříč organizací. Začnete se totiž zabývat tím, jak
provázat související údaje shromážděné na různých místech systému nebo
v různých okamžicích procesu, což vede k novým objevům a k pozitivním změnám.
Stejně jako u ostatních kroků je tuto fázi hodnocení důležité provázat s ostatními fázemi. Řada hodnotitelů se na shromažďování údajů zasekne – hromadí veškeré informace, které jim přijdou pod ruku, a vytvářejí další a další nástroje sběru
údajů. Sociální programy a služby jsou stále složitější, aby se dokázaly vypořádat
se stále komplikovanějšími situacemi. S tolika rozmanitými typy údajů a informací je nemožné udržet pozornost na konkrétních otázkách, na které se hodnocení
snaží nalézt odpovědi. Lidem, kteří odpovídají za shromažďování údajů, klaďte
na srdce, aby se sami sebe neustále ptali, jak bude každá zaznamenaná informace využita, jakou má souvislost s ostatními informacemi a jak pomůže zodpovědět nastolené otázky.
Fáze shromažďování údajů také pomůže hodnotícímu týmu, aby přehodnotil
plán a metody na základě zdrojů (finančních a lidských), aby prozkoumal, jak
je proces hodnocení přijímán klienty a dalšími lidmi, kteří informace poskytují,
a aby vyhodnotil užitečnost shromažďovaných informací.
Příklad: Navážeme na předchozí příklad, který popisoval komunitní organizaci věnující se zdravotní reformě. Hodnotící tým, složený ze zástupců projektů a hodnotitelů, se hned z několika důvodů rozhodl začít shromažďováním existujících údajů. Za prvé, vzhledem k rozsahu hodnocení tým nedisponoval finančními ani lidskými zdroji, které by umožňovaly začít od nuly,
a shromáždit tak širokou škálu údajů v potřebném rozsahu. Protože jde navíc
o velkou organizaci, která realizuje mnoho projektů, údaje v řadě formátů již
byly k dispozici. A konečně, hodnotící tým byl přesvědčen, že když proces
shromažďování informací zahájí u stávajících údajů, získá informace důležité pro druhou fázi sběru informací – pro rozhovory a místní pozorování.
85
Proces shromažďování stávajících údajů pomohl při dopracování hodnotících
otázek, při rozpoznání klíčových informátorů pro potřeby následných rozhovorů, při sestavení protokolů pro rozhovory a při rozhodování, které důležité údaje pro hodnocení nadále chybějí. Hodnotící tým tak byl schopen lépe
nastavit fázi shromažďování údajů prostřednictvím rozhovorů a pozorování,
aby získal chybějící data. Před zmíněným přehodnocením např. dobrovolníci nebyli zařazeni mezi zdroje informací. Po prostudování dostupných materiálů si však hodnotící tým uvědomil, jak významná je úloha dobrovolníků
ve většině projektů. Proto byli zástupci dobrovolníků dodatečně doplněni do
rozvrhu rozhovorů a z hlediska hodnocení pak poskytli zcela zásadní informace.
Jednoznačně stanoveným cílem druhé fáze shromažďování údajů bylo pohovořit s reprezentativním vzorkem lidí zastupujících všechny úrovně projektu.
Hodnotící tým však vzhledem k časovým, finančním a dalším kapacitním
omezením nemohl provést rozhovory se všemi lidmi vytipovanými v první
fázi. S tímto vědomím se hodnotící tým rozhodl, že je zvláště důležité pohovořit s příslušníky komunity a se zaměstnanci v přímé práci s klienty, aby
bylo možné vyjasňovat a potvrzovat získané údaje. Hodnotící tým tak získal
dojem, že se mu podařilo poskládat mnohem plnější obraz toho, co se odehrálo, co fungovalo a co má ještě každý projekt i organizace jako celek před
sebou, byť proběhlo méně rozhovorů, než se původně plánovalo.
Díky týmové spolupráci se členům hodnotícího týmu podařilo stanovit pořadí priorit v tom, čeho je ve shromažďování údajů možné dosáhnout s ohledem na existující omezení. Týmová spolupráce navíc zohlednila rozličné perspektivy v procesu shromažďování údajů a celkově zajistila, že všichni v organizaci přijali hodnocení za vlastní.
Z dvoufázového procesu shromažďování údajů vzešla důležitá ponaučení pro
zlepšování stávajících systémů vedení evidence v organizaci. Zaměstnanci
měli příležitost zjistit, které údaje, jež doposud nebyly průběžně a systematicky shromažďovány, potřebují, a které nepotřebné údaje naopak shromažďovali zcela zbytečně.
Rozhovory s klíčovými účastníky projektů nejen pomohly najít odpovědi na
stěžejní otázky položené v rámci hodnocení, ale navíc přinesly mnoho dalších informací, například o potřebách zaměstnanců a dobrovolníků v jejich
dalším rozvoji nebo o možnostech vylepšení programu. Na základě této zkušenosti se hodnotící tým rozhodl zařadit pravidelné rozhovory do běžného
86
ČÁST DR UHÁ
systému vedení evidence a shromažďování údajů v rámci programu. Umožnilo jim to souběžně nabízet příležitost růstu pro zaměstnance, směřovat k naplňování cílů programu a průběžně shromažďovat potřebné údaje.
Pamatujte…
■ Shromažďujte jen údaje, které použijete a které se týkají položených otázek a účelu hodnocení.
■ Zapojte všechny zaměstnance, kteří se podílejí na shromažďování údajů, do předběžného formulování otázek.
■ Zhodnoťte strategie shromažďování údajů na základě úvodní analýzy. Co funguje? Co
nefunguje? Které údaje nadále chybějí?
■ Změny stávajících systémů vedení evidence a shromažďování údajů opřete o ponaučení, která vyplynula z hodnocení.
Krok 7: Analýza a interpretace údajů
Když naplánujete hodnocení a shromáždíte potřebné údaje, je potřeba získané
informace popsat, analyzovat, interpretovat a dospět k závěru o smyslu zjištění
v kontextu projektu. Tento proces může být komplikovaný a občas značně technický. O různých metodách hodnocení byla napsána spousta knih. Proto není
možné, aby příručka nabízející obecný úvod do hodnocení odpovídajícím způsobem vysvětlila techniky analýzy a interpretace. Na následujících stranách jsme
se nicméně pokusili shrnout některé základní techniky třídění a analýzy údajů.
Kvantitativní analýza
Když se řekne analýza, nejčastěji si vybavíme statistickou nebo kvantitativní
analýzu. Zaměstnanci organizace, pokud nejsou vzděláni ve statistice, mají
z kvantitativní analýzy často strach. Nezřídka se setkáváme s tím, že ji raději
nechají na externích nebo interních hodnotitelích, protože ti přece vědí, jak „se
dělá hodnocení“. Přesto se nabízejí způsoby, jak mohou zaměstnanci projektu
a hodnotící tým analýzu získaných informací provádět, aniž se nějak zásadně
vzdělávají ve statistice. Můžete například začít tím, že budou kvantitativní zjištění (např. čísla ze záznamů o využívání projektu nebo odpovědi z dotazníků)
převádět na procenta a průměry.
V této fázi do hry výrazně vstupuje zohledňování různorodých hledisek. Kvantitativní analýza vyžaduje interpretaci výsledků a zjištění, zda dávají smysl
87
v kontextu projektu – který zaměstnanci znají zpravidla lépe než ostatní. Projektový a hodnotící tým by měly spolupracovat a společně si odpovědět na otázky:
Dávají výsledky smysl? Jaká vysvětlení připadají v úvahu u překvapivých zjištění? Jaká byla učiněna rozhodnutí o kategoriích a indikátorech úspěchu? Vynechali jsme jiné indikátory? Jak by mohly údaje, které jsme se rozhodli shromáždit a analyzovat, zkreslovat obraz projektu/programu? A především, v čem nám
čísla a výsledky mohou pomoci při rozhodování, jak program vylepšit?
Mějte na paměti, že naším záměrem je, aby hodnocení podporovalo program
a napomáhalo jej vylepšit. Komplexní statistická analýza kvalitně naplánovaného
experimentálního šetření, která nepřináší zlepšení programu, je méně užitečná než
pečlivá, byť jednoduchá statistická analýza stávajících dokumentů a materiálů,
která vede k pozitivním změnám v programu a v systému vedení evidence.
Kvalitativní analýza
Kvalitativní údaje zahrnují informace získané rozhovory, pozorováním, studiem
dokumentů a tiskových materiálů nebo dotazníkovým šetřením s otevřenými
otázkami. Informace získané rozhovory a pozorováním jsou zaznamenávány
v podobě souvislých popisných textů nebo podkladových poznámek. V některých
případech se rozhovory nahrávají a přepisují. Některé tyto texty jsou užitečné
a využitelné samy o sobě, protože nabízejí zásadní informace o tom, jak program
dosahuje cílů. Ve většině případů je nicméně užitečné kvalitativní údaje analyzovat systematičtějším způsobem.
Kvalitativní metody a analýzy podle našeho názoru umožňují lépe porozumět
programům, zároveň však máme dojem, že většina lidí nerozumí síle a logice
kvantitativních metod. Zčásti je to tím, že je nikdo neučil systematicky analyzovat kvalitativní údaje. Kvalitativní údaje jsou až příliš často vnímány jako pouze
doplňkové informace, které oživují skutečné výstupy – tedy čísla – a zasazují je
do souvislostí. Kvalitativní údaje však pomáhají vysvětlit, jak program funguje,
proč probíhal určitým způsobem, proč narazil na určité překážky, a mohou
dokonce vysvětlit – a prokázat – ony těžko měřitelné výstupy, které kvantitativně definovat nelze.
Jak jsme uvedli, kvalitativní analýzy se vyznačují řadou jemných nuancí, kterým
se v této publikaci nemůžeme věnovat. Pro ty, kdo mají zájem, existuje spousta
odborné literatury o využívání kvalitativní analýzy ke zkvalitnění závěrů hodnocení. Následující odstavce nabízejí alespoň stručný popis základních technik kvalitativní analýzy.
88
ČÁST DR UHÁ
Techniky kategorizace a kódování
Kvalitativní údaje umožňují vysledovat podobnosti v několika různých sděleních,
rozhovorech nebo dokumentech. Vyhledávání opakujících se témat a vzorců
v přepisech rozhovorů, v poznámkách z pozorování nebo v dotazníkových šetřeních s otevřenými otázkami lze provést tak, že kategorizujete své poznámky
podle opakovaně se objevujících témat, která se týkají hodnotících otázek. Dělá
se to zpravidla tak, že nejprve pročtete materiály a vytipujete opakující se témata a vzorce. V dalším kroku je třeba rozstřihat texty podle stěžejních kategorií,
které jste objevili, a nalepit je na indexové kartičky (nikdy nezapomeňte vyznačit, odkud část pochází) nebo využít počítačový program, který tuto operaci umí
provést elektronicky. Roztřídění materiálů tímto způsobem umožňuje snazší
objevování opakujících se vzorců, vytvoření hypotézy nebo testování hypotézy
vyvozené na základě jiných informačních zdrojů.
Technika kontextuální analýzy
Kategorizace je sice výtečný způsob dokumentace vzorců a opakujících se témat
programu, pokud však není používána souběžně s technikou kontextualizace,
která se více zaměřuje na to, jak do sebe věci zapadají, může kategorizace vést
k předčasným zobecněním o programu. Případové studie a popisná shrnutí o specifické části programu nebo o jeho účastníkovi jsou technikami kontextuální analýzy, které uchovávají a vyjasňují popisované vztahy. Tyto techniky osvětlují
významné souvislosti a jednotlivé rozdíly, které často zůstávají skryty, když roztřídíme texty a kvalitativní údaje do nespojitých kategorií.
Technika psaní záznamů
Řada kritiků kvalitativních metod hodnocení tvrdí, že jsou příliš subjektivní, že
hodnotitel ztrácí svou objektivitu, když se do programu příliš ponoří nebo když
získá příliš úzký vztah k zúčastněným osobám. Jsme přesvědčeni o tom, že úplná
objektivita není dosažitelná ani v kvantitativním hodnocení. Navíc profesionální
kvalitativní hodnotitelé již přišli s účinnými způsoby, jak se vypořádat se subjektivitou – reflexí vlastních hodnot a předsudků a analýzou, jak mohou ovlivnit,
které údaje hodnotitel shromáždí a které ne, co slyší a co neslyší, jak interpretuje údaje a k jakým závěrům nakonec dojde. Průběžným psaním reflexivních záznamů o procesu hodnocení, získaných údajích a jejich interpretacích mohou
kvalitativní hodnotitelé zajistit, že nebudou ztrácet ze zřetele dopady vlastních
předpojatostí a hodnot, které jsou nevyhnutně součástí každého hodnocení. Hodnocení by proto mělo být naplánované a měl by ho realizovat hodnotící tým. Pak
je možné záznamy sdílet a skládat z nich mnohotvárný obraz zohledňující celou
škálu úhlů pohledů.
89
Další formy analýzy
Na závěr je potřeba říci, že existují další analytické techniky, které vycházejí
z jiných přístupů k hodnocení. Například feministické metody výzkumu přišly
s analytickými technikami, jako je např. analýza založená na hlase od Carol Gilliganové (Brown a Gilligan, 1990, Brown a Gilligan 1992, Gilligan, Brown
a Rogers, 1990). S poukazem na to, že tradiční techniky analýzy rozhovoru opomíjely nebo nesprávně interpretovaly příběhy, které dívky a ženy vyprávěly
o svém morálním vývoji, přišla Gilliganová se svou teorií analýzy, která dokáže
tyto skryté příběhy vynést na světlo.
Participativní hodnotitelé vyvinuli techniky, kdy účastníci spolupracují s hodnotitelem při analýze přepisů svých vlastních rozhovorů a společně dospívají
k interpretacím.
Zkrátka a dobře, kromě statistické analýzy existují další analytické formy, které
nám mohou pomoci pochopit a vysvětlit, co se děje v současných sociálních programech a službách. Znovu zdůrazňujeme, že volba analytické techniky nebo
kombinace technik se odvíjí od konkrétních podmínek daného projektu, od cílové skupiny, na kterou je program zaměřen, od kontextu a od otázek, na které hledáte odpovědi.
Časový tlak a časová omezení, které se k hodnocení vážou, často hodnotiteli znemožňují, aby provedl pečlivé a podrobné analýzy. Jsme přesvědčeni, že fáze analýzy a interpretace si zaslouží dostatečnou investici času a prostředků, protože
v jejím průběhu jsou přijímána rozhodnutí a konkrétní opatření.
Stručně řečeno, interpretace znamená nahlédnout za horizont shromážděných
údajů a odpovědět si na důležité otázky: Co výsledky znamenají? Co k výsledkům
vedlo? Jsou zjištění významná? Až bude hodnotící tým hledat odpovědi na tyto
otázky, neměl by opomenout zapojit další účastníky programu. Kromě toho, že
nebudou tak netrpěliví, získáte důležité informace vycházející z jejich znalosti
programu a zajistíte, že procesu hodnocení zůstanou nakloněni.
Příklad 1: Projektový tým programu zaměřeného na zvyšování vzdělanosti
a povědomí občanů o otázkách kvality povrchové a pitné vody narazil na problémy v průběhu cyklu seminářů, které nabízely představitelům místní samosprávy a zástupcům komunity informace a odborné vědomosti týkající se problematiky povrchových vod. V polovině vzdělávacího cyklu si pracovníci uvědomili, že nesměřují ke stanoveným cílům. Především zjistili, že neoslovují
zvolenou cílovou skupinu – zástupce samosprávy a místní obyvatele, ale
90
ČÁST DR UHÁ
že místo toho „přesvědčují přesvědčené“ – jiné poskytovatele služeb a jim
podobné osvětové organizace.
Organizace se chtěla dozvědět, proč na semináře nechodí zástupci samosprávy a místní obyvatelé, přestože semináře byly určeny zejména jim. Vedoucí
projektu proto najal místního hodnotitele, který o tom měl ve spolupráci se
dvěma pracovníky organizace něco zjistit. Hodnotící tým připravil spotřebitelský průzkum a provedl rozhovory se vzorkem zástupců samosprávy a místních obyvatel, které jim měly pomoci se rozhodnout, jak lépe a účelněji strukturovat a realizovat vzdělávací cyklus.
Hodnotící tým provedl rozhovory a pak společně pracoval na analýze a interpretaci. Tým se opakovaně sešel, aby prodiskutoval a analyzoval výstupy rozhovorů. Práce v týmu jim umožnila ověřovat jejich předpoklady, konfrontovat
jednotlivé interpretace a dosahovat konsenzu na základě různorodých úhlů
pohledu. Zaměstnanci zodpovědní za sestavení osnov seminářů a za jejich realizaci byli navíc schopni provázat výstupy z rozhovorů s možnými dopady na
osnovy a jejich přehodnocení. Protože se aktivně podíleli na analytické a interpretační fázi hodnocení, považovali oba zaměstnanci změny, které se rozhodli v osnovách provést, za své dílo, a velmi dobře věděli, jakou mají tyto změny
návaznost na údaje shromážděné od klientů.
Tým byl ve výsledku schopen dovodit řadu závěrů o silných a slabých stránkách cyklu seminářů. Dozvěděli se, co motivuje jejich klienty a z jakého důvodu původně na seminář přišli. Zaměstnanci byli (s pomocí hodnotitele) na
základě kolektivní interpretace rozhovorů schopni vzdělávací cyklus přepracovat, aby uspokojoval potřeby a zájmy zákazníků.
Dalším obecným zjištěním hodnocení byla skutečnost, že cílová geografická
oblast je příliš velká. Lidi zajímaly otázky, které mají bezprostřední vliv na
jejich komunitu a nejbližší okolí. Hodnotící tým zjistil, že je potřeba zasadit
probírané otázky do života konkrétních lidí a jejich vnímání bezprostředního
okolí. Semináře, které byly původně navrženy pro téměř dvanáct místních
komunit, byly rozděleny podle menších oblastí zahrnujících jen několik spřízněných komunit a zaměřily se na témata, která se těchto oblastí přímo týkala.
Analýza rozhovorů se zákazníky přinesla také důležité informace o struktuře
seminářů, o tom, jaké složení účastníků je smysluplné, o nejpříznivějším načasování a místech konání seminářů a o tématech, která byla pro jednotlivé
komunity nejaktuálnější.
91
Na základě těchto zjištění, která vyplynula z analýz a interpretací průzkumů,
provedli zaměstnanci odpovídající změny v obsahu i formátu seminářů.
Doplňková analýza hodnotícího průzkumu po skončení vzdělávacího cyklu
ukázala, že přijaté změny nejen vzbudily zájem účastníků, ale přinesly také
kvalitnější vzdělávací nástroj, který naplňoval zamýšlené cíle programu. Doplňující analýza a interpretace údajů shromážděných po skončení seminářů před
hodnotící tým postavily důležité otázky, kterým bylo třeba věnovat pozornost,
například: Nemělo by jít o dlouhodobý vzdělávací cyklus? Mají účastníci na
základě zkušeností získaných na seminářích zájem vytvořit síť nebo akční
skupinu soustředěnou kolem problematiky povrchových vod? Jak můžeme síť
podpořit a udržovat?
Příklad 2: Případ celostátní organizace pracující se znevýhodněnými ženami
nabízí pěkný příklad, jak změny v hodnotících otázkách a primárních metodách shromažďování údajů vedly k novým interpretacím a zjištěním. Tyto
nové interpretace zase vedly k významným změnám v prioritách organizace.
Jak jsme probrali dříve, první hodnocení mělo za úkol zjistit, zda fungoval
pilotní program pro znevýhodněné ženy. Hodnocení bylo rozvrženo jako tradiční studie dopadů, takže zahrnovalo především průzkumy mezi klientkami
a následné strukturované rozhovory – tedy účinné a vhodné metody, které by
měly přinést odpovědi na zásadní otázku: Fungoval program?
Zaměstnanci si však po přečtení hodnotící zprávy uvědomili, že i když chtěli
pouze prokázat, zda program fungoval, existuje ještě řada klíčových otázek,
kterým hodnocení nevěnovalo pozornost. Když si organizace následujícího
roku objednávala další hodnocení, rozhodli se zaměstnanci, že je důležité spolupracovat s hodnotiteli a společně určit, co se chtějí o programu a organizaci
dozvědět. Zaměstnanci organizace za přispění hodnotitelů rozhodli jako tým,
že tento pilotní program znamenal významný posun v identitě organizace a ve
způsobech, jakými organizace naplňovala své poslání. Hodnocení mělo hledat
odpovědi na následující otázky:
■
■
■
■
Jak a proč program dosahoval výsledků?
Kterým ženám byl skutečně ku prospěchu?
Co program pro zúčastněné ženy znamenal?
Jak je program provázán s celkem organizace?
Navíc se chtěli ujistit, že hodnocení přinese informace užitečné pro zlepšování programu, služeb a organizačních struktur.
92
ČÁST DR UHÁ
Popsaný proces je dobrým příkladem, jak může změna hodnotících otázek
vést k výběru jiných metod hodnocení a ve výsledku k jiným interpretacím.
Hodnotící tým se na základě přeformulovaných hodnotících otázek rozhodl, že
převážně kvalitativní přístup bude přinejmenším pro první rok nejvhodnější.
Účelné zodpovězení hodnotících otázek vyžadovalo, aby hodnotící tým pochopil 1) smysl relevantních zkušeností a událostí pro lidi zapojené do programu;
2) souvislosti a situace, které mají vliv na organizační a personální rozvoj
a změnu. K tomuto účelu mohou nejlépe posloužit kvalitativní metody včetně
podrobných rozhovorů, fokusových skupin a pozorování.
Jakmile byly údaje shromážděny, začal hodnotící tým s analýzou a interpretací jednotlivých komponentů (např. rozhovorů, pozorování, studia dokumentů), provázenou podrobným čtením přepisů a poznámek z terénu, ve kterých
byla hledána témata a spojitosti a pak zvažován jejich smysl. Poté hodnotící
tým analyzoval údaje získané z rozhovorů, fokusových skupin a pozorování
za pomoci klasické kategorizace a kódování, přičemž vyhledával opakující se
vzorce a témata jak na jednotlivých místech realizace, tak napříč celým programem.
Rozdíly mezi jednotlivými místy realizace a mezi jednotlivými hledisky
pomohly hodnotícímu týmu vyhnout se předčasným zobecněním o vzorcích,
tématech a hypotézách. Aby hodnotící tým zaručil, že neztratí ze zřetele jednotlivé rozdíly a širší souvislosti, skloubil analytickou techniku kategorizace
(zaměřenou na podobnosti) s metodou kontextualizace, zahrnující popisnější
shrnutí a drobné případové studie. Použité techniky jim umožnily zachovat
provázanost mezi jednotlivými místy realizace a jednotlivými osobními zkušenostmi a zároveň osvětlit okolnosti kontextu a jednotlivé rozdíly, které často
zůstávají skryty, jsou-li použity pouze techniky kategorizace.
Změny v metodách shromažďování údajů a v technikách analýzy ve výsledku
přinesly nové interpretace probíhajících procesů. Toto druhé hodnocení, místo
aby hledalo informace o programu a zjišťovalo, zda „fungoval“, nabídlo nové
významné poznatky o transformaci, kterou procházela celá organizace. Hodnocení přineslo informace o pilotním projektu v kontextu širších organizačních změn. Hodnotící tým zjistil, že pilotní program předznamenal důležitý
posun v identitě organizace a ve způsobu poskytování služeb klientům. Bylo
to zásadní období pro ověření a upevnění organizačních principů a hodnot na
základě zjištění, co chudým ženám skutečně prospívá. Hodnotící tým navíc
zjistil, že zaměstnanci a dobrovolníci organizace pociťují v důsledku nedávných změn stres a zmatek.
93
Nové interpretace se odrazily v zásadních strategických cílech včetně zvýšených investic do personálního rozvoje, který měl zaměstnancům pomoci překonat proces změny. Důraz byl nově kladen také na formulaci principů a hodnot organizace a na vytvoření logického modelu teorie změny, jehož prostřednictvím organizace hodlala dosahovat svého poslání omezit počet žen, které
žijí v chudobě.
Pamatujte…
Při analýze a interpretaci kvantitativních i kvalitativních údajů se vyhněte následujícím
nástrahám:
■
■
■
■
94
Nepropadejte dojmu, že program je jedinou příčinou zdokumentovaných pozitivních změn. Změny, které zaznamenáte u účastníků programu nebo v komunitě,
mohou jít na vrub několika faktorům, z nichž některé nemají s projektem nic společného. Dopady zpravidla není možné vyčlenit podle jednotlivých příčin. Hodnotící zpráva by přinejmenším měla vzít na vědomí další okolnosti, které ke změnám
mohly přispět.
Nezapomínejte, že stejná metoda hodnocení může přinést jiné výsledky, když ji
uplatňují různí lidé, a že respondenti mohou hodnotiteli říci to, o čem si myslí, že
chce slyšet. Dva tazatelé mohou například položit stejnou otázku a dostat jinou
odpověď, protože jeden z nich byl přátelštější a trpělivější. Skutečné problémy
nebo obtíže mohou být opomíjeny nebo mohou zůstat skryty, protože lidé si přejí,
aby projekt byl úspěšný, nebo aby tak alespoň vypadal.
Nepoužívejte nevhodný nebo v příliš mnoha věcech odlišný kontrolní vzorek.
Například věk, pohlaví, rasová příslušnost, ekonomický statut a řada dalších faktorů může ovlivnit výstupy projektu. Pokud srovnáváte mezi skupinami, snažte se
srovnávat skupiny s obdobnými charakteristikami s výjimkou té konkrétní charakteristiky, kterou zkoumáte.
Nemyslete si, že výsledky drobného hodnocení platí i pro širokou skupinu lidí nebo
pro celou geografickou oblast. Je zavádějící vyhodnotit reakce účastníků konkrétního programu v jednom městě a pak tvrdit, že výsledky mají celostátní platnost.
I když to nakrásně může být pravda, hodnotící zpráva by měla reflektovat jen analyzované údaje.
ČÁST DR UHÁ
Využití
8. Jak sdílet zjištění a nálezy
9. Jak využívat proces a výsledky hodnocení
Hodnotící tým a účastníci projektu by měli probrat nejužitečnější způsoby, jak
sdílet hodnotící zjištění. Taková komunikace může probíhat formou pravidelných diskusí s hodnotícím týmem jednou týdně. Může zahrnovat diskuse nebo
kulaté stoly pro širší publikum v měsíčních intervalech. Zaměstnanci organizace mohou požádat externího hodnotitele, který nepracuje na místě, aby jim jednou za čtrnáct dnů rozesílal zprávy s informacemi a úvahami, na které by mohli
reagovat a komentovat je. Nejdůležitější je zapojit všechny, kdo budou zjištěné
informace potřebovat, do diskuse o tom, jak o celém procesu hodnocení nejlépe
komunikovat.
Průběžný dialog a interaktivní formy komunikace za prvé zajistí, že účastníci přijmou zjištění za vlastní a budou více motivováni na jejich základě jednat. Za
druhé posílí jejich účast na propracování plánu hodnocení, otázek, metod a interpretací. Tento interaktivní proces zajistí optimální využití zdrojů při hledání
odpovědí na nejzávažnější otázky.
Marketing a šíření informací
Důrazně doporučujeme zahrnout plánování marketingu a šíření informací do plánování hodnocení. V ideálním případě jsou informace, na kterých marketing
staví, zváženy hned na začátku, aby se plán shromažďování údajů zaměřil na
relevantní údaje. Kromě průběžných komunikačních mechanismů, které nastavíte v průběhu hodnocení, je důležité stanovit pravidla pro formálnější zprávy
a prezentace, které nabízejí informace o projektu včetně hodnotících zjištění. Formální zprávy by měly být šířeny různými způsoby různým cílovým skupinám.
Psaní výročních a závěrečných zpráv pro dárce
Výroční zprávy spolu se závěrečnými zprávami pro dárce jsou primárními zdroji
informací o zkušenostech nabytých v rámci projektu. Jsou nesmírně užitečné pro
budoucí dárcovské programy, protože dokumentují, co se děje nebo co se odehrá-
95
lo v konkrétním projektu a proč, a popisují ponaučení, která vyplynula z procesu přípravy a realizace projektu. Přesto však spousta zpráv pouze vypíše projektové aktivity a náklady a o zásadních výstupech nebo o získaných ponaučeních
se vlastně nezmíní.
Nejlepším zdrojem, který je možné při psaní zprávy pro nadaci konzultovat, je
zavazující dopis, jehož prostřednictvím vás dárce informoval o rozhodnutí udělit
organizaci grant. Jak jsme uvedli výše, dopis zpravidla obsahuje zásadní hodnotící otázky, o kterých jsme přesvědčeni, že by je projekt mohl pomoci zodpovědět. Ani hodnocení, ani zpráva by se sice neměly na tyto otázky omezit, přesto
mohou posloužit jako dobré východisko.
Výroční a závěrečné zprávy nemusí být dlouhé. Stručná, dobře napsaná, desetistránková zpráva bude mít mnohem spíše dopad na naše programové aktivity než
sto stránek nezpracovaných údajů.
Komunikace s dalšími účastníky programu
Šíření informací o projektu navenek může posloužit několika účelům: zlepšení
fungování podobných projektů a organizací, skládání účtů dárcům a úřadům, přesvědčení rozličných skupin lidí o důležitosti projektu, zajišťování následné podpory projektu. Hodnotící zjištění prezentovaná ve sdělovacích prostředcích, která
popíší aktivity projektu a situaci cílové skupiny, mohou zvýšit zapojení a porozumění projektu na místní úrovni.
Při sdílení hodnotících zjištění buďte tvořiví a nebojte se inovace. Využijte různých technik, jako jsou nástěnky, ústní prezentace, shrnující zprávy, průběžné
zprávy a neformální konverzace. Nabízí se však řada dalších možností, například:
■ Sepište a šiřte celkovou hodnotící zprávu včetně shrnutí a odpovídajících technických příloh.
■ Sepište na základě hodnotících zjištění shrnutí a popularizační články na míru
jednotlivým cílovým a účastnickým skupinám.
■ Sepište pečlivě formulovanou tiskovou zprávu a sežeňte prestižního zástupce
organizace nebo uznávanou osobnost veřejného života, která ji médiím předloží.
■ V souvislosti s vydáním tiskové zprávy uspořádejte tiskovou konferenci.
■ Uspořádejte pro vybrané skupiny ústní prezentace. Zařaďte ukázková cvičení,
která aktivně zapojí účastníky do analýzy a interpretace.
■ Připravte profesionálně vyhlížející grafy, diagramy a obrazové přílohy, které je
při prezentacích možné využít.
96
ČÁST DR UHÁ
■ Pořiďte krátkou video- nebo audionahrávku prezentující výsledky, kterou lze
využít při analytických nebo diskusních setkáních.
■ Uspořádejte debatu nebo proveďte analýzu protichůdných stanovisek, jež umožní
podrobně probrat neslučitelná hlediska.
Pamatujte…
Prakticky ke každému hodnocení patří sepsání písemné zprávy. Psaní zprávy vyžaduje:
■
■
■
■
■
■
Vědět, kdo je vaše cílová skupina a jaké informace potřebuje. Jiné cílové skupiny potřebují jiné informace, i když se týkají stejného tématu.
Použijte informace z hodnocení jako základ rozhodování. Zprávy napsané pro
potřeby rozhodování by měly uvést doporučení doplněná o shrnutí odpovídajících
zjištění hodnocení.
Začněte od nejzávažnějších informací. Při psaní si představujte, že čtenář nebude mít čas pročíst celou zprávu – buďte struční, ale informativní. Zpráva by měla
být uvedena stručným a jasným abstraktem a každá kapitola, oddíl nebo odstavec by měly začínat tím nejdůležitějším.
Zdůrazněte nejdůležitější místa rámečky, jinou velikostí písma, kurzívou nebo
tučně.
Zpráva musí být čtivá. Nepoužívejte odborný žargon nebo výrazy, které by
nemusely být srozumitelné. Používejte slovesa v činném rodu, věty budou kratší a důraznější. Čleňte do krátkých odstavců, kdy každý je věnován jediné myšlence.
Zpráva by měla projít redakcí, která vyškrtá zbytečná slova a věty. Je lepší, když
vaši práci zrediguje někdo jiný. Pokud musíte redakci provést sami, nechte text
před redakcí alespoň den dva uležet.
Hodnocení musí především přinášet užitečné informace. Mělo by mimo jiné umožnit vedoucím projektů zvyšovat jejich účelnost a přínos.
Posledním realizačním krokem, o kterém bude řeč, je využívání procesu a výsledků hodnocení. V tomto směru totiž většina hodnocení selhává. Spousta příjemců grantů si stěžuje, že hodnocení programu není využíváno jako podklad
pro rozhodování a že často nenabízí informace využitelné v každodenním říze-
97
ní. V jiných případech sice organizace shledaly hodnocení přínosným, lze však
jen velmi těžko přesně určit, kdy a jak se proces a výsledky hodnocení využily
pro rozhodování a přijetí konkrétních opatření. Hodnocení často věci rozběhne,
ale jen v nejzákladnějších krocích.
Jsme přesvědčeni, že jednou z nejvýznamnějších charakteristik účelného hodnocení je využitelnost získaných informací, čili zda projektový tým a ostatní
účastníci programu mohou informace přímo použít k rozhodování o programu.
Hodnotící zpráva, na kterou se práší na regálu, nepřinese lepší plánování a řízení programu. Účelné hodnocení je východiskem pro konkrétní kroky. Užitečné
procesy a výsledky hodnocení jsou základem pro fundovaná rozhodnutí, pro
vyjasnění možností, pro nalezení silných a slabých stránek a nabízejí informace
o možnostech zlepšení programu, o koncepcích a o klíčových souvislostech,
které mají na program vliv.
Je důležité, aby hodnotící tým a ostatní účastníci promýšleli otázku využitelnosti od samého počátku hodnotícího procesu. Budete-li s diskusí, jak využít výsledky hodnocení, čekat až na konec hodnocení, bude pozdě – potenciální možnosti využití již budou určeny průběžnými rozhodnutími. V průběhu každé fáze
plánování a realizace hodnocení – výběr účastníků, příprava otázek, sestavení
rozpočtu, výběr hodnotitele, volba metod, shromažďování, analýza a interpretace údajů a sdílení zjištění – by proto měla probíhat diskuse, jak hodláte použít
proces a výsledky hodnocení pro rozhodování a přijímání praktických opatření.
Diskusi o využitelnosti můžete začít tím, že si položíte například následující
otázky:
■ O čem se projektový tým a další účastníci potřebují dozvědět víc?
■ Jaká rozhodnutí byste měli učinit, ale potřebujete je opřít o více informací?
■ Jak naložíte s odpověďmi na položené otázky? (zvažte různé varianty podle
různých typů odpovědí, které by hodnocení mohlo přinést)
Pak písemně zformulujte, jak hodlá hodnotící tým výsledky využívat. Buďte co
nejkonkrétnější a materiál revidujte v průběhu projektu. Stanovení prioritních
využití v počátcích procesu umožní efektivněji rozhodovat o plánování a metodologických otázkách a přinese informace, které potřebujete k rozhodování
o stanovených otázkách.
98
ČÁST DR UHÁ
Další otázky, o kterých by v průběhu procesu měla být řeč, zahrnují:
■ Kdo přijme rozhodnutí a kdy?
■ Která témata pravděpodobně v souvislosti s těmito rozhodnutími
vyplavou na povrch?
■ Jak se v organizaci rozhoduje?
■ Které další faktory by mohly ovlivnit rozhodovací proces?
■ Podle čeho poznáme, že jsme proces a výsledky hodnocení využili tak,
jak jsme si naplánovali?
Zaměstnanci a účastníci programu mnohem spíše hodnocení využijí, když procesu hodnocení rozumějí a když jeho výsledky berou za své. Čili, čím více lidí získává informace o hodnocení a aktivně se procesu účastní, tím snazší bude dosáhnout toho, že proces a výsledky hodnocení budou využívány pro vylepšování
programu a pro rozhodování. Proto doporučujeme zřídit hodnotící tým a nastavit
komunikační mechanismy, které budou s probíhajícím procesem hodnocení
seznamovat ostatní zaměstnance a účastníky programu.
Nicméně, vést diskuse o tom, jak využívat hodnocení, zajistit všeobecné porozumění jeho přínosům a aktivně zapojit všechny účastníky, nestačí. Některé organizace tyto úvodní kroky podnikly, a přesto nebyly schopny hodnocení využívat
jako východisko pro konkrétní praktické kroky. Jednou z příčin je skutečnost, že
využívání informací a ověřování předpokladů o efektivitě programu brání řada
individuálních a organizačních překážek. Tyto překážky zahrnují strach z toho,
že člověk bude posuzován, obavy z neadekvátní náročnosti na čas a energii,
odmítání změny, nefungující systémy komunikace a sdílení informací nebo skutečnost, že zaměstnanci nemají možnost podílet se na rozhodování. Konkrétní
překážky, které by mohly bránit využívání informací v organizaci, by se měly stát
předmětem diskuse a reflexe.
Jak využívat výsledky hodnocení
Konkrétní využití závisí na celkovém účelu hodnocení a na otázkách, na které
hledáte odpovědi. Nabízíme několik specifických možností, jak využít výsledky
hodnocení:
Vylepšování programu
Cílem každého hodnocení by mělo být zlepšení programu. Zjištění vyplývající
z hodnocení by proto měla podporovat taková rozhodnutí a praktická opatření,
která ke stanovenému zlepšení budou co nejúčelněji přispívat. Konkrétní zjištění
mohou být využita při vytipování silných a slabých stránek programu nebo z nich
99
mohou vyplynout strategie průběžného vylepšování. Můžete se rozhodnout, že se
hodnotící otázky budou zaměřovat na organizační otázky. V tom případě zjištění
mohou přinést strategie, které zaměstnancům pomohou program efektivněji řídit,
zdokonalit organizační kulturu a systémy nebo zlepšit vztahy a chování zaměstnanců ke klientům.
Vyhodnocení efektivity programu
Je-li hlavním cílem vyhodnotit efektivitu programu, měla by zjištění vyplývající
z hodnocení podporovat rozhodování o kompetencích a kontrole kvality. V některých případech lze zjištění uplatnit při rozhodování o budoucnosti programu,
při určování pravděpodobnosti pokračujícího finančního zajištění nebo při rozhodování rozšíření programu.
Utváření nového know-how
Dalším potenciálním cílem hodnocení může být objevování nového know-how,
které lze účinně uplatnit v praxi. Hodnocení by se mělo zaměřovat na otázky,
proč a jak programy dosahují výsledků, komu přinášejí prospěch a za jakých podmínek. Zjištění vzešlá z odpovědí na tyto otázky nabízejí významné informace
o obecných zásadách efektivní praxe, o průřezových tématech, o provázanosti
základních východisek a praxe a někdy přinesou nová teoretická východiska lidského a organizačního rozvoje. Taková zjištění je navíc možné využít pro spolupráci a vzájemné obohacování mezi projekty a programy, které sdílejí některá
témata a zásady. Často jsou také základem rozhodování o koncepcích.
Využívání procesu hodnocení
Jsme přesvědčeni, že si příjemci grantů mohou z procesu hodnocení leccos
odnést, stejně jako z výsledků hodnocení. Zvláště to platí, když projektový tým
otevřeně prodiskutuje, co by si chtěl z procesu hodnocení odnést, hned na začátku hodnocení.
Proces hodnocení nabízí množství možností, jak pozitivně ovlivnit zaměstnance
organizace, dobrovolníky, klienty a další účastníky programu. Lidé, kteří se na
hodnocení přímo podílejí, se naučí rozpoznat myšlenkové zázemí a hodnoty, ze
kterých uplatněný přístup k hodnocení vychází. Budou rozvíjet svou dovednost
dosáhnout shody, určit stěžejní otázky, shromažďovat, analyzovat a interpretovat
údaje a sdílet výsledky a zjištění. Proces zaměstnancům pomůže soustředit se na
danou věc a zřetelněji svou práci reflektovat. Efektivní proces hodnocení může
vést k pozitivním změnám v organizační kultuře a systémech. Navíc může
v účastnících programu rozvíjet smysl pro soběstačnost a sebeúctu nebo může
pomoci překonat zavedené, mylné představy o určité cílové skupině, se kterými
100
ČÁST DR UHÁ
se jinak velmi obtížně pracuje. Nabízíme několik specifických možností, jak využít proces hodnocení:
Rozvíjení sdíleného porozumění a mínění
Jednou z možností, jak využít proces hodnocení, je zlepšit komunikaci a sdílené
porozumění mezi různými skupinami zapojenými do programu (např. mezi řadovými zaměstnanci a vedením nebo mezi zaměstnanci a dobrovolníky). Některá
hodnocení mohou pomoci účastníkům nebo komunitě obecně, aby lépe porozuměli cílové skupině programu, zvláště v případě okrajových skupin, o kterých
není příliš často slyšet. Zkrátka a dobře, proces hodnocení zprostředkuje lepší
propojení všech, kteří se projektu nebo programu účastní, a umožní toto porozumění dále rozvíjet.
Podpora a rozvíjení programu
Tvoří-li shromažďování a analýza údajů nedílnou součást plánování a realizace programu, může se proces hodnocení stát součástí vlastní programové
intervence. Jeden program zaměřený na ženy ve výkonu trestu například používá tzv. mapu života, na kterou účastnice vypíší svůj životní příběh, aby ho
pak prezentovaly ve skupině. Mapa života je využita k získání základních
informací o minulosti a životní situaci každé ženy, zároveň je však klíčovou
součástí desetitýdenní intervence. Nabízí ženám prostor, aby reflektovaly
vlastní život a zvážily, jak mohly minulé události a okolnosti ovlivnit současnou situaci. Navíc jde o aktivitu důležitou pro budování důvěry, protože
účastnice se začnou otevírat jedna druhé a vzájemně se chápat. Aktivita tedy
nejen poskytuje cenné informace pro účely hodnocení, ale zároveň posiluje
dopad programu.
Zastánci tradičního přístupu k hodnocení by takový proces hodnocení považovali přinejmenším za problematický. Podle jejich názoru mají hodnotitelé zůstat
objektivní třetí stranou, která nezasahuje do realizace programu a nijak ji neovlivňuje. V našem podání by však hodnocení mělo být nedílnou, stále přítomnou
součástí programu, a ne jeho oddělenou, samostatnou částí. Tento typ procesu
hodnocení navíc zvyšuje pravděpodobnost využívání výsledků hodnocení, protože aktivně zapojuje zaměstnance organizace do shromažďování údajů.
Podpora lidského a organizačního rozvoje
Ať už je vaše role v programu jakákoliv, účast na účelném hodnocení může pozitivně ovlivnit vaše uvažování a chování. Zaměstnanci, dobrovolníci, klienti
a další účastníci programu, kteří se na hodnocení podílejí, budou mít příležitost
v procesu hodnocení rozvíjet důležité dovednosti: vytipovat problémy, umět je
101
reflektovat, stanovovat kritéria, shromažďovat, analyzovat a interpretovat údaje,
vést diskuse a nalézat alternativní řešení.
Hodnotící tým by měl otevřeně probrat a promyslet, jak posílit dopady, které na
zaměstnance, dobrovolníky a zvláště na účastníky programu může mít proces
participativního hodnocení. Hodnotící procesy se v nejlepším případě mohou stát
procesy rozvíjení potenciálu jednotlivých skupin zúčastněných v programu, které
objevují a posilují své schopnosti a dovednosti.
Příklad 1: Úvodní hodnocení programu zaměřeného na poskytování vzdělávacích služeb rodinám a dětem z ekonomicky znevýhodněné městské komunity pomohlo zaměstnancům zjistit, že program provozují na základě souboru mlčky předpokládaných, nevyslovených východisek. Skutečnost, že tato
východiska nebyla sepsána ani otevřeně diskutována, zřejmě přispívala k problémům nových zaměstnanců pochopit program, jeho cíle a základní principy.
Původní zaměstnanci organizace využili zjištění vyplývající z hodnocení
k tomu, aby sestavili přehled vývoje projektu od jeho zrodu po současnost
včetně zásadních východisek a poslání programu. Tento přehled se nyní využívá při seznamování nových zaměstnanců s projektem a v prezentacích o programu pro potenciální partnery a klíčové účastníky, aby porozuměli jeho historii a stěžejním principům.
Zaměstnanci pokračovali ve využívání informací z hodnocení s cílem zlepšovat
program tak, že na základě přehledu vývoje sestavili logický model programu,
který nabídl další podrobnosti o tom, jak program funguje a jak dosahuje stanovených cílů. Proces sestavování logického modelu programu přinesl zaměstnancům a účastníkům vhodnou příležitost nacházet širší konsenzus a sdílené porozumění programu a jeho fungování. Shromažďování údajů pro jednotlivé části
logického modelu navíc zaměstnancům umožnilo stanovit silné a slabé stránky
programu včetně jeho mezer a zvýšit jeho kvalitu. Interaktivní proces hodnocení, následovaný využíváním zjištěných výsledků, je nejlepší způsob, jak mohou
příjemci grantů porozumět svým programům a průběžně je zlepšovat.
Příklad 2: Ve výše uvedeném příkladu, kde měla organizace jednu pozitivní
a jednu negativní zkušenost s hodnocením, rozhodující vliv na úspěch druhého procesu měl silný důraz na podporu lidského a organizačního rozvoje. Hodnocení bylo definováno jako rozvojové, zaměřené primárně na podporu lidského a organizačního rozvoje, a bylo navrženo jako interaktivní, založené na
spolupráci a na rozvíjení potenciálu a dovedností zaměstnanců, dobrovolníků
a účastníků.
102
ČÁST DR UHÁ
Zaměstnanci byli znovu seznámeni s konceptem hodnocení a požádáni, aby se
podělili o jakékoliv negativní dojmy, které si odnesli z prvního hodnocení.
Hodnotící tým složený ze stěžejních zaměstnanců, dobrovolníků a zástupce
správní rady se aktivně zapojil do formulování hodnotících otázek, do rozhodování o metodách shromažďování údajů a do diskuse o významu získaných
informací a o možných praktických opatřeních. Zaměstnanci se seznámili
s procesem a technikami hodnocení a začali hodnocení brát za své, což se
u předcházejícího hodnocení nestalo.
Rozhovory a fokusové skupiny s účastníky programu byly navíc naplánovány
jako náročná dvouhodinová setkání, která nebyla jen účinným způsobem
shromažďování údajů o dopadech programu a o ženách, na které se program
zaměřoval, ale také důležitou součástí vlastní intervence programu. Rozhovory pro účastnice programu představovaly příležitost ohlédnout se za svým
životem, podívat se, kudy vedla jejich cesta, jaké překážky jim stály v cestě
a jak vypadá jejich situace nyní. Díky rozhovorům se cítily přínosnou součástí procesu hodnocení. Jedna účastnice to formulovala následovně: „Díky vám
máme pocit, že máme co nabídnout… že vás opravdu zajímá, jak se na věci
díváme, a myslíte si, že máme co říct. Je to příjemný pocit.“ Pro zaměstnance
organizace to bylo zvlášť důležité, protože věděli, jak odcizeně a bezmocně se
účastnice programu cítily.
Zaměřením na rozvojové prvky hodnocení se hodnotícímu týmu podařilo proměnit proces hodnocení z negativní zkušenosti na zkušenost pozitivní a přínosnou, umožňující zaměstnancům organizace, klientům, dobrovolníkům
a dalším účastníkům programu rozvíjet dovednosti a potenciál v procesu shromažďování informací důležitých pro hodnocení.
103
BIBLIOGRAFIE
Zdroje informací o hodnocení
Brown, Lyn Mikel a Carol Gilligan, Listening for Self and Relational Voices:
A Responsive/Resisting Reader’s Guide, Monograph, Cambridge: Harvard
Project on Womenęs Psychology and Girl’s Development, 1990.
Brown, Lyn Mikel a Carol Gilligan, Meeting at the Crossroads: Women’s
Psychology and Girl’s Development, Cambridge: Harvard University Press, 1992.
Bryk, A. S. (edit.), Stakeholder-Based Evaluation, San Francisco: Jossey-Bass, 1983.
Cambell, D. T., a J. C. Stanley, Experimental and Quasi-Experimental Designs for Research, Chicago: Rand McNally, 1966.
Chen, Huey-tsyh, Theory-Driven Evaluations, California: Sage Publications, 1990.
Connell, P. James, Anne C. Kubisch, Lisbeth B. Schorr a Carol H. Weiss,
New Approaches to Evaluating Communities Initiatives: Concepts, Methods and Contexts, Washington, DC: The Aspen Institute, 1995.
Covert, R. W., Guildelines and Criteria for Constructing Questionnaires,
University of Virginia: Evaluation Research Center, 1977.
Cronbach, Lee J. a col., Toward Reform of Program Evaluation, San Francisco: JosseyBass, 1980.
Fetterman, David M., Shakeh J. Kaftarian a Abraham Wandersman, (edit.), Empowerment Evaluation: Knowledge and Tools for Self-Assessment
& Accountability, Thousand Oaks, CA: Sage Publications, 1996.
Feuerstein, Marie-Therese, Partners in Evaluation, London: Macmillan
Publishers, 1986.
Fink, A., a J. Kosecoff, How to Conduct Surveys: A Step-by-Step Guide,
Newbury Park, CA: Sage Publications, 1989.
Freeman, H. E., G. D. Sandfur a P. H. Rossi, Workbook for Evaluation:
A Systematic Approach, Newbury Park, CA: Sage Publications, 1989.
Frey, J., Survey Research by Telephone, 2. vydání, Newbury Park, CA:
Sage Publications, 1983.
Furano, Kathryn, Linda Z. Jucovy, David P. Racine a Thomas J. Smith, The Essential
Connection: Using Evaluation to Identify Program Worth Replcationg, Repolication and
Program Strategies, Inc., Philadelphia, PA, 1995.
104
BIBLIOGRAFIE
Gilligan, Carol, Women’s Place in Man’s Life Cycle, in: Sandra Harding (edit.) Feminism
and Methodology, Gloomington: Indiana University Press, 1987.
Gilligan, Carol, Lyn Mikel Brown a Annie Rogers, Psyche Embedded: A Place for Body,
Relationships and Culture in Personality Theory; in: A. Rabin, R, Zucker, R. Emmons
a S. Frank (edit.), Studying Persons and Lives, New York: Springer, 1990.
Gray, S. T. a col., Evaluation with Power: A New Approach to Organizational Effectiveness, Empowerment and Excellence, San Francisco: Jossey-Bass
Publishers, Inc., 1998.
Guba, E. C. a Y. S. Lincoln, Effective Evaluation, San Francisco: Jossey-Bass Publishers,
Inc., 1981.
Henry, G. T., Practical Sampling, Newbury Park, CA: Sage Publications, 1990.
Herman, J. L., Program Evaluation Kit, 2. vydání, Newbury Park, CA: Sage Publications,
1987.
House, E. R., Evaluating With Validity, Beverly Hills, CA: Sage Publications, 1980.
Isaac, S., a W. B. Michael, Handbook in Research and Evaluation, San Diego: Edits Publishers, 1984.
Kidder, L. H., C. M. Judd a E. R. Smith, Research Methods in Social Relations, 6. vydání,
New York: Hold, Rinehart & Winston, Inc., 1991.
Kosecoff, Jacqueline a Arlene Fink, Evaluation Basics: A Practitioner’s Manual, Newbury
Park, CA: Sage Publications, 1982.
Krueger, R. A., Focus Groups: A Practical Guide for Applied Research, Newbury Park,
CA: Sage Publications, 1988.
Lavrakas, P. J., Telephone Survey Methods: Sampling, Selection and Supervision, Newbury Park, CA: Sage Publications, 1987.
Linney, J. A. a A. Wandersman, Prevention Plus III: Assessing Alcohol and Other Drug
Prevention Programs at School and Community Level, Rockville, MD: U.S. Dept. of
Health and Human Services, 1991.
Littell, J. H., Building Strong Foundations: Evaluation Strategies for Family Resource Programs, Chicago, IL: Family Resource Coalition, 1986.
Love, A. J. (edit.), Internal Evaluation: Building Organizations From Within, Newbury
Madaus, G., M. Scriven a D. L. Stufflebeam (edit.), Evaluation Models, Boston: KluwerNijhoff Publishing, 1985.
105
Maxwell, J. A. a Y. S. Lincoln, Methodology and Epistemology: A Dialogue, Harvard Educational Review, 60 (4), str. 497-512, 1990.
McKnight, John. L. a John Kretzmann, Mapping Community Capacity,
Chicago: Center for Urgan Affairs and Policy Research at Northwestern
University, 1990.
Miles, M. B. a A. M. Huberman, Qualitative Data Analysis: An Expanded Sourcebook, 2.
vydání, Thousand Oaks, CA: Sage Publications, 1994.
Morris, Lynn Lyons, a Carol Taylor Fitz-Gibbon, How to Deal with Goals and Objectives,
Beverly Hills, CA: Sage Publications, 1978.
Morris, Lynn Lyons, a Carol Taylor Fitz-Gibbon, How to Design a Program
Evaluation, Beverly Hills, CA: Sage Publications, 1978.
Morris, Lynn Lyons a Carol Taylor Fitz-Gibbon, How to Measure Program Implementation, Beverly Hills, CA: Sage Publications, 1978.
Morris, Lynn Lyons a Carol Taylor Fitz-Gibbon, How to Present an Evaluation Report,
Beverly Hills, CA: Sage Publications, 1978.
National Center for Clinical Infant Programs, Charting Change in Infants,
Families and Services: A Guide to Program Evaluation for Administrators
and Practitioners, Washington, DC: vydáno autorem, 1987.
Nielson, Joyce M., Úvod, in: J. Nielson (edit.), Feminist Research Methods, Boulder:
Westview Press, 1990.
Nielson, Joyce M., Evaluation Service Program for Infants, Toddlers and Their Families:
A Guide for Policy Makers and Funders, Washington, DC: vydáno autorem, 1987.
Patton, Michael Quinn, Practical Evaluation, Newbury Park, CA:
Patton, Michael Quinn, Qualitative Evaluation and Research Methods,
2. vydání, Newburry Park, CA: Sage Publications, 1990.
Patton, Michael Quinn, Utilization-Focused Evaluation: The New Century Text, 3. vydání,
Beverly Hills: Sage Publications, 1997.
Posavac a Carey, Program Evaluation, 5. vydání, Prentice-Hall, 1997.
Reason, Peter, Human Inquiry in Action: Development in New Paradigm
Research, Newbury Park, CA: Sage Publications, 1993.
Reinharz, Shulamit, Experimental Analysis: A Contribution to Feminist Research, in: G.
Bewles a R. Klien (edit.), Theories of Women’s Studies, Boston: Routledge and Kegan
Pal, 1993.
106
BIBLIOGRAFIE
Rossi, Peter H. a Howard E. Freeman, Evaluation: A Systematic Approach, Newbury
Sanders, James R., The Program Evaluation Standards: How to Assess
Evaluations of Educational Programs, 2. vydání, Thousand Oaks, CA:
Saxe, L. a M. Fine, Social Experiments: Methods for Design and Evaluation, Beverly
Hills: Sage Publications, 1981.
Schalock, Robert L., a Craige V. D. Thornton, Program Evaluation: A Field Guide for
Administrators, New York: Plenum Press, 1988.
Shorr, Lisbeth B a Anne C. Kubisch, New Approaches to Evaluation: Helping Sister Mary
Paul, Geoff Canada and Otis Johnson White Convincing Pat
Moyhihan, Newt Gingrich and the American Public, veřejná prezentace in: Výroční zpráva nadace Annie E. Casey Foundation a hodnotící konference: Using Research and Evaluation Information to Improve Programs and
Policies, září 1995.
Scriven, Michael, Evaluation Thesaurus, 4. vydání, Newbury Park, CA: Sage Publications, 1991.
Shadish, William R., Jr., Thomas D. Cook a Laura C. Leviton, Foundations
of Program Evaluation: Theories of Practice, Newbury park, CA:
Smith, M. F., Evaluability Assessment: A Practical Approach, Boston: Kluwer Academic
Publishers, 1989.
Stainback, W. a S. Stainback, Understanding and Conducting Qaulitative
Research, Dubuque, IA: Kendall/Hunt Publishing Company, 1988.
Stockdill, Stancey Hueftle, How to Evaluate Foundation Programs, St. Paul, MN: The
Saint Paul foundation, Inc., 1993.
Travers, J. R. a R. J. Light, Learning From Experience: Evaluating Early
Childhood Demonstration Programs, Washington, DC: National Academy Press, 1982.
United Way of America, Current United Way Approaches to Measuring Program Outcomes and Community Change, Alexandria, VA, 1995.
van der Eyken, W., Introducing Evaluation, Hág: Bernard van Leer Foundation, 1992.
Weiss, Carol H., Nothing as Practical as Good Theory: Exploring Theory-Based Evaluation
for Comprehensive Community Initiative for Children and Families, In: James Connell a col.
(edit.), New Approaches to Evaluating Community Initiatives: Concepts, Methods and Contexts, Washington DC: The Aspen Institute, 1995.
107
Weiss, H. B. a F. H. Jacobs (edit.), Evaluation Family Programs, New York: Aldine de
Gruyter, 1988.
Weiss, H. B. a R. Halpern, The Challenges of Evaluating State Family Support and Education Initiatives: An Evaluation Framework, Cambridge, MA: Harvard Family Research
Project, 1989.
Wholey, Joseph S., Harry P. Hatry a Kathryn E. Newcomer (edit.), Handbook Of Practical
Program Evaluation, San Francisco, CA: Jossey-Bass Publishers, 1994.
Wilkin, Davis, Leslie Hallam a Marie-Anne Doggett, Measures of Need and Outcome for
Primary Health Care, Oxford: Oxford University Press, 1992.
Williams, Harold S., Arthur Y. Webb a William J. Philips, Outcome Funding: A New
Approach to Targeted Grantmaking, 2. vydání, Rensselaerville, NY: The Rensselaerville
Institute, 1993.
Worthen, Blaine R., James R. Sanders a Jody L. Fitzpatrick, Program Evaluation: Alternative Approaches and Practical Guidelines, 2. vydání, White Plains, NY: Longman, Inc.,
1997.
Yavorsky, D. K., Discrepancy Evaluation: A Practitioner’s Guide, University of Virginia:
Evaluation Research Center, 1984.
Yin, R. K., Case Study Research: Design and Methods, upravené vydání, Newbury Park,
CA: Sage Publications, 1989.
108

Hodnocení projektů a programů

Transkript

Podobné dokumenty

jak se bránit v pozici zaměstnance

Efektivita, evaluace a podpora programů

Psychosociální intervence u žen s perinatální ztrátou

Nebezpečný vzestup genderové politiky

Grassroots dobrovolnictví

Kriminalita a její percepce v městském prostředí

PDF článku ke stažení… - Data a výzkum

NeoBux (návod)

Zde - Rosa

Srovnání vybraných přístupů k realizaci evaluací

GLOBALIZATION