EvalCafé podzim 2015

TÉMA: Jak poznat kvalitní evaluaci a jak posilovat kvalitu evaluací

Druhé evaluační kavárny konané dne 4. 11. 2015 se zúčastnilo 9 osob se zkušenostmi z oblasti sociální, vzdělávací i rozvojové. K dispozici byly výtisky Kodexu evaluátora a Formálních standardů provádění evaluací České evaluační společnosti (ČES).

Kvalita evaluací se odvíjí již od jejich zadání. Pokud si zadání částečně odporuje, např. otázky nejsou v souladu s cíli evaluace, nedávají smysl, nejsou k nim dostupná data nebo je otázek mnoho, nelze následně očekávat kvalitní evaluaci. Otázkou je, zda podat nabídku na evaluaci, která má diskutabilní zadání. Zazněl názor, že i přesto může mít evaluace přínos. Např. pokud zadání požaduje kontrafaktuální evaluaci, ale nemá k dispozici vstupní data a kontrolní skupinu, může výsledná evaluace upozornit na to, kdy a jak kontrolní skupinu vytvořit, jak sbírat data, jak vytvořit systém monitorování a evaluací apod. Na druhou stranu zaznělo, že nemá smysl připravovat evaluaci, která je pouze formální či jejímž cílem je obrana osobních politických cílů.

Několik evaluátorů považuje za problematické, pokud kontaktní osoby zadavatele nemají dostatečné povědomí o evaluacích. Též mezi realizátory je malé povědomí o tom, co evaluace jsou a jaký mohou mít přínos. Proto se řada z nich bojí či je vnímá jako formalitu. Je tedy vhodné vysvětlovat evaluace formou příběhů, na kterých lze dokázat konkrétní dopady evaluací. Evaluace mohou být přínosné, i pokud na hodnocený projekt nenavazuje dotační řízení, které umožní pokračování projektu. Výstupy z evaluace lze použít např. pro fundraising. Lze také zobecnit některá poučení a řídit se jimi i v jiných projektech realizátora. Zájem realizátorů o evaluace se též posiluje, pokud mají konkrétní zkušenost s přínosnou evaluací.

Evaluátoři by proto uvítali informace od zadavatelů, jak jsou evaluační zprávy dále využívány. Toto se již děje v oblasti zahraniční rozvojové spolupráce (ZRS), kdy Ministerstvo zahraničních věcí (MZV) ČR každý rok vypořádá doporučení ze všech evaluací a shrne, jak byla zohledněna či proč zohledněna nebyla. V lednu 2015 na popud ČES proběhlo první setkání zadavatele, realizátorů a evaluátorů, kdy byl společně vyhodnocen proces evaluací v uplynulém roce i realizace doporučení a dále byl prodiskutován plán evaluací na rok 2015. Setkání bylo vyhodnoceno jako velmi užitečné, jelikož mimo jiné pomohlo evaluátorům osvětlit právní a jiné důvody, proč jsou některá doporučení nerealizovatelná. Průběžné angažmá ČES v referenční skupině MZV ČR k evaluacím (zástupce ČES je Daniel Svoboda) a každoroční společné vyhodnocení může být příkladem i pro další ministerstva.

Kvalitu evaluačních zpráv dle Formálních standardů provádění evaluací ČES hodnotily již 2 kola peer reviews. Někteří evaluátoři by ocenili dokončení peer review evaluačních zpráv týkajících se strukturálních fondů. Přestože byly již v roce 2014 prezentovány souhrnné výsledky, ocenili by evaluátoři též osobní zpětnou vazbu, jako tomu bylo u peer reviews evaluací ZRS na přelomu let 2013 až 2014.

Kvalita evaluací ovšem není jen o výstupu (evaluační zprávě), ale i o dostupných zdrojích, načasování, přípravě apod. V rámci přípravy je vhodné identifikovat osoby zainteresované na evaluaci a zjistit jejich potřeby. Přitom je vhodné posilovat povědomí o evaluacích a zájem o ně jak vůči zadavatelům a realizátorům, tak vůči cílovým skupinám projektů / programů / politik. Evaluační zprávy ministerstev ČR jsou veřejné, jsou tedy většině cílových skupin přístupné (pokud mají internet).

Evaluátoři často bojují s „politickou průchodností“ evaluačních zpráv. Otázkou je, zda je etické, aby evaluátor vytvářel různé verze zpráv pro různé uživatele (tedy např. interní, včetně kritiky ohledně procesů v organizaci, a externí).

Doporučení pro zadavatele:

Vypisovat kvalitní zadání evaluací, která nebudou vnitřně v rozporu a která umožní proveditelné evaluace
Zapojovat se do aktivit ČES, které podporují spolupráci s ministerstvy

Doporučení pro evaluátory:

Posílit přípravu evaluací, např. rešerši dostupných evaluací, analýz a studií, dále též provést úvodní diskusi nejen se zadavatelem, ale i s dalšími klíčovými aktéry a ověřit proveditelnost evaluace
Znát odbornou problematiku, kterou evaluují, a/či spojit se se sektorovým odborníkem
Znát různé evaluační přístupy a neustále posilovat své evaluační zkušenosti
Správně formulovat evaluační otázky (tzv. powerful questions, které energizují aktéry)
Vhodně zobrazovat výstupy z evaluací a přizpůsobit hlavní sdělení, závěry a doporučení konkrétním aktérům (např. formou pohledu, tiskové zprávy, článku do odborného periodika apod.)
Připravit ve spolupráci se zadavateli již během přípravy evaluace komunikační strategii evaluačních výstupů

Doporučení pro ČES:

Pracovat se zadavateli, aby dokázali vypisovat kvalitní zadání evaluací, která nebudou vnitřně v rozporu a která umožní proveditelné evaluace
Nabídnout zadavatelům / řídícím orgánům podporu při implementaci doporučení a komunikaci výstupů z evaluací napříč hierarchií ministerstev
Sdílet se zadavateli kvalitní evaluace, které přispěly ke změnám, aktivně zapojily aktéry, byly provedeny vhodně metodologicky apod.
Posílit tzv. evidence-based policy, tedy pomoci úředníkům s argumenty, proč zachovat či podpořit environmentální vzdělávání (již probíhá díky jednomu členovi ČES v rámci jeho aktivit na MŠMT), globální rozvojové vzdělávání apod.
Poskytnout všem hodnoceným v rámci peer review evaluačních zpráv týkajících se strukturálních fondů zpětnou vazbu na jejich práci (písemně či ústně, dle preferencí evaluátora).
Na www.czecheval.cz vysvětlit pojem evaluace a zmínit příklady, kdy měly evaluace konkrétní pozitivní přínosy.
Na následujícím EvalCafe projít evaluační otázky podle jednotlivých evaluačních kritérií OECD/DAC, případně na základě dialogu vytvořit přehled typických evaluačních otázek ke každému kritériu
Pomoci s průběžným vzděláváním jak evaluátorů, tak zadavatelů a realizátorů

Rozvinout interní diskusi nad hodnocením evaluátorů.

Děkujeme všem účastníkům za sdílení zkušeností!

O dalším setkání Vás budeme informovat na stránkách www.czecheval.cz.