EvalCafé jaro 2016

TÉMA: Sofistikované evaluační metody, ano či ne?

V pořadí třetího setkání EvalCafé konaného dne 17. 3. 2016 se zúčastnilo 8 osob – evaluátorů i zadavatelů se zkušeností jak v oblasti ESIF tak rozvojové pomoci.

Ústředními otázkami, na které jsme hledali odpovědi, byly: „Jaké evaluační metody lze považovat za sofistikované?“, „Jsou využívány v praxi?“, „Jsou poptávány ze strany zadavatelů?“.

Účastníci se shodli na tom, že neexistuje obecně platná definice, která by jasně vymezila, které metody a přístupy lze považovat za „sofistikované“ a které nikoliv. Vždy záleží na pohledu a vnímání konkrétního evaluátora. To, co jeden evaluátor může považovat za sofistikovanou metodu, může druhý vnímat jako zcela triviální přístup k řešení.

Obecně jsou jako sofistikované metody vnímány spíše metody kvantitativní. Mnohé organizace mají vybudovaný systém složitých metod a nástrojů, které využívají již dlouhou dobu, avšak v jiných oblastech nežli evaluacích (např. v oblasti finančního a ekonomického modelování). Rozšíření využívání těchto metod a nástrojů i do oblasti evaluací proto může být považováno za inovativní přístup, který zvýší kvalitu evaluací. Síla těchto modelů a nástrojů je v tom, že využívají historická data (časové řady), což v případě evaluací naráží na nedostupnost dat. Ačkoliv se sbírají data z různých segmentů socioekonomického prostředí, tak evaluátorům nejsou dostupná nebo jen v omezené míře (jako příklad byly uváděny data vztahující se k zaměstnanosti sbírané Úřadem práce, Správou sociálního zabezpečení apod.).

Účastníci dále považují za sofistikované takové metody, které představují komplexní přístup k řešení evaluačního projektu. Správné nastavení evaluačního designu a optimální volba vhodných metod totiž může svědčit o sofistikovanosti přístupu k evaluaci. V evaluacích je nanejvýš vhodné uplatňovat triangulaci dat, ať už kombinací kvalitativních a kvantitativních metod nebo nastavením spolupráce se všemi zainteresovanými stranami. Sofistikovanost lze tedy vidět v návrhu designu.

Evaluace spadají svým charakterem spíše do aplikovaného výzkumu, který je na rozdíl od základního výzkumu zaměřený na praktickou realizaci poznatků (evaluační zjištění, resp. doporučení slouží jako podklad pro rozhodování zadavatelů). Metody využívané v evaluacích nejsou proto tak rigorózní jako v jiných disciplínách a v praxi se toleruje uzpůsobení konkrétní situaci. Charakteristickým rysem evaluací je, že využívají výzkumné metody typické pro jiné obory a stávají se tak „platformou pro střet“ těchto metod.

Jedním z úskalí sofistikovaných metod je, že dodavatelé mnohdy neumí výsledky těchto metod převést do srozumitelného jazyka tak, aby výstupům evaluace zadavatel a odborná veřejnost rozuměla. Nicméně v ČR se mnohé metody teprve rozvíjejí, proto nelze požadovat jejich perfektní zvládání – musí existovat prostor pro jejich osvojení.

Účastníci diskuse se shodli také na tom, že i v oblasti evaluačních metod funguje určitá „módnost“. Za módní a populární evaluační metodu je možné v posledních letech považovat např. contrafactual impact evaluation (CIE). Požadavky na použití této metody při realizaci evaluací se objevovaly a objevují v zadávacích dokumentacích velmi často, mnohdy bez ohledu na relevanci ve vztahu ke konkrétní situaci. Velmi častým úskalím této metody je stanovení a výběr kontrolní skupiny. Jako příklad byly uváděny evaluace programů Evropského sociálního fondu, neboť v ČR je problém najít kontrolní skupinu znevýhodněných osob, které by nebyly podpořené.

Účastníci dále diskutovali význam Vstupních zpráv, kterým zadavatelé mnohdy nevěnují dostatek pozornosti a jsou mnohými považovány za formální akt splnění požadavků zadávací dokumentace. Evaluátoři by uvítali, pokud by úvodní fáze evaluace (resp. příprava Vstupní zprávy) byla zadavateli chápána jako platforma odborné partnerské diskuse mezi zadavatelem a dodavatelem s cílem připravit takový design, který povede ke spolehlivým a validním výsledkům.

V souvislosti s tím byla také zmiňována potřeba vzájemné výměny informací a zkušeností mezi zadavateli (evaluačními jednotkami). V současné době nedochází v dostatečné míře ke vzájemnému využívání dobré praxe a sdílení funkčních systémů využitelných při evaluačním procesu.

Doporučení:

• Při tvorbě evaluačního designu využívat kombinaci kvalitativních a kvantitativních metod a pečlivě zvažovat smysluplnost/reálnost konkrétních metod pro danou evaluaci/situaci.
• Úvodní fázi evaluace (zpracování Vstupní zprávy) využívat pro partnerskou diskusi mezi zadavatelem a dodavatelem vedoucí k optimálnímu nastavení evaluačního designu.
• Posilovat aktivity vedoucí k výměně informací jak mezi evaluátory navzájem, tak mezi zadavateli a jejich evaluačními jednotkami. Umožnit sdílení dobrých praxí a funkčních systémů.