Evaluace ESI fondů v ČR: od poznání k rozhodování

Za Evaluační jednotku NOK odpovídá Jana Drlíková, jedna z organizátorek konference:

Co bylo hlavním tématem letošní konference?
Hlavním tématem letošní konference bylo přejít „od poznání k rozhodování“. Proto jsme se snažili pro letošní ročník vybrat co nejpraktičtější prezentace. Využili jsme tedy mimo jiné právě dokončenou studii polských kolegů, která mapovala evaluační praxi v zemích V4+4. Cílem studie bylo zjistit, co brání evaluátorům posunout se od role tvůrců či zadavatelů evaluačních zpráv do role „knowledge brokerů“, tedy nositelů a „překladačů“ informací a znalostí pro své klienty – manažery, projektové manažery a tvůrce veřejných politik.
Studie poskytla impuls pro úvodní panelovou diskusi. Na panelu zasedli: realizátor studie Karol Olejniczak z Polska; Jakub Uchytil z OP VVV jako manažer-uživatel evaluací, Vladimír Kváča za Českou evaluační společnost a Petr Bouchal, vedoucí Evaluační jednotky MMR-NOK.

Co zjistila polská studie?
Mimo jiné, podle výsledků studie, evaluace stále nejsou preferovaným zdrojem informací. Tím jsou pro manažery naopak vlastní zkušenosti a data z monitoringu. Evaluace také nepřináší potřebná řešení pro své klienty;  klienti si často stěžují, že evaluace potvrzují to, co již vědí, ale nepřináší řešení aktuálních problémů. A v neposlední řadě, evaluace ztrácí své klienty i kvůli nevhodným formám prezentování. Nejčastějším způsobem předávání poznatků z evaluací jsou dlouhé zprávy, psané složitým jazykem. Málo se využívají alternativní a vizuálně přívětivější metody.

Jaké doporučení studie navrhuje?
Celkové doporučení pro evaluátory je, aby měnili svoji roli z dodavatelů a objednatelů studií směrem k roli „knowledge brokerů“: lidí, kteří jsou schopni naplňovat informační a znalostní potřeby svých klientů. Role knowledge brokera nicméně nekončí u dodání informací, ale zahrnuje i využití těchto poznatků při návrhu a například testování řešení identifikovaných problémů. Evaluátor by pak zajistil následnou identifikaci problémů i pilotní testování navrhovaných řešení (například pomocí workshopu s hlavními aktéry, simulací, prototypování a dalšími přístupy inspirovanými světem designu služeb a design thinking). Evaluátoři by se také měli zaměřit na oblasti řízení, kde mají přidanou hodnotu: decision makerům chybí strategicky využitelné informace o výsledcích (funguje intervence?) a mechanismech intervencí (jak a proč intervence funguje?). Naopak operativně využitelné informace o procesech se manažerům dostávají z jiných zdrojů (audity, kontakt s příjemci) a přidaná hodnota evaluátorů je tam nižší.

A co na to ostatní účastníci panelu?
V obecné rovině panelisté potvrdili závěry studie. Podle jejich názoru hlavním problémem evaluací je, že často vychází z povinnosti, nikoli z potřeby. To však nejen snižuje využitelnost dané evaluace, ale také zatěžuje evaluační jednotky, které následně nemají čas na další, potřebnější studie.
Dalším velkým problémem, na který účastníci panelu poukázali, jsou veřejné zakázky, které nutí zadavatele, aby již na začátku evaluace přesně definoval celý design výzkumu a postup a nenechává tak prostor pro kreativitu dodavatele.
Panelisté se také zamýšleli, za jakých okolností využili pro své manažerské rozhodování právě evaluace a její závěry a doporučení. V jejich zkušenosti na úspěchu měly podíl tyto faktory: decision maker sám cítil potřebnost studie; závěry byly dodány včas; decision maker byl přítomen při realizaci studie a díky detailním znalostem byl schopen pak závěry využít při rozhodování o zaměření konkrétní intervence.  
Dle účastníků panelu by jistě užitečnost evaluací zvýšilo také následné testování a pilotování doporučení ze strany samotných evaluátorů, neboť by doporučení konkretizovalo a mohlo i zapracovat již vyzkoušené a neúspěšné úpravy z dřívějška.
 
Co dalšího zaznělo na konferenci?
Dále na konferenci vystoupil Martin Molder z Tartu Univerzity z Estonska, který ukázal příklady dobré a špatné praxe prezentací grafů. Jeho prezentace, „Jeden obrázek lepší než tisíc slov“ konkrétně ukázal, jak lépe komunikovat závěry a zjištění z evaluací.
Odpolední část byla opět rozdělena na dva paralelní bloky. První blok se zaměřil na ukázky kontrafaktuálních evaluací. Hlavním řečníkem v této části byl Levente (Levi) Littvay z Central European University, který se pokusil v přímém přenosu ukázat, jak dělat kontrafaktuální evaluace v reálných a ne vždy ideálních podmínkách. Dále byly prezentovány příklady aplikace kontrafaktuálních metod – na oblasti sociálního podnikání (Oto Potluka), prevenci kriminální recidivy (Vladimír Kváča) a finančních nástrojů na podporu podnikání (Ondřej Dvouletý). 
V druhém bloku, který byl zaměřený na alternativy k evaluacím, byly prezentovány makroekonomické analýzy (Úřad vlády ČR) a cost-benefit analýzy městských projekty (Institut plánování a rozvoje hl. m. Prahy). V bloku vystoupil také Petr Bouchal s ukázkou toho, že i popisná studie postavená na běžně dostupných datech může přinést nové informace.
 
Prezentace a další materiály z konference budou postupně k dispozici na stránkách konference:
http://www.strukturalni-fondy.cz/cs/Jak-na-projekt/Vyzvy-a-akce-(1)/NOK/Evaluace-ESI-fondu-v-CR-od-poznani-k-rozhodovani-Evaluating-ESI-fun