Od badania, przez refleksję, do działania

W realizacji każdego programu istotną rolę odgrywa ewaluacja. Daje możliwość reagowania na bieżące problemy i potrzeby, dostarcza wiedzy i wskazówek do podejmowania właściwych decyzji, pomaga wreszcie w odpowiednim ukierunkowaniu wsparcia w przyszłości.

Stykając się z problematyką związaną z dystrybucją Funduszy Europejskich, prawdopodobnie natrafiliśmy na pojęcie „ewaluacji”. Intuicyjnie rozumiemy, że chodzi o badania programów operacyjnych. Rzadziej się jednak zastanawiamy, jak i w jakim celu się je realizuje. Z podstawowych definicji ewaluacji możemy dowiedzieć się, że: „ewaluacje przeprowadza się w celu poprawy jakości projektowania i wdrażania programów, jak również w celu analizy ich skuteczności, efektywności i wpływu”. W niniejszym artykule koncentrujemy się na ewaluacji Regionalnego Programu Operacyjnego Województwa Podkarpackiego na lata 2014-2020 (w skrócie: RPO WP lub Program). Mówiąc już w odniesieniu do RPO WP, ewaluacja pomaga w sprawdzeniu, czy to, co robimy, pomoże nam w realizacji celów zaplanowanych w Programie Regionalnym, a jednocześnie – czy dążąc do ich osiągnięcia, stosujemy optymalne rozwiązania i podejmujemy właściwe decyzje.

Źródło wiedzy o  Programie

Każda ewaluacja opiera się na konkretnych danych, pozwala więc sprecyzować, na ile cele, do których osiągnięcia dążymy, odpowiadają na określone problemy i potrzeby. Pomaga rozpoznać istniejące braki, dostarcza wskazówek, co zrobić, aby lepiej odpowiadać na potrzeby odbiorców, osiągać trwalsze i bardziej użyteczne rezultaty. Wyniki badania ewaluacyjnego pozwalają doskonalić działania podejmowane w ramach Programu, by jak najlepiej wykorzystać ograniczone środki finansowe, w tym unijne, którymi zarządzamy. W szerszym znaczeniu jest również elementem samokształcenia – wspiera nas (pracowników) w doskonaleniu podejmowanych działań.

Interesariusze procesu ewaluacji

Ewaluacja to nie tylko realizacja badania i napisanie raportu – to długotrwały proces skłaniający do refleksji nad Programem. Wymaga zaangażowania wielu osób, m.in. pracowników, ekspertów zewnętrznych, społeczeństwa czy partnerów. Na każdym etapie ewaluacji Regionalnego Programu Operacyjnego Województwa Podkarpackiego na lata 2014-20020 angażuje się wielu interesariuszy, w tym przedstawicieli instytucji systemu realizacji Programu, a także członków Komitetu Monitorującego RPO WP 2014-2020. Kluczowe wsparcie dla Jednostki Ewaluacyjnej RPO WP – koordynatora procesu ewaluacji Programu – stanowi Grupa Sterująca Ewaluacją RPO WP, której członkami są pracownicy instytucji zaangażowanych w realizację Programu, a także partnerzy spoza administracji publicznej – przedstawiciele środowiska akademickiego, instytucje realizujące badania, analizy i ekspertyzy w regionie czy reprezentujący społeczeństwo obywatelskie.

Wśród odbiorców ewaluacji należy wyróżnić decydentów, osoby zaangażowane w proces planowania i programowania, zarządzania i wdrażania Programu, beneficjentów i potencjalnych beneficjentów, partnerów spoza administracji publicznej oraz media i społeczeństwo. Wyniki ewaluacji są efektem dialogu pomiędzy różnymi podmiotami, a powodzenie Programu zależy od jakości tego dialogu, refleksji nad wnioskami i wdrożonymi na ich podstawie działaniami.

Rodzaje ewaluacji

W literaturze wymienia się wiele rodzajów ewaluacji. Biorąc pod uwagę moment przeprowadzenia badania, możemy mówić o ewaluacji:

• ex ante – realizowanej przed rozpoczęciem jakichkolwiek działań
• bieżącej (on-going) – odbywającej się na bieżąco w trakcie realizacji Programu
• okresowej (mid-term) – przeprowadzanej w połowie okresu wdrażania Programu
• końcowej (ex-post) – wykonywanej po zakończeniu wdrażania działań.

Mówiąc o rodzajach ewaluacji, trzeba przedstawić podział wynikający z zakresu przedmiotowego, tj. pytań, jakie stawiamy ewaluatorom. Z tej perspektywy można mówić o ewaluacji procesu i ewaluacji wpływu.

Ewaluacja procesu jest podstawową formą oceny działań podejmowanych w Programie. Jej przedmiotem jest właśnie proces wdrażania Programu – poprawność sformułowanych założeń i ich implementacji. Kluczowe znaczenie ma analiza dokumentacji i informacje zwrotne od beneficjentów i innych interesariuszy. Ewaluacja procesu jest ściśle związana z monitorowaniem realizacji Programu, a jej wyniki służą lepszemu ukierunkowaniu działań. Ewaluacja wpływu jest natomiast badaniem efektów Programu: oczekiwanej zmiany, osiągniętych wskaźników, rzeczywistych rezultatów. Celem jest informowanie o realizacji i efektach interwencji publicznej, o tym, w jaki sposób i dlaczego interwencja w danym obszarze osiągnęła określone rezultaty. Dodatkowo powinna odpowiadać na pytanie, jaka część zmian w sytuacji społeczno-ekonomicznej regionu jest wynikiem realizacji Programu.

Podsumowując, możemy powiedzieć, że ewaluacja pomaga w odpowiednim wdrażaniu Programu – dostarcza wiedzy i wskazówek do podejmowania właściwych decyzji, bieżącego reagowania na problemy i potrzeby, jak również właściwego ukierunkowania wsparcia w przyszłości. Ewaluacja służy też udokumentowaniu osiągnięć Programu oraz dostarcza wiarygodnych i użytecznych informacji na temat rzeczywistych efektów interwencji, wspomagając proces podejmowania decyzji.

Przejrzystość i informacja o wynikach

Nieodzownym elementem realizacji procesu ewaluacji jest zapewnienie jawności i przejrzystości tego procesu poprzez upowszechnianie jego efektów opinii publicznej. Przy rozpowszechnianiu wyników ewaluacji wykorzystywane są zróżnicowane formy i kanały informacji oraz działania. Raporty z badań oraz tabele rekomendacji publikowane są w serwisie RPO WP 2014-2020 w zakładce poświęconej ewaluacji Programu (Badania ewaluacyjne RPO WP 2014-2020).

W ramach poszczególnych ewaluacji przygotowywane są materiały audiowizualne, które ułatwiają zapoznanie się opinii publicznej z wynikami badań. Po zakończeniu każdej ewaluacji publikowane są one w mediach społecznościowych. Wyniki wszystkich ewaluacji na swojej stronie internetowej zamieszcza również Krajowa Jednostka Ewaluacji, odpowiadająca za koordynację tego procesu na poziomie horyzontalnym. Ponadto trafiają one do Komisji Europejskiej. Istotną rolę w tym procesie odgrywają także członkowie Grupy Sterującej Ewaluacją RPO WP, którzy rozpowszechniają wyniki badań w reprezentowanym przez siebie środowisku.

Rekomendowane zmiany

Ewaluacja posiada wiele korzyści i jest użytecznym wsparciem w skutecznym projektowaniu, zarządzaniu oraz wdrażaniu Programu. Efektem badania ewaluacyjnego są wnioski i rekomendacje, czyli zalecenia i sugestie, które wskazują na zmiany, jakie powinny być wprowadzone, lub rozwiązania, których zastosowanie usprawniłoby Program.

Ewaluacja może być bardzo przydatna, gdy staramy się wprowadzić nowe rozwiązania. I tak w początkowym etapie realizacji RPO WP na lata 2014-2020 duże znaczenie miało badanie „Ewaluacja ex ante wsparcia kształcenia osób dorosłych w formie pozaszkolnych form kształcenia zawodowego”, w wyniku którego ewaluatorzy zaproponowali sposób organizacji wsparcia i realizacji kolejnych naborów w obszarze kształcenia osób dorosłych. Rozwiązanie to polega na realizacji wsparcia w formie modelu popytowego, który w praktyce oznacza, że uczestnik projektu samodzielnie wybiera rodzaj kursu oraz realizującą go firmę szkoleniową.

Praktycznych informacji na temat wdrażania i funkcjonowania Programu oraz prawidłowości stosowanych rozwiązań, prowadzących do wyboru projektów do dofinansowania, dostarczyło badanie „Ewaluacja kryteriów i systemu wyboru projektów RPO WP 2014-2020”. Sugerowane usprawnienia dotyczyły np. standardu opracowania dokumentacji konkursowej, uproszczenia i usprawnienia procedur wyboru projektów czy metod ich oceny (m.in. informowanie o zmianach wprowadzonych w dokumentacji konkursowej poprzez wykaz tych zmian, ze wskazaniem podrozdziału) oraz poprawy funkcjonowania systemów informatycznych wspierających proces wyboru projektów.

Pomoc w tworzeniu nowych programów

Wyniki badań są także użyteczne z punktu widzenia projektowania i realizacji wparcia w nowym programie Fundusze Europejskie dla Podkarpacia 2021-2027 (FEP). Wiele rekomendacji wskazywało, w jaki sposób zaplanować wsparcie na potrzeby perspektywy 2021-2027. Wymienić można tutaj badanie „Ocena efektów interwencji realizowanych w ramach OP IV oraz działania 6.1 OP VI RPO WP 2014-2020”, gdzie w FEP 2021-2027 pojawiły się rekomendowane rodzaje działań, które powinny być kontynuowane, w tym np. w zakresie ochrony przeciwpowodziowej oraz rozwijania systemów ostrzegania przed groźnymi zjawiskami pogodowymi, rozwijania systemów ratownictwa czy budowy przydomowych oczyszczalni ścieków na obszarach cennych przyrodniczo.

Inne rekomendacje przyczyniły się z kolei do wprowadzenia rozwiązań, których nie było w RPO WP 2014-2020. W badaniu „Ocena wpływu wsparcia w zakresie edukacji przedszkolnej oraz kształcenia ogólnego” jednym z zaproponowanych rozwiązań było skierowanie w projektach części wsparcia na działania mające na celu włączanie rodziców w działalność szkoły. Rekomendacja znalazła odzwierciedlenie w zapisach programu FEP.

Aleksandra Kędra
kierownik Oddziału ewaluacji
Departament Zarządzania Regionalnym Programem Operacyjnym w UMWP