Tag: Theory of Change

Una nota introduttiva sulla valutazione di efficacia e di efficienza dei Programmi cofinanziati dai Fondi Strutturali

Il post propone un’analisi introduttiva sull’analisi di efficacia e di efficienza delle politiche pubbliche.
Se si considerano le domande di valutazione a cui rispondono le analisi di efficienza, di efficacia e di impatto, sarebbe più corretto associare analisi di efficacia e di impatto.
Tuttavia, specialmente nel caso dei Programmi cofinanziati dai Fondi Strutturali, si associano analisi di efficienza e analisi di efficacia per due ordini di motivi: (i) tali analisi si effettuano in itinere e al termine degli interventi (l’analisi di impatto complessiva, invece, andrebbe sempre impostata come analisi ex post); (ii) si intende porre in luce che l’efficienza amministrativa condiziona ampiamente efficacia e capacità di spesa di singole azioni di policy e Programmi complessi (nel post per spiegare meglio questo aspetto si forniscono esempi concreti su come i ritardi attuativi incidono negativamente anche sull’efficacia degli interventi e, in ultima istanza, sui tempi di maturazione delle spese).

Principali elementi di incertezza delle politiche pubbliche deliberate e valutazione

Il post evidenzia che, in genere, l’analisi dei processi decisionali non è debitamente considerata nell’approccio alla valutazione dei Programmi cofinanziati dai Fondi Strutturali tradizionalmente suggerito dalla Commissione Europea.
Se si tiene in debita considerazione la rilevanza dell’analisi dei processi decisionali, alla valutazione si possono legare tre grandi focus di analisi: (i) perché è stato deliberato un certo intervento di politica economica? (analisi dei processi decisionali che hanno portato a deliberare un certo intervento e a stanziare dei soldi pubblici per attuarlo); (ii) come è stato attuato? (analisi dei processi di implementazione e dell’efficienza amministrativa); (iii) l’intervento ha prodotto gli effetti sperati? (analisi di efficacia e di impatto).
In estrema sintesi, monitoraggio e audit consentono di rispondere alla domanda “come sono spesi i soldi pubblici?”; la valutazione risponde alla domanda “sono soldi ben spesi?”.

Appunti su formulazione di Programmi e interventi cofinanziati dai Fondi “per la coesione” e ciclo di policy making

Il post è inteso a illustrare un elemento basilare dell’analisi delle politiche pubbliche, ossia il c.d. “ciclo di policy making”. Esso, di fatto, si configura come l’applicazione ai processi decisionali pubblici della c.d. teoria del “ciclo del progetto”, per cui i processi di scelta pubblica possono essere articolati in più fasi concatenate, vista la natura di per sé iterativa e circolare del ciclo di policy making (traducibile come “ciclo di formulazione delle politiche pubbliche”). Nel post cerco di spiegare che per definire in modo pertinente il ciclo di policy making – strumento da adattare poi a seconda delle peculiarità legislativo-istituzionali e operative delle materie oggetto di scelte pubbliche – è molto utile fare riferimento a uno dei più importanti strumenti di project management, ossia il Ciclo “Plan Do Check Act”, (PDCA) proposto nel secolo scorso da Walter Shewhart e poi perfezionato da Edward Deming.

Strategie di capacity building per la gestione dei Fondi Strutturali: i limiti della nota metodologica della Commissione “tabella di marcia per lo sviluppo delle capacità amministrative”

Il post illustra i principali limiti operativi della Guida del 2020 della Commissione sulle strategie di rafforzamento amministrativo per la gestione dei Fondi Strutturali (la c.d. “tabella di marcia per lo sviluppo delle capacità amministrative”).
Muovendo dall’impostazione seguita dal Development Programme delle Nazioni Unite (UNDP) che definisce le strategie di capacity building sulla scorta di tre “domande guida” (1. Capacity for why?; 2. Capacity for whom?; 3. Capacity for what?), il breve articolo sottolinea in primo luogo che un siffatto approccio – ampiamente desiderabile in generale – non si rintraccia minimamente nel contributo metodologico della Commissione. Inoltre, nella “tabella di marcia per lo sviluppo delle capacità amministrative” viene ampiamente trascurata l’importanza di differenziare la strategia di capacity building a seconda di: (i) macro-fasi e fasi operative dei processi di gestione in senso lato degli interventi cofinanziati dai Fondi Strutturali; (ii) macro-tipologia e tipologia degli interventi (regimi di aiuto, realizzazione di opere pubbliche, acquisti di forniture e servizi da parte della PA, interventi di sviluppo delle risorse umane); (iii) tipo di modalità attuativa (un conto è valutare la “capacità amministrativa” per gli interventi “a titolarità regionale” ed un conto è farlo per quelli “a regia regionale”, in relazione ai quali è strettamente necessario capire come incide sulla “capacità amministrativa” generale anche quella specifica dei soggetti attuatori degli interventi ammessi a beneficio, che agiranno da stazioni appaltanti)

Alcune considerazioni critiche sulla valutazione dell’approccio LEADER

Il post propone delle critiche all’approccio alla valutazione del LEADER della Commissione Europea. Tali critiche, peraltro si possono applicare anche all’audit sul LEADER della Corte dei Conti Europea i cui risultati sono riportati nella Relazione Speciale N. 10/2022. L’analisi della Corte, infatti, non sembra sorretta da un robusto approccio valutativo. L’approccio alla valutazione del LEADER della Commissione, di fatto, è focalizzato sul c.d. “valore aggiunto LEADER” – riassumibile con tre presunti grandi vantaggi, ossia il miglioramento dei processi di governance locale; il rafforzamento del capitale sociale delle aree geografiche interessate dai PSL e una maggiore qualità dei progetti – che scaturirebbe dai sette principi chiave del LEADER, ossia: (i) approccio place-based; (ii) gestione affidata a dei Partenariati Pubblico Privato formalmente costituiti, denominati Gruppi di Azione Locale (GAL); (iii) approccio bottom-up per la formulazione della strategia di sviluppo; (iv) strategia integrata multi-settoriale; (v) innovazione; (vi) networking; (vii) cooperazione. Il principale aspetto critico dell’approccio valutativo convenzionale del LEADER è che esso manca di una solida “theory of change” che spieghi come i sette principi chiave del LEADER si traducano nel suo specifico “valore aggiunto”. Inoltre, non sembrano sufficientemente fondati i “criteri di giudizio” associati alla Domanda Valutativa centrale dell’approccio alla valutazione del LEADER della Commissione e, non ultimo, almeno due dei tre indicatori di risultato associati alla Domanda Valutativa non si configurano propriamente come degli indicatori di risultato.

Le recenti critiche della Corte dei Conti Europea all’approccio LEADER

Il post discute le recenti critiche della Corte dei Conti Europea all’approccio Sviluppo Locale di Tipo Partecipativo (approccio CLLD/LEADER) presentate nella Relazione Speciale N. 10/2022. Tali critiche, quantunque in ampia parte condivisibili, non appaiono particolarmente solide per i seguenti motivi: (i) l’analisi non sembra sorretta da un robusto approccio valutativo; (ii) l’analisi, di conseguenza, fornisce delle giustificazioni un po’ vaghe in merito al limitato valore aggiunto dell’approccio CLLD/LEADER. A tale riguardo si evidenzia che la valutazione dell’approccio CLLD/LEADER è alquanto complessa per molteplici motivi, fra cui spiccano la sua natura complessa e il fatto che l’efficacia degli interventi implementati seguendo tale approccio viene a dipendere dal comportamento di molteplici attori. Inoltre, l’approccio alla valutazione del LEADER suggerito dalla Commissione e da altri Enti istituzionali di ricerca non è sufficientemente ancorato a una solida e circostanziata “theory of change” (“teoria del cambiamento”).

Catene logiche e processi di Monitoraggio e Valutazione dei progetti

Il post illustra le tre parti costitutive fondamentali delle c.d. “catene logiche”, che sono sempre alla base di una buona formulazione di progetti di sviluppo socio-economico e programmi complessi. Esse sono implementazione (piano di lavoro del progetto), ipotesi e gap logici e risultati e impatti.
Il blocco implementazione è completamente interno al progetto (e direttamente controllabile dall’agenzia esecutrice o dal team incaricato di realizzarlo). Risultati e impatti di lungo termine, invece, dipendono in parte dal progetto e in ampia parte da fattori di contesto. Questo è un aspetto molto rilevante da considerare anche in sede di definizione dei processi di monitoraggio e valutazione dei progetti.

Programmi cofinanziati dai Fondi Strutturali e “catene logiche”

Il post pone in luce tre problemi di fondo che condizionano negativamente la formulazione e l’attuazione dei Programmi complessi cofinanziati dai Fondi Strutturali, fra cui una conoscenza perfettibile dei principali approcci usati a livello internazionale per la definizione del disegno strategico di progetti e Programmi complessi, quali Approccio di Quadro Logico, Theory of Change, Result-Based Management, Outcome Mapping.
Mi è sembrato opportuno ricordare che tutti questi approcci, fondamentalmente, affondano le radici nelle c.d. “catene logiche”, che si sono affermate negli anni Settanta. Si parla tanto di formazione per migliorare la Pubblica Amministrazione (PA). Credo che per migliorarla davvero si dovrebbe dedicare ampio spazio ad attività di formazione sul significato di programmare “per obiettivi”, “catene logiche”, Approccio di Quadro Logico e “teoria del cambiamento”.

Il negoziato sui Programmi della politica di coesione 2021-2027 e il principio di concentrazione tematica dei Fondi Strutturali

Il post presenta i principali vincoli alla formulazione dei Programmi cofinanziati dai Fondi Strutturali 2021-2027, ossia: (i) il quadro di policy europeo, sempre più incardinato sui tre pilastri dell’Iniziativa Next Generation EU (specialmente dopo che i tre pilastri “transizione verde”, “transizione digitale” e “resilienza e inclusione sociale” sono stati rafforzati ulteriormente quali pilastri del “modello di crescita europeo” nella Comunicazione della Commissione COM(2022) 83 del 2 Marzo u.s.); (ii) i vincoli riconducibili al rispetto del principio di “concentrazione tematica” dei Fondi Strutturali (fra cui le “condizionalità macroeconomiche” e le c.d. “condizioni abilitanti”).

Programmi FESR 2021-2027. Alcune considerazioni su come definire in modo pertinente gli interventi a sostegno delle imprese

Il post propone dei suggerimenti per descrivere in modo completo le azioni di policy da inserire in ciascuno dei 23 Obiettivi Specifici dei Programmi Regionali FESR 2021-2027.
A tal fine si possono usare due diversi approcci/strumenti di lavoro: (i) l’Approccio di Quadro Logico, ampiamente usato nella formulazione dei progetti di sviluppo socio-economico; (ii) la Matrice “5W Questions + How?”, uno strumento che, per semplicità ed applicabilità a varie tipologie di indagine, si può anche usare per definire dei progetti di sviluppo, o per descrivere in termini sintetici delle azioni di politica economica. Il post illustra come la Matrice “5W Questions + How?” potrebbe essere usata per razionalizzare e descrivere in termini sintetici degli interventi a sostegno della competitività delle imprese.