«The flames are high, the piper’s call contagious.
A fixer who will numb your pain, and strangenesse»
David Gilmour – The Piper’s Call (2024) [1]

1. L’impostazione di fondo della valutazione di efficacia e di quella di impatto, come evidenziato nei precedenti post di Aprile 2024, muove dalla focalizzazione delle indagini su quelle che si potrebbero definire “condizioni di successo” delle politiche pubbliche.
Inoltre, sia per la prima, sia per la seconda, bisogna considerare gli effetti di azioni di policy “semplici” e di Programmi “complessi” – quali sono quelli cofinanziati dai Fondi Strutturali – su:

• i comportamenti dei destinatari (gruppi target delle politiche);
• alcune variabili-risultato che, di fatto, sintetizzano, da un lato gli obiettivi di policy e, dall’altro, gli effetti stessi delle politiche. Tali variabili-risultato sono riferite tanto direttamente al gruppo target, quanto al contesto socio-economico in cui si muovono (se si finanzia l’erogazione di servizi socio-assistenziali per portatori di handicap o persone anziane non più pienamente auto-sufficienti, questo genererà dei benefici diretti per i destinatari, ma anche benefici indiretti per le loro famiglie, che verranno un po’ alleggerite del peso di erogare direttamente tali servizi).

La figura che segue sintetizza questo approccio per l’analisi di impatto.

Figura 1 – Impostazione dell’analisi di impatto delle politiche pubbliche

2. Stante l’impostazione di fondo simile per analisi di efficacia e analisi di impatto, va sempre ricordato che quest’ultima ha dei presupposti logici e metodologici ben diversi da quelli dell’analisi di efficacia.

3. In primo luogo l’analisi di impatto, sia nel caso dei progetti di sviluppo socio-economico e delle azioni di policy “semplici”, sia nel caso dei Programmi “complessi”, si colloca, in linea teorica, in una fase temporale successiva al loro completamento.
Tale analisi dovrà necessariamente essere collocata dopo la fine degli interventi, in quanto è nell’ordine naturale delle cose che gli impatti maturino in un certo arco di tempo. [2]
Quando si parla di valutazione ex post dei Programmi cofinanziati dai Fondi Strutturali, non a caso, si fa riferimento, di fatto, all’analisi di impatto.
Vanno considerati, inoltre, i time lags (ritardi temporali con cui maturano gli impatti).
Inoltre, va ricordato che una valutazione di impatto rigorosa richiede necessariamente di considerare anche l’impatto sulla(e) variabile(i)-risultato della dinamica “spontanea” dei fenomeni socio-economici. Questo significa che, da un lato le politiche pubbliche hanno effetto su destinatari e su dinamica del contesto socio-economico; dall’altro questo ha una sua dinamica “spontanea” che incide sui risultati delle politiche pubbliche e, di riflesso, anche sulla corretta valutazione dei loro effetti..
Si consideri l’esempio concreto di finanziamenti agevolati alle PMI di un dato territorio per favorire un miglioramento della loro competitività e dei loro indicatori economico-finanziari. Se per vari motivi accadesse che, in seguito, aumenta la domanda internazionale di beni prodotti da quelle imprese (una variabile “esogena” rispetto all’ipotetico modello “in forma strutturale” dell’azione di policy portata ad esempio), queste registreranno un miglioramento degli indicatori economico-finanziari anche a causa dell’aumento della domanda internazionale. [3]
Va sempre tenuto conto, quindi, dell’influenza sulla variabile-risultato dell’andamento socio-economico generale.
Inoltre, va tenuto conto dei possibili “effetti di contagio” (spillover effects) di altre politiche pubbliche.
Pertanto, si pone la questione – alquanto complessa – di individuare delle metodologie di stima degli impatti che consentano di “neutralizzare” l’effetto di variabili esogene al “modello in forma strutturale” che sintetizza una politica pubblica, per cui gli effetti si possano assolutamente attribuire all’azione di policy. A tal fine si ricorre a metodologie di analisi contro-fattuale.
L’applicazione dei vari metodi di analisi contro-fattuale, infatti, è da ricondurre alla volontà di accademici ed altri esperti che si occupano di valutazione delle politiche pubbliche di “neutralizzare” (in sede di stima) l’influenza sugli effetti di una politica pubblica di dinamica “spontanea” delle variabili socio-economiche e degli “effetti di contagio” di altre politiche pubbliche. Questo in quanto la corretta stima degli impatti dovrebbe definire come tali solo quelli inequivocabilmente attribuibili alla specifica politica pubblica oggetto della valutazione.
Tali metodologie, peraltro, consentono di tenere conto della circostanza che tutti i potenziali destinatari delle politiche pubbliche sono diversi tra di loro, a causa sia di alcune caratteristiche osservabili, sia di altre caratteristiche non osservabili. [4]

4. Per tenere conto degli effetti sulla variabile-risultato dell’andamento socio-economico generale e di altre politiche pubbliche, la corretta domanda valutativa andrebbe impostata come segue: «quale sarebbe stato l’effetto dell’intervento (“trattamento”) sullo stato di benessere psico-fisico della popolazione target, qualora non fosse stato implementato?»
In questo risiede il nocciolo dell’analisi-controfattuale, analisi che richiede l’utilizzo di avanzate tecniche di campionamento dei destinatari finali e di stima degli impatti tramite complesse analisi statistiche ed econometriche.

5. Per spiegare meglio il nocciolo del paradigma contro-fattuale si richiama la definizione di «effetto di una politica» proposto da Martini, Mo Costabella e Sisti (Valutare gli effetti delle politiche pubbliche. Metodi e applicazioni al caso italiano; 2006): «differenza tra il valore osservato nella variabile-risultato dopo l’attuazione della politica e il valore che si sarebbe osservato senza la politica.
L’effetto di una politica è definito come differenza tra due valori della variabile-risultato. Ma di questi due valori:
• uno è osservabile, tra i soggetti esposti alla politica, dopo l’esposizione (valore fattuale);
• l’altro è un valore ipotetico e si riferisce a ciò che si sarebbe osservato tra gli stessi soggetti, nello stesso momento, se coloro non fossero stati esposti alla politica (valore contro-fattuale)» (p. 47).

La figura 2 che segue sintetizza questa impostazione.

Figura 2 – Fondamento logico dell’analisi di impatto con l’approccio contro-fattuale

6. In questa definizione di «effetto di una politica» proposto da Martini, Mo Costabella e Sisti si rintraccia anche il motivo di fondo per cui per l’analisi di impatto non ha assolutamente senso l’uso di indicatori di impatto.
Nello stesso contributo appena citato, già a pagina 45, Martini, Mo Costabella e Sisti ne spiegano molto bene la ragione.
L’eventuale uso di indicatori di impatto è errato in quanto nell’ambito del paradigma contro-fattuale «l’effetto della politica […] non sarà semplicemente il livello della variabile-risultato osservato tra i soggetti esposti alla politica (ad esempio, il tasso di occupazione osservato dopo la frequenza di un corso di formazione non è l’effetto del corso di formazione)».

7. In estrema sintesi, sul piano metodologico la principale differenza fra analisi di efficacia dinamica (capacità di attuazione) e analisi di impatto risiede proprio nel fatto che per la prima si possono usare degli indicatori (logica dei Key Performance Indicators), mentre per l’analisi di impatto l’uso di presunti indicatori di impatto sarebbe assolutamente errato. [5]

*************

[1] Lo scorso 25 Aprile è stato pubblicato in digitale il primo singolo – The Piper’s Call – del nuovo CD di David Gilmour, la cui pubblicazione è attesa per il prossimo mese di Settembre.
Gilmour terrà sei concerti a Roma (Circo Massimo) fra fine Settembre e inizio Ottobre.
Tutto a posto. Già acquistato il biglietto.
Pink Floyd sempre nel cuore.
[2] I time lags in genere sono diversi a seconda della tipologia di interventi (in linea generale sono particolarmente elevati nel caso di interventi infrastrutturali e nel caso delle politiche di riforma, mentre invece sono relativamente meno elevati nel caso dei regimi di aiuto).
[3] Il focus di questo post è sui Programmi cofinanziati dai Fondi Strutturali.
Sebbene vi siano degli specifici presupposti logici e tecnici alla base loro formulazione (che è ampiamente informata al c.d. Approccio di Quadro Logico), questa comunque va inquadrata sulla base di alcuni concetti basilari della politica economica:
• Modelli (in forma strutturale e in forma ridotta) di politica economica.
• Obiettivi e strumenti di politica economica.
• Variabili “endogene ed esogene”.
I modelli “in forma strutturale”, sia quelli di analisi, sia quelli di politica economica, non sono altro che insiemi di relazioni (di equazioni nel caso di modelli formali) che cercano di spiegare l’andamento di determinati variabili socio-economiche in funzione di altre.
In questi modelli è possibile considerare più distinzioni delle variabili. Fra queste è molto rilevante quella fra variabili “endogene” e variabili “esogene” (nei modelli di politica economica quelle considerate non controllabili dai decisori politici).
Cfr.: Caffè F. (1990); Lezioni di Politica Economica. Bollati Boringhieri, Torino, V Edizione, Acocella N. (2011); Fondamenti di politica economica; V edizione; Carocci, Roma.
Nel caso dei Programmi della politica di coesione si possono usare come sinonimi: “quadro logico”, disegno strategico e modello “in forma strutturale”.
[4] Questo aspetto – fondamentale nell’ambito di metodi di stima degli effetti contro-fattuali – non viene trattato qui.
In merito alla minaccia alla validità delle stime degli impatti costituita dall’eterogeneità degli individui, si vedano: Martini A., Mo Costabella L.; Sisti M. (2006), Valutare gli effetti delle politiche pubbliche. Metodi e applicazioni al caso italiano; FormezPA, Roma; Trivellato U. (2009), Valutare gli effetti delle politiche pubbliche: paradigma e pratiche; IRVAPP; Discussion paper n. 2009-01; Martini A., Sisti M. (2009), Valutare il successo delle politiche pubbliche; Il Mulino, Bologna; Martini A.; Trivellato U. (2011); Sono soldi ben spesi? Perché e come valutare l’efficacia delle politiche pubbliche; Marsilio, Venezia.
[5] Questo contributo è un “work in progress” elaborato nell’ambito del progetto di ricerca del Centro Studi Funds for Reforms Lab “Theory of Change e valutazione di impatto di progetti e programmi complessi” di cui al Piano di Lavoro approvato dal Consiglio Direttivo del 20 Marzo 2023 (progetto di ricerca condotto dal Centro Studi – associazione senza scopo di lucro che, fra l’altro, promuove attività informative e formative su politiche pubbliche e fondi dell’UE – anche negli anni precedenti).
Su analisi di efficacia e di impatto si veda la nota divulgativa: Bonetti A. (2023); Analisi di efficienza, efficacia ed impatto dei Programmi cofinanziati dai Fondi Strutturali 2021-2027; Centro Studi Funds for Reforms Lab, Nota didattica 2/2023.