Tag: Valutazione

La valutazione delle azioni di capacity building della PA tramite il modello di Kirkpatrick: cosa si può apprendere dalle esperienze internazionali?

Il post propone un esempio di applicazione del modello di valutazione della formazione di Kirkpatrick alla misurazione degli effetti delle azioni di capacity building. Tale esempio è tratto, con degli adattamenti, dalla manualistica dell’agenzia per la cooperazione internazionale australiana (AusAID).
Così come ha dei limiti il modello di Kirkpatrick, lo stesso si puàò dire per il suo adattamento alla misurazione degli effetti delle azioni di capacity building proposto e implementato da AusAID.
Ciò detto, l’approccio di AusAID è certamente molto interessante – e da replicare – con riferimento ai seguenti aspetti: (i) l’idea di fondo di applicare la logica valutativa non solo ai singoli individui, ma anche alle stesse unità organizzative che beneficiano di attività di capacity building (idea abbracciata anche da UNDP e da altre agenzie nazionali di cooperazione allo sviluppo); (ii) l’idea, ampiamente condivisibile, di non misurare gli effetti delle azioni di capacity building solo con riferimento ai risultati “interni”, ma anche e soprattutto a quelli “esterni”. In altri termini, bisognerebbe stimare la capacità delle azioni di capacitazione di migliorare non solo la performance in senso stretto delle unità organizzative, ma anche la loro capacità di produrre un impatto positivo sui beneficiari/destinatari finali delle azioni di politica economica e dei progetti. In sostanza, il termine di riferimento fondamentale dell’efficacia delle azioni di capacity building dovrebbe sempre essere l’impatto sui beneficiari/destinatari finali.

Capacità amministrativa e valutazione delle azioni di capacity building della PA: si può applicare il modello di Kirkpatrick?

Il post propone una breve riflessione sulla possibile applicazione alla misurazione dell’efficacia delle azioni di capacity building della PA del modello di valutazione della formazione di Donald Kirkpatrick, che è il principale modello applicato, a livello internazionale, per misurare gli effetti sulla performance delle organizzazioni delle attività di formazione e di re-training del personale.
Questo modello di valutazione della formazione presenta certamente dei limiti. Ciò nonostante, continua ad essere il modello più usato per questo tipo di valutazione e, soprattutto, già negli anni Novanta è stato applicato anche alla valutazione delle azioni di capacity buidling della PA dei Paesi in Via di Sviluppo (PVS) sia nell’ambito del Development Program delle Nazioni Unite (UNDP), sia da parte di alcune agenzie di Cooperazione internazionale (segnatamente quella australiana). UNDP e agenzie di cooperazione internazionale hanno finanche elaborato dei modelli operativi di capacity building proprio a partire dal modello imperniato sui quattro livelli valutativi di Kirkpatrick.
Mutatis mutandis si potrebbe provare ad applicarlo alle azioni di capacity building previste sia dal Programma Nazionale Capacità per la coesione, sia dai PRigA regionali (Piani di Rigenerazione Amministrativa).

Audit, monitoraggio e valutazione dei Programmi cofinanziati dai Fondi Strutturali

Il post argomenta che audit, monitoraggio e valutazione costituiscono i principali meccanismi di apprendimento nell’ambito delle procedure attuative dei Programmi cofinanziati dai Fondi Strutturali (essi si possono tutti collocare nella fase “check” del Ciclo Plan Do Check Act di Shewhart e Deming). Va sempre ricordato, tuttavia, che essi hanno finalità, approcci e anche tempi di esecuzione differenti. In particolare va ricordato che il monitoraggio risponde alla domanda “Are we doing the things right?”». Invece, la valutazione risponde alla domanda “Are we doing the right things?”

La capacità amministrativa nella gestione dei Fondi “per la coesione”: definizione e valutazione

Il post propone una breve riflessione sulle rilevanti questioni della capacità amministrativa nella gestione dei Fondi Strutturali e della sua valutazione.
Gli interventi di sostegno alla capacità amministrativa verranno implementati nel periodo 2021-2027 secondo l’approccio “tabella di marcia” – ossia sulla base di step successivi – proposto dalla Commissione. In questo approccio, correttamente, è anche richiesto di impostare per le azioni di capacitazione uno specifico sistema di monitoraggio e valutazione. Il nodo della questione è che la valutazione degli interventi di capacity building è particolarmente complessa per molteplici ragioni.
Gli aspetti più critici della valutazione della capacità amministrativa sono tre: (i) è molto difficile definire la capacità amministrativa (e quindi stabilire l’oggetto stesso della valutazione); (ii) la valutazione andrebbe adeguatamente differenziata a seconda della macro-fase considerata, della tipologia di operazione e della titolarità dell’attuazione (distinguendo fra azioni “a regia regionale” e azioni “a titolarità regionale”); (iii) la valutazione andrebbe considerata essa stessa parte del processo di capacitazione amministrativa (in altri termini, dovrebbe essere introdotta nel sistema di gestione dei Fondi una autentica cultura valutativa).

L’applicazione della tecnica Earned Value Management ai regimi di aiuto e alle azioni alle persone dei PR FSE Plus

La lettura dell’avanzamento dei progetti di pubblica utilità cofinanziati dai Fondi Strutturali è più complessa nel caso di: (i) regimi di aiuto volti a sostenere la competitività del sistema produttivo (sussidi per la creazione di nuove imprese, sussidi per sostenere gli investimenti delle PMI e/o di imprese sociali cofinanziati dal FESR o anche sussidi alle imprese per salvaguardare i livelli occupazionali cofinanziati da FSE Plus); (ii) “azioni alle persone” cofinanziate da FSE Plus (azioni per sostenere l’inserimento occupazionale, forme di work experience e altre azioni volte a sostenere i livelli occupazionali). Con riferimento a queste ultime vanno considerate due problematiche specifiche: (i) la disponibilità parziale di una consolidata base informativa per la stima dei costi unitari “a budget” degli output sulla base dei quali effettuare a priori una corretta proiezione dei valori target da raggiungere secondo una logica “Key Performance Indicators” oppure, in alternativa o a latere, le variabili chiave dell’Earned Value Management (EVM); (ii) la capacità di raggiungere o meno i valori target degli indicatori di realizzazione viene a dipendere da vari fattori esterni non controllabili dall’operatore pubblico, per cui non è mai facile fornire una valutazione oggettiva della sua performance.

Monitoraggio e valutazione delle azioni di policy cofinanziate dai Fondi Strutturali: l’applicazione della tecnica Earned Value Management

L’approccio convenzionale alla misurazione dell’avanzamento dei progetti, delle azioni di policy e dei Programmi complessi cofinanziati dai Fondi Strutturali è di fatto basato sul monitoraggio di Key Performance Indicators (indicatori di efficienza ed indicatori di efficacia). Si tratta di un approccio che prende in esame, separatamente, i singoli indicatori e calcola, in itinere e al termine, gli scostamenti dei valori effettivi da quelli fissati inizialmente come target.
Il breve articolo pone in luce come la tecnica di controllo Earned Value Management si possa applicare alle azioni di policy che costituiscono l’ossatura dei Programmi di spesa cofinanziati dai Fondi Strutturali. L’EVM, come evidenziato nei precedenti post, consente di tenere insieme la verifica dell’efficacia delle azioni, la verifica dell’efficienza ammnistrativa e anche quella dell’efficienza operativa (intesa come capacità di ottimizzare uso delle risorse e costo medio delle attività e/o degli output prodotti). Considerando la definizione delle tre variabili chiave di questa tecnica e delle due variabili di scostamento (Cost Variance e Schedule Variance) essa consente parimenti di rendere più agevole per tutti la comprensione della reportistica di monitoraggio, contribuendo così a rafforzare la trasparenza sull’attuazione delle azioni di policy e delle operazioni ammesse a beneficio.

Il “ciclo della performance”, il monitoraggio dei “risultati interni” e la tecnica dell’Earned Value Management

Il breve articolo, muovendo dal precedente su alcune criticità della misurazione della performance delle organizzazioni pubbliche italiane, oltre a sollecitare di nuovo una maggiore attenzione alla necessità di differenziare adeguatamente valutazione delle routine organizzative e valutazione dei progetti, propone un approccio al controllo dell’avanzamento dei progetti – Earned Value Management (EVM) – che consente di tenere simultaneamente conto di attuazione fisica degli interventi, capacità di rispettare il cronoprogramma di attività iniziale e le relative scadenze e di gestire al meglio gli input, in primis le risorse finanziarie. Il valore aggiunto dell’Earned Value Management è quello di consentire di combinare le molteplici dimensioni di misurazione e di valutazione ongoing dei progetti. Infatti, l’Earned Value Management (o Earned Value Analysis) consente di avere, in itinere, un cruscotto di monitoraggio sull’avanzamento fisico del progetto e sull’efficienza attuativa (realizzazione fisiche e quantità di risorse impiegate), sul rispetto della tempistica prevista nella fase di definizione del progetto e sul suo avanzamento finanziario.

Il “ciclo della performance” nella PA: la più recente Relazione sulla Performance di Roma Capitale e la scarsa attenzione generale della PA alla valutazione dell’impatto su cittadini e imprese

Il post, muovendo da un articolo giornalistico sulla più recente Relazione sulla Performance di Roma Capitale (relativa all’anno 2021), propone alcune riflessioni sulle seguenti criticità di fondo del Sistema di Misurazione e Valutazione della Performance (SMVP) nella PA: (i) l’applicazione di logiche e criteri di valutazione della performance sostanzialmente analoghi sia per le funzioni ricorrenti (routine amministrativo-procedurali), sia per i progetti; (ii) la scarsa rilevanza attribuita alla valutazione effettiva dell’impatto sui cittadini e sulle imprese dell’azione pubblica (la valutazione della performance continua ad essere di fatto auto-referenziale e focalizzata sui “risultati interni”); (iii) la valutazione, nell’ambito di molte organizzazioni pubbliche italiane, non solo non viene applicata per “misurare” in primo luogo i “risultati esterni”, ma viene anche sovente confusa con le procedure di audit.

Alcune considerazioni critiche sulla valutazione dell’approccio LEADER

Il post propone delle critiche all’approccio alla valutazione del LEADER della Commissione Europea. Tali critiche, peraltro si possono applicare anche all’audit sul LEADER della Corte dei Conti Europea i cui risultati sono riportati nella Relazione Speciale N. 10/2022. L’analisi della Corte, infatti, non sembra sorretta da un robusto approccio valutativo. L’approccio alla valutazione del LEADER della Commissione, di fatto, è focalizzato sul c.d. “valore aggiunto LEADER” – riassumibile con tre presunti grandi vantaggi, ossia il miglioramento dei processi di governance locale; il rafforzamento del capitale sociale delle aree geografiche interessate dai PSL e una maggiore qualità dei progetti – che scaturirebbe dai sette principi chiave del LEADER, ossia: (i) approccio place-based; (ii) gestione affidata a dei Partenariati Pubblico Privato formalmente costituiti, denominati Gruppi di Azione Locale (GAL); (iii) approccio bottom-up per la formulazione della strategia di sviluppo; (iv) strategia integrata multi-settoriale; (v) innovazione; (vi) networking; (vii) cooperazione. Il principale aspetto critico dell’approccio valutativo convenzionale del LEADER è che esso manca di una solida “theory of change” che spieghi come i sette principi chiave del LEADER si traducano nel suo specifico “valore aggiunto”. Inoltre, non sembrano sufficientemente fondati i “criteri di giudizio” associati alla Domanda Valutativa centrale dell’approccio alla valutazione del LEADER della Commissione e, non ultimo, almeno due dei tre indicatori di risultato associati alla Domanda Valutativa non si configurano propriamente come degli indicatori di risultato.

Le recenti critiche della Corte dei Conti Europea all’approccio LEADER

Il post discute le recenti critiche della Corte dei Conti Europea all’approccio Sviluppo Locale di Tipo Partecipativo (approccio CLLD/LEADER) presentate nella Relazione Speciale N. 10/2022. Tali critiche, quantunque in ampia parte condivisibili, non appaiono particolarmente solide per i seguenti motivi: (i) l’analisi non sembra sorretta da un robusto approccio valutativo; (ii) l’analisi, di conseguenza, fornisce delle giustificazioni un po’ vaghe in merito al limitato valore aggiunto dell’approccio CLLD/LEADER. A tale riguardo si evidenzia che la valutazione dell’approccio CLLD/LEADER è alquanto complessa per molteplici motivi, fra cui spiccano la sua natura complessa e il fatto che l’efficacia degli interventi implementati seguendo tale approccio viene a dipendere dal comportamento di molteplici attori. Inoltre, l’approccio alla valutazione del LEADER suggerito dalla Commissione e da altri Enti istituzionali di ricerca non è sufficientemente ancorato a una solida e circostanziata “theory of change” (“teoria del cambiamento”).