Tag: Valutazione

L’applicazione della tecnica Earned Value Management ai regimi di aiuto e alle azioni alle persone dei PR FSE Plus

La lettura dell’avanzamento dei progetti di pubblica utilità cofinanziati dai Fondi Strutturali è più complessa nel caso di: (i) regimi di aiuto volti a sostenere la competitività del sistema produttivo (sussidi per la creazione di nuove imprese, sussidi per sostenere gli investimenti delle PMI e/o di imprese sociali cofinanziati dal FESR o anche sussidi alle imprese per salvaguardare i livelli occupazionali cofinanziati da FSE Plus); (ii) “azioni alle persone” cofinanziate da FSE Plus (azioni per sostenere l’inserimento occupazionale, forme di work experience e altre azioni volte a sostenere i livelli occupazionali). Con riferimento a queste ultime vanno considerate due problematiche specifiche: (i) la disponibilità parziale di una consolidata base informativa per la stima dei costi unitari “a budget” degli output sulla base dei quali effettuare a priori una corretta proiezione dei valori target da raggiungere secondo una logica “Key Performance Indicators” oppure, in alternativa o a latere, le variabili chiave dell’Earned Value Management (EVM); (ii) la capacità di raggiungere o meno i valori target degli indicatori di realizzazione viene a dipendere da vari fattori esterni non controllabili dall’operatore pubblico, per cui non è mai facile fornire una valutazione oggettiva della sua performance.

Monitoraggio e valutazione delle azioni di policy cofinanziate dai Fondi Strutturali: l’applicazione della tecnica Earned Value Management

L’approccio convenzionale alla misurazione dell’avanzamento dei progetti, delle azioni di policy e dei Programmi complessi cofinanziati dai Fondi Strutturali è di fatto basato sul monitoraggio di Key Performance Indicators (indicatori di efficienza ed indicatori di efficacia). Si tratta di un approccio che prende in esame, separatamente, i singoli indicatori e calcola, in itinere e al termine, gli scostamenti dei valori effettivi da quelli fissati inizialmente come target.
Il breve articolo pone in luce come la tecnica di controllo Earned Value Management si possa applicare alle azioni di policy che costituiscono l’ossatura dei Programmi di spesa cofinanziati dai Fondi Strutturali. L’EVM, come evidenziato nei precedenti post, consente di tenere insieme la verifica dell’efficacia delle azioni, la verifica dell’efficienza ammnistrativa e anche quella dell’efficienza operativa (intesa come capacità di ottimizzare uso delle risorse e costo medio delle attività e/o degli output prodotti). Considerando la definizione delle tre variabili chiave di questa tecnica e delle due variabili di scostamento (Cost Variance e Schedule Variance) essa consente parimenti di rendere più agevole per tutti la comprensione della reportistica di monitoraggio, contribuendo così a rafforzare la trasparenza sull’attuazione delle azioni di policy e delle operazioni ammesse a beneficio.

Il “ciclo della performance”, il monitoraggio dei “risultati interni” e la tecnica dell’Earned Value Management

Il breve articolo, muovendo dal precedente su alcune criticità della misurazione della performance delle organizzazioni pubbliche italiane, oltre a sollecitare di nuovo una maggiore attenzione alla necessità di differenziare adeguatamente valutazione delle routine organizzative e valutazione dei progetti, propone un approccio al controllo dell’avanzamento dei progetti – Earned Value Management (EVM) – che consente di tenere simultaneamente conto di attuazione fisica degli interventi, capacità di rispettare il cronoprogramma di attività iniziale e le relative scadenze e di gestire al meglio gli input, in primis le risorse finanziarie. Il valore aggiunto dell’Earned Value Management è quello di consentire di combinare le molteplici dimensioni di misurazione e di valutazione ongoing dei progetti. Infatti, l’Earned Value Management (o Earned Value Analysis) consente di avere, in itinere, un cruscotto di monitoraggio sull’avanzamento fisico del progetto e sull’efficienza attuativa (realizzazione fisiche e quantità di risorse impiegate), sul rispetto della tempistica prevista nella fase di definizione del progetto e sul suo avanzamento finanziario.

Il “ciclo della performance” nella PA: la più recente Relazione sulla Performance di Roma Capitale e la scarsa attenzione generale della PA alla valutazione dell’impatto su cittadini e imprese

Il post, muovendo da un articolo giornalistico sulla più recente Relazione sulla Performance di Roma Capitale (relativa all’anno 2021), propone alcune riflessioni sulle seguenti criticità di fondo del Sistema di Misurazione e Valutazione della Performance (SMVP) nella PA: (i) l’applicazione di logiche e criteri di valutazione della performance sostanzialmente analoghi sia per le funzioni ricorrenti (routine amministrativo-procedurali), sia per i progetti; (ii) la scarsa rilevanza attribuita alla valutazione effettiva dell’impatto sui cittadini e sulle imprese dell’azione pubblica (la valutazione della performance continua ad essere di fatto auto-referenziale e focalizzata sui “risultati interni”); (iii) la valutazione, nell’ambito di molte organizzazioni pubbliche italiane, non solo non viene applicata per “misurare” in primo luogo i “risultati esterni”, ma viene anche sovente confusa con le procedure di audit.

Alcune considerazioni critiche sulla valutazione dell’approccio LEADER

Il post propone delle critiche all’approccio alla valutazione del LEADER della Commissione Europea. Tali critiche, peraltro si possono applicare anche all’audit sul LEADER della Corte dei Conti Europea i cui risultati sono riportati nella Relazione Speciale N. 10/2022. L’analisi della Corte, infatti, non sembra sorretta da un robusto approccio valutativo. L’approccio alla valutazione del LEADER della Commissione, di fatto, è focalizzato sul c.d. “valore aggiunto LEADER” – riassumibile con tre presunti grandi vantaggi, ossia il miglioramento dei processi di governance locale; il rafforzamento del capitale sociale delle aree geografiche interessate dai PSL e una maggiore qualità dei progetti – che scaturirebbe dai sette principi chiave del LEADER, ossia: (i) approccio place-based; (ii) gestione affidata a dei Partenariati Pubblico Privato formalmente costituiti, denominati Gruppi di Azione Locale (GAL); (iii) approccio bottom-up per la formulazione della strategia di sviluppo; (iv) strategia integrata multi-settoriale; (v) innovazione; (vi) networking; (vii) cooperazione. Il principale aspetto critico dell’approccio valutativo convenzionale del LEADER è che esso manca di una solida “theory of change” che spieghi come i sette principi chiave del LEADER si traducano nel suo specifico “valore aggiunto”. Inoltre, non sembrano sufficientemente fondati i “criteri di giudizio” associati alla Domanda Valutativa centrale dell’approccio alla valutazione del LEADER della Commissione e, non ultimo, almeno due dei tre indicatori di risultato associati alla Domanda Valutativa non si configurano propriamente come degli indicatori di risultato.

Le recenti critiche della Corte dei Conti Europea all’approccio LEADER

Il post discute le recenti critiche della Corte dei Conti Europea all’approccio Sviluppo Locale di Tipo Partecipativo (approccio CLLD/LEADER) presentate nella Relazione Speciale N. 10/2022. Tali critiche, quantunque in ampia parte condivisibili, non appaiono particolarmente solide per i seguenti motivi: (i) l’analisi non sembra sorretta da un robusto approccio valutativo; (ii) l’analisi, di conseguenza, fornisce delle giustificazioni un po’ vaghe in merito al limitato valore aggiunto dell’approccio CLLD/LEADER. A tale riguardo si evidenzia che la valutazione dell’approccio CLLD/LEADER è alquanto complessa per molteplici motivi, fra cui spiccano la sua natura complessa e il fatto che l’efficacia degli interventi implementati seguendo tale approccio viene a dipendere dal comportamento di molteplici attori. Inoltre, l’approccio alla valutazione del LEADER suggerito dalla Commissione e da altri Enti istituzionali di ricerca non è sufficientemente ancorato a una solida e circostanziata “theory of change” (“teoria del cambiamento”).

La “pertinenza verticale” del Programmi Regionali FESR: focus sugli interventi a sostegno del sistema produttivo

Il post argomenta che, quantunque la valutazione ex ante dei programmi cofinanziati dai Fondi Strutturali per il periodo 2021-2027 non sia obbligatoria, sarebbe ampiamente opportuno effettuarla. In particolare, dovrebbe essere verificata con attenzione la “pertinenza istituzionale” (coerenza “istituzionale”) rispetto alle grandi direttrici strategiche delle politiche dell’UE. I programmi FESR 2021-2027 sono articolati in Obiettivi di Policy e Obiettivi Specifici. La valutazione della “pertinenza istituzionale” può essere fatta a livello di intero Programma, di Obiettivi di Policy, di ambiti di intervento inseriti negli Obiettivi di Policy e anche di Obiettivi Specifici. Il post si sofferma sull’Obiettivo di Policy 1 (OP 1 “Un’Europa più intelligente e competitiva”) e, più specificamente, sulla strategia di politica industriale che le Regioni possono perseguire nell’ambito dell’OP 1. Ragionando su questo ambito di policy la verifica della “pertinenza istituzionale” dovrebbe considerare come termini di riferimento la strategia dell’UE per la realizzazione di uno Spazio Europeo della Ricerca, gli interventi per il sostegno alle imprese e il buon funzionamento del mercato interno e i molteplici interventi per la digitalizzazione dell’economia e della società.

Ciclo del progetto: la fase iniziale di ideazione

Il post illustra la fase di ideazione (avvio) del “ciclo del progetto”, che si può articolare in tre sub-fasi (identificazione, analisi e formulazione).
La fase di ideazione si chiude con l’elaborazione di una “proposta di progetto” o “progetto preliminare”.
Molti autori asseriscono che si chiuda con il “project charter” (una sorta di atto che formalizza la conclusione della fase di avvio). Così non è. Va sempre considerata una fase (fase “fantasma” in molti “cicli del progetto” proposti in Guide e Manuali), che è quella dell’approvazione dei progetti. Non va mai dimenticato che solo nel caso in cui la “proposta di progetto” venga approvata, sarà possibile definire il “project charter” e proseguire con una fase successiva di approfondimento che conduce all’elaborazione del “progetto esecutivo”.

Ciclo del progetto, monitoraggio e valutazione d’impatto

Il post argomenta che per capire adeguatamente il ruolo della valutazione di impatto bisogna collocarla nella fase di maturazione degli effetti strutturali del “ciclo del progetto” (generalmente non richiamata anche in rilevanti Manuali sulla formulazione dei progetti). Questa fase – che corrisponde alla fase “Act” del Ciclo “Plan-Do-Check-Act” – include anche il processo di apprendimento dall’attuazione del progetto (catalizzato dalla stessa valutazione di impatto) e quello della valorizzazione delle “lezioni dell’esperienza” attuazione da parte dei decisori politici e degli esperti che li supportano nella formulazione di progetti o di Programmi complessi. La valutazione di impatto, quindi, anche più della valutazione “on-going” ha quali finalità precipue quelle di rendere conto di attuazione ed effetti strutturali dei progetti e di supportare i processi di decisione strategica.

Catene logiche e processi di Monitoraggio e Valutazione dei progetti

Il post illustra le tre parti costitutive fondamentali delle c.d. “catene logiche”, che sono sempre alla base di una buona formulazione di progetti di sviluppo socio-economico e programmi complessi. Esse sono implementazione (piano di lavoro del progetto), ipotesi e gap logici e risultati e impatti.
Il blocco implementazione è completamente interno al progetto (e direttamente controllabile dall’agenzia esecutrice o dal team incaricato di realizzarlo). Risultati e impatti di lungo termine, invece, dipendono in parte dal progetto e in ampia parte da fattori di contesto. Questo è un aspetto molto rilevante da considerare anche in sede di definizione dei processi di monitoraggio e valutazione dei progetti.