Approcci innovativi alla valutazione dell’impatto sociale. L’approccio “lean data” di Acumen

‹‹There is no agreed unit of social impact
that mirrors profit in the traditional capital markets ››

The Economist [1]

Come argomentato nel post del 20 settembre scorso (e, in precedenza, dal collega del network Fundraising Virtual Hub Christian Elevati), anche in Italia sta finalmente arricchendosi il dibattito sulla valutazione dell’impatto sociale delle organizzazioni mission-driven (dalle organizzazioni del terzo settore, alle imprese a vocazione sociale, alla neo-istituita figura delle Benefit Corporations).

Questo dibattito è benvenuto. Bisogna, tuttavia, chiedersi immediatamente con molta franchezza cosa significa implementare la valutazione dell’impatto sociale nelle organizzazioni non profit, specialmente quelle più piccole e meno strutturate, in quanto è fuor di dubbio che per tali organizzazioni, sovente, il costo di esercizi di valutazione di impatto rigorosi è quasi insostenibile. [2]
Inoltre, va pragmaticamente preso atto che non vi è “una singola misura dell’impatto sociale che rifletta altrettanto bene il profitto nei mercati dei capitali tradizionali” (The Economist, 2009), così come è vero che il termine “impatto”, spesso, “assume significati diversi per persone diverse” (Acumen, Root Capital 2015).

Nel dibattito internazionale, non a caso, le due questioni che stanno emergendo come centrali sono:
• come passare ad una valutazione di impatto che sia più attenta agli effetti su “capacità” e condizioni di vita dei beneficiari e meno legata a parametri e metriche standardizzate (sulla falsariga del c.d. Impact Reporting and Investment Standards) e a una logica di accountability. In altri termini, vi è una crescente richiesta di una valutazione volta realmente a verificare cosa significhi “fare la differenza” per la vita dei beneficiari; [3]
• come mettere in pratica approcci e metodi di valutazione accessibili anche a piccole organizzazioni con ristrette disponibilità finanziare per valutare la loro attività e i loro progetti. L’imperativo è andare oltre quello che Jed Emerson ha definito “the metrics myth”, per cui di dibatte su approcci e metriche da applicare, ma poi le piccole organizzazione non riescono a implementare valutazioni rigorose in primo luogo per i loro eccessivi costi. [4]

runners_morguefileIn merito alla “metrics myth”, sulla scorta dell’analisi di alcuni articoli recenti e della mia personale esperienza con organizzazioni non profit molto piccole, mi pare che ci siano tre ordini di criticità con cui fare i conti:
• organizzazioni non profit e imprese a vocazione sociale molto piccole, sovente, non hanno sufficienti disponibilità finanziarie per intraprendere rigorose valutazioni di impatto. Infatti, non va dimenticato che, specialmente se si adottano metodi di analisi controfattuale, vi sono complessi disegni di valutazione da approntare, bisogna definire con rigore campioni di “trattati” e campioni di “non trattati” (“controlli”) raccogliere e validare molteplici dati;
• lo staff interno di organizzazioni piccole e che fanno grande affidamento sui volontari, sovente, non può oggettivamente avere le competenze idiosincratiche per svolgere rigorose valutazioni di impatto contro fattuale (in genere, infatti, sono richieste competenze specialistiche in materia di campionamento statistico e vanno applicati complesse analisi statistico-econometriche). Inoltre, molti operatori del terzo settore, nella generalità dei casi, temono che le valutazioni di impatto sottraggano tempo e risorse alle attività considerate realmente centrali, ossia la formulazione e l’implementazione di buoni progetti e l’erogazione di servizi ai beneficiari;
• molte organizzazioni sono sovente più attente a “dare conto” del loro operato e del loro impatto ai finanziatori (dalle grandi fondazioni ai singoli individui che effettuano piccole donazioni), che non al soddisfacimento dei bisogni degli assistiti. Per usare le parole di Dichter, Adams e Ebrahim (2016) – fra i principali promotori dell’approccio “lean data” qui discusso – bisogna implementare valutazioni di impatto non in una prospettiva di “upward accountability”, ma in una di “downward accountability”. [5]

E’ soprattutto sull’abbrivio di queste criticità che la charity statunitense Acumen ha lanciato, nel 2014, un nuovo orientamento alla valutazione dell’impatto delle organizzazioni mission-driven – la c.d. “lean data” initiative – in cui:
• nome e fondamenta metodologiche sono mutuati dal nuovo approccio alla definizione e all’avvio di nuove imprese commerciali denominato “lean start-up” approach (o anche “lean data driven start-up” approach che combina principi mutuati dalla “lean production” sperimentata inizialmente dalla Toyota, dal c.d. “agile development” nello sviluppo di software e dal “customer development” sviluppato dall’imprenditore seriale californiano Steve Blank (2005, 2013) inerente la validazione di nuove idee imprenditoriali e la creazione di impresa. In questo approccio, la creazione di impresa non è vista come un processo blueprint (ingessato nel “business plan”), ma è visto come il frutto di un processo sperimentale di tentativi ed errori, incentrato sul ciclo di validazione “build-measure-learn dell’idea commerciale (del prodotto/servizio) inizialmente congegnata dal neo-imprenditore. [6]
Questo approccio, per la sua maggiore aderenza alle dinamiche concrete di innovazione e di successo di idee imprenditoriali e per la sua capacità di tenere conto di ambienti circostanti sempre più dinamici, non solo sta soppiantando l’approccio tradizionale alla creazione di impresa e al lancio di nuovi prodotti/servizi sul mercato, ma in misura crescente viene sperimentato anche per la formulazione dei progetti (anche di progetti di aiuto allo sviluppo) e per il lancio di nuove campagne di raccolta fondi da parte di organizzazioni mission-driven. Non a caso si parla ormai, in generale, di “lean experimentation”;
• rilevazioni, indagini di campo ed intero “disegno valutativo” sono fortemente focalizzate su bisogni, aspettative, esperienze di vita quotidiana e feedback dei beneficiari finali degli interventi (approccio bottom up). Questo sia per la necessità, a cui si è fatto cenno, di implementare valutazioni di impatto informate alla “downward accountability”, sia per le stesse caratteristiche peculiari della “lean experimentation” che si fonda sull’esecuzione di ripetuti test su prodotti di mercato e progetti volti a raccogliere indicazioni su difetti e migliorie necessarie direttamente dai beneficiari;
• i moderni mezzi di comunicazione (smartphone e tablet) sono usati come strumenti di rilevazione diretta presso i beneficiari finali di dati e di feedback sui progetti. Dopo aver ricordato che Acumen finanzia progetti imprenditoriali soprattutto in contesti “difficili” di paesi economicamente arretrati, va aggiunto che l’uso di tali mezzi, ovviamente, è differenziato a seconda dei beneficiari che sono oggetto di rilevazione (in gergo statistico si parla di “trattati”) e dei diversi contesti “difficili” in cui essi vivono (ad esempio, l’uso di SMS è molto utile per raccogliere dati e poter valutare progetti di imprenditoria sociale in sperduti villaggi rurali molto distanti dai centri principali di un paese arretrato, per i quali è quasi improponibile ricorrere a interviste dirette o visite in situ). [7]

Si tratta di un approccio ancora in fase sperimentale, ma certamente utile sia per rafforzare la focalizzazione di tutti i progetti sui beneficiari, sia per ridurre i costi di una rigorosa valutazione dell’impatto sociale prodotto, esigenza quest’ultima avvertita da tutte le organizzazioni. [8]
Come hanno scritto recentemente Mento e Langella (principali animatori di Social Value Italia), bisogna “passare, …, da modelli teorici costruiti a tavolino a strumenti che siano poi calati nella quotidianità delle organizzazioni”. (“Impatto sociale: attenzione a non prendere lucciole per lanterne” Vita Magazine, 3 giugno 2016).
Spero che questo breve contributo contribuisca ad aumentare l’attenzione, anche in Italia, su questo approccio sperimentale di Acumen e, soprattutto, sulla necessità di un crescente coinvolgimento dei beneficiari nella formulazione dei progetti e anche del disegno valutativo. [9]

*******

[1] “Capital markets with a conscience. Social investing grows up”, The Economist, September 1, 2009
[2] A tale riguardo, oltre al contributo di Elevati “Chi ha paura della valutazione dell’impatto sociale?” già discusso nel mio precedente post, si veda anche di Christian Elevati il post, sempre pubblicato sul blog di Elena Zanella nel novembre 2015, Il tennis e la valutazione di impatto sociale.
Nei suoi contributi e in nostri scambi informali di pareri, Elevati giustamente evidenzia un altro aspetto critico, ossia il fatto che è ampiamente generalizzata nel terzo settore italiano la propensione a considerare la valutazione di impatto un costo e non un investimento per alimentare processi di apprendimento e migliorare efficacia ed efficienza dell’organizzazione e dei progetti.

[3] A mio modesto parere, l’articolo che in modo magistrale rende conto di questa esigenza è: McCreless M., Fonzi C J., Edens G., Lall S. (2014), Metrics 3.0: A New Vision for Shared Metrics. After accountability and standardization, what should the next phase of measurement focus on?, Blog Stanford Social Innovation Review, 4 June 2014
[4] Emerson J. (2015), The Metrics Myth, BlendedValue
[5] Cfr. Dichter S., Adams T., Ebhraim A. (2015), The Power of Lean Data, in “Stanford Social Innovation Review”, Winter 2016, pp. 36-41
Si ved anche: Acumen (2014), The Lean Data Field Guide
[6] La letteratura sul “lean start-up” approach è ormai molto vasta. Per tutti si vedano i contributi di Steve Blank:
Blank S. (2005), The four steps to the Epiphany. Successful strategies for products that win, San Francisco K&S Ranch Press
Blank S. (2013), Why the Lean Start-Up changes everything, in “Harvard Business Review”, May
Con riguardo alla sua applicazione a progetti (anche di fundraising) di organizzazioni mission-driven, oltre ai contributi recenti (fra cui uno dello stesso Blank) ad un utile podcast dal titolo “Lean Experimentation for the Social Sector: Build Smart to Learn Fast” disponibile sul portale della Stanford Social Innovation Review SSIR, si veda anche:
Murray P., Ma S. (2015), The promise of lean experimentation, in “Stanford Social Innovation Review”, Summer 2015, pp. 33-39. Gli stessi Murray e Ma hanno sviluppato un toolkit per l’applicazione di questo metodo, disponibile sul portale della fondazione statunitense Accelerate Change.
[7] Acumen è una charity fondata nel 2001 negli Stati Uniti, che finanzia progetti di imprenditoria sociale e di sviluppo soprattutto in contesti “difficili” di paesi particolarmente arretrati del mondo. La sua missione è quella di “raccogliere donazioni per investirle in aziende, leader e idee che stanno cambiando il modo in cui il mondo combatte la povertà”.
Dopo una prima fase sperimentale, Acumen ha rafforzato l’uso di tali mezzi di comunicazione quali strumenti di rilevazione statistica, combinando la sua esperienza con il Client Centric Mobile Measurement approach perfezionato negli anni da Root Capital, charity che sin dal 1999 opera come finanziatore di progetti innovativi di sostegno all’imprenditoria agricola nei paesi più arretrati del mondo. Si veda: Acumen, Root Capital (2015); Innovation in impact measurement. Lessons using mobile technology from Acumen’s Lean Data Initiative and Rot Capital’s Client Centric Mobile Measurement. 
[8] I processi di valutazione dei progetti, in genere, vengono suddivisi in quattro fasi:
strutturazione (si definisce il “disegno di valutazione”);
osservazione (si selezionano le fonti statistiche più adatte, si definiscono le indagini campionarie, si raccolgono concretamente con varie modalità dati e informazioni, sia quantitativi, sia qualitativi);
analisi;
giudizio.
Gli stessi promotori della “lean data” initiative riconoscono che il loro approccio è particolarmente innovativo solo con riguardo alla fase di strutturazione e, soprattutto, alla fase di osservazione.

[9] Il nostro network Fundraising Virtual Hub condividerà alcune riflessioni su questo tema nel corso del workshop “Fundraising e CSR: opportunità e criticità” inserito nell’ambito dell’edizione annuale del “Salone della CSR e dell’Innovazione Sociale”, che si terrà a Milano il 4 e 5 Ottobre.

fundraising_csr_ws_milano

Contact me!

If you have any question or you'd like to have more information about this post, you can write me using this form!