Is evaluation overrated?

Policy wonks everywhere insist on hard, quantitative evaluation as an accountability device. The European Commission is spearheading the effort to drive the adoption of quantitative evaluation in traditionally “soft” areas, like social cohesion or social innovation. The message is quite simple: these are tough times for public budgets. You want something funded, you’d better make a strong case for it. It makes sense. How could it be wrong?

And yet, I wonder. Evaluation is theoretically rock-solid when it measures output in the same units as its input. The gold standard of that would be the famed Return on Investment (ROI): invest dollars. Reap dollars. Compute a ratio. Easy. When you invest dollars to reap, say, an increase in the heron population, or in the expected reduction in lung cancer incidence, things start to get blurred. And if you are comparing an increase in the heron population with an expected reduction in lung cancer incidence, they get really blurred.

I should know. I am a veteran of a similar battle.

In the 1980s, led by influential thinkers like the late David Pearce, Mrs. Thatcher’s environmental advisor, environmental economists tried to quantify the economic value to environmental goods. Their goal was to teach humanity to abandon the idea that the environment was there for free, and to start treating it as a scarce resource. This scene had its stronghold at University College London, where Pearce directed a research center and an M.Sc. program. I joined the latter in 1992. Our main tool was an augmentation of cost-benefit analysis, that old evaluation workhorse of the New Deal era. We had all kind of clever hacks to translate environmental benefits into dollars or pounds: hedonic pricing, contingent valuation, travel costs analysis. Once something is measured in money, it can be compared against anything else. Hard-nosed, quantitative evaluation ensued. Or did it?

As we moved on from our London classrooms to practice, we found out things were not nearly that simple. First, we had a very big theoretical issue: we were trying to emulate markets in order to value environmental goods, because, according to standard economic theory, well-behaved markets assign to goods exactly those prices that maximize collective well-being. However, the mathematical conditions for that to hold are very peculiar, such that they are rarely, if ever, observed in real life. Joseph Stiglitz, one of my favorite economists, was awarded a Nobel prize for showing that, removing just one of those conditions (perfect and symmetric information), the properties of the model go down in a big way. But even if you were prepared to take a leap of faith in the underpinning theory, man, getting to those values was hard. Very. Data are usually not available and impossibly expensive to generate, so people resorted a lot to surveys (“contingent evaluation” as we called them – it sounds more scientific). Bad move: that just got us entangled in cognitive psychology paradoxes explored in detail by Daniel Kahneman and Amos Tversky, who showed conclusively that humans simply do not value as (theoretical) markets do – and earned another Nobel.

Then there was very unfortunate politics. Just about the only people prepared to fund generously environmental evaluation were the biggest, baddest polluters. A whole body of literature sprang up as a consequence of the infamous Exxon Valdez oil spill, as Exxon fought in court to avoid having to pay for damages to the Arctic environment: we studied those papers in London. Their authors had the means to do a real evaluation exercise, but the people footing their bill had very strong preferences over its outcome. Not an easy situation.

We certainly succeeded in advancing the cause of evaluation as a requirement. Environmental impact assessment, used in America since the late 1960s, was made a requirement for many public projects by European regulation with a 1985 directive. Money was spent. A lot of consultants took some random course and started offering environmental impact evaluation as a service. But as to bringing about objective, evidence-backed evaluation, I am not so sure. Even now, 25 years later, environmentalists and general contractors are fighting court battles, each wielding their own environmental impact assessment, or simply claiming that the other side has intentionally commissioned a partial EIA to rig the debate (this is happening around the planned high speed rail link from Turin to Lyon). That does not mean EIA is not being useful: it does mean, however, it is not objective. The promise of “hard-nosed evidence” was delusional. I suspect this is fundamental, not only contingent: evalutation implies, you know, values. The ROI embeds a set of values, too: namely, it implies that all the information that matters is embedded in price signals, so you are making money you must be advancing social well-being.

I am curious to try an alternative path to evaluation: the emergence of a community that participates in a project, volunteers time, offers gifts. For example: in the course of a project I manage at the Council of Europe, called Edgeryders, I created a short introductory video in English. A member of our community loaded it onto Universal Subtitles, transcribed the audio into English subtitles and created a first translation into Spanish. Two weeks later, the video had been translated into nine languages, just as a gift. That does not happen every day: it made our lonely bunch of Eurocrats very happy, and – alongside a veritable stream of Twitter kudos, engagement on our online platform and other community initiatives like the map of citizen engagement – we took it as a sign we were doing something right. That’s evaluation: a vote, expressed in man-hours, commitment, good thinking. Such an evaluation is not an add-on activity performed by an evaluator, but rather an emergent property of the project itself; as such, quite likely, very fast, relatively cheap, and merciless in exposing failures to convince citizens of the value the project is bringing to the table.

Granted, online community projects like Edgeryders or Kublai lend themselves particularly well to being assessed this way – they contain thousands of hours of citizen-donated high quality human labor, a quite natural accounting unit for evaluation. But this criterion might be more generalizable than we think, or became so relatively soon. Recently a friend – the CEO of a software development company – astonished me with the following remark:

In the present day and age, half of a programmer’s work is nurturing a community on Github.

So it’s not just me: in more and more areas of human activity, complexity has become unmanageable unless you tackle it by collective “swarm” intelligence. In other words, more and more problems can – and maybe have to – be framed in terms of growing an online community around them. If that is true, that community can be used as a basis for evaluation activities. It should be a no brainer: I have never met an ecologist or a social worker who think that assessing an environmental or social cohesion impact with ROI makes the slightest sense. If we can figure out a theoretically sound and practically feasible path to evaluation we can and should get rid of ROI for nonprofit activities altogether. And good riddance.

7 thoughts on “Is evaluation overrated?

  1. Renato Turbati

    Ciao, la mia professione è quella del valutatore da 15 anni ormai. Lo premetto perchè il tema che poni mi è molto caro, e l’ho vissuto da diversi punti di vista nella mia vita di cittadino, amministratore per un periodo della mia vita, e professionista che vive di valutazione.
    La riflessione che tu proponi credo possa essere arricchita da una domanda, che spesso mi sono fatto: la valutazione è una questione di metodo e di tecnica oppure, come credo, una questione che parte dal metodo perchè sia stabilito e comunicato prima a chi ne è coinvolto a diverso titolo, ma che necessita di ampi processi partecipativi per potere acquisire forza, credibilità, e cittadinanza nella società civile?
    Negli ultimi anni ho sviluppato, insieme al gruppo di lavoro del quale faccio parte, una teoria (attraverso la connessione tra metodologia della ricerca sociale applicata a disegni valutativi, informatica e statistica) e una pratica, diventata quotidiana nei progetti/programmi che seguiamo, che va nella direzione di mettere a disposizione, su una piattaforma elettronica condivisa con i finanziatori e la governance operativa di programmi/politiche, un supporto digitale on line che permetta di raccogliere tutte le informazioni economiche e progettuali di una iniziativa complessa diventando nel tempo un grande data base proprio grazie all’impegno condiviso di chi realizza operativamente il progetto/programma dentro quella specifica politica.
    Dalle informazioni inserite, si può poi procedere a sviluppare, periodicamente, tutte le analisi economico/statistiche che servono, e ad estrarre grafici, tabelle pivot ecc…che aiutino la governance dell’iniziativa e il finanziatore ad avere a disposizione in tempo reale e con facilità, anche in autonomia, una reportistica dettagliatissima sia ad uso interno che ad uso comunicativo.
    I dati inseriti dai protagonisti delle iniziative, su una piattaforma metodologica e di contenuti proposta dal valutatore e condivisa con il committente prima di iniziare, possono poi servire come base per procedere a valutazioni di processo di carattere amministrativo, di utilizzo di beni e servizi avviati e, nel medio periodo successivo alla conclusione delle iniziative stesse, di impatto. A questo fine possono essere utilizzate metodologie anche, dico anche, fortemente spinte sul versante quantitativo/statistico come ad esempio l’analisi controfattuale.
    Nel caso della mia esperienza, l’impegno che tu citi alla base della voglia di partecipare da parte di persone che prendono parte ad iniziative innovative (come quelle di cui tu sei testimone e protagonista), è mediato dal fatto che chi inserisce i dati durante tutto il processo, lo fa come parte della sua professione e perchè è inserito in una filiera che lavora al fine di ricevere il finanziamento, privato o pubblico che sia, perchè si riesce a dimostrare che quanto progettato, e posto alla base della richiesta di finanziamento, è stato effettivamente realizzato, e che questo ha prodotto determinati risultati. Quindi, in questo caso, lo stimolo alla partecipazione è di tipo economico.
    Ma nulla vieta, che a livello di comunità come Edgeryders (per la quale anche io ho partecipato alla traduzione in italiano del testo che dicevi) lo stimolo possa essere diverso e l’impegno possa consistere invece che nel partecipare ad una traduzione come in quel caso, nell’inserire in modo concordemente formalizzato, dati utili ad un esplicito percorso di monitoraggio finalizzato alla valutazione di quanto si sta facendo.
    Il punto fermo è che un sistema di questo tipo, dal mio punto di vista, favorisce e aiuta la motivazione di chi pensa che il monitoraggio e la valutazione possano essere utili al progredire più trasparente possibile di iniziative importanti per le collettività alle quali si rivolgono. La comunità cresce, in questo caso, contribuendo a creare in modo strutturato e formalmente definito, la base dati che sarà poi alla base della valutazione di quanto si è sviluppato. Il tipo di valutazione che si sceglierà di compiere, qualitativa e/o quantitativa che sia e più o meno spinta su versanti di tecnicismo specifici, partirà dalla costruzione comune del data base che nel tempo si sarà risuciti a mettere a disposizione con l’impegno e la costanza di tutti quelli che hanno voluto parteciparvi.

    Reply
  2. alberto vergani

    Ho letto con interesse i due pezzi, la riflessione di Cottica e quella di Turbati. Mi ha fatto piacere leggere di valutazione, penso al ragionamento di Cottica, al di fuori dei ‘giri’ che meglio conosco e frequento. Sono, dal 2009 fino al 2013, presidente della Associazione Italiana di Valutazione (www.valutazioneitaliana.it) e sono interessato ovviamente, anche professionalmente, a temi di metodo e di relazione tra metodo ed evaluando. Non voglio fare qui (grandi) rfilessioni ma solo dire che mi piacerebbe che la discussione si allargasse alla associazione attraverso la sua pagina facebook che mi pare il posto più idoneo a questi approfondimenti. Di tutte le questioni poste da Cottica e riprese da Turbati (Renato), quella dell permeabilità tra “fuori” della valutazione e “dentro” la valutazione mi pare di particolare interesse. Lo dico perché quest’anno il congresso AIV (a Bari, il 19 e 20 aprile) si focalizzerà sulla “evidence based evaluation”. Banale, mi è stato detto: tutta la valutazione – i suoi esiti, i suoi risultati, le sue raccomandazioni – deve essere “evidence based”. Certo, ma il punto è “come si fa a produrre delle evidence affidabili, solide e usabili” dai policy maker? Le risposte sono molte e se, tendenzialmente ed in prima battuta, si appoggiano all’utilizzo di logiche e di metodi che convenzionalmente definiamo come “quantitativi” (“hard men do not use soft data”, diceva qualcuno), forse non è solo/proprio così. Discutiamone, io per esempio non lo credo e non lo penso. Allarghiamo questa discussione, in questo sito ma anche dentro e intorno all’AIV. Grazie e (spero) a presto.

    Reply
  3. Tiago

    Having experienced both sides – evaluation and online community-, sounds like you have a strong case on assessing social value. Very interesting proposal!

    Reply
  4. Renato Turbati

    Ciao, volevo segnalare che a questo link http://www.valutazioneitaliana.it/new/attachments/364_CESP%20-%20%20Da%20Trento%202011%20a%20Bari%202012%2010%20aprile%202012%20PER%20SITO.pdf, è appena stato pubblicato un documento da parte del Comitato Esecutivo Soci Professionisti di AIV (Associazione Italiana di Valutazione), al quale ho collaborato come membro e coordinatore. Trattasi di un documento che sintetizza un anno di riflessioni del Comitato, e per la prima volta in Italia, tenta di fare emergere pubblicamente quali sono le questioni fondamentali che riguardano la professione di valutatore, sulle quali lavorare in futuro all’interno dell’Associazione e tra tutti quelli che sono interessati a questa professione. Se ne parlerà a Bari il 19 e 20 aprile, al XV Congresso dell’Associazione Italiana di Valutazione. Se qualcuno fosse interessato, fate un cenno. Vi terrò informati. Ciao.

    Reply
  5. Catina Balotta

    Molte questioni sono complesse. La dicotomia tecniche qualitative/quantitative è ormai superata in molti contesti, sicuramente nell’ambito dei servizi alla persona. Si va verso una integrazione che spesso aumenta l’esaustività delle informazioni valutative agibili (in più contesti, su più tavoli).
    Credo invece che una delle domande cruciali resti quella dell’uso che della valutazione si fa. Pensando ad una valutazione svolta: l’accountability interessa il finanziatore, l’analisi costi/benefici il commitente, l’efficacia l’utente, l’umanizzazione il cittadino … e così via.
    Allora io credo che una domanda interessante potrebbe essere: A chi risponde/dovrebbe rispondere la Valutazione? Solo a chi la paga?

    Reply
    1. Alberto Post author

      Con tutto il rispetto, non considero la dicotomia in questione superata nei contesti che mi interessano. È tecnicamente posssible produrre un ROI; come ho tentato di argomentare, quel numero è concettualmente privo di significato a meno chenon siano verificate tutte le condizioni matematiche di continuità e derivabilità delle funzioni di utilità che assicurano la tenuta dei teoremi fondamentali dell’economia del benessere. Soprattutto, la dicotomia non è superata nei fatti, perché permane (per lo meno in ambito europeo) una specie di ideologia del ROI che finirà per condizionare in modo molto netto le scelte di finanziamento.

      Reply

Leave a Reply

Your email address will not be published. Required fields are marked *

*

This site uses Akismet to reduce spam. Learn how your comment data is processed.