Tag Archives: forecast

Lections from Egypt: moving on from prediction to early warning


Daniel Kaufmann had some fun compiling a list of the authoritative commentators that predicted that – unilke in Tunisia – in Egypt the disgruntled population would not take to the street, or anyway not in such a way to threaten the regime. Everybody seems to have fallen for it, from Foreign Policy to the BBC, from Time magazine to the Economist.

Forecasting was always tricky business, and is getting more so. In a society as complex as ours, even the best analyst are lousy at prediction. In an entirely different context, David Lane and others (yours truly included) are suggesting that in some cases prediction might be replaced by a system of early warning, that spots emergent social dynamics in its early stages, when correction is still possible. This would be done by combining and filtering large masses of data, many of which collected on the web. The idea — which might ring familiar to those who use the Internet as a social filtering device for information, is that the global conversation is an entity that exists at a level superior to ours, and as such might know things that none of us, mere participants, know.

To describe this hypothetical system, David likes to quote post-marketing surveillance on pharmaceuticals after the Thalidomide scandal. This drug used to be prescribed to pregnant women in the 1950s, and it could induce terrible deformities in newborn children, but only combining in exquisitely nonlinear ways with other agents: it was cleared for rollout because the lab tests did not allow to discover the problem. It was the doctors treating the mothers of deformed or sick children that discovered, in the ocean of statistical noise, the weak signal of taking Thalidomide during pregnancy. As a consequence of this story, pharmaceutical companies now work with physicians to spot correlations to weak to be spotted in the lab, but that might be revealed by processing the mass of data obtaiend by tapping all doctors.

It is a fascinating topic, at least for me. And — going back to Egypt — it leads to an unexpected conclusion: it suggests another way that Wikileaks might be a good thing. Laks feed the global conversation, and thereby increase the probability that bloggers, citizens and activists poolf their knowledge and discover emergent trends. It has been argued that Wikileaks is nefarious, because it might hinder the work of diplomacy: but without better analysis, diplomacy cannot do an acceptable job anyway.

Lezioni dall’Egitto: dalle previsioni all’early warning


Daniel Kaufmann si è divertito a elencare gli autorevoli commentatori che hanno previsto che, a differenza che in Tunisia, in Egitto il malcontento della popolazione non ci sarebbe stato, e comunque non avrebbe messo in seria difficoltà il governo. Ci sono cascati tutti, da Foreign Policy alla BBC, da Time all’Economist.

Fare previsioni è sempre stato difficile, e lo diventa sempre di più. In una società così complessa come la nostra, anche gli analisti migliori sono pessimi previsori. In un contesto diverso, con David Lane, stiamo ipotizzando che in alcuni casi le previsioni si possano sostituire con un sistema di early warning che individui le dinamiche sociali emergenti al loro stadio iniziale, quando si può ancora intervenire. Questo si farebbe combinando e filtrando grandi masse di dati, molti dei quali raccolti sul web. L’idea, che suonerà familiare a chi usa Internet come meccanismo di filtraggio sociale per le informazioni, è che la conversazione globale sia un’entità di livello superiore, che sa delle cose che nessuno di noi che vi partecipiamo può sapere.

Per descrivere questo ipotetico sistema, David fa sempre l’esempio della sorveglianza post-marketing introdotta nel mercato dei farmaci dopo lo scandalo del Talidomide. Questo farmaco veniva usato dalle donne incinte negli anni Cinquanta, e poteva indurre terribili deformità nei neonati, ma solo combinandosi in modo nonlineare con altri fattori; fu messo in commercio perché i test di laboratorio non permisero di scoprire il problema. Furono i medici curanti delle madri che avevano generato bambini malformati a scoprire, nell’oceano di rumore statistico, il debole segnale dell’assunzione di Talidomide durante la gravidanza. Ora le case farmaceutiche lavorano con i medici per cercare correlazioni statisticamente molto deboli, ma che è possibile scoprire facendo ricorso alla massa di dati ottenuta dal mettere insieme le conoscenze di tutti i medici.

È un argomento affascinante, almeno per me. E – tornando all’Egitto – ha anche una conseguenza inaspettata: che acquisisce ancora più importanza sociale il lavoro di Wikileaks. I leaks alimentano la conversazione globale, e così aumentano la probabilità che bloggers, cittadini e attivisti mettano insieme le loro conoscenze e scoprano tendenze emergenti. È stato detto che Wikileaks è dannosa, perché ostacola il lavora della diplomazia: ma con un’analisi così carente, viene da chiedersi come è possibile che le diplomazie possano compiere un lavoro accettabile.