Quando la fisica arriva a Wall Street

 

Negli  ultimi  anni  ha  visto la luce, un  nuovo  campo  scientifico  interdisciplinare, l’econofisica (contrazione di economia e fisica) che applica i concetti della fisica statistica ai sistemi economici/finanziari considerati come sistemi complessi che evolvono. Anche se nato da poco questo campo sta vedendo un interesse in netto aumento con tante pubblicazioni e meeting annuali. La ricerca condotta nel campo dell’econofisica puo’ essere divisa in due grossi filoni: econofisica statistica ed econofisica basata sugli agenti (agent-based). Entrambi questi sotto campi hanno le stesse fondamenta poiche' considerano i sistemi socioeconomici come sistemi complessi. Entrambi inoltre evitano di fare assunzioni a priori e basano la loro metodologia sulle verifiche empiriche. Pur tuttavia c’e’ una differenza in quanto non usano la stessa metodologia computazionale. Mentre l’econofisica ad agent-based tratta modelli microscopici applicati ad agenti eterogenei e con capacita’ di apprendimento, l’econofisica statistica usa degli agenti con intelligenza zero (in questo caso il sistema e' immaginato come costituito da particelle che quindi “non pensano”) le cui interazioni sono completamente casuali. Mentre l’econofisica a “agent-based” cerca di riprodurre le regolarita’ statistiche osservate nei sistemi economici/finanziari, l’econofisica statistica cerca di descrivere queste regolarita’ direttamente dall’evoluzione di questi sistemi. In definitiva esiste un’unica econofisica anche se i fisici hanno sviluppato due differenti modi di trattare le regolarita’ statistiche che caratterizzano la complessita’ dei sistemi economici.

Econofisica statistica

L’econofisica statistica come gia’ detto e’ l’applicazione della fisica statistica all’economia e spesso associata con i cosiddetti “fatti stilizzati”. Questi si riferiscono ai fatti empirici che nascono dallo studio statistico delle serie temporali della finanza e che sembrano essere persistenti nel tempo, locazione geografica e mercati. Poiche’ questa disciplina si fonda sull’analisi delle serie temporali essa richiede molti dati storici sui prezzi, volumi o transazioni.

Alcuni dei risultati di queste analisi hanno portato a modelli che descrivono fenomeni quali: la distribuzione empirica dei ritorni con code “larghe (fat)”, l’assenza di autocorrelazioni o il clustering della volatilita’ (piu’ avanti questi concetti saranno ripresi in dettaglio).

In quest'ambito i sistemi economici sono pensati  come costituiti da elementi multipli che interagiscono tra loro in modo da generare delle macro-proprieta’ del sistema. Queste macro-proprieta’ possono essere caratterizzate in termini di regolarita’ statistiche. Contrariamente all’economia, l’econofisica statistica stabilisce che solo le macro-proprieta’ del sistema possono essere osservate e analizzate. Non c’e’ alcuna modellizzazione del comportamento razionale delle persone come nell’econofisica a “agent-based”.

Econofisica ad agenti

Contrariamente all’econofisica statistica, l’econofisica ad agenti e’ basata su un approccio micro piuttosto che macro, in quanto essa analizza il comportamento del singolo componente. In questo caso i singoli agenti sono visti come eterogenei e possono differire in tantissimi modi: geneticamente, culturalmente, attraverso i social networks, per le preferenze ecc. Mentre nel caso dell’econofisica statistica si utilizzano i dati storici con agenti a intelligenza zero, nel caso dell’econofisica ad agenti sono utilizzati i dati generati dai modelli che auto-evolvono (con agenti che apprendono). Entrambi i campi sono complementari: da un lato l’utilizzo della statistica da’ un insieme di informazioni quantitative sulle macro-regolarita’ osservate nel mondo complesso dell’economia, dall’altro la modellizzazione ad agenti fornisce i micro-fondamenti per le regolarita’ statistiche che emergono a un livello macro del sistema socio-economico.

Un modello attribuisce agli operatori finanziari una linea di condotta equiparabile al “comportamento del branco”. Secondo questo modello, le reti di informazione crescono fino a spingere interi “cluster” di operatori a muoversi sulla base delle notizie acquisite; a tale movimento di gruppo, segue di norma un rallentamento e poi una ripartenza in base a nuove notizie. Studiando accuratamente l’andamento dei listini, un altro gruppo di studiosi ha rilevato la presenza di una relazione secondo la quale la fluttuazione di un prezzo si muove come l’inverso della quarta potenza della sua frequenza, indipendentemente dalle proporzioni della fluttuazione medesima. Questa legge di potenza non è prevedibile con i tradizionali modelli di fluttuazioni. Vale la pena citare brevemente anche il modello di mercato sviluppato da Victor Eguíluz, del Niels Bohr Institute di Copenhagen, e Martín Zimmermann, dell’Università di Buenos Aires. Nel loro modello, gli agenti di Borsa sono rappresentati dai vertici di una rete di connessioni casuali. Gli agenti connessi tra loro rappresentano gruppi di investitori che condividono le stesse informazioni, opinioni o strumenti di analisi e fanno acquisti identici. Il modello porta a una legge di distribuzione delle fluttuazioni di mercato in ottimo accordo con i dati reali.

L’emergenza di nuovi strumenti statistici

Negli ultimi cinquanta anni, l’indice leptocurtico ha generato tantissimi dibattiti in finanza. L’indice di curtosi in statistica determina la forma di una distribuzione “misurando” lo “spessore” delle code. Per la distribuzione di Gauss ci sono tre possibilita’: curva leptocurtica, normocurtica e platicurtica. La prima e’ molto concentrata intorno alla media, la seconda e’ normalmente concentrata intorno alla media e l’ultima e’ poco concentrata intorno alla media.

La teoria dei mercati efficienti fin dalla sua nascita era basata sull’ipotesi che le fluttuazioni degli indici finanziari fossero sostanzialmente casuali. Da un punto di vista fisico questo equivale a un comportamento browniano.

Il moto e’ molto irregolare e la traiettoria sembra non avere tangente in alcun punto. Il movimento delle diverse particelle e’ indipendente e la loro composizione e densita’ non ha alcun effetto sul moto. Piu’ le particelle sono piccole, il fluido meno viscoso e la temperatura piu’ elevata e piu’ il moto e’ attivo. Esso non cessa mai. Aumentando la risoluzione del microscopio e variando la scala di osservazione si vede sempre un moto simile. Questa proprieta’ va sotto il nome di autosimilarita’ o invarianza di scala. Queste fluttuazioni casuali si distribuiscono secondo una legge Gaussiana la cui ampiezza o standard deviation aumenta nel tempo:

σ~√t

Comunque il rumore associato ai sistemi finanziari spesso esibisce comportamenti anomali con salti completamente imprevisti degli indici e senza nessuna apparente spiegazione. Vedi come esempio il confronto riportato di seguito:

Dagli anni 60 molti scienziati tra cui Mandelbrot, ispirati dal lavoro di Levy e Gnedenko/Kolmogorov proposero una legge di Pareto (un caso specifico del cosiddetto processo stabile di Levy) per descrivere l’evoluzione non gaussiana del logaritmo dei prezzi P.

In genere in econofisica piu’ che lavorare direttamente sui prezzi si preferisce usare i cosiddetti ritorni finanziari. Quest’ultimi sono definiti come il logaritmo naturale dei cambiamenti di un indice finanziario X in un certo intervallo che puo’ variare da pochi secondi a molti giorni.

S(t)=ln(X(t+dt))-ln(X(t))

I processi stabili di Levy sono dei processi casuali infinitamente divisibili ed hanno la proprieta’ di scalare (autosimilarita’) nel senso che le variabili finanziarie (giornaliere, settimanili, mensili...) possono essere studiate con una distribuzione stabile della stessa forma per ogni livello di granularita’. I movimenti di Levy sono dei processi che seguono una legge α-stable del tipo:

P(X>x)=x^-α

con alfa un parametro costante con valore tra 0 e 2 (vedi figura qui sotto con distribuzione di Levy a diversi valori del parametro alfa).

Qui di seguito la distribuzione del logaritmo dei ritorni dell’indice messicano IPC dal 19 Aprile 1990 al 17 Settembre 2004 e quella del DJ dal 19 Aprile del 1990 al 17 Settembre del 2004. Osservare come queste due distribuzioni siano lontane dall’essere Gaussiane (code molto larghe).

Il parametro alfa si riferisce alla forma della distribuzione: piu’ alfa e’ basso e piu’ frequentemente possiamo osservare eventi estremi (eventi situati nelle code). Quest’ultimi sono molto piu’ frequenti quanto si analizzano i ritorni di un indice su tempi corti (grafico b e c) contrariamente a quanto accade invece per del rumore Gaussiano (grafico d).

Le leggi di potenza (y=cx^-a) e le proprieta’ di scaling sono oggi molto comuni e sono state individuate in moltissimi fenomeni fisici come i terremoti, DNA, diffusione delle epidemie, il volo degli albatros e cosi via. Secondo quanto riportato dallo scienziato  Dubkov:

“ E’ meraviglioso come la stessa equazione di diffusione possa descrivere il comportamento dei neutroni in un reattore nucleare, la luce nell’atmosfera, la variazione degli indici di borsa, il movimento delle particelle di polvere sospese in un fluido ecc. Il fatto che fenomeni completamente diversi vengono descritti dalle stesse identiche equazioni e’ un’indicazione diretta che il problema non riguarda il meccanismo concreto del fenomeno quanto piuttosto le qualita’ comuni della classe di fenomeni simili.”

Le leggi di potenza sono le impronte dei sistemi complessi in natura e societa’. E’ logico quindi pensare a sistemi al di fuori dell’equilibrio, stati critici, auto-organizzazione, vita all’edge del chaos e criticita’ auto-organizzata (SOC), tutti temi trattati piu’ volte in questo blog.

Agli inizi del 1990, a causa del valore non finito della varianza della distribuzione stabile di Levy (L_stable), fu introdotta una nuova tecnica statistica: il troncamento della distribuzione stabile di Levy (TLF) cioe’ una sua normalizzazione usando una particolare funzione in modo da evitare una varianza infinita. In quest’ottica le distribuzioni di Levy stabili vengono utilizzate con la condizione che ci sia una lunghezza di “cut-off” per la variazione dei prezzi al di sopra della quale la distribuzione diventa normale. In genere si scrive:

P(X>x)=P_α(x)φ(x)=x^-α φ(x)

dove P_α e’ la distribuzione stabile di Levy e la funzione φ(x) e’ quella di troncamento che permette di ottenere una varianza finita. Questa funzione puo’ assumere forme diverse e la sua scelta dipende solo dalla bonta’ dell’adattamento del modello ai dati empirici. Qui di seguito un esempio di fitting dei dati utilizzando la distribuzione stabile di Levy (stable) la distribuzione TLF e la distribuzione normale utilizzando i ritorni dell’indice S&P500 dal 1926 al 2009. L’asse verticale e’ in scala logaritmica in base 10 per vedere meglio le code. Si osserva che la distribuzione normale non e’ adeguata per ritorni al di sotto e al di sopra del 15%. La distribuzione di Levy stabile si adatta bene ai dati anche se le code si estendono oltre il valore massimo e minimo storico dei ritorni. Questo risulta in una varianza infinita. La distribuzione TLF e’ quella che si adatta bene ai dati ed ha le code troncate cosi come si vede nella realta’ (varianza finita). La questione delle code e’ molto importante quando si deve stabilire il rischio di un ribasso del prezzo. La distribuzione normale infatti tende a sottostimare questo rischio. I ritorni negativi possono avere valori ben piu’ alti di quanto previsto dalla legge Gaussiana. Mantegna e Stanley (due studiosi di econofisica) hanno dimostrato che per piccoli intervalli temporali (per es. 1 minuto) la distribuzione TLF si approssima a quella di Levy stabile mentre per ampi ma finiti intervalli temporali (per esempio 1 anno) la distribuzione TLF converge lentamente alla distribuzione Gaussiana. In altre parole, man mano che aumenta il tempo di osservazione passiamo da una distribuzione di Levy stabile a una Gaussiana passando per la TLF.

Le crisi finanziarie

Come la meccanica quantistica e la statistica ci hanno insegnato viviamo in un mondo dominato dall’imprevedibilità. Eppure fin dalla sua comparsa sulla terra l’uomo ha cercato di prevedere il futuro ma senza grandi successi. Come riportato da Taleb nel suo Cigno nero (l’evento rarissimo e imprevedibile, con un impatto enorme e che cerchiamo di giustificare post mortem per renderlo meno casuale di quanto non sia in realta’): “per prevedere e’ necessario conoscere le tecnologie che saranno scoperte in futuro, ma tale conoscenza ci permetterebbe quasi automaticamente di iniziare a svilupparle adesso. Ergo, non sappiamo quel che sapremo.” E ancora “e’ impossibile prevedere il futuro guardando alla storia in quanto la storia ha tantissimi gradi di liberta’ ”. In altre parole se abbiamo una sequenza di numeri e cerchiamo di prevedere il prossimo abbiamo infinite scelte cioe’ infiniti gradi di liberta’. Supponiamo di avere dei numeri positivi crescenti. La cosa piu’ ovvia e’ quella di pensare che in futuro il trend sara’ ancora in crescita. Ma cio’ potrebbe essere sbagliato semplicemente perche’ la sequenza iniziale altro non e’ che la parte in salita di una funzione seno oppure la parte del ramo di una parabola e cosi via. Tutti sappiamo che praticamente e’ impossibile prevedere un terremoto, una valanga, una rivoluzione, un’estinzione, la reazione di un cane a un nostro calcio. Guardiamo per esempio il grafico qui di seguito e cerchiamo di capire come potrebbe continuare il trend dopo la linea gialla.

Una possibilita’ (seguendo i baffi del mitico Dali) potrebbe essere un andamento che continua a essere stabile con oscillazioni intorno a 45. Sara’ cosi?

Questo e’ il grafico reale. Tra 6000 e 5000 anni fa si vede una caduta repentina del tutto imprevedibile guardando i dati precedenti. Il cigno nero e’ entrato in azione.

E la stessa sorte tocca anche alle crisi finanziarie. Non possono essere previste. Nonostante cio’ l’obiettivo degli economisti e di limitare i danni potenziali. In che modo? Cercando di capire l’incertezza finanziaria. Dal 1970 sono stati sviluppati molto modelli per descrivere l’evoluzione dei mercati finanziari. Questi modelli assumono che i mercati siano dei sistemi “tranquilli” dove gli eventi estremi sono assenti. Purtroppo nella realta’ questo non e’ vero. Le diverse crisi finanziarie degli ultimi anni hanno mostrato che i mercati finanziari sono piu’ volatili e turbolenti di quanto si pensasse. L’inadeguatezza dei modelli tradizionali e’ stata una delle cause che hanno favorito lo sviluppo dell’econofisica. La crescita di quest’ultima nelle pagine delle riviste di fisica ha probabilmente contribuito al suo riconoscimento ufficiale e dal 2003 e’ una sotto-categoria della fisica.

Il filone dei modelli predittivi delle crisi finanziarie risalgono agli anni 90. Molti studiosi hanno lavorato su questo tema tra cui Didier Sornette dell’Universita’ della Svizzera a cui si deve il termine di “re drago” in opposizione al “cigno nero” di Taleb. Sornette e altri hanno sviluppato una teoria chiamata appunto “dragon king”. Con questo termine ci si riferisce a eventi estremi come i cigni neri ma che sono pero’ dei casi a parte, cioe’ sono speciali. Sono generati da meccanismi specifici che potrebbero renderli prevedibili e forse controllabili. Consideriamo ad esempio la serie temporale del valore finanziario di una data azione. Avremo degli andamenti altalenanti. Una buona misura del rischio di questo mercato finanziario è dato dall'ampiezza della differenza tra alti e bassi che rappresentano lo scenario peggiore, quando e’ stato comprato al massimo e venduto al minimo. La frequenza di questa circostanza di alti e bassi di diversa entità, e’ riportata nel grafico sottostante. E’ interessante notare che il 99% delle differenze tra alti e bassi di diversa ampiezza può essere rappresentato da una potenza universale rappresentata dalla linea rossa. Ancor più interessante, ci sono casi estremi, eccezioni che sono al di sopra di questa linea rossa, che capitano con una frequenza almeno 100 volte superiore a quanto l'estrapolazione preveda basandosi sulla calibrazione del restante 99% di alti e bassi. Sono dovuti a dipendenze drastiche, cosicché a perdite seguono altre perdite seguite da altre perdite, che sono seguite da altre perdite. Questo tipo di dipendenza viene largamente mancato dai normali strumenti di gestione del rischio, che li ignora e vede lucertole dove dovrebbe vedere draghi. Il meccanismo alla base di un dragon-king è una lenta maturazione verso l'instabilità, ossia la bolla finanziaria, e il culmine della bolla spesso e’ lo scoppio. È simile al lento riscaldamento dell'acqua in una provetta che raggiunge il punto di ebollizione, a cui si verifica l'instabilità dell'acqua e si passa alla fase di transizione verso il vapore. Questo processo, che è assolutamente non lineare non può essere previsto da tecniche standard, ma è il riflesso di un comportamento collettivo emergente che è sostanzialmente endogeno. Quindi la causa del crollo (crisi) deve essere cercata in un’instabilità insita nel sistema, che qualunque piccola perturbazione puo’ far scattare.

Ci sono molti segnali d'allarme che vengono previsti da questa teoria (early warning o weak signals in inglese). Uno di essi e’ la crescita super-esponenziale con riscontri positivi. Cosa significa? Immaginiamo di avere un investimento che rende cinque per cento il primo anno, dieci per cento il secondo anno, venti per cento il terzo anno, quaranta per cento il quarto anno. Non è meraviglioso? È una crescita super-esponenziale. Una crescita esponenziale standard corrisponde a un tasso di crescita costante, diciamo del dieci per cento. Il punto è che, molte volte durante le bolle, ci sono riscontri positivi, più volte, tanto che la crescita precedente incrementa, spinge, e aumenta la crescita successiva attraverso questo tipo di crescita esponenziale, che è molto incisiva, e non sostenibile. E l'idea chiave è che la soluzione matematica di questa classe di modelli mostra un numero limitato di singolarità il che significa che ci sara’ un momento critico t_c in cui il sistema si spezzerà, cambierà regime. Potrebbe essere un crollo. Potrebbe essere solo una stabilizzazione, o qualcos'altro. L'idea chiave è che l'informazione sul momento critico è contenuta nelle prime fasi dello sviluppo di questa crescita super-esponenziale. Questa teoria e’ stata applicata con successo nella diagnostica della rottura degli elementi metallici utilizzati per i razzi spaziali. Ancor più sorprendente è che lo stesso tipo di teoria si applica alla biologia e alla medicina, al parto, e agli attacchi epilettici. Dai sette mesi di gravidanza, una madre comincia a sentire episodi anticipatori delle contrazioni dell'utero che sono i segni di queste maturità che vanno verso l'instabilità, cioe’ quella di dare alla luce il bambino, il dragon-king. Se si misurano i segnali premonitori, si possono identificare problemi pre e post-maturità in anticipo. Gli attacchi epilettici si verificano anche loro in misura diversa, e quando il cervello entra in uno stato super-critico, ci sono i dragon-king che hanno un certo grado di prevedibilità e questo può aiutare il paziente ad affrontare meglio questa malattia. Questa teoria e’ stata applicata a molti sistemi, tra cui smottamenti e crolli di ghiacciai anche se l’applicazione più importante è nella finanza. Adottando una formulazione simile a quella dei precursori dei terremoti, Sornette ha postulato che i prezzi delle azioni seguono un pattern log-periodico prima che avvenga la crisi:

per t<t_c.

Questa equazione genera fluttuazioni intorno al trend del prezzo con frequenza sempre maggiore. Qui p_t indica il prezzo dell’azione al tempo t. Il tempo t_c rappresenta il tempo critico e cioe’ una singolarita’ dopo la quale ci sara’ un crash. A, B, C, m, ω, t_c e Φ sono tutti parametri liberi del modello. Purtroppo non tutte queste previsioni fatte in anticipo dal gruppo di Sornette si sono poi materializzate. Come puo’ essere visto nella figura che segue, per l’indice tedesco DAX la previsione fatta nel 2003 per gli anni successivi non e’ stata proprio felice visto la non perfetta correlazione tra il fit (linea continua e tratteggiata) e il dato reale.

Questo modello ha generato enorme eccitazione tra gli studiosi e sulla stampa nonche’ un elevato numero di articoli. Nonostante cio’ quasi nessuno sembra essere riuscito a riprodurre i risultati del gruppo di Sornette (vedi Thomas Lux 2007).

Altri gruppi di studiosi come per esempio gli ecologisti Cees Dicks, Cars Hommes, Marten Scheffer, Stephen Carpenter solo per citarne alcuni stanno cercando di applicare metodologie diverse per provare a prevedere le transizioni critiche analizzando gli early signals. Sono transizioni critiche per esempio l’improvvisa desertificazione di una regione, la morte di un lago a causa di alghe assassine, l’improvvisa scomparsa di una particolare specie animale, il crollo di un titolo e cosi via. Riconoscendo che i sistemi economici sono da considerare dei sistemi complessi non puo’ essere accettata l’idea tradizionale di un sistema economico all’equilibrio. Essi vanno considerati come dei processi a piu’ stati di equilibrio come accade in ecologia. Quindi i crolli dei mercati vengono guidati principalmente da eventi endogeni e una possibile previsione richiede la comprensione dei meccanismi alla base di questi sistemi. Gli early signals utilizzati in questi modelli si basano principalmente sulla misura del cosiddetto rallentamento critico (critical slowing down) in cui il sistema si porta quando si avvicina a una transizione critica. Il primo a suggerire di utilizzare queste tecniche per i dati finanziari e’ stato Marten Sheffer (professore di scienze ambientali) nel 2009. L’idea di base e’ quella che le transizioni critiche in un sistema complesso avvengono quando il suo attrattore (vedi post precedente su questo blog per i dettagli) scompare forzando il sistema a saltare attraverso una fase transiente in un nuovo attrattore. La figura seguente mostra un esempio di sistema di questo tipo dove all’aumentare di un parametro di controllo emerge un punto critico (tipping point). In questa situazione anche una piccola perturbazione puo’ indurre il sistema a significativi cambiamenti. Una volta che si supera la soglia (F1) l’intero sistema transita verso un diverso attrattore. Anche se il parametro di controllo e’ riabbassato, il sistema rimarra’ vicino al nuovo attrattore. Solo spostando il parametro di controllo ben oltre la soglia F1 si potra’ riconquistare il precedente stato (soglia F2). Questo tipo di comportamento si chiama isteresi.

Quando un sistema dinamico si avvicina al punto critico esso diventa significativamente lento nel recuperare l’equilibrio dopo una piccola perturbazione essendo il bacino di attrazione poco profondo e quindi la forza di richiamo al punto di equilibrio diminuisce (condizione b nella figura sopra). In questa condizione (critical slowing down) si dice anche che il sistema e’ poco resiliente in quanto una piccola sollecitazione non lo fa ritornare al suo punto di equilibrio. Avvicinandosi quindi a un punto critico il sistema complesso diventa sempre meno resiliente, aumenta la sua variabilita’ (le oscillazioni nella buca sono piu’ ampie) e addirittura puo’ iniziare a visitare il nuovo bacino di attrazione senza ancora caderci definitivamente dentro cosa che succede appena oltre c (figura sopra). Questa teoria e’ stata applicata alle seguenti serie temporali finanziarie per verificare se fosse possibile prevedere le transizioni critiche del passato dove c’erano stati dei chiari crolli:

Come early signals sono stati utilizzati il coefficiente di autocorrelazione (lag 1) e la varianza dei ritorni (vedi post precedente su questo blog). La figura sottostante mostra l’analisi dei segnali deboli 6 mesi circa prima del cosiddetto “Lunedi nero” analizzando l’indice S&P500. In a) e’ riportato il logaritmo dell’indice originario. La linea verticale identifica la transizione critica dell’indice avvenuta nel 1987. La linea centrale rossa mostra la tendenza dell’indice (smoothing line). La freccia mostra la finestra che viene spostata lungo l’asse temporale per prendere i valori su un intervallo prefissato. Spostandosi verso destra si aggiungono nuovi valori mentre vengono rimossi quelli a sinistra una volta che escono dalla finestra (rolling trend). Nella sezione b) vengono mostrati i residui rispetto alla linea centrale di trend (cioe’ rispetto alla linea rossa). In c), d) vengono riportati gli indici di autocorrelazione mentre in e) quello di varianza. Essi mostrano abbastanza chiaramente che il grande crollo del “Lunedi nero” viene preceduto da un trend a salire suggerendo che il sistema S&P500 mostra un rallentamento critico (critical slowing down) prima di raggiungere il punto di transizione critica. Risultati analoghi sono stati ottenuti per la crisi asiatica e la bolla del Dot-com. Invece per la crisi finanziaria del 2008 i risultati non sono stati univoci nel senso che parametri diversi hanno mostrato trend opposti. Questo suggerisce che la metodologia del rallentamento critico da sola non basta e se si vuole aumentare l’accuratezza delle previsioni bisogna trovare altri metodi piu’ sofisticati.

 

 I fatti stilizzati

Vengono chiamati in questo modo i macro-pattern osservati in differenti situazioni e che appaiono avere una verita’ empirica. In altre parole l’econofisica statistica studia i fatti empirici che non possono essere spiegati dai modelli teorici dell’economia.

1. Fat-tail: L’inadeguatezza nel descrivere le distribuzioni finanziarie con la distribuzione Gaussiana e l’introduzione di distribuzioni con code “larghe” e’ stato uno dei primi fatti stilizzati e probabilmente quello all’origine dell’econofisica.

2. Autocorrelazione: Un altro fatto stilizzato studiato dall’econofisica si riferisce all’osservazione nei dati reali di correlazioni e auto-correlazioni tra le variabili come i prezzi delle azioni, i ritorni, i volumi delle transazioni ecc. L’assunzione di un modello Gaussiano invece, implica l’assenza di auto-correlazioni per i ritorni finanziari cioe’ una loro indipendenza dalla scala temporale.

3. Clustering: le proprieta’ statistiche delle distribuzioni cambiano col tempo. Una tra queste caratteristiche piu’ conosciuta e’ il raggruppamento (clustering) della volatilita’. I grandi cambiamenti tendono a essere seguiti da cambiamenti grandi di entrambi i segni mentre i piccoli cambiamenti tendono a essere seguiti da piccoli cambiamenti. Piu’ precisamente i ritorni assoluti o elevati al quadrato mostrano una funzione di auto-correlazione che decade lentamente nel tempo.

4. Aggregazione normale: aggregando i ritorni dei prezzi su scale temporali sempre piu’ lunghe fa si che la distribuzione si sposti da fortemente leptocurtica a quasi normale (gaussiana).

Macroeconomia e organizzazioni industriali

Molti studiosi si sono dedicati anche allo studio dei moltissimi dati generati dalle aziende come vendite, numero di impiegati, numero di pezzi prodotti ecc. Tra questi G. Stanley ha analizzato le aziende americane utilizzando il data base Standard and Poor’s COMPUSTAT. Qui di seguito quello che ha trovato:

1. La dimensione delle aziende americane segue una distribuzione log-normale

2. Esiste una relazione tra la deviazione standard σ dei tassi di crescita delle aziende e la dimensione s:

con beta quasi uguale a 0.2.

3. La densita’ condizionale dei tassi di crescita annuali delle aziende p(r_t|s_t-1) con s la dimensione dell’azienda (per es. il numero di impiegati) e r il suo tasso di crescita, r_t=s_t-s_t-1 ha una forma esponenziale:

La proprieta’ 1) e’ ben conosciuta e prende il nome di legge di “Gibrat dell’effetto proporzionale”: se il processo di crescita delle aziende e’ guidato da un semplice processo stocastico con tassi di crescita indipendenti e distribuiti normalmente, allora la dispersione delle dimensioni delle aziende all’interno dell’economia segue la distribuzione log-normale. Non tutti gli studiosi, comunque sono concordi   sulla  distribuzione log-normale.   Alcuni    infatti   ritengono  che  la  distribuzione di Pareto  

s~s₀r^-0.6

con coefficiente uguale a -0.6 sia piu’ adatta a fittare i dati reali (di nuovo una legge di potenza). r rappresenta il ranking delle aziende in base alla loro dimensione. Se l’azienda piu’ grande di America, per esempio, ha 100000 impiegati, allora quella in posizione dieci ne avra’ ~10. Questo significa che le persone si aggregano insieme per formare un’azienda e le aziende a loro volta si aggregano insieme. Gli impiegati di un'azienda hanno abilita’ eterogenee, esibiscono una razionalita’ limitata e interagiscono direttamente uno con l’altro fuori dall’equilibrio in team di produzione. Ogni impiegato fa parte di un’azienda e ogni azienda ha una sua locazione spaziale (geografica). Spesso gli impiegati tendono a cambiare azienda per avere uno stipendio maggiore o addirittura per creare una nuova azienda. Nel tempo il movimento di questi lavoratori da un’azienda a un’altra si combina con il movimento delle aziende da una locazione a un’altra dando origine a dei clusters di lavoratori e di aziende. Questo modello oltre a spiegare la legge di potenza osservata per le aziende spiega anche quella osservata per la dimensione delle citta’ come evidenziato nel grafico sottostante.

Conclusioni

“Qualunque cosa faccia il mercato azionario, la gente vuole sapere come l’ha fatta, perché, e per quale motivo non ha fatto qualcosa di diverso”

Richard S. Wurman, professore al Massachusetts Institute of Technology di Boston uno dei massimi esperti mondiali di gestione dell’informazione, ben descrive con queste parole l’ansia da informazione che affligge il nostro tempo.

Lo studio dei mercati finanziari finalizzato a una previsione tendente a matematiche certezze, è destinato ad avere sempre più un ruolo primario per l’economia globale. Una simile tendenza è stata fotografata dalla rivista Science attraverso un’indagine fatta un po’ anni fa dalla quale si evince che “nel 2007 due studiosi su quattro che hanno ricevuto il dottorato in fisica teorica a Harvard, lavorano a Wall Street ... dei circa venti che hanno ricevuto il dottorato in fisica teorica durante gli ultimi cinque anni dall'università di Stanford, solo due o tre lavorano ancora nel campo della fisica, mentre otto o nove stanno lavorando nella finanza”. L’impiego dei fisici in altre discipline come l’economia e’ stato possibile grazie ai nuovi concetti emersi negli ultimi anni.  Il “riduzionismo”, il concetto di “equilibrio asintotico”, la “linearità” dei modelli, che hanno caratterizzato da sempre la fisica newtoniana, stanno lasciando il posto allo studio delle dinamiche non lineari. L’introduzione massiccia dei calcolatori ha permesso lo studio delle dinamiche non lineari in maniera nativa e senza la necessità di effettuare approssimazioni. La fisica e la matematica, sono state interessate da un proliferare di nuovi concetti come quelli di caos deterministico, frattali e complessità, che ne hanno letteralmente rivoluzionato l’approccio creando nuovi settori di ricerca. Come gia’ ribadito piu’ volte in questo blog nei sistemi complessi, piccole perturbazioni si amplificano fino a generare modelli del tutto imprevedibili secondo leggi deterministiche; modelli che comunque si dimostrano robusti e stabili. Il mercato globale presenta le medesime caratteristiche di un sistema complesso governato da dinamiche non lineari, caos deterministico e processi stocastici. Per Eugene Stanley, professore di fisica alla Boston University e gia’ citato in questo post, dal punto di vista della meccanica statistica, l'economia è un semplice fenomeno e conoscere le leggi della fisica facilita, indubbiamente, il compito di maneggiare ampi insiemi di dati. Ecco quindi spiegato il connubio fra fisica ed economia, connubio dal quale, nel 1997, ha avuto origine l’Econofisica.

Cambiare per non subire il cambiamento

 

In questo post tratteremo un tema di cui oggi si parla tanto: la resilienza. Si tratta di un termine che ritroviamo in diversi campi applicativi, dall’ingegneria all’informatica, dalla psicologia alla biologia, dalla fisica alla medicina.

Il termine resilienza deriva dal latino “resalio”, iterativo del verbo “salio”, che in una delle sue accezioni originali indicava l’azione di risalire sulla barca capovolta dalle onde del mare. Tradizionalmente la resilienza è stata legata agli studi di ingegneria, nello specifico alla metallurgia, dove tale termine indica la capacità di un metallo a conservare la propria struttura o di riacquistare la forma originaria dopo essere stato sottoposto a schiacciamento o deformazione. Nel recente passato il concetto di resilienza è stato approfondito anche in ambito psicologico. Nello specifico, per la psicologia Wikipedia riporta:

La resilienza è la capacità di far fronte in maniera positiva agli eventi traumatici, di riorganizzare positivamente la propria vita dinanzi alle difficoltà. È la capacità di ricostruirsi restando sensibili alle opportunità positive che la vita offre, senza perdere la propria umanità. Persone resilienti sono coloro che immerse in circostanze avverse riescono, nonostante tutto e talvolta contro ogni previsione, a fronteggiare efficacemente le contrarietà, a dare nuovo slancio alla propria esistenza e perfino a raggiungere mete importanti.

E dalla psicologia al management il passo e’ breve. Un'azienda è un'attività organizzata attorno a risorse umane cooperanti e strutturate per il raggiungimento di un obiettivo economico, che interagisce con l’ambiente circostante. Le persone quindi assumono un ruolo centrale, come anche la loro rete di relazioni sia all’interno che all’esterno dell’azienda.

Pertanto se l'azienda  è un'entità costituita da molti individui, i processi relativi alla resilienza potranno esserle applicati così come  si applicano agli individui. Un'azienda resiliente sarà  in grado di recepire le minacce sia interne che esterne e trasformarle in opportunità di esperienza e di crescita.   

Aristotele e in seguito la teoria della complessita’ sostengono che "il tutto è più della somma delle parti"  così un'organizzazione resiliente, è composta da individui resilienti   che :

- si confrontano,

- si scambiano idee ed opinioni, 

- costruiscono sinergie,

- modificano la loro organizzazione,

il tutto in un'azione simultanea convergente verso un obiettivo comune e condiviso.

L'azione risulta essere più efficace e potenziata rispetto alla semplice somma delle azioni individuali dei singoli.

Darwin ci ha insegnato che a sopravvivere non sono solo gli animali più forti, ma anche quelli più reattivi, pronti e sensibili al cambiamento.   

La maggior parte di noi, infatti crede che per far fronte alle avversita’ e alle sollecitazioni della vita bisogna essere forti, avere coraggio. Per resistere un sistema va irrobustito in modo da assorbire le sollecitazioni prevedibili. Ma tutto cio’ si e’ dimostrato non vero. Le strutture piu’ robuste ai rischi prevedibili si sono dimostrate essere le piu’ fragili di fronte all’imprevisto, ai rischi non previsti. Non a caso John Doyle un ricercatore di reti complesse del Caltech Institute ha coniato il termine “robusto ma fragile” per questi sistemi. Pensate ad un aereo. Si tratta di un sistema che resiste alla maggior parte dei rischi prevedibili tanto e’ vero che il numero di incidenti e’ molto basso se rapportato a quello delle autovetture. Ma cosa succede di fronte all’imprevisto? Il piu' delle volte il disastro. Il sistema mostra tutta la sua fragilita’. Solo grazie alla morte di altre centinaia di persone avremo imparato qualche cosa di nuovo e in tal modo aumentata la sicurezza dei passeggeri. Ma come mai il numero di incidenti aerei e’ cosi basso se si tratta di un sistema robusto ma fragile? Semplicemente perche’ gli eventi imprevisti sono molto rari, sono i cosiddetti cigni neri di Taleb, quelli che popolano l’estrema coda della distribuzione. Gli eventi prevedibili invece seguono una distribuzione quasi Gaussiana e vivono lontani dalle code. Questo e’ quello che piu’ o meno raccontano i diversi libri e blog sulla resilienza. Ma da un punto di vista scientifico cosa significa dire che un sistema complesso e’ resiliente?

Per poter comprendere tale proprieta’ e’ necessario introdurre il concetto di sistema multistato e di bacino di attrazione.

Per fare cio’ utilizziamo un pendolo magnetico come quello rappresentato di seguito. Abbiamo una pallina metallica attaccata ad un filo libera di oscillare nello spazio con un disco alla sua base e tre magneti fissati ai vertici di un triangolo equilatero. E’ chiaro che una volta messa in movimento la pallina (nell’ipotesi in cui la resistenza dell’aria sia trascurabile) finira’ la sua corsa su uno dei tre magneti che l'avra' attirata grazie alla forza magnetica. Ma su quale magnete finira’ la sua corsa? Dipende dal punto di partenza del pendolo. Senza ricorrere alla matematica, e’ abbastanza intuitivo rendersi conto che se il pendolo parte in un punto (x,y) del piano vicino ad un magnete rispetto agli altri due con molta probabilita’ si blocchera' su quest’ultimo. Se parte dal centro essendo i tre magneti disposti alla stessa distanza dal centro la pallina non si muovera’ e cosi via.

Da un punto di vista matematico il comportamento di questo pendolo puo’ essere descritto tramite una superficie con tre buchi in corrispondenza dei magneti [si tratta della cosiddetta superficie di potenziale V(x,y)]. Se pensiamo ad una pallina (il nostro pendolo) poggiata su questa superficie a seconda della sua posizione di partenza cadra’ in uno dei tre pozzi che rappresentano i tre stati (multistati) stabili del sistema.

L’insieme di tutti i punti del piano che portano il pendolo sullo stesso magnete (stato stabile) si chiama bacino di attrazione. In questo caso possiamo giustamente pensare che ci saranno tre bacini di attrazione con dei confini ben distinti. Ma nella realta’ non e’ cosi. Nell’ipotesi di colorare i tre magneti col blue, giallo e rosso questo sara’ l’immagine che si presentera’ ai nostri occhi. Che dire? Bellissima.

Tre regioni di forma quasi triangolare con un colore ben definito con intorno un miscuglio dei tre colori come in un caledoiscopico disegno astratto. Questo significa che, se per esempio, il pendolo parte da un punto (x,y) del piano situato nella regione blue esso finira’ con l’essere attratto dal magnete identificato con questo colore. Se parte da una regione di colore rosso esso verra’ attratto dal magnete identificato dal colore rosso e cosi di seguito. Ma cosa succede se lo facciamo partire ai confini tra regioni di diverso colore? Si dimostra in modo rigoroso che questo spazio e’ frattale con strutture ripetitive alle diverse scale. Questo significa che se ad una certa scala di ingrandimento il pendolo sembra partire dalla zona di confine tra due colori, ad una scala piu’ spinta rivedremo comparire di nuovo i tre colori come mostrato nella figura sottostante. Quindi il pendolo non potra’ atterrare su nessuno dei tre magneti e sara’ destinato per l’eternita’ a seguire una traiettoria caotica nel senso che non ritornera' mai sui suoi passi.

Adesso che abbiamo chiarito il concetto di stato stabile, bacino di attrazione e sistema multi-stato possiamo finalmente parlare di resilienza.

La misura della stabilita’ di un sistema ad assorbire perturbazioni esterne senza essere spinto in un bacino di attrazione alternativo e’ molto importante. Per tale misura Holling nel 1973 suggeri’ il termine “resilienza”. Ma nella pratica come e’ possibile misurare la resilienza di un sistema? In genere lo spostamento verso un bacino di attrazione alternativo e’ invisibile nel senso che non ci sono effetti apparenti sullo stato del sistema quando questo si approssima ad un cosiddetto punto critico prima di precipitare nel nuovo stato a cui e’ sotteso un diverso bacino di attrazione. La perdita di resilienza avviene se il bacino di attrazione dello stato di equilibrio presente si riduce facendo aumentare la probabilita’ di portare il sistema in un nuovo bacino di attrazione in seguito a qualche evento stocastico. Quindi c’e’ la necessita’ di trovare degli indicatori indiretti che possano essere misurati direttamente. Al momento si sa che le due caratteristiche principali di sistemi che possono subire transizioni critiche sono: l’eterogeneita’ dei componenti e la loro connettivita’. Sistemi in cui le diverse componenti differiscono tra loro e non sono tutte inter-collegate tra loro (bassa connettivita’) tendono ad essere adattativi nel senso che si adattano al cambiamento in modo graduale. Al contrario i sistemi fortemente connessi e omogenei le “perdite” locali tendono ad essere riparate dai nodi vicini fino a che non si raggiunge un livello critico e il sistema collassa.

Questa situazione implica una continua lotta tra una resilienza locale e sistemica. Una forte connettivita’ promuove un'elevata resilienza locale ma a lungo andare il sistema puo’ raggiungere un punto critico dove la perturbazione locale puo’ generare un effetto domino che innesca una transizione sistemica. In tali sistemi (come barriere coralline e banche) il ripetuto recupero in seguito a piccole perturbazioni puo’ far pensare ad un sistema resiliente mascherando cosi l’avvicinamento ad un punto critico. Le barriere coralline, per esempio, prima del collasso subito nel 1980 a causa di una malattia dei ricci di mare erano ritenute sistemi altamente resilienti in quanto fino ad allora avevano sempre assorbito senza gravi danni le tempeste oceaniche e altre perturbazioni locali. In generale gli stessi prerequisiti che permettono il recupero da danneggiamenti locali possono portare un sistema ad un collasso su larga scala. Ma torniamo adesso ai possibili indicatori. Una linea di lavoro particolarmente attiva nell’ambito ecologico e' arrivata alla scoperta che in prossimita’ di un punto critico la velocita’ con cui il sistema recupera lo stato iniziale (in seguito ad una perturbazione) e’ determinante per stabilirne la sua resilienza. Piu’ la velocita’ di recupero diventa bassa (cioe’ il sistema ritorna al suo stato iniziale molto lentamente) e piu’ aumenta la probabilita’ che il sistema si trovi in prossimita' di una transizione critica (questo fenomeno in inglese e’ conosciuto come critical slowing down). Nell’immagine di seguito i bacini di attrazione vengono rappresentati come valli. Un sistema resiliente e’ uno che ha delle valli significativamente profonde da cui non e’ facile far uscire un'eventuale pallina (che nel nostro caso rappresenta lo stato del sistema) con una perturbazione stocastica. Il lento recupero del sistema in una situazione di bassa resilienza e’ dovuto alla bassa pendenza del bacino di attrazione (B) rispetto all’elevata pendenza del caso resiliente (A).

Un sistema nelle vicinanze di un punto critico diventa sensibile alle condizioni iniziali e una piccola spinta puo’ provocare un grande cambiamento. Si tratta del cosiddetto principio di Pareto 20/80. Una variazione del 20% nelle condizioni inziali comporta una variazione del 80% sull’uscita del sistema. La stessa legge e’ conosciuta anche come "effetto farfalla". In un sistema caotico, cioe’ un sistema con dipendenza sensibile dalle condizioni iniziali, un battito di ali a New York puo’ generare una tempesta a Rio. Il lento recupero dello stato iniziale si accompagna anche al cosiddetto effetto memoria e all'aumentata varianza come mostrato in G,H e D,F. La varianza e’ una misura dell’ampiezza della distribuzione mentre l’effetto memoria e’ legato alla cosiddetta autocorrelazione cioe’ alla correlazione tra lo stato del sistema al tempo t e al tempo t+1 (vedi G e H). I sistemi con bassa resilienza mostrano un recupero dalle perturbazioni molto lento, elevata varianza e un effetto memoria spinto.

In vicinanza di un punto critico (spesso anche chiamato un punto di biforcazione catastrofico) e' possibile osservare un altro effetto: quello dello “sfarfallamento” o flickering come si dice in inglese. Questo accade se la perturbazione e’ forte abbastanza da muovere il sistema avanti e indietro tra due bacini di attrazione alternativi una volta che il sistema entra nella regione bi-stabile (vedi B e D nell'immagine sottostante). Ad un certo punto il sistema puo’ spostarsi definitivamente in uno dei due stati e stabilizzarsi in esso (vedi C ed E). Questo tipo di segnale e’ stato rilevato per esempio nei cambi climatici improvvisi e prima di attacchi epilettici. Chiaramente in presenza di flickering la distribuzione degli stati del sistema subisce un aumento della varianza, code pronunciate e bi-modalita’ (che riflette i due regimi alternativi – vedi B e C).

.

Nell’immagine di seguito e’ ancora piu’ chiaro quello che avviene in prossimita di un punto di biforcazione (transizione critica). Quando il sistema e’ lontano dal punto di biforcazione (critical point) la buca associata al bacino di attrazione e’ profonda e qualsiasi perturbazione stocastica e’ velocemente recuperata (la pallina ricade velocemente verso il punto minimo della buca). Man mano che il sistema si avvicina al punto critico, la profondita’ della buca associata al bacino di attrazione diventa sempre meno profonda e questo comporta un recupero piu’ lento (pareti meno ripide). Nel momento in cui il sistema arriva nel punto di transizione la buca scompare del tutto e qualsiasi perturbazione portera’ il sistema in un nuovo stato cioe’ in un nuovo bacino di attrazione.

Sebbene la ricerca sugli indicatori empirici di robustezza e resilienza sia solo agli inizi esiste gia’ un elevato numero di modelli e di pubblicazioni specifiche. La maggiore sfida rimane lo sviluppo di procedure robuste per stabilire in anticipo le transizioni critiche. Uno dei problemi principali e’ che i metodi richiedono un’alta risoluzione temporale. Quindi bisogna studiare anche altri indicatori non legati necessariamente alle serie temporali. In molti sistemi per esempio, governati da perturbazioni locali, in prossimita’ di una transizione critica svaniscono le leggi di potenza presenti in un ampio range del parametro di controllo. Piu’ volte su questo blog abbiamo parlato di legge di potenza e della sua ubiquita’ in natura. Non potevano quindi mancare anche nell’ambito della resilienza. Alcuni ecologisti infatti, hanno stabilito che la distribuzione della dimensione delle macchie di vegetazione per un ecosistema in regioni aride del mediterraneo devia da una legge di potenza prima di una transizione critica (desertificazione).

Qui di seguito un esempio di legge di potenza  per questi ecosistemi. Sull’asse y viene riportato il numero di macchie di vegetazione di dimensione S e sull’asse x la dimensione S stessa. Il grafico e’ bi-logaritmico e quindi la legge di potenza appare come una retta.

Questa distribuzione ci dice che in questi ecosistemi esistono moltissime macchie di vegetazione di piccole dimensioni e ogni tanto qua e la si trovano delle macchie di dimensioni molto grandi. Cosa succede se cambia il clima e il sistema diventa sempre piu’ arido? La distribuzione delle macchie di vegetazione comincera’ a seguire una distribuzione che in scala bi-logaritmica si allontanera’ sempre piu’ da una retta come mostrato sotto.

Questo significa che se riportiamo su un grafico la percentuale di suolo coperto dalla vegetazione e sull’asse x un parametro che indichiamo con b inversamente proporzionale all’aridita’ avremo un andamento ad iperbole. Una volta che il valore di b si avvicina a 0.3 la quantita’ di vegetazione precipitera' velocemente verso lo zero e non ci sara' piu’ modo di tornare indietro. Il deserto avra’ conquistato altri metri.

Altri studiosi hanno trovato che i sistemi complessi con strutture regolari autorganizzate in prossimita’ di una transizione critica seguono una sequenza prevedibile di pattern spaziali. Qui di seguito un grafico che riporta la risposta in termini di quantita’ media di vegetazione per un modello di ambiente semi-arido all’aumentare della siccita’. La linea continua rappresenta la densita’ di vegetazione all’equilibrio. Le tre immagini piccole al di sopra della curva rappresentano le mappe spaziali della vegetazione con quest’ultima rappresentata dal colore nero e il suolo libero dal colore chiaro. Come il sistema si avvicina alla transizione critica (il punto di biforcazione) la natura del pattern cambia da una forma labirintica ad una punteggiata.

Ritorniamo di nuovo al concetto di “robusto ma fragile”. Un sistema con scarsa resistenza (poco robusto) e alta resilienza (non fragile) in seguito ad una perturbazione si allontana dallo stato di equilibrio per poi ritornarci velocemente. Quello con bassa resilienza invece non si allontana molto dallo stato di equilibrio (robusto) e impiega molto piu’ tempo per ritornare al punto di partenza sempre che non entri in un regime catastrofico da cui non potra’ piu’ uscire cambiando cosi completamente stato.

Sistema poco robusto ma resiliente

Sistema robusto ma poco resiliente

 

Data l’importanza delle transizioni critiche (effetto soglia) e la difficolta’ di prevederle in anticipo come puo’ un sistema mantenere la sua resilienza? Una ricetta universale purtroppo non esiste. Dagli studi effettuati in campi diversi (dalla fisica al management, dalla chimica alla psicologia) sono emerse comunque alcune regole generali:

· Mantenere un elevato grado di diversita’ soprattutto nella risposta

· Cercare di mantenere una stuttura modulare evitando sovra-connessioni

· Rispondere rapidamente ai cambiamenti

· Garantire l’apertura del sistema nel senso di permettere lo scambio continuo con l’ambiente     circostante

· Incentivare continuamente l’innovazione e la creativita’

· Elevato capitale sociale (reti di relazioni)

· Leadership generativa

Seguendo il concetto di “robusto ma fragile” bisogna ovviamente fare attenzione a non confondere la resilienza con la resistenza al cambiamento. Al contrario come visto un sistema nel tentativo di evitare cambiamenti e turbative riduce la sua resilienza che va intesa come capacita' di trasformazione e adattabilita’. Se un cambiamento peggiorativo e’ inevitabile l’unica possibilita’ per sopravvivere e’ la trasformazione del sistema o di sue parti in alcune piu’ adatte alla nuova condizione. La resilienza in breve consiste nell’imparare a cambiare per non subire il cambiamento. I sistemi resilienti sono quelli capaci di mettersi al sicuro nel momento in cui stanno per fallire e non quelli che cercano di stare al sicuro dai fallimenti. I cigni neri di Taleb non si possono evitare ed e’ difficile prevederli. Ma questo non significa che non dobbiamo prenderne atto ed essere preparati alla catastrofe. Un mondo di tipo Gaussiano purtroppo non esiste. La natura gioca con le code delle distribuzioni, le leggi di potenza e la geometria frattale. E di questo dobbiamo esserne consapevoli.

Nessuno sa tutto....ognuno sa qualche cosa

 

In natura esistono molti esempi di intelligenza collettiva: stormi di uccelli, branchi di pesci, colonie di formiche e termiti, colonie di batteri, insieme di cellule solo per citarne alcuni. Ma perche’ questi sistemi sono cosi interessanti da meritare una branca della scienza, il lavoro di molti ricercatori e tanti articoli pubblicati negli ultimi anni? Si tratta di sistemi costituiti da tantissimi individui non “intelligenti” che collettivamente riescono a fare qualche cosa che come singoli individui non riuscirebbero a fare mai. Quindi l’intelligenza non come la composizione delle singole intelligenze ma come una proprieta’ completamente assente nel singolo e presente solo nel tutto. L’intelligenza emerge dall’interazione delle singole entita’, e’ una proprieta’ del sistema nel senso che e’ il sistema che fa qualche cosa di intelligente. Questo fa si che intelligenza collettiva o “swarm intelligence” non sia una proprieta’ accidentale in natura ma piuttosto una proprieta’ comune a tanti sistemi per cui e’ possibile che l’evoluzione abbia giocato un ruolo per il suo sviluppo. Se ci pensiamo un attimo, in effetti anche il nostro cervello e’ l’insieme di tantissime unita’ (i neuroni), che da soli non sarebbero capaci di fare nulla ma la cui interazione invece fa emergere quella che tutti noi chiamiamo mente.

Gli ingredienti fondamentali dell’intelligenza quindi sono il numero di singoli individui (eventualmente stupidi) e l’interazione tra di essi. Questo comportamento emergente non nasce da scelte razionali, da analisi ingegneristiche o dall’azione di qualche leader; nessun agente nel gruppo agisce per far si che l’intero sistema si comporti come noi vediamo. L’intelligenza viene fuori magicamente nonostante i singoli agenti non abbiamo alcuna visione globale nel senso che non sanno a livello globale cosa succedera’ e non hanno minimamente coscienza di fare qualche cosa di intelligente. In questi sistemi si passa dal locale al globale: dalle interazioni locali al comportamento globale. E’ come passare dal disordine all’ordine dove emerge in modo chiaro un pattern (schema) organizzativo del sistema. Questo si auto-organizza da solo senza nessun intervento esterno. Cio’ non significa comunque che il sistema non sia adattativo. Anzi e’ vero il contrario. Esso puo’ adattare il suo comportamento globale a cambiamenti esterni riorganizzandosi. In altre parole i sistemi con intelligenza collettiva si adattano al contesto una volta che percepiscono un suo cambiamento riorganizzandosi strutturalmente. Ogni agente vede quello che fa un altro e adatta il suo comportamento al gruppo seguendo delle semplici regole. Questa capacita’ include alcuni fenomeni di feed-back contrastanti. Il feed-back positivo sollecita gli altri individui a fare la stessa cosa apparendo cosi ad un osservatore esterno come un gruppo che si muove in modo organizzato. Il feed-back negativo invece contribuisce ad evitare che il comportamento dell’intero sistema converga verso un unico stato e quindi il raggiungimento di uno stato stabile. In questi sistemi c’e’ una continua tensione tra questi due tipi di feed-back cioe’ tra il rafforzamento e l’inibizione di certi comportamenti. E questo e’ quello che accade nella maggior parte dei sistemi che si auto-organizzano come per esempio gli automi cellulari (vedi altri post su questo blog), i mercati, le reti complesse, i terremoti. I sistemi complessi come quelli con intelligenza collettiva, spesso si basano anche su scelte individuali semplicemente casuali nel senso che c’e’ una certa probabilita’ associata alle diverse opzioni di comportamento. Perche’ questo? Per raggiungere lo stato critico che noi chiamiamo auto-organizzazione indipendentemente dallo stato di partenza, cioe’ per “scappare” dai minimi locali e quindi reagire in modo adeguato alle perturbazioni esterne. E’ proprio questa caratteristica insieme a quella dei feed-back a far si che questi sistemi siano adattativi. Non c’e’ alcuna configurazione finale da raggiungere. Se cosi’ fosse il sistema non si adatterebbe e sarebbe destinato alla morte termica, ad un vero e proprio congelamento. Questo e’ l’analogo dello stato solido. Struttura rigida ben definita. Sistema all’equilibrio. Flessibilita’ alle perturbazioni esterne praticamente nulla. Il sistema deve avere la capacita’ di esplorare continuamente nuove configurazioni, ad avere sempre delle alternative pronte verso cui migrare. Quando le condizioni esterne cambiano e quindi il livello di auto-organizzazione non e’ piu’ soddisfacente, un pizzico di casualita’ permette di trovare nuove soluzioni migliori e il feed-back positivo di assicurare che questa diventi la nuova configurazione rinforzandola. Ma questo solo fino alla successiva perturbazione. Come detto precedentemente uno degli ingredienti piu’ importanti per tali sistemi e’ il numero di agenti. Per raggiungere l’autorganizzazione in modo robusto e adattativo al tempo stesso, c’e’ bisogno di tantissimi agenti per poter esplorare l’intero spazio delle fasi e per tollerare la perdita locale di alcuni componenti (ridondanza). In altre parole per far si che il sistema si adatti. Mentre una grande percentuale di agenti sono impegnati a fare il loro lavoro, i rimanenti possono impegnarsi nella ricerca di nuove soluzioni alternative. I diversi componenti irrazionali quindi sono autonomi, agiscono e interagiscono su scala locale, sono situati in un ambiente e rispondono alle sue sollecitazioni. Comunque non tutti i sistemi con intelligenza collettiva sono formati da elementi “stupidi”. Pensate per un attimo ai mammiferi o a noi umani. I gruppi di castori costruiscono delle vere e proprie dighe nei fiumi, i lupi collaborano per circondare una preda e gli umani formano dei pattern particolari quando si muovono come folle di persone. Questo implica che a volte la potenza delle interazioni supera la potenza degli individui indipendentemente dalla razionalita’ dell’individuo; cio’ che conta e’ solo il tipo di interazione cioe’ il modo in cui agisce e interagisce nel sistema e non tanto quello che lui pensa. E c’e’ anche un ruolo per le variabili stocastiche (casualita’) cosi come visto per gli agenti irrazionali. Nel caso di agenti intelligenti il fatto stesso di effettuare azioni razionali diverse da quelle del gruppo possono essere percepite come una sorta di comportamento probabilistico. Questo significa che gli essere umani un giorno potrebbero sviluppare una swarm intelligence? Gli ingredienti ci sono: elevato numero di unita’ e interconnessione sempre piu’ spinta specialmente con l’entrata in scena dell’internet delle cose. Potrebbe esserci pero’ la possibilita’ di non accorgercene visto che l’intelligenza collettiva e’ di gran lunga superiore a quella dei singoli individui. In effetti una “swarm intelligence” potrebbe essere gia’ in atto. Un’altra differenza tra noi e colonie di animali e’ la seguente. Una colonia di termiti e’ intelligente abbastanza da costruire una tana con un sofisticato intrigo di strade con aperture per un corretto condizionamento. E questo senza un leader o un progettista. Ma cio’ differisce completamente, per esempio, dalla costruzione di una citta’ da parte di esseri umani. Moltissime persone infatti sono sufficientemente intelligenti da riuscire a costruire da sole case, ponti, strade, monumenti, piazze. Due persone hanno piu’ conoscenza di una sola, ma potrebbe bastare un meeting o una discussione per conoscere entrambi la soluzione. Noi umani possediamo capacita’ comunicative e computazionali che tendono a favorire il controllo centralizzato di un supervisore intelligente. Nel caso degli animali queste capacita’ non ci sono o sono molto limitate. Questo spiega il perche’ della decentralizzazione del controllo. Nessuna specie di insetti sociali ha sviluppato una rete di comunicazione per favorire il flusso efficiente e veloce di informazioni da e verso un manager centrale. Nessun insetto e’ capace di processare una grande quantita’ di informazioni. Mancano quindi i presupposti per un controllo centralizzato e l’unica soluzione sviluppata dalla natura e l’evoluzione e’ semplicemente l’auto-organizzazione.

Un’altra differenza e’ il gap limitato tra l’intelligenza collettiva emergente e quella delle singole unita’ nel caso di un team di persone rispetto a quello costituito da animali. Cio’ non e’ vero invece per il nostro cervello dove le singole unita’ non hanno un’ intelligenza propria e reagiscono a dei semplici stimoli elettrici proprio come succede per gli sciami di animali. Questo spiega perche’ per noi umani abituati al controllo centralizzato risulta cosi difficile capire i meccanismi di controllo decentralizzato utilizzati dalla natura. Le molecole di una cellula, le cellule di un organismo, gli organismi di un gruppo aggiustano continuamente le loro attrivita’ sulla base di informazioni limitate e localizzate. Questi sistemi auto-organizzati e’ cio che Dawkins ha chiamato “veicoli”: entita’ integrate che si sono evolute per favorire la sopravvivenza e riproduzione dei geni in essi contenuti. Quanto riportato fino ad ora stabilisce che un sistema biologico con nessuna capacita’ comunicativa e/o abilita’ computazionale, non puo’ che funzionare in modo decentralizzato. Se accettiamo questo punto di vista, allora un essere umano intelligente inserito in un sistema con carenze comunicative come per esempio i mercati finanziari, cioe’ un sistema con unita’ altamente intelligenti ma poco o per niente informate, puo’ comportare un controllo decentralizzato. Un altro esempio puo’ essere uno scenario di crowdsourcing (il rilancio telematico dell’idea di vox populi ) dove un’organizzazione (azienda o universita’) cerca il supporto di un gruppo sconosciuto e potenzialmente molto vasto di agenti intelligenti postando dei problemi irrisolti su Internet (vedi Innocentive.com oppure NineSigma.com). In questo caso allo stesso modo degli sciami, degli stormi e mandrie, gli umani seguono certe regole locali di interazione all’interno di un gruppo. In un contesto di crowdsourcing, queste regole locali evolvono nel tempo. Inizialmente, un comportamento caotico inizia a convergere in particolari pattern sociali e i membri della folla usano le loro conoscenze personali (locali) per interagire con gli altri agenti e contribuire cosi’ all’auto-organizzazione. Nella maggior parte dei casi, la folla si organizza senza un corpo centrale di controllo. Eppure in una folla abbiamo sia una buona capacita’ comunicativa che intelligenza. Quindi? Una possibile spiegazione per l’auto-organizzazione puo’ essere la seguente: le persone in genere non agiscono per il bene della folla ma per il bene di se stessi e questo ad un osservatore esterno e’ giudicato come un comportamento altamente irrazionale. E’ questo che promuove l’auto-organizzazione. Uno dei prerequisiti per il successo del crowdsourcing e’ il mantenimento della diversita’ della conoscenza e delle skills dei membri della folla ed evitare il groupthink. Con quest’ultimo termine si intende un gruppo sociale che cerca di minimizzare i conflitti e raggiungere il consenso senza un adeguata analisi e valutazione critica delle singole idee. Creativita’ individuale, originalita’ e autonomia di pensiero vengono sacrificati al perseguimento dei valori di coesione del gruppo. I motivi che inducono a simili comportamenti sono vari: tra essi vi può essere il desiderio di evitare di proporsi in situazioni che, nel giudizio del gruppo, possano essere tacciate come ingenue o stupide, il desiderio di evitare l'imbarazzo o l'ira di altri membri del gruppo, il possibile scontro con l’idea del capo. Il risultato di tali comportamenti, è un affievolimento dell'obiettività, della razionalità, e della logica, con esiti che possono anche assumere la forma del consenso su decisioni che appaiono disastrose e folli a chi le osserva dall'esterno. Scott E. Page nel 2008, grazie ad opportune simulazioni ha dimostrato l’importanza della diversita’ nell’esecuzione di task complesse. I gruppi con diversi agenti quasi sempre performano meglio di gruppi costituiti solo da agenti esperti. Per le piattaforme di crowdsourcing dove i risolutori non possono vedere le soluzioni di altri risolutori (questo e’ il caso quando ci sono dei premi monetari) la probabilita’ di avere groupthink e’ chiaramente ridotta. In questo caso l’auto-organizzazione e’ garantita dalla bassa capacita’ di comunicazione mentre rimane la capacita’ razionale dei tanti agenti. Sintetizzando, una volta che un problema e’ stato formalizzato ed esistono metodologie note per la sua soluzione, un gruppo di esperti ottiene facilmente la soluzione. Se queste metodologie non esistono, se non esiste una formulazione oggettiva del problema oppure se i criteri di valutazione della soluzione non sono stati formalizzati la diversita’ allora puo’ battere la competenza. Qui di seguito i passi principali del processo di crowdsourcing:

1) Delibera: un richiedente (organizzazione o privato) decide di usare delle risorse esterne per generare nuove idee o risolvere un problema.

2) Preparazione: il richiedente spesso sceglie un intermediario (information broker) come per esempio un sito web che mette in contatto il richiedente e la folla

3) Esecuzione: il richiedente posta un problema sul sito del broker. I risolutori si auto-organizzano e auto-selezionano i problemi pubblicati che piu’ gli interessano

4) Valutazione: le idee sottomesse tramite il sito web vengono raggruppare, votate e la migliore idea viene premiata

5) Post-processo: le idee collezionate vengono trasmesse all’interno dell’organizzazione richiedente

Altre tesimonianze di intelligenza collettiva nel web 2.0 oltre al crowdsourcing sono:

· Wikipedia: un sistema enciclopedico universale basato sulla collaborazione di migliaia di persone che, in aniera del tutto volontaria contribuiscono a dare risposte esaurienti in qualsiasi branca dello scibile umano, obiettivo ovviamente irrangiungibile dal singolo individuo. La folla si auto-organizza senza la presenza di nessun leader che chieda loro di fare qualche cosa di specifico.

· Google: grazie all’algoritmo di ricerca PageRank e’ possibile estrarre informazioni dai siti web per facilitare le ricerche effettuate dagli utenti, sfrutta cio’ che emerge come intelligenza collettiva della rete. L’intelligenza dei singoli viene messa a disposizione di tutti che possono cosi approfittare di questa risorsa distribuita. E poiche’ queste risorse sono anche connesse tra loro e’ possibile avere un effetto sinergico con la generazione di una intelligenza che non e’ la somma delle parti ma addirittura il prodotto delle singole intelligenze. Da qui un’importante deduzione dal sapore prettamente matematico: due intelligenze insieme,  in determinate condizioni, non si sommano ma si moltiplicano.

· Linux: un sistema operativo open che si basa sull’apporto di singoli programmatori indipendenti

La gente è in grado di fornire soluzioni più corrette ed adeguate di quanto non siano in grado di fare gli esperti, se e soltanto se vengono rispettati alcuni prerequisiti fondamentali, che si possono riassumere in questo modo: le persone devono avere opinioni differenti, non si devono poter influenzare, nessuno deve pilotarle, e i risultati devono essere aggregati. Tutte condizioni che vengono naturali su internet. Quello che conta e’ il numero di persone che ci lavorano non necessariamente esperte. Ma tutto cio’ e’ vero sempre? Se lo chiedono in molti. Prima di tutto c’è una regola statistica che dobbiamo sempre ricordarci quando parliamo di contenuto generato dagli utenti che viene banalmente definita, la regola del 1, 9, 90. Su cento “internauti”, generalmente una persona crea un contenuto da zero, 9 lo aggiornano e 90 ne usufruiscono. Qual è il numero minimo di persone che dovrebbe far parte di una comunità per generare un servizio minimo accettabile? Wikipedia ovviamente può contare sul contributo dell’intera popolazione mondiale; cosa accade invece a tutte le altre piattaforme che non riescono ad accedere ad un bacino di utenti così ampio? Probabilmente la saggezza della folla può funzionare solo su delle semplici questioni che possibilmente contemplino una risposta chiusa: sì o no, o comunque singoli valori da definire insieme. Quando le cose diventano più complesse è rischioso affidarsi alla cosiddetta saggezza della folla. E’ facile immagine che l’intelligenza della folla fallisce se viene applicata a campi scientifici nei quali occorre rigore ed alta competenza. L’innovazione e la scienza sono guidate da persone esperte ed intellettuali e non possono essere portate avanti da una massa di individui. Anche gli esperti servono. Tutto dipende dagli obiettivi che ci diamo. Un altro esempio di intelligenza collettiva e’ il brainstorming. In questo caso l’intelligenza collettiva viene applicata nel problem solving. Quello che si e’ scoperto e’ che fare problem solving insieme ad altre persone e’ meglio, essendo piu’ produttivo e piu’ efficace. Il brainstorming ha poche regole fondamentali:

· non criticare le idee altrui

· prediligere la quantita’

· sentirsi liberi di proporre anche le idee piu’ strampalate

Dopo e solo dopo si trovera’ il tempo di criticare, ridurre e semmai buttare via le proposte che non funzionano. Questo perche’ anche la fantasia ha una sua importanza e deve essere liberata dal pensiero dominante. Quello che deve essere abilitato e’ il pensiero laterale (cioe’ l’osservazione del problema da diverse angolazioni) e parlare con persone con idee molto differenti dalle nostre puo’ aiutarci. La divergenza e’ una ricchezza e bisogna fare di tutto per valorizzare le differenze di ognuno di noi per aiutare il gruppo a crescere. Molto bello no? Purtroppo le cose non vanno sempre cosi’ e il brainstorming funziona solo in campi delimitati e a volte solo con persone esperte della materia. E allora come si fa a promuovere l’auto-organizzazione? Solita ricetta: le persone devono avere opinioni differenti, non si devono influenzare, nessuno deve guidare la discussione e i risultati devono essere aggregati. L’intelligenza deve essere distribuita e non centralizzata.

Big data, big tools analitici e big theory.

 

Nell'era digitale iper-conessa in cui viviamo ci troviamo ogni giorno ad affrontare problemi piu' complessi. Per risolverli non abbiamo ancora delle leggi universali, come per esempio quelle termodinamiche prodotte dalla civilta' tecnologica di un secolo fa, e quindi essi sembrano intrattabili. Basti pensare all'incertezza dei mercati finanziari, la previsione dei cambiamenti climatici mondiali, la previsione di quanta energia servira' nei prossimi anni, quando e dove avverra' il prossimo terremoto catastrofico, la prossima frana, il prossimo attacco terroristico e cosi' via. Gli approcci tradizionali sono spesso di tipo qualitativo e non interdisciplinari e destinati il piu' delle volte all'insuccesso. Per poter arrivare ad una descrizione quantitativa di questi fenomeni usando il rigore scientifico dobbiamo migliorare la nostra comprensione della complessita’ stessa. La complessita' entra in gioco quando ci sono tantissime unita' interagenti in modi diversi tra di loro. Il tutto prende vita e i comportamenti che emergono non sono quelli delle singole unita' che il piu' delle volte hanno dei comprtamenti molto semplici e interagiscono per lo piu' con i primi vicini. Questo sistema interagisce con l'ambiente, adattandosi ad esso ed evolvendo. Esso puo' essere prono ad improvvisi e all'apparenza imprevedibili cambiamenti. Alcune interazioni all'interno del sistema possono rinforzarsi entrando in un loop positivo e andare fuori controllo attraversando il punto di "cliff", il punto di non ritorno oltre il quale il comportamento del sistema cambia radicalmente. La imprevedibilita' e' dovuta alla difficolta' di predire il comportamento del sistema come un tutt'uno a partire dal comportamento delle sue singole parti. Il tutto e' piu' delle sue parti. Una citta' e' piu' dei suoi palazzi e abitanti. Una metropolitana molto piu' di un treno e di alcune stazioni. I nostri corpi piu' di un aggregato di semplici cellule. Questa proprieta' chiamata comportamento emergente e' tipica delle organizzazioni, organismi, mercati finaziari, compagnie, Internet, galassie, il sistema sanitario, il terrorismo, le guerre.

La complessita' del nostro mondo sta aumentando a causa della rivoluzione digitale a cui stiamo assistendo. Se da un lato cio' ci mette in una condizione di sconforto a causa della imprevedibilita' di tali fenomeni dall'altra questa tecnologia presenta anche un opportunita'. La diffusione dei telefonini, le transazioni elettroniche, la digitalizzazione dei dati sanitari, l'internet delle cose solo per citarne alcuni stanno generando una mole incommensurabile di dati. Con lo sviluppo di nuovi strumenti computazionali e nuove tecniche analitiche, i ricercatori hanno iniziato a studiare fenomeni che prima erano fuori dalla nostra portata come per esempio la nascita della cooperazione nella societa', le condizioni che promuovono l'innovazione, come si diffondono le epidemie o come nascono i conflitti e come si espandono.

Nonostante questi successi manca ancora una struttura concettuale e una teoria unificata della complessita'. Al momento nessuno sa di quanti e di che tipo di dati avremo bisogno per chiudere la complessita' in una gabbia teorica. I big data di cui tutti parlano, senza lo sviluppo di strumenti analitici adeguati e senza una big theory non servono a nulla. Oggi big data e' sinonimo di enorme quantita' di dati di vario tipo, non strutturati e dinamici. Ma il vero valore dei big data e' nello sviluppo di nuove tecniche matematiche, algoritmi e processi che rientrano in quello che si chiama machine learning. Oggi sono possibile cose che prima richiedevono una grande fatica. Fino a poco tempo fa per ottenere il trend delle opinioni della societa’ bisognava intervistare alcune migliaia di persone mentre oggi si puo’ ottenere semplicemente interrogando una rete sociale come linkedin. In passato per sapere quante persone in una certa zona facevano moto bisognava intervistare le singole persone mentre adesso e' possibile ottenere rapidamente queste informazioni dagli smartphone grazie a loro accelerometri. Oggi per conoscere gli amici di ognuno di noi non c'e' piu' bisogno di contattare le persone ma basta visitare facebook o sistemi analoghi. Da qui capiamo che i dati da soli non comportano in se una rivoluzione fino a quando non si sviluppano gli strumenti adeguati per analizzarli per fare emergere la conoscenza contenuta in essi. E per nostra fortuna gli strumenti analitici stanno crescendo velocemente molto piu' di quello che stanno facendo i dati. La legge di Moore ormai verificata da diversi anni predice in modo accurato la potenza e la velocita' dei computers. Questa raddoppia ogni 18 mesi. Ma se confrontata con la velocita' con cui progrediscono gli strumenti analitici e' terribilmente lenta. Basti pensare a quanto velocemente i programmatori riescono oggi ad aumentare la velocita' degli algoritmi. Parliamo di un fattore 1000 ogni 18 ore anziche' ogni 18 mesi. Ma questi dati e strumenti analitici da soli possono aiutarci a capire i fenomeni naturali e sociali oppure serve una teoria?

Cosi come Newton osservando la caduta di una mela comincio' a pensare ad una possibile forza che attirasse i corpi verso il centro della terra, e' possibile che noi osservando la straordinaria diversita' e interconnettivita' dei mercati finanziari, delle popolazioni, delle guerre, dello sviluppo del cancro, della diffusione delle infezioni riusciremo a scoprire i principi sottostanti. Un sistema matematico generale per la comprensione della complessita' dovrebbe, in principio, incorporare la dinamica e organizzazione di qualsiasi sistema complesso in modo quantitativo.

E' probabile, come dice lo scienziato del Santa Fe Institute, West, non riusciremo mai ad avere una dettagliata descrizione dei sistemi complessi da permetterci una previsione completa. Nonostante cio' e' possibile che a breve si riuscira' ad avere una descrizione quantitativa' e quindi a fare previsioni solo per alcune caratteristiche particolari di questi sistemi. Potremmo essere interessati a non prevedere esattamente quando ci sara' il prossimo terremoto, ma piuttosto ad assegnare una probabilita' che esso accada nei prossimi anni. La complessita' e' la sintesi di diverse discipline scientifiche e contrariamente a quello che e' successo fino ad ora deve invertire il trend verso la frammentazione e specializzazione, cercando di portare la scienza verso una struttura unificata, olistica per dare una risposta ai grandi quesiti della societa'. Per fare cio' pero' non basta utilizzare l'analisi statistica per trovare delle correlazioni tra variabili: non avendo un modello di riferimento in genere si cercano delle correlazioni, sperando poi che da queste si possano inferire le leggi che regolano la dinamica del sistema in esame.

I big data sono il posto migliore in cui cercare correlazioni a posteriori, ovvero non attese a priori in base ad un modello teorico ma semplicemente identificate nei dati e a cui si cercherà, a posteriori, di dare una spiegazione. Una buona correlazione non implica però, che una variabile abbia una relazione di causalità con l’altra; piuttosto può verificarsi che queste variabili possano avere semplicemente una causa comune. Ad esempio nelle città italiane il numero di chiese e' correlato a quello degli omicidi semplicemente perche' entrambi correlati alla popolazione ma questo non significa che aumentando il numero di chiese aumenti il numero di omicidi, né ovviamente l’inverso! Una correlazione tra variabili quindi non sempre significa che esiste un nesso di causalita'. Spesso si possono trovare correlazioni spurie che non hanno alcun senso: questo accade specialmente quando si hanno tanti dati a disposizione ma pochi strumenti analitici per analizzarli o, peggio ancora, quando si hanno preconcetti e si usano i dati per trovare un tipo di correlazione che ne giustifichi a posteriori l’uso. Per illustrare con un altro esempio il problema delle correlazioni spurie, riportiamo uno tra i tanti presenti sul sito spurious correlations. Nel grafico viene riportato il numero di divorzi nel Maine e il consumo procapite di margarina. La correlazione e’ statisticamente significativa. Piu’ si abbassa il consumo di margarina e meno divorzi si hanno. Questo almeno nel Maine. Questo risultato è palesemente insensato. La presenza di una correlazione statistica non implica la presenza di un nesso di causalità. Si possono fare moltissimi altri esempi di casi in cui, analizzando un gran numero di dati, emergono correlazioni tra fenomeni completamente indipendenti.

Tutto cio’ fa capire che bisogna fare attenzione quando si analizzano grandi basi di dati in quanto gli strumenti statistici da soli non sono in grado di determinare con accuratezza il nesso di causalita’ tra variabili. Possiamo dunque usare le moderne banche dati digitali cercando delle “regolarità” nelle serie temporali di un certo fenomeno, per cercare di prevedere quello che succederà in futuro? La risposta a questa domanda è in genere negativa, e la “fine della teoria” risulta così un miraggio. Perfino i sistemi fisici – che sono più gestibili poiché si conoscono le leggi dinamiche sottostanti rispetto a quelli sociali – sono governati da forze che, benché deterministiche, danno luogo a comportamenti caotici e dunque pongono delle difficoltà intrinseche per effettuare una previsione e per conoscerne il comportamento futuro. Quando non si conoscono le leggi che governano l’evoluzione di un sistema o quando queste sono non deterministiche e universali (cioe’ cambiano nel tempo o sono leggi statistiche) la situazione diventa rapidamente intrattabile. In questi casi e’ possibile sperare di trovare delle correlazioni tra variabili nei dati e usare queste correlazioni, anche senza conoscerne l’origine, per predire il comportamento futuro di un sistema? Anche in questo caso, la risposta e’ generalmente negativa. Già prendendo in considerazione un sistema con molti corpi e governato da leggi deterministiche, l’analisi di serie storiche non aiuta a rilevare una situazione simile a quella attuale già verificatasi nel passato e dunque capace di dare indicazioni per inferire l’evoluzione futura del sistema stesso. È possibile invece usare le banche dati per trovare, a posteriori, delle correlazioni tra variabili che descrivono lo stato di un sistema, ma è necessario aver ben presente che una correlazione a posteriori – dunque non una genuina predizione di una teoria – non implica in genere l’esistenza di un nesso causale. D’altra parte, i big data possono essere uno strumento utile proprio per capire se gli assunti alla base di certi modelli o teorie, anche nel campo delle scienze sociali, sono verificate o meno. Per esempio, le carte di credito e il commercio elettronico dovrebbero permettere di monitorare il consumo in tempo reale e dunque di testare le teorie del comportamento dei consumatori in grande dettaglio. Analogamente, la grande massa di dati elaborati ogni giorno dai mercati finanziari potrebbero permettere di capire per esempio se i mercati “in equilibrio” sono stabili. Piuttosto che cercare delle correlazioni a posteriori per cercare conferma empirica a qualche modello teorico bisogna analizzare i dati senza alcun pregiudizio seguendo l'approccio proprio del data mining. Partendo dalla massa di dati gli algoritmi di machine learning ci dovranno aiutare ad individure possibili modelli che in seguito dovranno essere validati dagli analisti stessi cercando un riscontro nella realta'.

A proposito di Big data e data mining, a Marzo di quest’anno ho partecipato ad un convegno organizzato dal Complexity Institute a Santa Margherita Ligure dal titolo Big Data e Neural networks nel complexity management dove ho fatto un intervento che potete scaricare al link sottostante. Qui un breve riassunto.

Data Mining
Tecniche analitiche altamente complesse per un mondo sempre piu’ ipercomplesso

Presentazione di Felice Russo - Lfoundry Manager

Viviamo in un mondo sempre piu’ interconnesso e digitalizzato. Siamo sommersi dai dati. Ogni minuto il mondo genera dati per 1,7 milioni di miliardi di byte, pari a 360 000 DVD: più di 6 megabyte di dati a testa ogni giorno. Le informazioni, che provengono sia dalle persone sia da macchine di ogni tipo, consistono in dati sul clima, immagini satellitari, fotografie e video digitali, registrazioni di operazioni o segnali GPS, dati scientifici, dati prodotti dalle reti sociali solo per citarne alcuni.

Diventa quindi importante riuscire ad analizzare questo enorme volume di dati con macchine/algoritmi sempre piu’ veloci e con DB (database) contenenti una grande varieta’ di dati. Gli strumenti e le tecniche sono diverse da quelle tradizionali basate sulla statistica classica. Sempre di piu’ si fa uso di tecniche e algoritmi di machine learning, intelligenza artificiale, pattern recognition, matematica, statistica e scienza dell’informazione. Il Data mining e’ all’intersezione di queste varie discipline. Esso cerca di estrarre la conoscenza dalle miniere di dati disponibili. Solo grazie alla conoscenza I dati possono acquistare un “valore”. Oggi le aziende sono ricche di dati ma povere di informazioni/conoscenza. Solo un processo di “scoperta della conoscenza” (KDD Knowledge discovery in database) puo’ trasformare I dati in oro per rimanere nell’ambito delle miniere. La speranza di tutti e’ che un giorno queste tecniche possano essere automatizzate escludendo completamente l’intervento umano. Ma questo rimarra’ un sogno in quanto il data mining essendo un sistema complesso non potra’ essere completamente automatizzato (indecidibilita’ della complessita’ di Kolmogorov di una qualsiasi stringa). Il data mining quindi sara’ sempre un “arte” il cui scopo sara’ quello di trovare i modelli che meglio si adattano agli insiemi dei dati analizzati.

Ma questo non e’ sempre facile. A complicare le cose interviene anche:

1) la complessita’ dei dati da manipolare a causa della loro varieta’ (tipologia di dati) e multidimensionalita’ dei database

2) la complessita’ computazionale degli algoritmi (per esempio con n righe ed m colonne ci sono O[m2^m-1] regole di associazione….)

3) la complessita’ dei risultati (non tutti I pattern che emergono sono facilmente interpretabili)

Da dove deriva tutta questa complessita’?

La risposta nella legge di Ashby: "la complessita’ delle tecniche di analisi deve essere uguale o superiore a quella dei dati da analizzare". Piu’ il mondo evolvera’ verso l’interconnessione digitale di tutte le cose (Internet delle cose) piu’ il data mining dovra’ trovare nuove tecniche analitiche per far fronte a tanta ipercomplessita’.

Link