• 0 voto(i) - 0 media
  • 1
  • 2
  • 3
  • 4
  • 5
La scienza nell'era dei 'Big Data' (e riferimenti alla meteorologia)
#1
La scienza nell

Nell’era di internet è apparso un nuovo fenomeno: l’accumulazione di grandi insiemi di dati. La quantità di dati archiviati in forma digitale sta crescendo in maniera esponenziale e riguarda ogni aspetto della nostra vita: questa situazione pone una serie di problemi nuovi da considerare, dalla privacy dei singoli, alla qualità dell’informazione che può essere estratta da queste banche dati. La domanda che molti come il “guru” informatico Chris Anderson, si pongono, è se i dati da soli, senza un modello, siano sufficienti per comprendere i fenomeni e se questa nuova situazione implichi “la fine della teoria”. Per avere un esempio, è sufficiente ricordare che i Maya non avevano formulato un modello fisico per spiegare il movimento degli astri ma dall’elaborazione delle osservazioni astronomiche effettuate nell’arco di centinaia di anni sono stati capaci di fare delle previsioni molto accurate non solo delle eclissi di Luna, ma, cosa più difficile, delle eclissi di Sole. Il problema era tuttavia ben posto: oggi, infatti, sappiamo che non solo esistono delle leggi deterministiche che regolano il moto dei pianeti (la legge di gravità) ma che il sistema solare stesso mostra un comportamento caotico su scale di tempo molto più lunghe di quelle interessanti per le previsioni utili all’uomo. Ovvero la precisione finita con cui possiamo conoscere lo stato del sistema solare oggi causerà una differenza rilevante per la previsione della posizione dei pianeti sono tra qualche milione di anni.

Per contro, la nostra conoscenza imperfetta dello stato dell’atmosfera oggi rende le previsioni meteorologiche non affidabili su tempi dell’ordine di qualche giorno. Questo in quanto l’atmosfera, come il sistema solare, è caotico, ma con numero diverso di variabili rilevanti che ne descrivono lo stato – dimensionalità. In pratica, le regolarità in un sistema con alta dimensionalità appaiono su scale di tempo che sono e rimarranno inaccessibili per quanto le banche dati digitali possano sperabilmente crescere (in termini tecnici si fa riferimento al Lemma di Kac).

Dunque, nonostante un sistema sia regolato da leggi deterministiche note, spesso non è possibile fare delle previsioni sulla sua evoluzione nel lungo periodo. La legge di gravità che muove i pianeti, o le leggi della fluidodinamica che descrivono la dinamica dell’atmosfera o le leggi dell’elasticità che regolano i movimenti delle placche terrestri e dunque sono alla base dei terremoti, sono tutte leggi della fisica ben note. Malgrado questo, poiché i sistemi cui si applicano non sono semplici, esiste un orizzonte di predicibilità, un tempo oltre il quale non è possibile effettuare una previsione affidabile perché il sistema diventa caotico (nel caso dei terremoti, non è possibile conoscere lo stato del sistema ad un certo tempo, se non in maniera molto grossolana, e dunque è impossibile effettuare delle previsioni affidabili). La situazione diventa poi molto più complicata se le leggi deterministiche che regolano la dinamica del sistema non sono note o anche neppure esistono, nel senso che vi sono sistemi la cui evoluzione è regolata o da leggi statistiche o che cambiano nel tempo (basti pensare all’economia…).

Possiamo dunque usare le moderne banche dati digitali come la civiltà Maya utilizzò i dati astronomici, ovvero trovare delle “regolarità” senza un modello di riferimento per capire quello che succederà in futuro? Possiamo sperare di trovare delle correlazioni nei dati che legano il cambiamento di alcune grandezze e usare la conoscenza di queste correlazioni, anche senza capirne l’origine, per predire il comportamento futuro di sistema? Noi siamo dell’idea che la “fine della teoria” è un miraggio non solo perché una correlazione a posteriori (dunque non una genuina predizione di una teoria) non implica in genere l’esistenza di un nesso causale (correlation does not imply causation), ma anzi può essere molto fuorviante, ma soprattutto perché i sistemi complessi, dai sistemi fisici ai sistemi sociali, sono caotici. Se l’accumulazione dei dati rappresenta certamente una preziosa fonte d’informazioni che può essere utile per l’elaborazione di previsioni, solo una comprensione teorica, frutto di una ricerca fondamentale più profonda, può guidarci a ben interpretare il dato stesso.

Il concetto di previsione e accenni alla meteorologia:

http://denali.phys.uniroma1.it/~preveder...lpiani.pdf
C'è un confine sottile tra uno sbaglio e un colpo di genio; purtroppo dovresti essere un genio per vederlo.

Sheldon Cooper

L'Italia è ancora come la lasciai, ancora polvere sulle strade,
ancora truffe al forestiero, si presenti come vuole.
Onestà tedesca ovunque cercherai invano,
c'è vita e animazione qui, ma non ordine e disciplina;
ognuno pensa per sé, è vano, dell'altro diffida,
e i capi dello stato, pure loro, pensano solo per sé


Johann Wolfgang von Goethe
  Cita messaggio
#2
Mi spiace che questo 3d venga ignorato, perchè in poche righe e in poche slides stanno le informazioni necessarie per capire il senso di una previsione, le difficoltà della previsione stessa e il motivo per cui certi tipi di previsione andrebbero cestinati all'istante.

In particolar modo spiega sinteticamente perchè non si può operare una previsione corretta a medio-lungo termine:
- mancanza di accuratezza nei dati iniziali (spesso, aggiungo io, mancanza di dati), il che in un sistema caotico porta a forte imprevedibilità
- mancanza di un analogo storico, ossia bisogna tornare molto indietro nel tempo per avere un "istante" con condizioni al contorno identiche a quelle desiderate

In sintesi ciò comporta che:
- nonostante ora, grazie ai computer, ai rilevamenti etc... abbiamo una mole di dati che pare immensa, essa è comunque di gran lunga insufficiente per lo scopo che ci prefiggiamo (previsioni affidabili dopo un tot di giorni, generalmente 6 o 7). Questo è anche uno dei motivi per cui le reti di rilevazione sono importanti, esse forniscono dati in modo più "denso" (a livello spaziale) al modello che li deve elaborare attraverso equazioni fisiche note, in modo da limitare il più possibile le deviazioni dalla condizione iniziale (visto che il modello normalmente deve interpolare, ossia costruire da sè, sulla base di dati reali che ha come input e caratteristiche spaziali note, le variabili d'interesse per un certo punto dello spazio, il che è facilmente soggetto ad errori).
- nonostante abbiamo database sempre più ricchi e serie storiche sempre più lunghe è quasi impossibile avere dati utili per la ricerca di un analogo soddisfacente, il tempo umano rimane troppo limitato rispetto al tempo naturale. Per questo anche se schemi circolatori su larga scala (quelli che comunemente vengono detti indici, visto che schematizzano a partire da una moltitudine di informazione degli andamenti noti e spesso periodici) possono tutto sommato ricordare alcune evoluzioni, gli effetti per aree specifiche (ad esempio l'Italia) sono inconoscibili e eventuali previsioni hanno comunque percentuali di realizzazione irrisorie.

In sostanza, se amate la meteorologia veramente dovete prendere al più presto coscienza che è essenzialmente una scienza incerta e caotica e nonostante i modelli arriveranno a essere sempre più precisi ci sarà un momento in cui i miglioramenti saranno via via sempre più minimi, un po' come il record del Mondo in una specialità olimpica può essere migliorato per molto tempo, ma non stravolto, e, a un certo punto, diviene insuperabile.
Pertanto io personalmente (sulla base delle conoscenze attuali e escludendo delle svolte teoriche e di strumentazioni in un futuro a medio termine) lascerei da parte l'ottimismo velato che si respira per quanto riguarda i modelli: è vero sono migliorati moltissimo in qualche decina d'anni, ma dubito fortemente che riusciremo ad andare oltre il 50% di affidabilità a 15 giorni di distanza (attualmente siamo intorno al 40% a 10 giorni)
C'è un confine sottile tra uno sbaglio e un colpo di genio; purtroppo dovresti essere un genio per vederlo.

Sheldon Cooper

L'Italia è ancora come la lasciai, ancora polvere sulle strade,
ancora truffe al forestiero, si presenti come vuole.
Onestà tedesca ovunque cercherai invano,
c'è vita e animazione qui, ma non ordine e disciplina;
ognuno pensa per sé, è vano, dell'altro diffida,
e i capi dello stato, pure loro, pensano solo per sé


Johann Wolfgang von Goethe
  Cita messaggio
#3
me l'ero perso questo thread, ma in sostanza viene riportata una cosa che secondo me è più che giusta, ovvero che previsioni a medio lungo termine sono decisamente inaffidabili, e oltre 7/8 giorni non ci si deve assolutamente spingere, specie in periodi in cui più variabili entrano in gioco.. ci sono, e non credo di esagerare, milioni di variabili che influenzano il clima di un luogo, come si può sperare di sapere con precisione cosa farà tra 10 giorni? e poi, che gusto ci sarebbe senza quel rischio che si corre, che gusto ci sarebbe a seguire la meteo sapendo esattamente cosa farà tra 10 giorni :lolA:
comunque secondo me è un argomento molto interessante e che andrebbe fatto capire sia alla gente, sia ai frequentatori di forum meteo, troppe volte ho visto gente gongolarsi per previsioni a media durata, e troppe volte ho visto la stessa gente leccarsi le ferite in seguito (pure io ci son cascato qualche volta), è la meteo, a me piace così, con quell'insicurezza che ti accompagna anche nel nowcasting Confusedisi:
Instagram - 500px - LinkedIn
Le mie corse su Strava

«To see things thousands of miles away, things hidden behind walls and within rooms, things dangerous to come to, to draw closer, to see and be amazed. That’s Life.»

«Cos'è il genio? Fantasia, intuizione, colpo d'occhio e velocità d'azione.»
  Cita messaggio
#4
Matte92 Ha scritto:me l'ero perso questo thread, ma in sostanza viene riportata una cosa che secondo me è più che giusta, ovvero che previsioni a medio lungo termine sono decisamente inaffidabili, e oltre 7/8 giorni non ci si deve assolutamente spingere, specie in periodi in cui più variabili entrano in gioco.. ci sono, e non credo di esagerare, milioni di variabili che influenzano il clima di un luogo, come si può sperare di sapere con precisione cosa farà tra 10 giorni? e poi, che gusto ci sarebbe senza quel rischio che si corre, che gusto ci sarebbe a seguire la meteo sapendo esattamente cosa farà tra 10 giorni :lolA:
comunque secondo me è un argomento molto interessante e che andrebbe fatto capire sia alla gente, sia ai frequentatori di forum meteo, troppe volte ho visto gente gongolarsi per previsioni a media durata, e troppe volte ho visto la stessa gente leccarsi le ferite in seguito (pure io ci son cascato qualche volta), è la meteo, a me piace così, con quell'insicurezza che ti accompagna anche nel nowcasting Confusedisi:

Beh in realtà potremmo benissimo avere affidabilità modellistica alta anche per decine i giorni senza sapere esattamente che tempo aspettarci in un punto del globo. Infatti lo sviluppo di LAM affidabili è ancora più complicato.
C'è un confine sottile tra uno sbaglio e un colpo di genio; purtroppo dovresti essere un genio per vederlo.

Sheldon Cooper

L'Italia è ancora come la lasciai, ancora polvere sulle strade,
ancora truffe al forestiero, si presenti come vuole.
Onestà tedesca ovunque cercherai invano,
c'è vita e animazione qui, ma non ordine e disciplina;
ognuno pensa per sé, è vano, dell'altro diffida,
e i capi dello stato, pure loro, pensano solo per sé


Johann Wolfgang von Goethe
  Cita messaggio
#5
buongiorno popolo
non e' un tread ignorato, e' uno splendido spunto come sai fare quando ne hai voglia ma che diventa difficile intervenire per mancanza di conoscenze e per evitare di scrivere castronerie, terminati i complimenti cmq d'obbligo,
faccio un parallelismo anche se consapevole di rischiare la crocefissione da parte di chi e' + ferrato in materia..
fra il ns dna e quello dei primate c'e' un 1,2o 3 % di differenza .. differenza che alla fine dei giochi risulta fondamentale al risultato finale anche se apparentemente sembrerebbe un'inezia.. quel 2,3% di errore da parte dei modelli che ovviamente appare altrettanto un'inezia nei 3 gg resta un'errore fondamentale e cmq rilevante nel francobollo che vogliamo controllare.. un'azione per pur classica che sia non si ripete mai allo stesso modo in natura..
se vedo un'ingresso da ovest o da est che considero "conosciuto" non ha mai le stesse caratteristiche estatte di inizio, di trasmissione e di fine quindi quella nevicata che asserisco di conoscere o quellla piovuta autunnale o quel temporale che so percorrere quella direttrice a me consona..
non ha mai ripeto mai le stesse caratteristiche, quindi... ne deduco che io non so nulla o meglio mi posso avvicinare il + possibile a capire cio' che potra' succedere ma mai potro' avere la certezza che andra' esattamente come suppongo avverra'... e questo resta strepitoso oltre che. .disarmante !
  Cita messaggio
#6
non ho le conoscenze per poter intervenire
la mia pagina sul ciclismo, venite numerosi!

https://www.facebook.com/UnaVitaInSellaT...mo?fref=ts
  Cita messaggio
#7
Non avevo visto questa discussione
Mi sembra evidente che sarà impossibile arrivare ad una attendibilità anche del 70% a 5/7 giorni, visto che stiamo parlando di un sistema caotico, con una marea di dati che è impossibile mettere insieme. Inoltre tali sistemi sono affetti da inevitabili errori di dati, che più andiamo in avanti con l'arco di tempo previsionale, e più saranno grandi, non garantendo a tali modelli affidabilità nel lungo termine. Negli ultimi anni sono stati fatti comunque grossi passi in avanti, sopratutto sulle previsioni, o meglio, linee di tendenza a lungo termine, che ci consentono di dare una buona linea di tendenza anche di 15 giorni su larga scala. Sulla microscala, quindi sui LAM, la strada è ancora molto lunga, anche se si possono ottenere buone performance previsionali
Per quanto mi riguarda, è proprio l'incertezza che rende la meteorologia una scienza affascinante, con le tante delusioni e le poche sorprese che da questa incertezza derivano...
"La Sardegna. Questa terra non somiglia a nessun altro luogo"D.H. Lawrence

"QUI VIGE L'UGUAGLIANZA: NON CONTA UN CAZZO NESSUNO!" cit.

"Quando l'ingiustizia diventa legge, la resistenza diventa un dovere"
Bertolt Brecht
  Cita messaggio
#8
sardo doc Ha scritto:Mi sembra evidente che sarà impossibile arrivare ad una attendibilità anche del 70% a 5/7 giorni, visto che stiamo parlando di un sistema caotico, con una marea di dati che è impossibile mettere insieme.

Questo non è corretto, siamo già >= al 70% di affidabilità

[Immagine: xdCd2U7.jpg]

E i dati di input in realtà sono già moltissimi, non è un grande problema gestirli.
C'è un confine sottile tra uno sbaglio e un colpo di genio; purtroppo dovresti essere un genio per vederlo.

Sheldon Cooper

L'Italia è ancora come la lasciai, ancora polvere sulle strade,
ancora truffe al forestiero, si presenti come vuole.
Onestà tedesca ovunque cercherai invano,
c'è vita e animazione qui, ma non ordine e disciplina;
ognuno pensa per sé, è vano, dell'altro diffida,
e i capi dello stato, pure loro, pensano solo per sé


Johann Wolfgang von Goethe
  Cita messaggio
#9
mesociclone Ha scritto:Questo non è corretto, siamo già >= al 70% di affidabilità

[Immagine: xdCd2U7.jpg]

E i dati di input in realtà sono già moltissimi, non è un grande problema gestirli.

Se è relativo ad un emisfero ci può stare, ma sarei curioso di capire se siamo arrivati al 70% di affidabilità su scala Europea o Nord Americana per fare un esempio.
"La Sardegna. Questa terra non somiglia a nessun altro luogo"D.H. Lawrence

"QUI VIGE L'UGUAGLIANZA: NON CONTA UN CAZZO NESSUNO!" cit.

"Quando l'ingiustizia diventa legge, la resistenza diventa un dovere"
Bertolt Brecht
  Cita messaggio
#10
[Immagine: rnmn.nhsh.gif]
  Cita messaggio


Vai al forum:


Utenti che stanno guardando questa discussione: 1 Ospite(i)