[column] Weer of geen weer

[Kappetijn]

Mijn ouders waren fanatieke kampeerders. Zij waren natuurliefhebbers en hadden te weinig geld om met het gezin in vakantiehuisjes, laat staan hotels te logeren. Wij, de kinderen, vonden het prima want wij vermaakten ons uitstekend in de vrije natuur. Het weer was natuurlijk wel eens een dingetje. De weersvoorspellingen waren in het pre-supercomputer- en pre-satelliettijdperk minder precies dan tegenwoordig en mijn ouders leefden het motto: Weer of geen weer, kampeer! Als wij weer eens onverwacht waren getroffen door een hoosbui en stonden te soppen in onze sandalen, dachten wij wel eens: ‘Weer of geen weer, crepeer!’

Ook voor niet-recreanten zoals boeren, vissers en bouwers is een accurate weersvoorspelling wel handig. Wereldwijd wordt daaraan ontzettend veel tijd, geld en denkkracht besteed. Voor wetenschappers is het verbeteren van de weersvoorspelling een flinke kluif. In hun gereedschapskist liggen simpelweg gezegd twee instrumenten: de oude vertrouwde numerical weather prediction (NWP) en de jeugdige kunstmatige intelligentie toegepast in de vorm van machine learning (ML), neural network (NN) en deep learning (DL).

Tot nog niet zo lang geleden was numerical weather prediction (NWP) de enige methode. Bij NWP maken de meteorologen gebruik van berekeningen op basis van de wiskundige vergelijkingen die de natuurkundige processen in de atmosfeer beschrijven. De rekenmodellen worden gevoed met enorme hoeveelheden actuele informatie afkomstig van weerstations op land, ter zee, in de lucht (ballonnen, vliegtuigen, radar) en in de ruimte (satellieten). Als leek zou je denken: dat is dan kat-in-bakkie. Je kiepert de data in het model, je rekent met het model en zie daar, het model levert de uitkomst ofwel de weersvoorspelling. Helaas werkt het niet zo. Er zijn namelijk enkele heel vervelende complicaties. Het eerste is – zoals een bekend spreekwoord zegt - dat ‘niets veranderlijker is dan het weer’. Het weer is zeker geen deterministisch proces dat met een goede startsituatie en goede invoer een goede voorspelling oplevert. Het vaststellen van de goede startsituatie is een helse klus omdat de resultaten van de miljoenen metingen over de hele wereld eerst geschikt moeten worden gemaakt voor NWP. Dat houdt in gelijkvormig maken (data assimilatie), projecteren op een discreet netwerk (vaste punten in ruimte en tijd), interpoleren in tijd en consistent maken voor toestandsvariabelen zoals temperatuur, luchtdruk en wind. Een heel gedoe dus om de invoergegevens fatsoenlijk beschikbaar te krijgen voor het doorrekenen van het model.

Dat brengt ons bij de tweede complicatie. De processen in de atmosfeer worden beschreven door de Navier-Stokes vergelijkingen. Dat zijn (partiële differentiaal-)vergelijkingen die de stromingen van gassen en vloeistoffen beschrijven. Dit type niet-lineaire vergelijkingen heeft als kenmerk dat de uitkomsten van berekeningen erg gevoelig zijn voor de startsituatie. Dat betekent dat een kleine fout aan het begin, kan leiden tot grote verschillen aan het einde van de berekening voor de uiteindelijke weersvoorspelling.
Daar komt nog bij dat er tot op heden geen exacte oplossing van de Navier-Stokes vergelijkingen bestaat. Dit netelige probleem behoort dan ook tot de zeven millennium problems. Het Clay Mathematics Intistute keert een beloning van een miljoen dollar uit aan degene die met de oplossing komt. Het is niet voor niks dat het Nobel-comité turbulentie met de daarbij behorende Navier-Stokes vergelijkingen het laatste onopgeloste klassieke probleem uit de natuurkunde noemt.

Voor het voorspellen van het weer maken de meteorologen noodgedwongen gebruik van aannames voor het opstellen van versimpelde versies van de Navier-Stokes vergelijkingen. Voor het oplossen van deze behapbare vergelijkingen kan men algoritmen opstellen. Het werken met deze numerieke algoritmen vergt nog steeds gigantisch veel rekenkracht van supersnelle computers.

Het voorspellend vermogen van NWP wordt vooral verbeterd door de al genoemde betere invoer met consistentere meetpunten in ruimte en tijd. Dat helpt, maar zal geen echte doorbraak veroorzaken. Misschien moet de oplossing komen van de moderne toverdoos, de hedendaagse Haarlemmer olie voor praktisch ieder probleem ofwel de populaire heilige graal van de kunstmatige intelligentie! Hiermee betreden wij het terrein van machine learning voor het modelleren van weer en klimaat. Machine learning met gebruik van neurale netwerken bestaat al sinds de jaren vijftig. De echte doorbraak kwam na de komst van parallelle informatieverwerking met grote rekencapaciteit, convolutionele neurale netwerken die hersennetwerken simuleren en ook wel ‘biologisch geïnspireerd’ worden genoemd en de beschikbaarheid via het internet van grote dataverzamelingen die als referentiekader (benchmark) kunnen dienen. De hedendaagse neurale netwerken hebben soms meer dan tien lagen. Dit onderzoeksveld heet deep learning (DL).

De eerste pogingen om met DL weervoorspellingen te doen, laten zien dat er wel potentie is, maar dat er nog een lange weg te gaan is. In het tijdschrift Philosophical Transactions of the Royal Society A stond vorig jaar het boeiende artikel ‘Can deep learning beat numerical weather prediction?’ dat een goed overzicht geeft van de stand van zaken. Wat mij het meeste opviel is dat de auteurs een zekere voorkeur uitspreken voor de combinatie van NWP en DL. Het blijkt namelijk dat je bij de aanpak met kunstmatige intelligentie (KI) betere resultaten behaalt als je vooraf kennis in het model stopt. Dat is niet helemaal des KI’s. Bij KI gaat men er over het algemeen vanuit dat met het gebruik van neurale netwerken met veel lagen en heel veel data als invoer, er automatisch zinvolle statistische correlaties opborrelen. Die correlaties veronderstellen onderliggende wetmatigheden die kunnen worden gebruikt voor extrapolaties, dus voorspellingen. KI met DL werkt inmiddels voor relatief eenvoudige probleemstellingen zoals gezichtsherkenning, spraakherkenning en videomanipulatie, maar nog niet voor het temmen van veelkoppige monsters met onvoorspelbaar gedrag zoals het weer.

Daarom werkt men nu aan combinaties van NWP en DL, waarbij men aan het DL-algoritme voorwaarden stelt die zijn gebaseerd op kennis van de natuurkundige wetmatigheden die het weer bepalen. Zo worden maxima aan bepaalde waarden gekoppeld om onrealistische uitkomsten te voorkomen en worden statistische gegevens van NWP in DL gestopt om bijvoorbeeld hiaten in de gegevensverzameling op te vullen. Ik vind dit interessant omdat het een goed voorbeeld is van hoe de combinatie van fijnzinnige natuurwetenschappelijk kennis (de Navier-Stokes vergelijkingen) en het brute geweld van het duo big data & artificial intelligence elkaar kunnen versterken bij het oplossen van uitermate complexe problemen zoals weervoorspelling waar we te maken hebben met een grootschalig extreem stochastisch verschijnsel. Het lijkt erop dat KI niet intelligent genoeg is voor weersvoorspelling. Daarom moet men, om tot acceptabele resultaten te komen, kunstmatig intelligentie aan KI toevoegen in de vorm van natuurwetenschappelijke kennis van het weer.

Het gaat nog wel even duren voordat weersvoorspellingen aanzienlijk zullen verbeteren. Zeker als het gaat om voorspellingen op korte afstand en termijn. De klimaatverandering en het daardoor lokaal extremer worden van het weer, helpt ook niet echt. Het is zeker dat recreatieve kampeerders en professionele voorspellers nog vaak door het weer zullen worden verrast. Droog kamperen zit er voorlopig niet in.

[Xilvo]

Interessante ontwikkeling.

Ik zie wel een paar problemen.
1. Om KI te trainen heb je veel, heel veel, data nodig. We hebben maar van enkele tientallen decennia betrouwbare globale weergegevens om die KI te trainen. Dat is veel te weinig. Dat zal ook een reden zijn dat er "kunstmatig intelligentie aan KI" moet worden toegevoegd.

2. De huidige weerpluimen, verwachtingen gebaseerd op doorrekenen van iets verstoorde beginwaardes, onderstrepen dat het weer een chaotisch systeem is.
Als een zekere weerssituatie (vastgelegd in een beperkt aantal meetwaarden) eenvoudigweg niet voldoende informatie bevat of als die weerssituatie te makkelijk verstoord kan worden om een betrouwbare verwachting voor een termijn langer dan een paar weken te doen, dan kan KI daar ook niet veel mee.

[Kappetijn]

Beide gesignaleerde problemen zijn juist en geven aan hoe ingewikkeld weersvoorspelling is en voorlopig nog wel zo zal blijven.

[wnvl1]

Waar ze blijkbaar veel problemen met hebben bij het oplossen van Navier Stokes is dat de snelheid in hoeken en zo vaak naar oneindig divergeert. Als ik het juist begrijp dan win je de prijs als je kan aantonen of oplossingen ja dan nee bestaan zonder dat je het daarom expliciet moet kunnen oplossen.