Module E - Zusammenfassung der ersten MiKlip Phase

Die Hauptziele von Modul E sind die Quantifizierung und die Dokumentation von (systematischen) Fehler des MiKlip Modelsystems, die Validierung von dekadischen Vorhersagen, deren Abschätzung der Prognosefähigkeit sowie die Identifikation von vorhersagbaren Prozessen und Skalen in Raum und Zeit.

Um die Aktivitäten aller Projekte zu vereinheitlichen, organisierte die Modul E Koordination zusätzlich zu den regulären Modultreffen mehrere Workshops zur Vorhersageverifikation von dekadischen Prognosen. Des Weiteren wurden allgemeine Richtlinien für die Verifizierung von dekadischen Vorhersagen, welche die Biaskorrektur, räumlich und zeitliche Skalen, Referenzdaten sowie die zu verwendenden Scores, getroffen und im MiKlip Wiki erfasst. Um den Gebrauch dieser Richtlinien bei den Projekten zu fördern, war die Modul E Koordination an der Entwicklung von Komponenten des Evaluierungssystems (INTEGRATION, Modul D) beteiligt, welches eine Reihe von Standardevaluierungen gemäß dieser Richtlinien durchführt. Viele Projekte von Modul E und anderen MiKlip Modulen habe begonnen, diese Komponenten für ihre Analysen zu verwenden. Dadurch wurden die Verifikationen innerhalb von Module E und darüber hinaus modernisiert; die Strategien sind bei den MiKlip Projekten gut bekannt und durch vereinheitlichte Abbildungen kann deren Aussage leicht und effizient vermittelt werden. Insgesamt ist die Verifikation innerhalb von MiKlip transparent und reproduzierbar geworden und ein allgemeines Verständnis der Ergebnisse verschiedener Projekte wurde erzeugt. Ergebnisse von den einzelnen Projekten von Modul E und anderen MiKlip Modulen erscheinen in dem Special Issue der Meteorologische Zeitschrift (MetZ) mit dem Titel Verification and process oriented validation of the MiKlip decadal prediction system.
Im Weiteren gruppieren wir die Ergebnisse der unterschiedlichen Projekte so, dass verschiedene Aspekte desselben Prozesses oder ähnliche Prozesse kombiniert werden.

Großskalige Features

Extra-tropische Zyklonen wurden mit dem MiKlip Vorhersagesystem identifiziert und verfolgt (EnsDiVal). Probabilistische Prognosen für drei Kategorien von Zyklonenhäufigkeiten (unterhalb/normal/oberhalb) wurden für diverse Ensemble Hindcast Experimente abgeleitet und gegen die 20th Century Reanalyse, NCEP/NCAR Reanalyse I und den ECMWF Reanalysen (ERA40/ERA-Interim) verifiziert. Gebiete mit signifikant positiver Prognosefähigkeit hinsichtlich der klimatologischen Vorhersage und dem nicht initialisierten, historischen Lauf variieren in Abhängigkeit des betrachteten Modelsetups, siehe Abb. 1. Dennoch stellt sich heraus, dass Hindcasts mit einer full-field Initialisierung denen mit einer Anomalie-Initialisierung für alle Vorlaufzeiten überlegen sind. Des Weiteren weist das MPI-ESM-LR (wie alle allgemeinen Zirkulationsmodelle mit vergleichbarer Auflösung) einen räumlichen Bias in den Zugbahnen nordhemisphärischer Sturmereignisse (zu zonal über dem Nordatlantik, nordwärts Verlagerung über dem Nordpazifik) auf.

Module E Zusammenfassung - Abb. 1
Abb. 1: Vorhersagegüte (RPSS) für baseline0-LR- (links), baseline1-LR- (Mitte) und prototype-system (rechts, drei Ensemblemitglieder) gegen den uninitialisierten Lauf (historical-experiment 1961-2005, weitergeführt durch RCP4.5-experiment 2006-2010) hinsichtlich der Häufigkeit von intensiven (∆SLP ≥ 75th perc.) extra-tropischen Zyklonen, gemittelt über die erweiterte Wintersaison (ONDJFM) für die Vorhersagejahre 2/3-5/6, berechnet über 41 Hindcasts, initialisiert am 1. Januar 1961-2001 mit der 20th Century Reanalyse (Compo et al. 2011) als Beobachtungsreferenz.

Dies kann mit der erhöhten Häufigkeit von zonalen Zirkulationsmustern in den mittleren Breiten (VADY) und weniger stark ausgeprägten Erhebungen in den meridional modes des MPI-ESM in Verbindung gebracht werden. Es wurde herausgefunden, dass die planetarische Wellenaktivität beschrieben durch den großskaligen dynamischen Aktivitätsindex (LDAI) in den meisten Fällen von dem dekadischen Vorhersagesystem unterrepräsentiert werden. Es existieren charakteristische Unterschiede in der Wiedergabe des LDAI abhängig von der Höhe und der Hemisphäre: trophische, großskalige Dynamiken werden besser reproduziert als die stratosphärischen. Die dynamische Situation wird in Stratosphäre im Sommer besser getroffen als im Winter.

Module E Zusammenfassung - Abb. 2
Abb. 2: MSESS für baseline1 (b1, oben), prototype mit ORA-S4 (pS, mittig) und GECCO 2 (pG, unten) vs. baseline0 (b0). Ergebnisse sind für zwei Indizes der Nordhemisphäre, der Nordatlantischen Oszillation (NAO) und dem Pacific/North American Pattern (PNA) sowie für zwei Indizes der Südhemisphäre, dem Southern Oscillation Index (SOI) und dem Southern Annular Mode (SAM) für verschiedene Jahres- und Vorlaufzeiten dargestellt.

Die Repräsentation von Telekonnektionen ist im Allgemeinen für alle Setups niedrig (baseline0, baseline1, prototype) mit Ausnahme von der Vorlaufzeit von Jahr 1. Abb. 2 zeigt den MSESS für zwei Indizes der Nordhemisphäre, die Nordatlantischen Oszillation (NAO) und dem Pacific/North American Pattern (PNA); und zwei Indizes der Südhemisphäre, dem Southern Oscillation Index (SOI) und dem Southern Annual Mode (SAM) für verschiedene Jahres- und Vorlaufzeiten. Eindeutige Verbesserungen von baseline0 (3) zu baseline1 (10) und zu prototype(15) können auf die erhöhte Ensemblegröße zurückgeführt werden. Eine erwartete Verlagerung hinzu stärker negativen Werten der Winter-NAO während Warmphasen der Atlantischen Multidekadischen Variabilität (AMV) kann in einer Sensitivitätsstudie mit der atmosphärischen Komponente des MPI-ESM und einer vorgeschriebenen Meeresoberflächentemperatur (SST), welche der Warm-und Kaltphasen der AMV ähnelt, wiedergegeben werden. Die Wirkung dieser zwei Phasen auf den zugehörigen Westafrikanischen Monsun (WAM) kann ebenfalls reproduziert werden sowie das intensivierte Sahara Hitzetief (SHL), die nordwärts Verlagerung der innertropischen Konvergenzzone (ITCZ) und die erweiterte African Easterly Wave (AEW) Aktivität während einer Warmphase. Zusätzlich zu diesen Sensitivitätsstudien analysierte VESPA die Repräsentation von großskaligen Monsunsystemen in den Hindcasts für verschiedene Initialisierungen und vertikalen Auflösungen. Es stellte sich heraus, dass der Effekt von verschiedenen Initialisierungen nur während der ersten zwei Integrationsjahre sichtbar ist und dass ein realitätsnäherer mittlerer Zustand des Monsunsystems mit der MR Auflösung erzielt werden kann. Eine Korrelation zwischen Hindcasts und Beobachtungen wurde für verschiedene SST Indizes gefunden und verbessert sich von baseline0-LR zu baseline1-LR/MR. In den Monsungebieten von Südostasien sowie in den humideren Klimazonen der Nordhemisphäre kann ein positiver Vorhersagbarkeit in den Hindcast Experimenten hinsichtlich der Klimatologie nachgewiesen werden (GeoClim). Der Prognosefertigkeit erhöht sich stetig von baseline0-LR zu baseline1-LR, und von baseline1-LR zu baseline1-MR. Für eine Vorlaufzeit von 2 Jahren und mehr wurde eine verminderte Fähigkeit zur Vorhersage gefunden.

Vertikalprofile und Querschnitte

Ein Vergleich von qualitätskontrollierten und homogenisierten Radiosonden Beobachtungen zu Modellergebnissen geben Aufschluss über die Charakteristiken von Temperatur- und Feuchtigkeitsvertikalprofilen (MOSQUITO). Zeitreihen der stratosphärischen Temperaturen zeigen, dass der abnehmende Trend in baseline0-LR und baseline1-LR erfasst wird, wobei interannuale Variationen ein wenig besser in baseline1 reproduziert werden können. Die Abkühlungen nach großen vulkanischen Ereignissen kann jedoch schlecht wiedergeben werden, obwohl vulkanische Aerosole nach dem CMIP5 Protokoll vorgeschrieben sind. Die Korrelation von Hindcasts hinsichtlich der Radiosonden Daten erhöht sich sobald die homogenisierten Zeitreihen verwendet werden. Dies ist im Einklang mit dem Ergebnis, dass die vertikalen Temperaturprofile abgeleitet von Radio-Okkultationen (GeoClim) eine positive Prognosefähigkeit in Bezug auf die klimatologische Vorhersage ergeben. Die Vorhersagegüte verbessert sich von baseline0-LR zu baseline1-LR sogar noch mehr als von baseline 0-LR zu baseline 1-MR. VeCAP analysierte verschieden Variablen an der Oberfläche, höhere Atmosphärenschichten und Tiefseefelder sowie Querschnitte von zonalen Mittelwerten. In Abb. 3 ist ein Maß der Vertrauenswürdigkeit (vertrauenswürdige, potentiell nützliche und nicht vertrauenswürdige Vorhersagen) und die Genauigkeit (MSESS) für die jährlich gemittelte geopotentielle Höhe (von 1979 bis 2012) mit ERA-Interim als Referenz im Querschnitt dargestellt. In den subtropischen Regionen sind die Vorhersagen vertrauenswürdig/potentiell nützlich und zeigen ebenfalls einen hohen MSESS Wert. Die fehlende Vorhersagefähigkeit in den Tropen kann auf die Entwicklung von großskalige Strukturen in baseline1-LR und –MR zurückgeführt werden. Dies kann auch durch die Anwendung des Continuous Ranked Probability Skill Score (CRPSS) bestätigt werden. Für höhere Level und längere Vorlaufzeiten ist der Gewinn der Vorhersagbarkeit in den tropischen Regionen durch eine höhere Modellauflösung (MR im Vergleich zu LR) unter Bootstrapping jedoch nicht robust.

Module E Zusammenfassung - Abb. 3
Abb. 3: Der Mean Square Error Skill Score (MSESS) als Maß für die Genauigkeit (Konturen) und 3 Kategorien der Vertrauenswürdigkeit (Tönung) für ein jährliches und zonales Mittel der geostrophischen Höhe für Baseline1-LR gegen eine Reanalyse (ERA-Interim, 1979-2012) für die Vorlaufjahre 2-5. Für den MSESS ist die Klimatologie als Referenz verwendet worden. Die 3 verschiedenen Kategorien der Vertrauenswürdigkeit wurden basierend auf den Vertrauenswürdigkeitsdiagrammen für die Überschreitung des beobachteten Median berechnet. Die Überschneidung von teilweise vertrauenswürdigen Regionen mit einem negativen MSESS kann auf die Konturinterpolation zurückgeführt werden.

Wolken und Niederschlag

VESPA untersuchte den Link zwischen dem Westafrikanischen Monsun (WAM) und dem SST Muster in den Hindcast Experimenten basierend auf den SST Indizes und dem standardisierten Niederschlagsindex (SPI) für Regionen, die durch den WAM dominiert werden. Während prinzipiell der Link zu Niño3.4 bestätigt werden kann, kann der Link zu anderen SST Mustern sowohl in baseline0-LR als auch in baseline1-LR nicht identifiziert werden. Die fehlende Repräsentation der WAM könnte auf zwei Phänomene zurückzuführen sein: i) die AEW Aktivität wird stark überschätzt, was im Einklang mit den Ergebnissen von VeCAP und VADY steht – und ii) die ITCZ ist während der Monsunperioden zu weit südlich. VeCAP zeigte eine potentielle Vorhersagbarkeit der Wolkenbedeckung, abgeleitet von Satellitenmessungen der Wolkenparameter, über dem Osten des Nordatlantiks für baseline1-LR. Eine ähnliche potentielle Vorhersagbarkeit erscheint für den Tropical Warm Pool in baseline0-LR, welcher auf die Mängel der zugehörigen Initialisierungsstrategien zurückzuführen ist.

Extremereignisse

Für verschiedene extreme Wetterphänomene wurde ein probabilistisches Modell basierend auf Beobachtungen entwickelt, welches die Auftrittswahrscheinlichkeit in Abhängigkeit von relevanten Prädiktoren, wie z.B. die vertikale Windscherung oder die Convective Available Potential Energy (CAPE), beschreibt (STEPCLIM). Eine Anwendung des Modells auf ERA-Interim und die Hindcasts baseline1-LR und baseline1-MR ergibt eine Überschätzung der extremen Wetterereignisse in den Hindcasts verglichen zu ERA-Interim. Das könnte auf einen steileren Temperaturgradienten und eine erhöhte Feuchtigkeit in der unteren Troposphäre, und dementsprechend auf ein höheres CAPE in baseline1-LR und MR, zurückzuführen sein. Letzteres stimmt mit den Ergebnissen von MOSQUITO überein, die besagen, dass ein positiver Bias der Luftfeuchtigkeit in der Troposphäre sowie erhöhte Extremwetterindizes auftreten. Des Weiteren konnte STEPCLIM mit dem probabilistischen Model detektieren, dass mehr Hagel über orographisch erhöhtem Gebiet, z.B. der Türkei und Spanien, in den baseline1 Hindcasts auftritt als in ERA-Interim, welches lokale Minima in diesen Gegenden aufweist. Unter der Verwendung des Dynamischen Zustandsindexes (DSI) lokalisierte VESPA insbesondere über Europa zu geringe dynamische Instabilitäten in den initialisierten und nicht initialisierten Läufen im Vergleich zu ERA-Interim. Dennoch lässt sich eine stetige Verbesserung von baseline0 zu prototype für jede Vorlaufzeit erkennen. Weiterhin zeigt sich, dass die Niederschlagsmenge hinsichtlich ERA-Interim überschätzt wird, wobei prototype dabei alle anderen Modelsetups übertrifft. Der DSI ist ein Indikator für nicht-balancierte Prozesse und somit auch für Niederschlag. Demzufolge besteht ein Widerspruch zwischen dem überschätzten Niederschlag und dem unterschätzten DSI. Eine mögliche Erklärung könnte in der Parametrisierungsmethode zu finden sein. Basierend auf einem Satz von erweiterten Hindcasts (unten beschrieben) konnte DroughtClip den beobachteten Trend in von Dürre betroffenen Gebieten von den United States reproduzieren. Wichtige Anomalien, wie z.B. die „Dust-Bowl“ in den 1930iger Jahren konnte jedoch nicht erfasst werden.

Ozean

Ein Vergleich des dekadischen Vorhersagesystems mit den hochaufgelösten Ozeanreanalysen MIMOC wurde von OceanObs durchgeführt. Die Temperatur und der Salzgehalt der globalen Mischungsschicht werden von den verschiedenen Modelsetups relativ gut getroffen, eine Ausnahme stellt dabei jedoch der Nordatlantik da, wo die Charakteristiken des Nordatlantischen Strom und die Tiefe der nordatlantischen Mischungsschicht nicht gut reproduziert werden.

Meereis

Für die arktische Meereisausdehnung im Sommer kann gezeigt werden, dass der langzeitliche Trend sowie der saisonale Zyklus vom MPI-ESM gut wiedergegeben werden kann (ClimVal). Mängel sind am markantesten in der Antarktis, wo ein signifikant negativer Bias hinsichtlich der Clim-Val Meereseisdaten existiert. Dies konnte für alle Modelentwicklungsphasen, Auflösungen und Initialisierungsstrategien nachgewiesen werden.

Erweiterte Hindcasts und Sensibilitätsstudien

Zum ersten Mal wurden von DroughtClip Hindcastexperimente rückdatiert bis zum Jahr 1901 durchgeführt. Drei Assimilationsläufe basierend auf dem rekonstruierten Ozeanzustand aus dem MPIOM wurden aufgesetzt. Sie bilden die Grundlage für drei Hindcasts, welche durch jährliche Initialisierungen von 1900 bis 2009 komplettiert wurden. Die nordatlantische SST Vorhersagen für die Vorlaufzeit von 2 bis 5 Jahren dieser Hindcasts übertreffen die Fähigkeit des nicht initialisierten Laufes, die höheren Temperaturen in den 1930igern und 1940igern sowie die Kaltphase während den 1970igern zu reproduzieren (siehe Abb. 4). Diese stärkere Übereinstimmung wird durch eine höhere Korrelation der initialisierten Vorhersagen in den trendbereinigten Zeitreihen begleitet. Ein Vergleich zwischen den erweiterten Hindcasts und einem Teil der Zeitreihe von 1960 bis 2010 zeigt einen Anstieg in der Korrelation der Oberflächentemperatur für die erweiterte Periode. Dies wird vor allem im Nordatlantik deutlich, wo multi-dekadische Variabilitäten eine große Rolle spielen. Die trendbereinigten Zeitreihen zeigen höhere Korrelationen für die erweiterte Periode im Vergleich zu der kürzeren. Eine Sensitivitätsstudie zu den Kalt- und Warmphasen der AMV wurde von VESPA aufgestellt, bei der die AMV kalten/warmen Anomalien abgeleitet von den HadISST auf die monatliche Modelklimatologie überlagert wurde. Dieser SST Datensatz wurde für den Antrieb der atmosphärischen Komponente des MiKlip Vorhersagesystems verwendet.

Module E Zusammenfassung - Abb. 4
Abb. 4: Vier-Jahres Mittel für NA-SST (80◦ W-10◦ W, 20◦ N-60◦ N), gezeigt sind die Ensemblemittel der 20C Reanalyse (schwarz), des Assimilationslaufes (blau), der uninitialierten Läufe (grün) und der zurückblickenden Vorhersagen (Jahre 2-5; rot).

Bias- und Driftkorrektur, Ensemblegröße

DroughtClip verglich die vorlaufzeitabhängige Biaskorrektur (Driftkorrektur) mit der Quantile Mapping Strategie (QM) für Niederschlag. Dieser Ansatz führt für monatlichen Niederschlag zu einem beträchtlichen Anstieg in der Vorhersagbarkeit und zu einer reduzierten saisonalen Abhängigkeit. Des Weiteren ergibt die Methode eine ähnliche Prognosefertigkeit für baseline0 und baseline1, obwohl dieser vor dem QM für baseline0 niedriger war. Daher führt ein relativ einfaches Nachbearbeiten zu einem ähnlichen Anstieg der Vorhersagbarkeit von Niederschlag wie der Schritt von baseline0 zu baseline1. EnsDiVal erweiterte die Driftkorrektur durch eine Abhängigkeit zur gesamten Zeitperiode, um den Einfluss des Klimatrends auf die vorlaufzeitabhängige Biaskorrektur zu erfassen. Aus diesem Ansatz resultieren signifikante Verbesserungen der Vorhersagbarkeit der Zyklonendichte. Außerdem wurde eine modifizierte Version des Ranked Probability Skill Score (RPSS) Schätzers angewandt, welcher den Bias berücksichtigt, der durch die unterschiedlichen Ensemblegrößen innerhalb der baseline0-LR Läufe und zwischen baseline0-LR und baseline1-LR auftritt. Um sich mit der Unsicherheit in der Vorhersage durch unterschiedliche Ensemblegrößen zu beschäftigen, stellte DroughtClip ein konzeptionelles Modell auf. Dieses Modell wird verwendet, um für eine gegebene Länge der Hindcastperiode zu ermitteln, welche Ensemblegröße benötigt wird, um eine kleine Vorhersagegüte von Null innerhalb des Rahmens von statistischen Hypothesentests zu unterscheiden. Kleine Ensemblegrößen verhindern die Aufdeckung von vorhandener Prognosefähigkeit. Demnach ist es komplizierter signifikante Verbesserungen des modifizierten Vorhersagesystems zu demonstrieren, wenn nur wenige Hindcasts dieses Systems verfügbar sind. Es ist daher selbstverständlich, dass höher aufgelöste Vorhersagesysteme, die nur einige Ensemblemitglieder erlauben, von begrenztem Nutzen sind, da es extrem schwierig ist deren Mehrwert zu demonstrieren.

Software für das Validierungssystem, Beiträge zum Modellcode

Der COSP Satellitensimulator mit der neu entwickelten Einsatzmöglichkeit für TRMM und IASI wurde für das MiKlip System implementiert und getestet. Mehrere Softwaretools für den Umgang und der Analyse von Ergebnisdaten wurden entwickelt (VeCAP). Ein Test mit dem TRMM Simulator deutet darauf hin, dass die meisten Strukturen des Niederschlagssignales erfasst werden können. Mehrere Projekte haben mit verschiedenen Plug-Ins einem Beitrag zum Evaluierungssystem geleistet: EnsDiVal implementierte zwei Plug-Ins für die Identifikation und Verfolgung von Zyklonen und Windextremen, VADY beteiligte sich mit einem Ansatz zur Identifikation von dynamischen Systemen, Berechnung von Zirkulationsmustern und Telekonnektionsinizes sowie mit einem Algorithmus für die Berechnung von planetare – und Schwerewellenaktivitäten, VESPA entwickelte ein Plug-In für die prozessorientierte Evaluierung des Westafrikanischen Monsuns, für niederschlagsbezogene ETCCDI Indizes, für den SPI und ein Plug-In für den DSI, VeCAP bietet ein Paket für die Berechnung von verschiedenen Scores des Ensemblevorhersagesystems an und ClimVal beteiligte sich mit der Zusammenstellung von diversen vorkonfigurierten Darstellungsroutinen.

More on Module ENews-Icon

This description summaries the achievements of Module E during the first phase. Module E continues in MiKlip II, read more here.