ICON-EU Prognosedaten - Pilz4You_1

Neben den Beobachtungsdaten des Pilzwachstums stellen meteorologische Daten die zweite Säule der im Projekt benötigten Daten dar. Deshalb bestand eine wichtige Aufgabe darin, für die Zwecke des Projektes relevante Daten zu identifizieren. Über das Datenportal mCLOUD stellt das BMVI Mobilitäts-, Geo- und Wetterdaten zur Verfügung. Dieses für jedermann frei zugängliche Portal ist der zentrale Zugangspunkt für einen schnellen, unkomplizierten und kostenlosen Zugriff auf Daten aus unterschiedlichsten Bereichen. Von GEPS durchgeführte Recherchen in der Rubrik „Klima und Wetter" lieferten einen ersten Überblick über die vom DWD an Klimastationen gemessenen oder auf Rasterebene bereitgestellten Daten und deren zeitliche Auflösung (Stunden- und Tageswerte, Monats- und Jahressummen, Mittelwerte, Gebietsmittel etc.).

Da das Fernziel des Projektes die Erstellung eines operationell arbeitenden Systems mit Prognosefähigkeit ist, liegt die Verwendung meteorologischer Prognosedaten nahe. Allerdings gestaltete sich die Suche nach entsprechenden, für das Projekt geeigneten Daten schwierig, da neben der räumlichen und zeitlichen Auflösung auch ein hinreichend langer Prognosehorizont (also die Anzahl der in die Zukunft reichenden Prognosewerte) den Ansprüchen des Projektes Pilz4You gerecht werden muss.

Der DWD betreibt verschiedene Wettervorhersagemodelle: ICON als globales Modell, ICON-EU-Nest (nachfolgend kurz ICON-EU genannt) als ein im Vergleich dazu höher aufgelöster europabezogener Ausschnitt von ICON sowie COSMO-DE, das sich auf Deutschland und Umgebung beschränkt und noch feiner aufgelöst ist. Im Hinblick auf die oben definierten Anforderungen und das Ziel, das Projekt später auf ganz Deutschland zu erweitern, kam nur das Regionalmodell ICON-EU in Frage, das eine hinreichend gute räumliche Auflösung bei einer (für eine spätere operationelle Verarbeitung) überschaubaren Datenmenge für ganz Europa bietet.

ICON-EU wurde am 21.07.2015 vom DWD operationell in Betrieb genommen. Die horizontale Auflösung beträgt 0.0625° (~ 7 km). Prognosen bis 120 Stunden in die Zukunft werden aus den vier Modellläufen um 00, 06, 12, und 18 UTC bereitgestellt, bis zu 30 Stunden aus den Modellläufen um 03, 09, 15 und 21 UTC. Für den Vorhersagezeitraum bis 78 Stunden sind einstündige, von 81 Stunden bis 120 Stunden dreistündige Zeitschritte verfügbar.

Operationelle Prognosedaten
Um die täglich bereitgestellten, aktuellen ICON-EU Daten im operationellen Modus herunterzuladen, zu verarbeiten und zu archivieren, wurden von GEPS drei Programme erstellt. Mit einem der Programme werden die aktuell verfügbaren, neuesten ICON-EU Daten vom FTP-Server des DWD heruntergeladen. Um möglichen Zugriffsproblemen vorzubeugen, erfolgt dieser Download jeweils für die Daten des aktuellen Tages und des Vortages (die operationellen ICON-EU Dateien liegen nur für die zurückliegenden 24 Stunden vor und werden auf dem Server zyklisch gelöscht). Bei den ICON-EU Daten handelt es sich um Daten, die auf einem 1097 x 657 Raster für ganz Europa bereitgestellt werden. Heruntergeladen werden Daten für insgesamt 15 Parameter-Niveau Kombinationen (7 „single-level fields": CLCT, RELHUM_2M,T_2M, TMAX_2M, TMIN_2M, TOT_PREC, VMAX_10M und 2 soil-specific „multi-level fields": T_SO, W_SO), 4 Modellläufe (00,06,12,18) und jeweils 120 Prognosehorizonte (5 Tage).

Die (doppelt gepackten und im Format BZ2 und GRIB2 vorliegenden) Rohdaten werden anschließend mit einem weiteren Programm weiterverarbeitet, für ein 65 x 41-Raster (Region Brandenburg) ausgeschnitten und in einer Verzeichnisstruktur auf Tagesbasis in Dateien mit schnellem Zugriff (sogn. DAF-Dateien - direct access files) archiviert. Die Gesamtzahl aller pro Tag heruntergeladenen ICON-EU Dateien beträgt 3348, ihr Datenvolumen ca. 5.2 GB.

Historische Prognosedaten
Wegen des komplexen Verhaltens des Pilzwachstums werden für das Projekt Daten eines möglichst langen Zeitraums (mehrere Jahre) benötigt. Um den Umfang der seit Februar 2019 operationell verfügbaren Prognosedaten zu erhöhen, wurde von GEPS erhebliche Arbeitszeit in die Beschaffung „historischer" (also operationell nicht mehr verfügbarer) ICON-EU Daten gesteckt. Der Abruf dieser Daten erfolgt über das Internet-Portal PAMORE, mit dem ICON-EU Daten aus der Vergangenheit (mindestens 48 Stunden alt) aus einer Datenbank des DWD ausgelesen werden können.

Leider sind die PAMORE-Datenabrufe nicht automatisierbar, da sie unter Verwendung verschiedener Optionen einer eigenen, umfangreichen Skriptsprache (einige Hundert Befehle) für jeden Tag und jeden Modelllauf händisch in eine entsprechende Browser-basierte Maske einzutragen und abzuschicken sind. Für jede Datenanforderung erhält man mit einiger Verzögerung (im besten Fall einige Stunden, üblicherweise aber mehrere Tage) normalerweise eine Email, in der das Verzeichnis auf einem FTP-Server des DWD mitgeteilt wird, von dem die Daten dann heruntergeladen werden können. Erhöht man die manuellen Datenanfragen allerdings über ein gewisses Maß hinaus, kann das Procedere gänzlich anders aussehen. Dies erforderte ständige Anpassungen der verwendeten Programme, worauf hier aber nicht weiter eingegangen werden soll.

Für jeden Tag des Zeitbereichs 21.07.2015-30.01.2019 wurden ICON-EU Daten für 7 single-level fields (CLCT, RELHUM_2M, T_2M, TMAX_2M, TMIN_2M, TOT_PREC und VMAX_10M) angefordert und anschließend heruntergeladen und verarbeitet. Auf den Abruf der multi-level fields T_SO und W_SO wurde verzichtet, da für jedes einzelne Level dieser Felder ein eigener PAMORE-Abruf notwendig gewesen wäre, was für Daten mehrerer Jahre einen unverhältnismäßig hohen Zeitaufwand bedeutet hätte. Bei den Rohdaten handelt es sich um insgesamt 121 Dateien pro Tag (Datenumfang ca. 1033 MB) mit Prognosedaten für die Prognosehorizonte 000-078 im 1h-Takt und die Horizonte 081-120 im 3h-Takt.

Um den Download- und Verarbeitungsprozess der historischen ICON-EU Dateien trotz aller Probleme möglichst effektiv zu gestalten, wurden von GEPS verschiedene Programme erstellt und getestet. Die historischen ICON-EU Dateien unterscheiden sich hinsichtlich folgender Aspekte grundlegend von denen der operationell beschafften Dateien: Anderes Packformat (gzip statt bzip2), 1377 x 657 statt 1097 x 657 Rasterzellen für das europaweite Raster, keine getrennten Dateien für jeden Parameter (pro Tag und Prognosehorizont liegt jeweils eine Datei mit Werten für alle 7 Parameter vor), auch für die grundsätzlich nicht belegten Prognosehorizonte werden (leere) Dateien bereitgestellt, die Reihenfolge der 7 Parameter in den Dateien ist nicht fest, sondern kann sich von Abruf zu Abruf ändern, was kompliziertere und zeitaufwändigere Auslesemethoden zur Folge hat. Aus all diesen Gründen waren für die operationellen und die historischen ICON-EU Daten jeweils getrennte Download- und Verarbeitungsprogramme zu erstellen.

Als Fazit ist festzuhalten, dass das Portal PAMORE auf Grund der manuellen Arbeitsschritte für die Beschaffung umfangreicher Datenbestände ungeeignet ist. Im Rahmen einer 12-monatigen Machbarkeitsstudie ist es so gut wie unmöglich, in akzeptablen Zeiten eine Datenbasis mit ICON-EU Prognosedaten aufzubauen, die den Zielen des Projektes genügt. Deshalb wurde der Datenumfang der mit PAMORE angeforderten Daten im Laufe der Zeit eingeschränkt, und zwar bzgl. der Anzahl der Modellläufe und teilweise auch der Prognosehorizonte. Am Ende konnten zumindest alle Prognosewerte der 4 Haupt-Modellläufe um 00:00, 06:00, 12:00 und 18:00 bis zum Prognosehorizont 7 für alle verfügbaren Tage ab dem 21.07.2015 beschafft, verarbeitet und archiviert werden.