Improving usability of weather radar data in environmental sciences : potentials, challenges, uncertainties and applications

Abstract

Precipitation is a crucial driver for many environmental processes and exhibits a high spatiotemporal variability. The traditional, widely-used point-scale measurements by rain gauges are not able to detect the spatial rainfall distribution in a comprehensive way. Throughout the last decades, weather radars have emerged as a new measurement technique that is capable of providing areal precipitation information with high spatial and temporal resolution and put precipitation monitoring on a new level. However, radar is an indirect remote sensing technique. Rain rates and distributions are inferred from measured reflectivities, which are subject to a series of potential error sources. In the last years, several operational national radar data archives exceeded a time series length of ten years and several new radar climatology datasets have been derived, which provide largely consistent, well-documented radar quantitative precipitation estimate (QPE) products and open up new climatological application fields for radar data. However, beside uncertainties regarding data quality and precipitation quantification, several technical barriers exist that can prevent potential users from working with radar data. Challenges include for instance different proprietary data formats, the processing of large data volumes and a scarcity of easy-to-use and free-of-charge software, additional effort for data quality evaluation and difficulties concerning data georeferencing. This thesis provides a contribution to improve the usability of radar-based QPE products, to raise awareness on their potentials and uncertainties and to bridge the gap between the radar community and other scientific disciplines which are still rather reluctant to use these highly resolved data. First, a GIS-compatible Python package was developed to facilitate weather radar data processing. The package uses an efficient workflow based on widely used tools and data structures to automate raw data processing and data clipping for the operational German radar-based and gauge-adjusted QPE called RADOLAN (“RADar OnLine Aneichung”) and the reanalysed radar climatology dataset named RADKLIM. Moreover, the package provides functions for temporal aggregation, heavy rainfall detection and data exchange with ArcGIS. The Python package was published as an Open Source Software called radproc. It was used as a basis for all subsequent analyses conducted in this study and has already been applied successfully by several scientific working groups and students conducting heavy rainfall analysis and data aggregation tasks. Second, this study explored the development, uncertainties and potentials of the hourly RADOLAN and RADKLIM QPE products in comparison to ground-truth rain gauge data. Results revealed that both QPE products tend to underestimate total precipitation sums and particularly high intensity rainfall. However, the analyses also showed significant improvements throughout the RADOLAN time series as well as major advances through the climatologic reanalysis regarding the correction of typical radar artefacts, orographic and winter precipitation and range-dependent attenuation. The applicability of the evaluation results was underpinned by the publication of a rainfall inter-comparison geodataset for the RADOLAN, RADKLIM and rain gauge datasets. The intercomparison dataset is a collection of precipitation statistics and several parameters that can potentially influence radar data quality. It allows for a straightforward comparison and analysis of the different precipitation datasets and can support a user’s decision on which dataset is best suited for the given application and study area. The data processing workflow for the derivation of the intercomparison dataset is described in detail and can serve as a guideline for individual data processing tasks and as a case study for the application of the radproc library. Finally, in a case study on radar composite data application for rainfall erosivity estimation, RADKLIM data with a 5-minute temporal resolution were used alongside rain gauge data to compare different erosivity estimation methods used in erosion control practice. The aim was to assess the impacts of methodology, climate change and input data resolution, quality and spatial extent on the R-factor of the Universal Soil Loss Equation (USLE). Moreover, correction factors proposed in other studies were tested with regard to their ability to compensate for different temporal resolutions of rainfall input data and the underestimation of precipitation by radar data. The results clearly showed that R-factors have increased significantly due to climate change and that current R-factor maps need to be updated by using more recent and spatially distributed rainfall data. The radar climatology data showed a high potential to improve rainfall erosivity estimations, but also a certain bias in the spatial distribution of the R-factor due to the rather short time series and a few radar artefacts. The application of correction factors to compensate for the underestimation of the radar led to an improvement of the results, but a possible overcorrection could not be excluded, which indicated a need for further research on data correction approaches. This thesis concludes with a discussion of the role of open source software, open data and of the implementation of the FAIR (Findable, Accessible, Interoperable, Re-usable) principles for the German radar QPE products in order to improve data usability. Finally, practical recommendations on how to approach the assessment of QPE quality in a specific study area are provided and potential future research developments are pointed out.

Niederschlag ist ein wesentlicher Antrieb vieler Umweltprozesse und weist eine hohe räumliche und zeitliche Variabilität auf. Die traditionellen, weit verbreiteten punktuellen Messungen mit Ombrometern sind nicht in der Lage, die räumliche Niederschlagsverteilung flächendeckend zu erfassen. Im Laufe der letzten Jahrzehnte hat sich mit dem Wetterradar eine neue Messtechnik etabliert, die in der Lage ist, flächenhafte Niederschlagsinformationen mit hoher räumlicher und zeitlicher Auflösung zu erfassen und die Niederschlagsüberwachung auf ein neues Niveau zu heben. Radar ist jedoch eine indirekte Fernerkundungstechnik. Niederschlagsraten und -verteilungen werden aus gemessenen Reflektivitäten abgeleitet, die einer Reihe von potenziellen Fehlerquellen unterliegen. In den letzten Jahren überschritten mehrere nationale Radardatenarchive eine Zeitreihenlänge von zehn Jahren. Es wurden mehrere neue Radarklimatologie-Datensätze abgeleitet, die weitgehend konsistente, gut dokumentierte Radarprodukte zur quantitativen Niederschlagsschätzung liefern und neue klimatologische Anwendungsfelder für Radardaten eröffnen. Neben Unsicherheiten bezüglich der Datenqualität und der Niederschlagsquantifizierung gibt es jedoch eine Vielzahl technischer Barrieren, die potenzielle Nutzer von der Verwendung der Radardaten abhalten können. Zu den Herausforderungen gehören beispielsweise unterschiedliche proprietäre Datenformate, die Verarbeitung großer Datenmengen, ein Mangel an einfach zu bedienender und kostenloser Software, zusätzlicher Aufwand für die Bewertung der Datenqualität und Schwierigkeiten bei der Georeferenzierung der Daten. Diese Dissertation liefert einen Beitrag zur Verbesserung der Nutzbarkeit radarbasierter quantitativer Niederschlagsschätzungen, zur Sensibilisierung für deren Potenziale und Unsicherheiten und zur Überbrückung der Kluft zwischen der Radar-Community und anderen wissenschaftlichen Disziplinen, die der Nutzung der Daten immer noch eher zögerlich gegenüberstehen. Zunächst wurde eine GIS-kompatible Python-Bibliothek entwickelt, um die Verarbeitung von Wetterradardaten zu erleichtern. Die Bibliothek verwendet einen effizienten Workflow, der auf weit verbreiteten Werkzeugen und Datenstrukturen basiert, um die Rohdatenverarbeitung und das Zuschneiden der Daten zu automatisieren. Alle Routinen wurden für die operationellen deutschen RADOLAN-Kompositprodukte (“RADar OnLine Aneichung”) und den reanalysierten Radarklimatologie-Datensatz (RADKLIM) umgesetzt. Darüber hinaus bietet das Paket Funktionen für die zeitliche Datenaggregation, die Identifikation und Zählung von Starkregen sowie den Datenaustausch mit ArcGIS. Das Python-Paket wurde als Open-Source-Software namens radproc veröffentlicht. Radproc bildet die methodische Grundlage für alle nachfolgenden Analysen dieser Studie und wurde zudem bereits erfolgreich von mehreren wissenschaftlichen Arbeitsgruppen und Studenten zur Analyse von Starkregen und zeitlichen Aggregierung von Radardaten eingesetzt. Des Weiteren wurden in dieser Arbeit die Entwicklung, Unsicherheiten und Potentiale der stündlichen RADOLAN- und RADKLIM-Kompositprodukte im Vergleich zu Ombrometerdaten analysiert. Die Ergebnisse haben gezeigt, dass beide Radarprodukte die Gesamtniederschlagssummen und inbesondere Niederschläge hoher Intensität tendenziell unterschätzen. Die Analysen zeigten jedoch auch signifikante Verbesserungen im Verlauf der RADOLAN-Zeitreihe sowie deutliche Qualitätsverbesserungen durch die klimatologische Reanalyse, insbesondere im Hinblick auf die Korrektur typischer Radarartefakte, orographischer und winterlicher Niederschläge sowie der entfernungsabhängigen Abschwächung des Radarsignals. Die Anwendbarkeit der Auswertungsergebnisse wurde durch die Veröffentlichung eines Geodatensatzes zum Niederschlagsvergleich für die RADOLAN-, RADKLIM- und Ombrometer-Datensätze untermauert. Der Vergleichsdatensatz ist eine Sammlung von Niederschlagsstatistiken sowie verschiedener Parameter, die die Qualität der Radardaten potenziell beeinflussen können. Er ermöglicht einen einfachen Vergleich und eine Analyse der verschiedenen Niederschlagsdatensätze und kann die Entscheidung von Anwendern unterstützen, welcher Niederschlagsdatensatz für die jeweilige Anwendung und das jeweilige Untersuchungsgebiet am besten geeignet ist. Der Workflow für die Ableitung des Vergleichsdatensatzes wurde ausführlich beschrieben und kann als Leitfaden für individuelle Datenverarbeitungsaufgaben und als Fallstudie für die Anwendung der radproc-Bibliothek dienen. Darüber hinaus wurde eine Fallstudie zur Anwendung von Radar-Komposits für die Abschätzung der Erosivität des Niederschlags durchgeführt. Dazu wurden RADKLIM-Daten und Ombrometerdaten mit einer zeitlichen Auflösung von 5 Minuten verwendet, um verschiedene Methoden zur Abschätzung der Niederschlagserosivität zu vergleichen, die in der Erosionsschutzpraxis Anwendung finden. Ziel war es, die Auswirkungen der Methodik und des Klimawandels sowie der Auflösung, Qualität und der räumlichen Ausdehnung der Eingabedaten auf den R-Faktor der Allgemeinen Bodenabtragsgleichung zu bewerten. Darüber hinaus wurden von anderen Studien vorgeschlagene Korrekturfaktoren im Hinblick auf ihre Fähigkeit getestet, unterschiedliche zeitliche Auflösungen von Niederschlagsdaten und die Unterschätzung des Niederschlags durch Radardaten zu kompensieren. Die Ergebnisse haben deutlich gezeigt, dass die R-Faktoren aufgrund des Klimawandels erheblich zugenommen haben und dass die aktuellen R-Faktor-Karten unter Verwendung neuerer, flächendeckender und räumlich höher aufgelöster Niederschlagsdaten aktualisiert werden müssen. Die Radarklimatologiedaten zeigten ein hohes Potenzial zur Verbesserung der Abschätzung der Niederschlagserosivität, aber aufgrund der vergleichsweise kurzen Zeitreihe und einiger Radarartefakte auch gewisse Unsicherheiten in der räumlichen Verteilung des R-Faktors. Die Anwendung von Korrekturfaktoren zur Kompensation der Unterschätzung des Radars führte zu einer Verbesserung der Ergebnisse, allerdings konnte eine mögliche Überkorrektur nicht ausgeschlossen werden, wodurch weiterer Forschungsbedarf bezüglich der Datenkorrektur aufgezeigt wurde. Diese Arbeit schließt mit einer Diskussion der Rolle von Open-Source-Software, frei verfügbarer Daten und der Umsetzung der FAIR-Prinzipien (Findable, Accessible, Interoperable, Re-usable) für die deutschen Radar-Produkte zur Verbesserung der Nutzbarkeit von Radarniederschlagsdaten. Abschließend werden praktische Empfehlungen zur Vorgehensweise bei der Bewertung der Qualität radarbasierter quantitativer Niederschlagsschätzungen in einem bestimmten Untersuchungsgebiet gegeben und mögliche zukünftige Forschungsentwicklungen aufgezeigt.