Das Dilemma des Prognostikers: Vorhersagen extremer Ereignisse bewerten

Die korrekte Vorhersage von extremen Ereignissen lässt nicht unbedingt auf die überlegene Fähigkeit des Prognostikers schließen, der sie getroffen hat. Die Art und Weise wie viele Medien Vorhersagen bewerten, kann so zu einem Dilemma führen.

Wenn Vorhersagen in der Öffentlichkeit diskutiert werden, geht es häufig um die Vorhersageleistung bei Extremereignissen. Nach der internationalen Finanzkrise des Jahres 2007 zum Beispiel schenkten viele Medien vor allem denjenigen Ökonomen Beachtung, die die Krise richtig vorhergesagt hatten. Sie schrieben ihnen die Fähigkeit zu, Vorhersagen besonders gut zu treffen. Die Bewertung von Vorhersagen auf die richtige Vorhersage von Extremereignissen zu beschränken, kann jedoch unerwartete Folgen haben und letztlich fachkundige Vorhersagen diskreditieren.

In einem jetzt erschienenen Artikel analysieren und erklären die Mathematiker Dr. Sebastian Lerch und Prof. Tilmann Gneiting (beide am HITS in Heidelberg, und am Karlsruher Institut für Technologie) zusammen mit Wissenschaftlern aus Norwegen und Italien dieses Phänomen und zeigen mögliche Lösungsansätze. Dabei nutzten sie theoretische Ansätze, Simulationen sowie eine Studie über Vorhersagen mit ökonomischen Realdaten. Die Ergebnisse wurden in der Fachzeitschrift „Statistical Science“ veröffentlicht. Das Forschungsprojekt wird von der VolkswagenStiftung gefördert.

Jedes Mal eine Katastrophe vorhersagen – eine lohnende Strategie?

In der Öffentlichkeit und in den Medien werden Vorhersagen häufig nur nach dem Eintreten von Extremereignissen bewertet, besonders wenn die Prognostiker ein Ereignis mit schwerwiegenden wirtschaftlichen oder gesellschaftlichen Auswirkungen nicht korrekt vorhergesagt haben. Was das bedeuten kann, zeigt das verheerende Erdbeben von L’Aquila aus dem Jahre 2009 mit 309 Toten. Sechs italienische Seismologen wurden  angeklagt, weil sie das Beben nicht vorhergesagt hatten. Sie wurden der fahrlässigen Tötung schuldig gesprochen und zu jeweils sechs Jahren Gefängnis verurteilt, bis der Oberste Gerichtshof in Rom sie letztendlich freisprach.

Doch wie können Wissenschaftler und Fachfremde, wie etwa die Medien, die Genauigkeit von Vorhersagen extremer Ereignisse bewerten? Auf den ersten Blick erscheint es naheliegend, bei den Bewertungen von Vorhersagen lediglich Extremereignisse auszuwählen und auf diese einfach die üblichen Bewertungsmethoden anzuwenden. „Nichtextreme“ Ereignisse  werden dabei außer Acht gelassen. Die Bewertung nur auf einen Teil der vorliegenden Daten zu beschränken, kann jedoch problematische Auswirkungen haben. „Kurz gesagt: Wenn sich die Bewertung von Vorhersagen nur auf tatsächlich eingetretene Katastrophen bezieht, lohnt es sich für Prognostiker, jedes Mal eine Katastrophe vorherzusagen, da sie so immer ‚richtig‘ liegen würden“, so Sebastian Lerch, der in der HITS-Forschungsgruppe „Computational Statistics“ arbeitet. Weil sich die Medien tendenziell auf Extremereignisse konzentrieren, besteht die Gefahr, dass fachkundige Vorhersagen in der öffentlichen Wahrnehmung „scheitern“ und weniger Beachtung finden. Damit wird es verlockend, Entscheidungen auf fehlgeleitete Verfahren zu stützen. „Dieses kritische Problem bezeichnen wir als das ‚Dilemma des Prognostikers‘“, fügt Tilmann Gneiting hinzu.

Das Dilemma des Prognostikers vermeiden: Die Methode ist entscheidend

Dieses Dilemma lässt sich vermeiden, indem Vorhersagen in Form von Wahrscheinlichkeitsverteilungen getroffen werden. Für diese lassen sich allgemeine, standardisierte Bewertungsmethoden formulieren, in deren Rahmen Extremereignisse spezifisch hervorgehoben werden können. Die jetzt veröffentlichte Studie des internationalen Forschungsteams veranschaulicht das Dilemma des Prognostikers anhand des Beispiels wirtschaftlicher Prognosen zum Wachstum und zur Inflationsentwicklung in den USA zwischen 1985 und 2011. Sie beschreibt zudem, wie das Problem mit den genannten Methoden gelöst werden kann.

Die Ergebnisse der Studie sind besonders relevant für Wissenschaftler und Wissenschaftlerinnen, die ihre eigenen Vorhersagemethoden und Modelle bewerten möchten. Sie sind aber auch wichtig für außenstehende Dritte, die unter verschiedenen Anbietern von Vorhersagen wählen müssen, etwa um Gefahrenwarnungen herauszugeben oder finanzielle Entscheidungen zu treffen.

Obwohl sich die Studie auf einen wirtschaftlichen Datensatz konzentrierte, sind die Erkenntnisse daraus auch für viele andere Anwendungen relevant. Zum Beispiel testen derzeit nationale und internationale Wetterdienste die untersuchten Methoden für die eigene Anwendung.

Veröffentlichung:

Lerch, S., Thorarinsdottir, T. L., Ravazzolo, F. and Gneiting, T. (2017). Forecaster’s
dilemma: Extreme events and forecast evaluation. Statistical Science, in press.

DOI: 10.1214/16-STS588

Link zur Studie:

Für das PDF bitte hier klicken.

Wissenschaftlicher Kontakt:
Prof. Dr. Tilmann Gneiting
Computational Statistics (CST) Gruppe
HITS Heidelberger Institut für Theoretische Studien
Tilmann.gneiting@h.its.org
Schloss-Wolfsbrunnenweg 35
69118 Heidelberg