Bewertung probabilistischer Vorhersagen mittels scoringRules
Das Vergleichen der Vorhersagegüte
Im Allgemeinen sind Vorhersage mit Unsicherheit behaftet, und somit spielt die Bestimmung dieser Unsicherheit eine zentrale Rolle in der Entscheidungsfindung. Entsprechend erlebten probabilistische Vorhersagen in Form von Wahrscheinlichkeitsverteilungen in den letzten Jahrzehnten einen Aufschwung in verschiedensten Bereichen der Wissenschaft, insbesondere in der Meteorologie, den Klimawissenschaften, der Hydrologie, der Seismologie, sowie den Wirtschafts- und Finanzwissenschaften, aber auch der Bevölkerungs- und Politikwissenschaften.
Üblicherweise werden in Anwendungen unterschiedliche statistische Modelle und Datenquelle verwendet um probabilistische Vorhersagen zu treffen. Als Folge ist die Bewertung und Auswahl der zur Verfügung stehenden Methoden von großer Bedeutung. Das scoringRules Paket für R erlaubt die vergleichende Bewertung von probabilistischen Modellen mittels “proper scoring rules” und deckt so eine Vielfalt von Anwendungsgebieten ab.
Als Programmbibliothek enthält das scoringRules Paket sowohl bekannte als auch neue mathematische Formeln zur Berechnung dieser Bewertungsfunktionen. Statistisch begründete Standardoptionen helfen dem Nutzer, wenn mehrere Varianten zur Implementierung zur Verfügung stehen. Die bereitgestellten Bewertungsfunktionen umfassen den “continuous ranked probability score”, den “logarithmic score”, sowie die multivariaten “energy” und “variogram scores”. Eine wichtige Eigenschaft haben alle diese Bewertungsfunktionen gemeinsam, nämlich dass die beste Bewertung erwartet werden kann, wenn eine probabilistische Vorhersage nach bestem Wissen getroffen wird.
scoringRules wurde in der Computational Statistics Gruppe am HITS entwickelt und ist auf CRAN, und wird weiterentwickelt auf GitHub verfügbar.
Weitere Quellen:
Alexander Jordan, Fabian Krüger, Sebastian Lerch
Evaluating Probabilistic Forecasts with scoringRules
J. Stat. Softw. (2019) 90(12):1–37, DOI: 10.18637/jss.v090.i12
Über das HITS
Das HITS (Heidelberger Institut für Theoretische Studien) wurde 2010 von dem Physiker und SAP-Mitbegründer Klaus Tschira (1940-2015) und der Klaus Tschira Stiftung als privates, gemeinnütziges Forschungsinstitut gegründet. Es betreibt Grundlagenforschung in den Naturwissenschaften, der Mathematik und der Informatik. Zu den Hauptforschungsrichtungen zählen komplexe Simulationen auf verschiedenen Skalen, Datenwissenschaft und -analyse sowie die Entwicklung rechnergestützter Tools für die Forschung. Die Anwendungsfelder reichen von der Molekularbiologie bis zur Astrophysik. Ein wesentliches Merkmal des Instituts ist die Interdisziplinarität, die in zahlreichen gruppen- und disziplinübergreifenden Projekten umgesetzt wird. Die Grundfinanzierung des HITS wird von der Klaus Tschira Stiftung bereitgestellt.