Wie genau war welche Prognose? Spoiler: Umfragen behaupten sich besser als so häufig gemeint.

Im Vorfeld der eidg. Abstimmungen habe ich Ja-Mehrheiten zu allen drei Vorlagen prognostiziert. Das traf dann ein. Eine kleine Feinbetrachtung zu den Gründen.

Kombinationen leistungsstark
Die combining-Methode ist leistungsstark, sagt die Forschungsliteratur. Unsicherheiten bei den Vorhersagen werden minimiert, indem man verschiedene Tools nebeneinander benutzt.
Konkret verwendet habe ich Mittelfrist-Modellprognosen (Hochrechnungen der Schlussabstimmungen im Nationalrat, der Inhaltsanalyse des Abstimmungsbüchleins und des Parolenspiegels), Umfragen (gfs.bern, LeeWas), Kampagnenanalysen (foegUZH und Annee politique suisse) sowie kurzfristige Modellprognosen (Glättli, Willi, Perseguers). Letztere erfüllen das Kriterium der Unabhängigkeit nicht ganz, denn sie basieren teilweise auf einzelnen vorhergenannten Tools. Aber sie optimieren sie in der Kombination.



Tabellen anclicken, um sie zu vergrössern

Die Toolarten im Vergleich
Wie schon im Februar 2022 waren Umfragen am genauesten. Es folgten die Kurzfrist-Prognosen. Auch das ist nicht neu. Weniger genau waren die Abstimmungskampfanalysen und die Mittelfristprognosen.
Bei den Umfragen erwies sich die von gfs.bern genauer als die von LeeWas. Die hatte zudem das Problem, dass die zweite zum Filmgesetz überraschend tief ausfiel.
Bei den Kurzfrist-Prognosen war die von Sebastien Perseguers die beste. Auch das ist nicht neu. Sein Vorteil: Er mixt verschiedene Tools, was dem Combining, wie hier empfohlen, nahe kommt. Sein Nachteil: Er kommt erst 10 Tage vor der Abstimmung. Das ist gleich wie bei Thomas Willi, aber präziser. Das Gegenteil findet sich bei Nick Glättli. Sein Modell führt schnell zum Ziel, ist aber zu einfach und damit auch riskant. Das zeigte sich, dass er als einziger eine knappe Nein-Mehrheit beim Frontex Abkommen hatte.
Mittelfrist-Prognosen sind alle schnell, aber weniger genau. Hier war die schnellste auch die beste, nämlich die Hochrechnung aus der Schlussabstimmung im Nationalrat, wie es Michelle Huber entwickelt hat.
Kampagnenanalysen haben es schwer, nicht einmal wegen ihrer Methodik. Inserate sind nicht mehr generell ein Mittel der Werbung, sodass die Ergebnisse stark von der Kommunikationsstrategie abhängen. Medienanalysen wiederum überzeichnen, wenn die Massenmedien selber mit einem Bias berichten, wie das diesmal insbesondere beim Filmgesetz der Fall war.

Rangliste der Tools einzeln
Die finale Rangliste für die eidg. Abstimmung vom 15. Mai sieht wie folgt aus:

1. Umfragen (Ja) gfs.bern (Ja)
2. Kurzfrist-Prognosen S. Perseguers
3. Umfragen Leewas (Nein)
4. Kurzfrist-Prognosen Th. Willi
5. Kurzfrist-Prognosen N. Glättli
6. Mittelprognosen Schlussabstimmung Nationalrat
7. Medienanalyse
8. Mittelfristprognose Parolenspiegel
9. Mittelfristprognose Inhalt Abstimmungsbüchlein
10. Werbeanalyse

Die ersten drei sind insgesamt genau. Uebertroffen werden sie nur von den Hochrechnungen am Abstimmungstag selber. Doch basieren die auf Endergebnissen, nicht auf vorgängigen Daten. Das macht sie per definitionem genauer.

Bilanz
Für mich bleibt: Umfragen behaupten sich nicht nur als Tool der Bestimmung von Trends in der Meinungsbildung. Sie sind auch als Tool der Vorhersage von Abstimmungsergebnissen gut brauchbar. Nötig ist es aber auf die letzten Befragungen abzustellen. Das hat damit zu tun, dass Meinungsbildung bei Abstimmungen volatiler ist als bei Wahlen. Früh Umfragen sind entsprechend weniger genau als spätere. Bei drei Erhebungen besteht das Problem, dass Extrapolationen von ersten Trends auch in die Irre führen können.


Quelle: Sean Muller (Twitter)

Bestätigt wurde die Güte der Abstimmungs-Umfragen in der Schweiz jüngst von Politologie-Professor Sean Müller, der zeigte, dass sie in den letzten Jahren erheblich verbessert wurden und die neuerdings im Mittel genauer sind.

Claude Longchamp