Fragen, die man besser ignoriert

Es gibt nur wenig, was so viele schlechte Analysen, Schlagzeilen und Vorhersagen provoziert wie missverstandene Umfrageergebnisse. 2016 war da ja ein Musterbeispiel, aber die aktuellen Wahlen in Australien zeigen dasselbe in Grün: nur weil ein Ergebnis wahrscheinlicher ist als das andere, ist es nicht garantiert. Aber Probleme, Wahrscheinlichkeiten richtig zu verstehen, sind nichts Neues. Davon können die Mathelehrer der Republik ein ähnliches Lied singen wie von mangelnden Prozentrechen-Fähigkeiten. Wesentlich problematischer bei Umfragen sind Fragen, mit denen zwar gerne Politik gemacht wird, die aber für die eine Analyse völlig wertlos sind. Anthony J. Wells vom YouGov-Institut hat in seinem Artikel "Questions that should be ignored" einige dieser Fragen aufgelistet und erklärt, warum sie ignoriert werden sollten. Ich halte den Artikel für so wichtig, dass ich ihn hier mit freundlicher Genehmigung des Autors übersetze.


 Fragen die ignoriert werden sollte. Oder doch zumindest Fragen, denen man mit einer gesunden Portion Skepsis begegnen sollte. Mir fällt jedes Mal das Herz in die Hose, wenn ich solche Fragen wie folgenden in Umfragen sehe. Ich versuche dann, nicht Posts zu schreiben die nur aus einem "diese Umfrage ist dumm, ignoriere sie" bestehen, aber manchmal ist das verdammt schwierig. Wie immer versuche ich, den Leuten die Werkzeuge an die Hand zu geben mit denen sie das selbst tun können, deswegen gebe ich hier einige Beispiele aus die in Umfragen auftauchen und mit denen man vorsichtig sein sollte. Ich habe absichtlich nicht auf Beispiele für solche Umfragen verlinkt, aber es ist leider nicht allzu schwierig sie zu finden. Dies soll kein Versuch sein, einzelne Umfrageinstitute an den Pranger zu stellen oder spezifische Umfragetypen schlechtzureden, und nur wer ohne Sünde ist, werfe den ersten Stein. Ich bin mir sicher, dass man blöde Fragen von jedem Institut finden kann und ich habe selbst welche erstellt, die die untenstehenden Sünden begehen. Man sollte beachten, dass es keine voreingenommenen oder irreführenden Fragen sind, noch ist es falsch oder unethisch, sie zu stellen; sie sind nur ein bisschen müllig, und oft führen sie zu Fehlinterpretationen oder Vereinfachungen - ganz besonders, wenn sie in Isolation gefragt werden, ohne Teil einer Frageserie zu sein, die das Thema beleuchtet. Es ist der Unterschied zwischen einer Frage, die zu stellen man dem Kunden einfach verweigern würde und einer, von der man abriete. Der Zweck dieses Artikel jedoch ist es, den geneigten Leser zu informieren (und Kunden davon abzuhalten müllige Fragen zu stellen), welche Fragen er oder sie besser mit Vorsicht genießt.

Tut die Regierung genug von dieser guten Sache?
Eine vertrackte Frage. Sie versucht offensichtlich eine völlig legitime und reale Meinungslage abzuschätzen - oft genug ist die Öffentlichkeit der Meinung, dass die Regierung nicht genug tut, um ein spezifisches Problem zu lösen oder anzugehen. Die Frage funktioniert völlig problemlos wenn es zwei Seiten gibt, die im Gleichgewicht stehen, und die Antwort eine der Balance ist, wenn man also fragen kann, ob die Regierung nicht genug getan hat oder zu weit geht oder die Balance gerade richtig hinbekommen hat. Ein Problem entsteht, wenn das Ziel nicht umstritten ist und es in Wirklichkeit darum geht ob die Regierung genug tut - gegen Steuerhinterziehung vorgehen oder Kriminalität bekämpfen beispielsweise. Nur wenige werden je denken, die Regierung habe ZU VIEL getan, um Steuerhinterziehung anzugehen, oder dass sie die Kriminalitätsrate zu tief gedrückt haben ("Denkt denn niemand an die armen Steuerhinterzieher?", "Eine Spende von nur zwei Pfund reicht aus um Fingers McStab einen neuen Totschläger zu finanzieren"), weswegen die Frage von Anfang an scheitern muss. Das Problem kann mit der Umformulierung zu "sollte mehr tun" vs. "hat alles getan was in ihrer Macht steht" abgemildert werden, aber selbst dann sollte man diesen Fragetyp mit Vorsicht genießen.  

Möchten Sie, dass die Regierung Ihnen ein Pony kauft?
Mag nicht jeder schöne Dinge? Es gibt kein grundlegendes Problem mit dieser Frage, wenn nach etwas gefragt wird das kontrovers ist und das eine signifikante Anzahl Menschen nicht will. Es ist völlig in Ordnung danach zu fragen, ob die Regierung Geld für eine Magnetschwebebahn oder zur Jagd auf Dachse oder für was auch immer ausgeben soll. Schwierig wird es, wenn es um etwas geht, das allgemein als öffentliches Gut verstanden wird - Wertfragen also. Sollte die Regierung mehr Geld ausgeben, um die Kriminalität zu bekämpfen? Sollte sie mehr für die Bildung von Kindern tun? Um ertrinkende Welpen zu retten? Fragen wie diese sind bedeutungslos, wenn nicht die entsprechenden Nachteile mit berücksichtig werden: "Wollen Sie, dass die Regierung Ihnen ein Pony kauft, wenn das höhere Steuern bedeutet?" oder "Möchten Sie, dass die Regierung Ihnen ein Pony kauft, wenn das Geld ansonsten für etwas anderes ausgegeben wird?"  

Wie wichtig ist diese wichtige Sache? oder: Wie besorgt sind Sie um diese schlimme Sache? Leute zu fragen, ob sie diese oder jene Policy, Partei oder Entwicklung unterstützen oder ablehnen ist immer ziemlich klar. Festzustellen, wie salient diese Themen sind, ist deutlich schwieriger, weil man schnell auf Probleme der Verzerrung von sozial Wünschenswertem stößt, bei der Themen außerhalb ihres Kontexts betrachtet werden. Ein Beispiel: In der Praxis tun die meisten Menschen nicht viel gegen Armut in der Dritten Welt. Fragt man sie, ob sie sich um hungernde Kinder in Afrika sorgen müssten sie schon ein Herz aus Stein haben um nicht "ja" zu sagen. Dasselbe gilt für Themen, die gut und wichtig klingen, denn die meisten Menschen wollen nicht ignorant klingen, wenn sie sagen, dass es ihnen nicht wichtig ist. Wenn man Menschen fragt, ob ihnen ein Thema wichtig ist, ob sie sich darum sorgen oder ob sie darüber nachdenken, sagen sie zwangsläufig dass sie sich sorgen, dass sie darüber nachdenken und dass es wichtig ist. Die angemessene Frage, die leider zu wenig gefragt wird, ist, ob das Thema neben den tagesaktuellen Themen als wichtig angesehen wird. Die beste Art das zu messen ist, den Leuten eine Reihe von Themen zu geben und sie nach Wichtigkeit zu sortieren (oder noch besser, ihnen eine leere Box zu geben und die wichtigen Themen da reinschreiben lassen).  
Wird Policy X es wahrscheinlicher machen, dass Sie für Partei Y stimmen?
Diese Frage ist sehr verbreitet, und es ist wahrscheinlich die Frage, über die ich auf meinem Blog die meisten unhöflichen Kommentare geschrieben habe. Es gibt Umstände, in denen diese Frage funktioniert, solange man sie vorsichtig interpretiert und zu einem Faktor stellt, der weithin als treibender Faktor für die Wahlentscheidung angesehen wird. Beispielsweise wird die Frage manchmal dazu genutzt zu fragen, ob man bei einem bestimmten Vorsitzenden mehr oder weniger wahrscheinlich für die Partei stimmen würde (wobei diese Frage ihre ganz eigenen Probleme hat). Es wird deutlich problematischer, wenn man mit der Frage die Wichtigkeit eines Themas zeigen will. Konkret wird sie häufig von Aktivisten gebraucht um zu zeigen, dass das jeweilige Thema, für das sie sich engagieren, Wahlentscheidungen beeinflusst (und dass die Abgeordneten es daher ernst nehmen sollen oder ihre Jobs riskieren). Das stimmt praktisch nie. Wahlabsichten werden fast durchgängig von den großen Themen getrieben, von Parteizugehörigkeit, Wahrnehmung der jeweiligen Vorsitzenden, wahrgenommene Wirtschaftskompetenz, Gesundheit oder Einwanderung. Sie werden generell NICHT von spezifischen Policies oder niedrigschwelligen Themen bestimmt. Fragt man Menschen jedoch danach, ob ein solch niedrigschwelliges Thema die Entscheidung für eine Partei zu stimmen beeinflusst, behaupten sie meist, dass es das tut. Dafür gibt es mehrere Gründe. Einer davon ist dass die konkrete Nennung dem Thema eine gefälschte Wichtigkeit vor den großen Themen wie der Wirtschaftlage, Gesundheitspolitik oder Bildungspolitik gibt. In weiterer ist, dass die Befragten die Frage als Aufforderung verstehen, ihre Zustimmung zu signalisieren, völlig unabhängig davon, ob es ihre Wahlentscheidung beeinflusst oder nicht. Zum Dritten kümmert sich die Fragestellung nicht um das eigentliche Wahlverhalten; beispielsweise kann man oft feststellen, dass diejenigen, die sagen dass eine bestimmte Policy ihre Wahl der Tories wahrscheinlicher macht, ohnehin Tory wählen, und dass Leute, die sagen dass es ihre Wahl unwahrscheinlicher macht die Tories auch dann nicht wählten, wenn die Hölle zufrieren würde. Es gibt Möglichkeiten, dieses Problem zu umgehen - YouGov nutzte etwa die Option "Macht für mich keinen Unterschied, ich würde ohnehin Y wählen" und "Macht für mich keinen Unterschied, ich würde nie Y wählen" um die festgelegten Wähler herauszufiltern, deren Meinung sich ohnehin nicht ändert. Lord Ashcroft hat in einigen seiner Umfragen die Möglichkeit angeboten zu erklären, dass sie die Policy unterstützen und dass es ihr Wahlverhalten ändert oder aber dass sie die Policy unterstützen, es aber ihr Wahlverhalten nicht ändert. Die beste Möglichkeit, die ich bisher für mich entdeckt habe ist, den Leuten eine lange Liste von Policies, die ihre Wahl beeinflussten könnten, zu geben und zu bitte, die wichtigsten drei oder vier anzustreichen und sie dann zu fragen, ob das ihre Wahl für Partei Y beeinflussen würde (wir haben das etwa hier für die Homoehe getan). Das zeigt meist, dass der Großteil der Themen keine oder nur geringe Auswirkung auf die Wahlabsichten hat, was der Zweck der Übung ist.

Sollte die Regierung innehalten und nachdenken, bevor sie einen Policy-Pfad weitergeht?
Diese Frage kommt wahrscheinlich der "Wann haben Sie damit aufgehört, Ihre Frau zu schlagen"-Frage in aktuellen Umfragen am nächsten. Offensichtlich trägt sie inhärent die Annahme, dass die Regierung nicht innegehalten und nachgedacht hat, welche Auswirkungen ihre Policy hat. Matthew Parris schrieb einmal in seiner Daumenregel zur politischen Rhetorik, dass eine Erklärung, gegen die zu argumentieren unmöglich ist oder wogegen zu argumentieren sich niemand bereit erklärt, wertloser Zierrat sei. Politiker, die für bessere Schulen streiten, sind Zierrat, denn niemand würde jemals für schlechtere Schulen kämpfen. Diese Fragen gehen in dieselbe Falle: Niemand würde je für das Gegenteil eintreten, dass das beste, was die Regierung tun könne sei, gedankenlos Gesetze zu verabschieden ohne über die Folgen nachzudenken, und so werden die Leute dieser Frage immer zustimmen. Das bedeutet NICHT notwendigerweise Abneigung oder Zweifel gegenüber der jeweils abgefragten Policy, sondern nur einen allgemeinen Vorzug von vernünftiger Politik.

Wie wahrscheinlich ist es, dass Sie das Richtige tun werden? oder: Würden Sie Ihre Abneigung gegenüber dem Falschen zum Ausdruck bringen?
Unsere letzte Frage gehört zum selben Problemkreis wie die Verzerrung durch soziale Erwünschtheit. Die Leute sagen in Umfragen eher, dass sie das Richtige tun würden, als sie es im realen Leben dann tatsächlich tun. Das ist nur zu erwarten. Im echten Leben ist es manchmal schwierig, das Richtige zu tun. Es könnte Geld ausgeben beinhalten, wenn man gerade keines hat, oder Zeit investieren um sich irgendwo zu engagieren, oder sich Unannehmlichkeiten bereiten indem man etwas Angenehmes boykottiert, oder etwas Günstiges für etwas Teures aber Ethisches. Eine Umfrage zu beantworten ist nicht schwierig, man muss nur ein Kreuz setzen in dem man sagt, dass man das Richtige tun würde. Kinderleicht. Wenn Sie eine Umfrage sehen, in der Leute erklären dass sie sich engagieren würden um etwas Gutes zu tun, etwas boykottieren willen oder Geld spenden - lesen Sie sie mit einer gehörigen Portion Skepsis.