In zowel 2016 als 2020 onderschatten de peilbureaus de steun voor Donald Trump in belangrijke staten. Zitten ze deze keer wél goed? De acht pijnpunten van de peilers, anderhalve week voor de verkiezingen.
is chef van de wetenschapsredactie van de Volkskrant.
Het is zeldzaam spannend, anderhalve week voor de Amerikaanse presidentsverkiezingen. Als er nú verkiezingen zouden zijn, dan zou Kamala Harris volgens de meeste peilingen iets meer stemmen krijgen dan Donald Trump.
Alleen zegt zo’n nationale voorkeurspeiling niet zoveel in het getrapte alles-of-niets-kiesstelsel van de Verenigde Staten. Zo stemden in 2016 bijna drie miljoen Amerikanen meer op Hillary Clinton, maar ging het presidentschap naar Donald Trump.
Want Trump won in een aantal cruciale swingstates. Staten hebben een aantal kiesmannen te vergeven en wie daar de meeste van vergaart, mag zichzelf de volgende president van de Verenigde Staten noemen.
Over de auteur
Tonie Mudde is chef van de wetenschapsredactie van de Volkskrant en presenteert onze wetenschapspodcast Ondertussen in de kosmos.
Maar opvallend is dat Clinton ook in voldoende swingstates in de peilingen favoriet was voor de eindzege. En toch won Donald Trump. Neem Wisconsin, in het noordoosten van de Verenigde Staten, goed voor tien van de benodigde 270 kiesmannen voor het presidentschap.
Een Amerikaanse variant van de peilingwijzer, dat een gemiddelde van de uitkomst van een aantal peilbureaus maakt, schatte de Democraat Clinton vlak voor de verkiezing in op 46,6 procent van de stemmen, tegenover 40,4 procent voor de Republikein Trump (de rest ging naar andere onafhankelijke kandidaten). Meer dan 6 procentpunten voorsprong voor Clinton!
Maar dan de verkiezingsuitslag. Clinton behaalde 46,5 procent, vrijwel exact wat de peilers inschatten. Maar nu Trump. Verrassing! 47,2 procent. Veel hoger dan de peilbureaus hadden voorzien, en net genoeg om alle tien de kiesmannen voor Wisconsin binnen te slepen.
(Tekst gaat verder onder de afbeelding.)
Het leidde in de Verenigde Staten tot een heuse polling crisis, waarbij politieke duiders en peilexperts zich collectief achter de oren krabden. Want, oké, een peiling is een momentopname en geen voorspelling. Maar nu zat er in sommige staten wel erg veel licht tussen de eindpeilingen en de uitslag. Hoe konden de peilers de voorkeur van zo’n belangrijk deel van het electoraat zó hebben gemist?
Er kwam een stapel aanbevelingen en rapporten, en onderzoeksbureaus die hun methoden aanpasten.
Flashforward naar de verkiezingen van 2020. Plaats van handeling, wederom de staat Wisconsin. Biden gaat dik winnen, blijkt uit de eindpeilingen, met een marge van 7,6 procentpunt. En ja, Biden haalt uiteindelijk ook een meerderheid in die 5,9 miljoen zielen tellende staat. Niet ruim, maar juist met de hakken over sloot: slechts 0,6 procentpunt voorsprong op Trump.
Wisconsin is het extreemste voorbeeld, maar kijk naar de andere battleground states in de laatste twee presidentsverkiezingen en het beeld is onmiskenbaar: de peilbureaus onderschatten in deze bepalende staten structureel de steun voor Trump. Bepalende staten waarvan diezelfde peilingen nu vrijwel overal zeggen: het is een nek-aan-nekrace. Gaan Trump en zijn aanhang ook deze keer de peilingen ‘verslaan’?
Dit zijn de acht pijnpunten van de peilers bij de komende Amerikaanse verkiezingen.
Er gingen bijna zes miljoen kiezers naar de stembus in Florida, maar uiteindelijk bepaalde een meerderheid van slechts 537 stemmen dat niet Al Gore maar George W. Bush de staat binnensleepte. Florida bleek bij de verkiezingen van november 2000 ook nog eens beslissend voor het eindresultaat van het hele land: Bush werd – na weken tellen, hertellen en juridische strijd – de volgende president van de Verenigde Staten. Dat zo weinig kiezers in een bepaalde staat de doorslag kunnen geven, is een van de redenen dat peilen in de Verenigde Staten ‘bijzonder lastig’ is, zegt Jelke Bethlehem, emeritus hoogleraar survey-onderzoek.
Je kunt dit verhaal ook beluisteren, in onze wetenschapspodcast Ondertussen in de Kosmos.
Als er vandaag presidentsverkiezingen zouden zijn, op wie zou u dan stemmen? Zelfs na maanden van campagnes, nieuwsitems en debatten antwoordt een deel van de kiezers een week voor de verkiezingen nog ‘weet ik niet’ op die vraag.
Het is voor peilers een lastig in te schatten groep. Gaan ze überhaupt stemmen? En zo ja, op wie? In 2016 koos zo’n 13 procent van de stemmers in doorslaggevende staten als Wisconsin, Florida en Pennsylvania in de laatste week. Van die late beslissers kozen er opvallend veel voor Trump, 30 procentpunt meer in Wisconsin, 17 procentpunt meer in Florida en Pennsylvania.
Vertel me uw opleidingsniveau en ik weet op wie u stemt. Dat verband gaat natuurlijk niet voor iedereen op, maar in cruciale staten hadden in 2016 hoogopgeleiden gemiddeld gezien wel degelijk een voorkeur voor Clinton. En laten die hoogopgeleiden nu óók de groep zijn die eerder meewerken aan opiniepeilingen. ‘Veel peilingen, in het bijzonder in staten, corrigeerden niet voor de oververtegenwoordiging van studenten in hun enquêtes’, concludeert de Amerikaanse vereniging van opinieonderzoek Aapor in een lijvig rapport. ‘Het gevolg was een overschatting van de steun voor Clinton.’
Na de schok van de onverwachte winst van Trump in 2016 pasten tal van onderzoeksbureaus hun werkwijze aan.‘Het gaat niet om één fix’, mailt Courtney Kennedy, adjunct-directeur methodologie en innovatie bij de Amerikaanse organisatie Pew Research, gespecialiseerd in peilonderzoek. Ze ziet wel een aantal trends, bijvoorbeeld een flinke stijging van het aantal peilers dat mensen op verschillende manieren benadert, bijvoorbeeld online, telefonisch of via tekstberichten. Het besef is ingedaald ‘dat geen enkele manier iedereen in de Verenigde Staten bereikt. Zo hebben veel jongeren een voorkeur voor online, maar sommige ouderen beantwoorden liever een vragenlijst per telefoon of per post.’
Ook het wegen van groepen waarvan peilers er te veel of juist te weinig in hun panel hebben zitten is constant in ontwikkeling. (Simpelste voorbeeld: als je panel bestaat uit slechts 40 procent vrouwen, dan kun je hun ingevulde antwoorden maar beter iets zwaarder laten wegen om een realistische weergave te krijgen van de politieke voorkeuren in een samenleving waar de man-vrouwverhouding 50/50 is.) Hoog aangeschreven peilers in de Verenigde Staten wegen inmiddels voor zo’n acht tot twaalf factoren, zoals leeftijd, geslacht, etnische achtergrond, aantal jaren woonachtig in de VS, of je geregistreerd staat als Republikein of Democraat, enzovoorts.
Maar al die verbeteringen konden niet voorkomen dat Trump in 2020 wéér werd onderschat in de peilingen, zelfs nu in 92 procent van de peilingen werd gecorrigeerd voor opleidingsniveau. Dat jaar kwam het ook niet door de late beslissers, want die stemden ongeveer even vaak voor Biden als voor Trump.
Was er dan misschien sprake van een gordijnstemeffect, waarbij mensen niet hun werkelijke stemvoorkeur delen met peilers? Als zo’n effect bestaat, zou je verwachten dat mensen in anoniem aanvoelende internetraadplegingen eerder de waarheid zeggen dan wanneer ze een enquêteur van vlees en bloed aan de lijn hebben. Maar daarvan was niks terug te zien in de latere analyses, bleek uit een rapport van de Amerikaanse vereniging van opinie-onderzoek.
Probleem bij het doorvoeren van verbeteringen is ook het gebrek aan transparantie bij veel onderzoeksbureaus, die met elkaar concurreren om opdrachten. ‘Peilers zijn niet snel geneigd hun bedrijfsgeheimen prijs te geven of hun onderliggende data te delen voor een onafhankelijke analyse’, mailt datawetenschapper Nicholas Marchio van de Universiteit van Chicago.
Wat ging er dan wél mis bij de peilingen van 2020? Op landelijk niveau was de afwijking van de slotpeilingen en de uiteindelijke stemming ‘de grootste in veertig jaar’, concludeert de branchevereniging van peilers Aapor. Een deel van de ‘peilfout’ kwam deze keer door de zogeheten non-respons, vermoedt diezelfde Aapor. Oftewel: de stemvoorkeur van mensen die wel een uitnodiging krijgen om mee te doen aan de enquête, maar daar niet op ingaan. Zo’n scheve verhouding kan volgens datawetenschapper Marchio bijvoorbeeld ontstaan ‘wanneer Republikeinen weigeren enquêtes te beantwoorden omdat Trump zei dat die ‘nep’ zijn’.
Trump zegt geregeld, zonder daarvoor bewijs aan te leveren, dat peilingen gemanipuleerd zijn wanneer die in zijn nadeel uitvallen. Sommige wetenschappers vrezen dat zijn aanhang dit sentiment overneemt en eerder weigert deel te nemen aan enquêtes, waardoor hun politieke voorkeur pas scherp in beeld komt bij de stembusgang.
Een lage respons is sowieso een berucht probleem voor enquêteurs. Het aantal mensen dat bereid is een vragenlijst in te vullen daalt al jaren, blijkt uit onderzoek van Pew Research. Zo zakte het percentage mensen dat reageert op een telefonische enquête van 36 procent in 1997 naar slechts 6 procent twintig jaar later.
Kennedy: ‘De respons bij Amerikaanse peilingen blijft laag, waardoor het voor peilers moeilijk is de winnaar te voorspellen in een nek-aan-nekrace.’
Je panel ‘even rechttrekken’ is daarbij bovendien nog niet zo makkelijk, blijkt onder meer uit onderzoek van de Universiteit van Pennsylvania. In een poging meer Republikeinse deelnemers te werven, verstuurden onderzoekers hun vragenlijsten met beelden van een Amerikaanse vlag. De ‘patriottische’ uitnodiging leek in eerste instantie te werken: het aandeel Republikeinen in de enquête steeg. Maar de totale respons daalde juist bij mensen die een uitnodiging met vlag kregen, alleen bij Republikeinen relatief iets minder, en dat was nou ook weer niet de bedoeling.
De grote dag van de verkiezingen! Hop, naar de stembus. Maar dan ineens: een regendruppel. En nog een. En dan barst het los. Toch maar thuisblijven? Wetenschappers van onder meer de Universiteit van Georgia combineerden weerberichten en kiezersopkomst voor veertien Amerikaanse presidentsverkiezingen. Daaruit blijkt dat bij regen- of sneeuwval de opkomst minder dan 1 procent lager uitvalt. Dat lijkt weinig, maar kan bij een nek-aan-nekrace toch doorslaggevend zijn. Volgens de wetenschappers profiteren Republikeinen doorgaans het meest van slecht weer.
Datawetenschapper Marchio wijst op andere redenen die het moeilijk maken voor peilers om in te schatten wie bij de stembus komt opdagen. ‘Dit kan gebeuren als peilers niet de laatste versie gebruiken van het bestand van geregistreerde kiezers of als stemgedrag afwijkt van historische trends. Beide problemen zijn extreem moeilijk op te lossen en zitten niet in de gerapporteerde foutmarge. Het is dus belangrijk te beseffen dat wanneer je hoort dat een peiling ‘1 tot 3 procent’ foutmarge heeft, dit soort andere type fouten daar niet bij zitten, omdat je ze pas na de verkiezingen kunt kwantificeren.’ Ook de Aapor stelt dat het mogelijk is dat peilers in 2020 de stemvoorkeuren van nieuwe groepen kiezers onvoldoende scherp in het vizier hadden.
Wie alleen naar de afgelopen twee presidentsverkiezingen kijkt, zou kunnen denken dat peilers een blinde vlek hebben voor Republikeinse stemmers. Maar kijk langer terug en het beeld ziet er anders uit. Zo viel in 2012 de uiteindelijke steun voor Democraat Obama wat hoger uit dan de peilingen suggereerden, ook al wezen die Obama wel als favoriet aan.
Het is bij nieuwe verkiezingen dan ook oppassen voor peilers om niet ‘de vorige oorlog’ uit te vechten, schreef de Amerikaanse peilexpert Nate Silver naar aanleiding van een teleurstellende verkiezingsuitslag in Groot-Brittannië voor Britse conservatieven.
Sommige peilers hadden na eerdere onderschatting van deze kiezersgroep correcties doorgevoerd waardoor ze bij een nieuwe verkiezing juist weer een golf van jonge Labourstemmers over het hoofd zagen. Silver: ‘Het kan gebeuren dat een peiler een uitkomst verkeerd heeft omdat kiezers die zeggen te gaan stemmen toch niet komen opdagen. Maar als kiezers je zeggen dat ze gaan stemmen, jij ze vervolgens negeert en ze wél komen opdagen: dat is onverdedigbaar.’
Peilen is een ondankbare taak, verzuchtte peilexpert Nate Silver al eens. Na verkiezingen mogen journalisten en nieuwsconsumenten graag wijzen op eindpeilingen die een paar procentpunt verschillen van de uiteindelijke uitslag: ‘De peilingen zaten er weer naast!’
Terwijl die peiling een tijdelijke inschatting is van de krachtsverhoudingen, niks meer, niks minder. Eigenlijk, schrijft Silver, ‘ben ik verbaasd over hoe goed peilingen zijn’. Want tel maar op: de lage respons op enquêtes, de onzekerheid over wie echt naar de stembus gaat, kiezers die op het laatste moment van voorkeur wisselen, de onvermijdelijke foutmarge. En dan tóch een behoorlijk goede inschatting van de politieke krachtsverhoudingen geven.
Tegelijkertijd hebben peilers de overspannen verwachtingen over hun cijfers ook wel wat aan zichzelf te danken. Zo presenteert een aantal peilers in de Verenigde Staten behalve de bekende momentopnamen ook ‘election forecasts’, waarin ze met waarschijnlijkheidsmodellen voorspellen hoeveel procent kans een bepaalde presidentskandidaat heeft om te winnen.
Experimenteel onderzoek van onder meer Dartmouth College wijst uit hoeveel moeite kiezers hebben om zo’n voorspelling op waarde in te schatten. Kiezers die denken ‘mijn kandidaat wint toch wel’ kunnen om die reden zelfs minder geneigd zijn naar de stembus te gaan.
Bovendien, zo schrijft Stanford-hoogleraar Justin Grimmer op Politico: kalibratie is een groot probleem bij dit soort verkiezingsvoorspellingen. Modellen die voorspellen wat voor weer het morgen wordt, kun je dagelijks controleren en bijstellen. Maar Amerikaanse presidentsverkiezingen? Die zijn er maar eens in de vier jaar. Of het ene presidentiële voorspelmodel beter is dan het andere kun je dan ook pas ontdekken na ‘28 tot 2.588 jaar’, schrijft Grimmer. De titel van zijn artikel zegt dan ook genoeg: Vertrouw niet op verkiezingsvoorspellingen.
Alles wat fout kan gaan met peilingen verenigd in één foto: in 1948 hield de Democraat Harry Truman na zijn verkiezingsoverwinning lachend een krant omhoog met op de voorpagina ‘Dewey defeats Truman’. De krant vertrouwde dermate op de peilingen van peilbureau Gallup dat ze in de ochtendeditie onterecht verklaarde dat de Republikeinse kandidaat gewonnen had. Gallup was het eerste grote bureau in de Verenigde Staten dat niet ‘zomaar een grote groep mensen ondervroeg’ (bijvoorbeeld autobezitters of mensen met een vaste telefoon), maar poogde een representatieve steekproef te trekken.
Waarom ging het mis? Achteraf bleek dat de enquêteurs van Gallup deur tot deur gingen in wat chique wijken, omdat daar meer mensen de deur openden en meewerkten aan hun vragenlijst. Maar in die wijken woonden destijds relatief meer Republikeinen, wat de resultaten van de peiling vertekende, signaleert emeritus hoogleraar survey-onderzoek Jelke Bethlehem in een publicatie hierover. Bovendien: de slotpeiling vond twee weken voor de verkiezingsdatum plaats. ‘Dat is niet zo slim, want in twee weken kan er nog veel gebeuren.’
Nadat Gallup in 2012 de steun voor de Republikeinse kandidaat Romney had overschat, en die voor Democraat Obama onderschat, besloot het bureau maar helemaal te stoppen met het peilen van presidentsvoorkeuren.
Geselecteerd door de redactie
Lees hier alle artikelen over dit thema
Source: Volkskrant