Peilpraat: methodologisch verantwoord mopperen op peilingen

Zondagochtend is de hel voor politicologen. Iedere zondag maakt Maurice de Hond zijn peilingen bekend en iedere zondag nemen media die klakkeloos over. Een goed geschoolde methodoloog wordt daar knettergek van. Peilers geven weinig openheid over hoe ze meten en media rapporteren slecht over betrouwbaarheid. Omdat er een vermeend effect is van peilingen op het kiesgedrag is het cruciaal dat die peilingen meten wat ze beweren. Iedere zondag leidt dit tot wanhopige tweets van wetenschappers met roep om verandering. Amsterdamse politicologen konden zo niet langer leven en organiseerden daarom gisteren een symposium (pdf) voor peilers, pers en politicologen onder de titel ‘Vinger aan de polls’.

Volgens de Leidse hoogleraar Joop van Holsteyn is de interesse van kiezers voor peilingen matig en vinden kiezers zelf invloed van peilingen niet zo problematisch. Dat maakt een discussie niet minder relevant. Deze reflectie op peilingen is behoorlijk methodologisch. Het gaat naast betrouwbaarheid en validiteit ook over de invloed van peilingen op het democratisch proces. Nog los van de wenselijkheid van peilingen, moeten kiezers zich natuurlijk niet baseren op foutieve ‘feiten’.

Peilers
Die eerste mogelijke schuldigen zijn uiteraard de peilers. Zij voelden zich duidelijk aangesproken en presenteerden hun werkwijze, al was Maurice de Hond de significante afwezige. Er wordt gewogen, geijkt, gesmoothed en gecorrigeerd – en ja, dat zijn vier aparte stappen. “Je voert het in – hebben we een mooi systeempje voor – en dan rolt het eruit” zei Tim de Beer (TNS Nipo).

Ter verdediging op het falen correct de verkiezingsuitslag te voorspellen brachten zij aan dat peilingen helemaal niet gaan over de verkiezingsuitslag. Dat is raar, want de vraag aan respondenten is altijd ‘hoe zou u stemmen als er morgen verkiezingen waren?’ Media rapporteren dit ook zo. Als peilingen niet gaan over de zetelverdeling na eventuele verkiezingen, wat meten ze dan wel? Marianne Bank (Ipsos/de Politieke Barometer) zei dat het doel van peilingen “het meten van actueel draagvlak voor partijen” is. Volgens De Beer dragen peilingen bij aan de democratie. “Kiezers hebben recht op informatie over hoe partijen het doen”. Bij Tom van Dijk (Intomart GfK) gaat het om “het meten van electorale zekerheid”.

De ondoorzichtige methodes maken peilingen onbetrouwbaar, maar de validiteit van onderzoek is dus ook in het geding. Hoogleraar Electorale Politiek Jean Tillie plaatste hier fundamentele vragen bij. Hij stelde dat mensen bij verkiezingen in een keuzeproces zitten. Peilingen worden nu echter gebracht als finale keuze (‘definitieve stem morgen’). Peilers zouden er beter aan doen te benadrukken dat het gaat om een tijdsopname in een keuzeproces.

Pers
Tweede groep mogelijk schuldigen zijn journalisten. Organisator Tom van der Meer(UvA) heeft onderzoek gedaan waaruit blijkt dat niet de cijfers uit de peilingen een effect op kiesgedrag hebben, maar de manier waarop die cijfers in een begeleidende tekst worden gepresenteerd (“spectaculaire stijger”, “dramatische daler”). De framing dus. Hierbij is het van belang te kijken naar het referentiepunt: worden cijfers vergeleken met de vorige verkiezingen of met de peiling van vorige week? Bovendien worden er steevast verschuivingen gebracht die zijn toe te schrijven aan de steekproef. Dit mag je niet als werkelijke verschuiving zien en dus zou het ook nooit nieuws mogen zijn.

Peter Kanne (TNS Nipo) hekelde daarbovenop de dubbele agenda van ‘de pers’. Ze plaatsen enerzijds graag kritische stukken, liefst van politicologen, waarin peilingen afgekeurd worden. Anderzijds plaatsen ze steeds de peilingen zelf. Er is bovendien sprake van los van elkaar handelende actoren. Zo merkte organisatoor Armèn Hakhverdian (UvA) terecht op dat de internetredactie van een krant losstaat van de redactie van de papieren krant. De Volkskrant brengt dan misschien geen peilingen, maar volkskrant.nl doet dat wel.

Ook de pers was aanwezig, maar alleen Gijs Rademaker van 1Vandaag hield een voordracht. Ook bij de zaaldiscussie waren zij redelijk stil (chefs politiek NOS Bram Schilham en RTL Kees Berghuis beantwoordden slechts directe vragen; Ferry Mingelen van Nieuwsuur heeft niets gezegd). Het verweer was het aloude “of er nieuws is hangt af van andermans aandacht”. De Wereld Draait Door – notoir exploitant van Maurice de Hond – gaf geen gehoor aan de herhaalde uitnodigingen van de organisatoren.

Politicologen
De laatste groep zijn de politicologen, degenen die steeds maar zo zeuren over peilingen. Volgens Jean Tillie is er in Nederland sinds 1986 gedoe over. Er wordt sinds 1982 gepeild. Er werd veel gesproken over het al dan niet bestaande Bandwagon-effect. De wetenschappelijke discussie daarover loopt al meer dan zeventig jaar, zo werd bijna trots verteld. Kiesgedrag is complex en laat zich niet zomaar kennen. Je kunt dat ingewikkelde en gemedialiseerde keuzeproces niet eenvoudig reproduceren in een onderzoekslab.

Conclusie

“De media nemen precies over waar peilingen slecht in zijn, namelijk hele kortetermijnverschuivingen, en niet waar peilingen goed in zijn: electorale onzekerheid” – Tom van der Meer.

Peilers hebben een commercieel belang bij goed onderzoek. Dat maakt dat ze zowel sensationele/nieuwswaardige resultaten moeten brengen als openheid over hun methode moeten geven. De pers is op zoek naar politieke nieuwtjes. Dat maakt journalisten ontvankelijk voor sensationele ‘feiten’ en snelle inhoud. Politicologen houden van discussie, maar verschaffen weinig duidelijkheid.

Peilpraat is heerlijke kletspraat. Je kunt peilingen serieus nemen en praten over electorale wiebelingen, maar nog leuker is het om te mopperen op peilingen. Geen van deze actoren heeft belang bij het oplossen van deze kwestie. Alle partijen lijken welwillend, maar niemand neemt echt verantwoordelijkheid. Het was veelzeggend dat debatleider Menno Hurenkamp zei dat het gebruik van ‘ja maar Maurice de Hond’ een eenmalige wildcard was.

‘Peilpraat’ was de naam van de hashtag, bedacht door Jean Tillie.

Dit stuk verscheen eerder op The Post Online.


Blogger Publicatiedatum: January 11, 2013