Om politiek te begrijpen, helpt het om te denken als een wetenschapper.
Campagnedekking van de komende presidentsverkiezingen is overal, met verschillende peilingen die deze of gene kandidaat bovenaan laten zien. Er zijn nationale goedkeuringsclassificaties, lokale goedkeuringsclassificaties, opiniepeilingen over primaire kandidaten, opiniepeilingen over kwesties, opiniepeilingen over verkiesbaarheid. Al deze cijfers vormen samen een kakofonie van informatie die moeilijk te onderscheiden kan zijn. Op die manier lijken wetenschappers veel op de gegevens die een onderzoeker zou kunnen verzamelen: de individuele peilingen zijn meestal niet al te nuttig, zonder context. Maar bij elkaar genomen en zorgvuldig benaderd, kunnen de peilingen samen het soort informatie opleveren dat een wetenschapper nuttig zou vinden.
"Er zijn tal van methodologisch verantwoorde politieke peilingen die sterk lijken op methoden die in wetenschappelijke contexten worden gebruikt, maar er zijn ook enkele behoorlijk slecht ontworpen - en / of doelbewust bevooroordeelde - politieke onderzoeken", zegt Sara Burke, een onderzoekspsycholoog en expert in intergroep vooroordelen aan de Syracuse University. "De besten van de besten op het gebied van politieke opiniepeilingen doen goed werk met de beschikbare instrumenten en behouden - en proberen te communiceren - een duidelijk begrip van de beperkingen die nog steeds bestaan in hun methoden."
Met andere woorden, of een enquête waardevol of interessant is, hangt sterk af van hoe deze is uitgevoerd en hoe deze is gepresenteerd.
Vaak worden deze peilingen gepresenteerd als 'Hier zijn enkele percentages', aldus Jillian Scudder, een astrofysicus die sterrenstelsels bestudeert aan het Oberlin College in Ohio. 'Dus je zou een politieke peiling kunnen doen, je zou kunnen zeggen:' We hebben een peiling gedaan in deze staat, en we hebben deze cijfers ', en je zou dat in het nieuws kunnen brengen. Als ik statistieken doe en ik bedenk een percentage, dat percentage komt met veel andere cijfers, 'vertelde Scudder aan WordsSideKick.com.
Het werk van Scudder omvat statistische tests die veel op polling lijken, zei ze. Ze verzamelt mogelijk miljoenen gegevens over het gedrag van sterrenstelsels om te achterhalen hoe ze zich gedragen. Maar het zou tijdverspilling zijn om ze allemaal afzonderlijk door te nemen. Dus neemt ze kleinere steekproeven van haar gegevens en bestudeert ze, met statistische methoden die vergelijkbaar zijn met die van de enquêteurs om conclusies te trekken over de hele populatie van sterrenstelsels.
Maar om dat onderzoek te laten werken en om het betekenis te geven aan andere wetenschappers, moeten de cijfers gegevens bevatten die hun context geven, zei ze.
"Was dit een steekproef van 100? Was dit een steekproef van 1.000? Was dit een steekproef van 1 miljoen? Hoeveel veranderen veranderingen in steekproefomvang het resultaat? Als ik van 1.000 naar 10.000 ga, veranderen de percentages of veranderen ze behoorlijk robuust? Dat soort dingen, 'zei Scudder.
Peilingen zijn ook veel nuttiger als je weet hoeveel mensen zijn bemonsterd, hoe consistent de resultaten zijn met andere peilingen en hoe de peilingen precies zijn uitgevoerd, zei Chris Schatschneider, een onderwijspsycholoog en expert in statistiek en onderzoeksontwerp in Florida Staatsuniversiteit.
In Schatschneider's eigen onderzoek, zei hij, gebruikt hij statistieken om "signaal" van "ruis" te scheiden - om te bepalen of het resultaat van een experiment je waarschijnlijk iets betekenisvols vertelt over hoe de wereld werkt of het gevolg kan zijn van willekeurige kans. Hij denkt ook goed na over welke vragen een bepaalde set gegevens precies kan beantwoorden en welke vragen dat niet kan.
Die statistische methoden verschillen van de methoden die opiniepeilers gebruiken, zei hij. Maar het is belangrijk om vergelijkbare vragen te stellen bij het horen van pollinggegevens in het nieuws: hoe groot was de steekproefomvang? Wie is er precies bemonsterd? Welke vragen hebben de opiniepeilers precies gesteld? Al die context kan u vertellen of een peiling zinvol is, zoals een paar zwevende cijfers naast bijvoorbeeld de naam van een kandidaat dat niet kunnen.
Het is ook belangrijk om de methoden te begrijpen die een enquêteur gebruikte, zei hij.
Veel peilingen hebben bijvoorbeeld betrekking op 'gestratificeerde steekproeven'. Dat betekent dat als een bepaalde groep - studenten bijvoorbeeld - ondervertegenwoordigd is in een steekproef in vergelijking met de algemene bevolking, de enquêteurs de cijfers zullen aanpassen, zodat de ondervraagde studenten belangrijker worden. Dit kan in principe een legitieme techniek zijn, zei Schatschneider. Maar het kan ook de resultaten scheef trekken wanneer een kleine groep ondervraagde mensen voor duizenden opkomt. Hij gaf een voorbeeld: The New York Times meldde in 2016 dat een enkele 19-jarige zwarte man die Donald Trump steunde bij de verkiezingen van dat jaar de enquêteresultaten enorm scheef trok vanwege dit soort gegevensmassage, wat leidde tot nieuwsverhalen die suggereerden dat Trump was veel populairder bij zwarte kiezers dan het geval was.
De realiteit, zei Schatschneider, is dat, tenzij het je fulltime baan is, je waarschijnlijk geen tijd hebt om polls individueel te evalueren op deze manier om te bepalen welke wetenschappelijk zijn en welke minder. De meeste mensen kunnen beter niet te veel aandacht besteden aan nieuws over individuele peilingen, wat misleidend kan zijn, en moeten in plaats daarvan kijken naar gemiddelden van recente peilingen zoals die van RealClearPolitics, zei hij.
Wetenschappers doen iets soortgelijks met onderzoeksgegevens, wanneer ze gegevens van meerdere artikelen samenvatten in grotere artikelen die 'meta-analyses' worden genoemd, zei Schatschneider. Hij zei dat een gemiddelde van peilingen in ieder geval betrouwbaarder is, omdat peilingen meestal worden vrijgegeven, ongeacht of ze interessant zijn. Maar wetenschappelijke artikelen hebben de neiging om meer interessante resultaten te behalen omdat ze volgens Schatschneider nog steeds gemakkelijker gepubliceerd kunnen worden.
Verkiezingsvoorspellingen op basis van grote groepen peilingen kunnen ook interessant en nuttig zijn, zei Scudder, maar in tegenstelling tot wetenschappelijk onderzoek waarbij methoden en ruwe cijfers worden gepubliceerd, laten peilers hun werk niet zien - en bewaren ze het allemaal in een eigen zwarte doos.
Over het algemeen, zei Scudder, zou ze een groep peilingen betrouwbaar en interessant vinden als ze allemaal in dezelfde richting wijzen, en minder zinvol als ze overal zijn - wat wijst op problemen bij het verzamelen van gegevens.
Alleen omdat de bevindingen in een trend passen, maakt ze nog niet accuraat. Met elke beschikbare dataset, zei Scudder, moet je ook weten hoe je de resultaten moet interpreteren.
'Je moet er wel op letten dat de statistische test die je gebruikt de vraag beantwoordt die je wilt beantwoorden', zei ze.
In de wetenschap zou dat kunnen betekenen dat we moeten uitzoeken of een dataset een idee volledig uitsluit - zeg maar dat alle sterren van kaas zijn - of het gewoon niet bewijst - zeg, alle sterren kunnen nog steeds van kaas zijn, maar we hebben niet ' Ik heb de kaas nog niet gezien.
Als het gaat om politieke peilingen, zijn de vragen anders. Maar begrijpen wat ze bedoelen is net zo belangrijk. Een goedkeuringsclassificatie is geen maatstaf voor hoe mensen van plan zijn te stemmen. Mensen vragen die ze leuk vinden tijdens een voorverkiezing, vertelt je niet noodzakelijk hoe ze zich zullen voelen tijdens een algemene verkiezing. Vragen wie ze in februari willen stemmen, voorspelt niet hoe ze in november zullen stemmen, zei Schatschneider.
Op die manier, zegt Schatschneider, lijkt polling veel op het nemen van de temperatuur van een patiënt. Het is een volkomen wetenschappelijke onderneming, zei hij. Maar het is belangrijk dat mensen die peilingen volgen duidelijk zijn over wat ze precies bedoelen.
