Hoe zit het ook alweer met de betrouwbaarheid van enquêteresultaten? Wat kun je zeggen over de representativiteit van een steekproef? Ik heb daar een en ander over bij elkaar gegoogeld, omdat de resultaten van de vuurwerkenquête van PRO21 nogal wat losmaakten op Facebook. Voor je het weet gaat de discussie dan niet over de inhoud van de resultaten, maar over of die wel betrouwbaar zijn. Laten we dat daarom eerst even onder de loep nemen.
Met een online steekproefcalculator kun je berekenen dat je op een inwoneraantal van 42.143 (gemeente Nijkerk in augustus 2017) en met een betrouwbaarheidsniveau van 95% en foutmarge van 5% een steekproefgrootte van 381 deelnemers nodig hebt. Daar voldoet de vuurwerkenquête met een respons van 1.286 inwoners ruimschoots aan. Maar, zo lees ik op scribbr.nl, “daarbij is wel van belang op welke manier de respondenten geselecteerd worden”. Op die geciteerde tekst volgt op die studentenwebsite een uitleg over de selectie bij een willekeurige-, systematische-, gestratificeerde- of clustersteekproef. In alle gevallen selecteert de onderzoeker de groep die wordt uitgenodigd.
In het geval van de vuurwerkenquête is daar geen sprake van. Deelname aan dat onderzoek was open voor iedereen die gehoor gaf aan een oproep op sociale media. En ik kan me voorstellen dat je daar eerder toe geneigd bent als je een uitgesproken mening hebt over vuurwerk, of dat nu “alles-moet-blijven-zoals-het-is” is, of “de-tijd-rijp-is-voor-een-verbod-op-consumentenvuurwerk”. Dat is natuurlijk ook zo als je tot de geselecteerde groep behoort die gericht wordt uitgenodigd, maar als er van een (representatieve) selectie vooraf geen sprake is, kan ik me voorstellen dat dat de resultaten van een onderzoek enigszins vertekent. Tot zover de les in betrouwbaarheid van enquêteresultaten (over de betrouwbaarheid van deze les valt overigens ook te discussiëren; ik ben tenslotte geen wetenschapper).
Laten we niettemin even inzoomen op een paar resultaten. Want als 54% van 1.286 inwoners overlast ervaart door vuurwerk en 60% van diezelfde groep het er geheel of gedeeltelijk mee eens is dat het afsteken van vuurwerk door particulieren volledig moet worden verboden, is dat op z’n minst iets om nader te onderzoeken op een manier die de goedkeuring van eenieder kan wegdragen. We hebben nog even voor het weer oud & nieuw is. Maar gaan we dan – als er geen speld meer tussen de gekozen steekproefmethode te krijgen is – ook gehoor geven aan de resultaten?
Nelleke den Besten – De Stad Nijkerk