Een vragenlijst is een hulpmiddel om zo betrouwbaar en valide mogelijk de werkelijkheid in kaart te brengen. Een vraag is valide als het antwoord op de vraag overeenkomt met de werkelijke waarde van het gemeten construct. Een vraag is betrouwbaar als een respondent die twee keer de vraag beantwoordt, zonder dat de omstandigheden zijn veranderd, hetzelfde antwoord geeft. Ook moeten twee respondenten waarvan de omstandigheden hetzelfde zijn, hetzelfde antwoord geven.
Ons doel is om vragenlijsten zo betrouwbaar en valide mogelijk te maken. Belangrijk is het om te beseffen dat we nooit 100% betrouwbare en valide vragen kunnen maken. We kunnen er alleen naar streven om de meetfout zo klein mogelijk te maken.
Vier regels voor betrouwbare en valide vragen
Als we de definitie van betrouwbaar en valide verder uitwerken, zijn er vier regels waaraan een vraag moet voldoen om valide en betrouwbaar te kunnen zijn:
- Een respondent moet de vraag begrijpen;
- Een respondent moet de benodigde informatie hebben om de vraag te beantwoorden;
- Een respondent moet de relevante informatie kunnen vertalen in een vorm die toereikend is om de vraag te beantwoorden;
- Een respondent moet het antwoord kunnen geven.
De vraag begrijpen
Het lijkt heel logisch; de respondent moet de vraag begrijpen om hem goed te kunnen beantwoorden. Toch is dit lastiger dan het lijkt. Houd je doelgroep in gedachten bij het opstellen van vragen. Het doel is dat alle respondenten jouw vragen begrijpen.
Als je twijfelt, kun je het leesniveau van je vragenlijst controleren met een online tool:
Voor teksten: https://www.accessibility.nl/kennisbank/tools/leesniveau-tool
Voor begrippen: http://www.ishetb1.nl/
Formuleer vragen zo kort en bondig mogelijk. Respondenten lezen vaker niet meer dan twee regels. Als je lange vragen of uitgebreide toelichtingen opneemt, is de kans groot dat respondenten die helemaal niet lezen. Het gevolg is dat respondenten je vraag ook niet kunnen begrijpen zoals je het bedoelt.
De benodigde informatie hebben
De respondent kan geen vragen beantwoorden waar hij het antwoord niet op heeft. We kunnen alleen maar vragen stellen waarvoor de respondent de benodigde informatie heeft om het antwoord te geven. Bedenk goed of een respondent in staat is om jouw vragen te beantwoorden. Als je hierover twijfelt, stel dan een vraag die respondenten wel kunnen beantwoorden en vertaal de antwoorden hiervan naar de informatie die je zoekt.
Het menselijk brein
Het menselijk brein is geen computer. Veel zaken worden vergeten of verkeerd ingeschat. Enkele bekende geheugeneffecten waar we rekening mee moeten houden, zijn:
- Recentheid: hoe langer geleden de gebeurtenis heeft plaatsgevonden, des te moeilijker is het om zich deze te herinneren;
- Saillantie: hoe minder belangrijk de gebeurtenis, des te moeilijker het ophalen ervan wordt;
- Frequentie: hoe vaker een gebeurtenis heeft plaatsgevonden, des te moeilijker wordt het om een concreet voorbeeld terug te halen.
Vanwege dit soort geheugeneffecten is het advies van Crowdtech altijd om zo dicht mogelijk op de beleving te meten.
Het antwoord kunnen geven
Tot slot moet het voor de respondent mogelijk zijn om het gewenste antwoord te geven. Als dit niet mogelijk is, kan je onmogelijk de werkelijkheid goed in kaart brengen.
Veel gemaakte fouten hierin zijn:
• Het stellen van dubbele vragen (bv. wil je rijk en beroemd worden?)
• Het niet passen van de vraagstelling en de antwoordmogelijkheid (multi- of single-respons).