Cai helpt je om open antwoorden snel en betrouwbaar te categoriseren. Cai combineert AI met de onderzoeksexpertise en kwaliteitsstandaarden van Crowdtech. Jij houdt de controle: je kunt de voorgestelde categorieën en toewijzingen reviewen, aanpassen en verder verfijnen voordat je de resultaten gebruikt.
In dit artikel lees je hoe open antwoordcategorisatie werkt, hoe je een categorisatie start en hoe je de resultaten nagaat en verfijnt.
Wat is open antwoordcategorisatie?
Open antwoordcategorisatie is een AI-functie waarmee je open antwoorden op een vraag in je onderzoek automatisch laat indelen in categorieën. Cai leest een selectie van de antwoorden, herkent de belangrijkste thema's en clustert de antwoorden daaromheen. Je krijgt een overzicht van relevante categorieën, met per categorie een naam, een samenvatting, het aantal gekoppelde antwoorden en voorbeeldquotes. Daarna kun je in de review workspace zien welk antwoord in welke categorie is geplaatst, en dit zelf aanpassen. Lees meer over de review workspace.
De categorisatie werkt het best bij onderzoeken met meer dan 500 antwoorden op de betreffende vraag. Met deze aantallen kan Cai nog beter betrouwbare en onderscheidende categorieen vormen.
Aan de slag
- Navigeer in het linkermenu naar ‘Cai’, herkenbaar aan het sterrenicoon;
- Selecteer het onderzoek waarvan je open antwoorden wilt categoriseren;
- Kies de specifieke vraag die je wilt laten categoriseren;
- Start de categorisatie.
Cai kiest vervolgens willekeurig 500 antwoorden voor de eerste categorisatie. Je hoeft zelf geen antwoorden te selecteren of te uploaden. Als je extra antwoorden wilt categoriseren, klik je na de eerste categorisatie op het plusicoon.
Het systeem onthoudt per survey-omgeving welke vraag als laatste is gecategoriseerd. Dit betekent dat als een collega al een categorisatie voor een onderzoek heeft uitgevoerd, jij die resultaten terugziet als je hetzelfde onderzoek opent. Zo kun je met je team voortbouwen op elkaars werk.
Welke antwoorden worden gebruikt?
Voordat antwoorden het AI-model bereiken, doorlopen ze een aantal stappen om ervoor te zorgen dat alleen bruikbare, informatieve antwoorden worden meegenomen:
- Niet-relevante antwoorden worden uitgesloten. Denk aan lege antwoorden, antwoorden als ‘ja’, ‘nee’ of ‘n.v.t.’, antwoorden die alleen uit cijfers of tekens bestaan en antwoorden van één letter. Ook antwoorden die al eerder gecategoriseerd zijn worden uitgesloten (alleen nog niet-gecategoriseerde antwoorden worden meegenomen);
- Het aantal antwoorden dat na deze filtering overblijft wordt meegegeven aan het AI-model als context;
- Het AI-model filtert vervolgens antwoorden weg die inhoudelijk (semantisch) niet-informatief zijn.
Cai selecteert het deel van het antwoord dat inhoudelijk bij de categorie past, en toont dat fragment. Hierdoor kan het voorkomen dat het antwoord dat je in de categorisatie ziet korter is dan het volledige antwoord in de resultatenomgeving.
Het categorie-overzicht
Na het starten van een categorisatie krijg je een overzicht van relevante categorieën. Per categorie zie je:
- De naam van de categorie;
- Een korte samenvatting per categorie;
- Het aantal antwoorden per categorie. Er wordt geen totaal aantal antwoorden of respondenten over alle categorieën samen weergegeven;
- Een aantal quotes uit de geselecteerde antwoorden, als voorbeeld van wat er in die categorie valt.
De review workspace
In de review workspace zie je hoe elk individueel antwoord door Cai is ingedeeld, en kun je dit controleren en aanpassen.
- In de kolom ‘Antwoorden’ zie je de geselecteerde open antwoorden.
- In de kolom ‘Categorieën’ zie je de toegekende categorieën. Standaard staat hier de categorie die de Cai heeft gekozen, maar je kunt dit zelf aanpassen:
- Je kunt een toegekende categorie verwijderen;
- Je kunt een nieuwe categorie toevoegen;
- Dit kan ook via bulkacties, zodat je in één keer aan meerdere antwoorden tegelijk een categorie toekent of verwijdert.
Elk antwoord heeft een status:
- Niet beoordeeld: de output is nog niet door een gebruiker gecontroleerd.
- Beoordeeld: een gebruiker heeft de output gecontroleerd.
Zodra je handmatig een categorie aanpast, wijzigt de status automatisch van ‘Niet beoordeeld’ naar ‘Beoordeeld’. Ben je het juist eens met de indeling van Cai en wil je niets aanpassen? Klik dan op ‘Niet beoordeeld’ om de status handmatig naar ‘Beoordeeld’ te wijzigen.
Deze statussen zijn ook handig als je met meerdere collega's tegelijk in dezelfde categorisatie werkt: zo kun je in één oogopslag zien welke antwoorden al gecontroleerd zijn en welke nog aandacht nodig hebben.
Om snel je weg te vinden in grotere datasets heb je de volgende opties in de review workspace:
- Zoekbalk: zoek een specifiek antwoord.
- Filteren: filter antwoorden op categorie of op status.
- Rijen per pagina: stel in hoeveel antwoorden er per pagina worden getoond, zodat je sneller kunt navigeren.
Categorieën beheren
Onder ‘Categorieën beheren’ kun je:
- De naam van een categorie wijzigen;
- Een categorie verwijderen. Dit kan alleen als er geen enkel open antwoord aan die categorie gekoppeld is. Je moet dus eerst alle gekoppelde antwoorden verplaatsen naar een andere categorie voordat je de categorie kunt verwijderen;
- De beschrijving van een categorie bekijken en aanpassen.
Meer precisie in het resultatenoverzicht
Wijzigingen die je in de review workspace maakt, worden doorgevoerd op de resultatenpagina van de categorisatie. Zo worden het aantal antwoorden per categorie en de weergave van de staafdiagrammen bijgewerkt als je een antwoord verwijdert of toevoegt aan een categorie.
Wil je na de eerste categorisatie nog meer antwoorden laten categoriseren? Controleer dan eerst, onder ‘Categorieën beheren’, de beschrijving per categorie.
Deze beschrijving wordt door Cai gebruikt als leidraad om de volgende reeks antwoorden te categoriseren. Door de beschrijving aan te passen, kun je een categorie breder of juist smaller maken, en zo de categorisatie steeds verder verfijnen naarmate je meer antwoorden categoriseert.
Op dit moment is het nog niet mogelijk om je (aangepaste) categorisatie te exporteren of downloaden. Deze functionaliteiten volgen op een later moment.
Taal
Als je gebruik wilt maken van openantwoord categorisatie moet je de platformtaal instellen op Engels of Nederlands. Het is nog niet beschikbaar voor Frans en Duits.
De output van de categorisatie (categorienamen, samenvattingen en quotes) wordt weergegeven in de brontaal van de survey, mits deze staat ingesteld op Nederlands of Engels. Bij een andere brontaal, wordt de output in het Engels getoond.
Bescherming van persoonsgegevens
Persoonsgegevens (PII) worden zo veel mogelijk automatisch verwijderd voordat antwoorden het AI-model bereiken. Hiervoor wordt gebruikgemaakt van een externe koppeling die tekst maskeert. Wanneer dit systeem tekst als mogelijk persoonsgegeven herkent, wordt dit vervangen door de aanduiding [redacted]. De aanduiding [redacted] wordt niet weergegeven in de output van Cai. De betreffende gegevens worden uit de tekst gefilterd voordat deze door het AI-model wordt verwerkt. Wil je controleren welke gegevens zijn uitgefilterd? De oorspronkelijke antwoorden blijven altijd beschikbaar via de Review Workspace, het Downloadcenter en de Resultaten.
- Het kan incidenteel voorkomen dat een woord onterecht gemaskeerd wordt (bijvoorbeeld een woord als ‘medewerker’), en namen die minder vaak voorkomen worden soms minder goed herkend;
- We hebben bewust gekozen voor een strikte instelling: liever iets meer informatie gemaskeerd dan het risico dat persoonsgegevens zichtbaar blijven.
Dit maskeren gebeurt vóórdat een antwoord bij het AI-model terechtkomt. Voor de categorisatie zelf maken we gebruik van Mistral, een Frans AI-model dat onder Europese wetgeving valt.
Rechten en toegang
Open antwoordcategorisatie is gekoppeld aan het recht: ‘Categorisatie open antwoorden (LLM)’. Heb je geen toegang tot open antwoordcategorisatie, controleer dan of dit recht aan jouw account is toegekend.
Credits en upgraden
Elke 90 dagen ontvang je automatisch een hoeveelheid credits waarmee je Cai, waaronder open antwoordcategorisatie, kunt inzetten. Zijn je credits op, dan is het mogelijk om te upgraden naar een betaald pakket. Neem hiervoor contact op met je Customer Success Manager of via een e-mail aan customersuccess@crowdtech.com.