Kwalitatieve data-analyse in UX Research: van gut feeling naar feiten

datum 17 april 2024

auteurFemke Knaapen

Zo pak je data-analyse aan

Aannames zijn zilver, zekerheid is goud. Dat is waarom UX research zo waardevol is én waarom data-analyse een essentiële stap binnen UX research is. Data ophalen is natuurlijk heel belangrijk, maar wat je vervolgens met de data doet is minstens zo belangrijk. Wanneer je niet de tijd neemt om goed in de data te duiken, bestaat alsnog de kans dat je het verkeerde probleem oplost, belangrijke nuances in de data mist of een inefficiënte oplossing ontwikkelt. Even snel de interviews teruglezen en daarna uitgaan van je onderbuikgevoel, is niet voldoende (hoe graag ik dat ook zou willen).

Veel klanten en collega’s ervaren data-analyse als een saai en tijdrovend klusje. Met name onze stagiaires hoor ik regelmatig klagen wanneer ze bezig zijn met de data-analyse van hun afstudeerstage. Terwijl het juist een uitdagende puzzel kan zijn om alle data bij elkaar te leggen. In dit blog zal ik proberen om je daarvan te overtuigen 😁. Ik leg uit hoe wij deze data-analyse aanpakken én geef een aantal tips hoe je zelf data kan analyseren, bijvoorbeeld met behulp van AI.

Twee netvlies collega's discussiëren over data.

Een beter product begint met goed onderzoek

Ik geloof er heilig in dat producten, diensten en zelfs hele organisaties (nog) beter worden als bedrijven naar eindgebruikers leren luisteren en de inzichten die ze hieruit halen toepassen. Daarom is UX research zo’n waardevolle tool. UX research draait namelijk om het in kaart brengen van ervaringen, gedragingen en achterliggende beweegredenen van de eindgebruiker. Dit levert waardevolle gebruikersfeedback op die bijvoorbeeld productontwikkelaars, developers, UX designers, business designers en marketeers kunnen gebruiken om bestaande producten en diensten te verbeteren en nieuwe producten en diensten te ontwikkelen, waarbij de eindgebruiker en diens ervaring centraal staat. Tenminste… als je de tijd neemt om de opgehaalde informatie goed te analyseren.

Een goed begin is het halve werk

De kwaliteit van je onderzoek hangt voor een groot deel af van hoe goed je het onderzoek voorbereid. Ditzelfde geldt voor de data-analyse. Voorbereiding is echt alles. Denk van tevoren goed na wat je wilt weten, waarom je dit wilt weten, van wie je dit wilt weten én hoe je de verzamelde informatie vastlegt en analyseert. Hoe deel je de onderzoeksresultaten met het team en hoe vertaal je onderzoeksresultaten naar een concept, design of technische oplossing?

In zes stappen van losse data naar heldere conclusies

De manier waarop ik data analyseer heeft een achtergrond in de psychologie, en is afgeleid van de thematic analysis gedefinieerd door Braun en Clarke. Ik pas de methode op praktische wijze toe door de methodiek plat te slaan naar zes vaste stappen. Hieronder licht ik de stappen kort toe. Voor het gemak gebruik ik diepte-interviews als voorbeeld, omdat we deze onderzoeksmethode het vaakst toepassen.

Stap 1 - bekend worden met de data

Je hebt alle interviews afgenomen en getranscribeerd. Met andere woorden: je hebt een grote bak vol data verzameld en nu is het zaak om de data op de juiste manier aan elkaar te verbinden. Hiervoor moet je eerst (opnieuw) bekend worden met de data. Welke interviews heb je afgenomen? Wat hebben mensen gezegd? Welke notities heb je hierbij gemaakt? Wat viel je op tijdens de interviews? Begin met het doornemen van je transcripten en eventueel de notities die je gemaakt hebt tijdens het interview.

Stap 2 - coderen

De volgende stap is het markeren en coderen van de gegeven antwoorden. Waar gaat het antwoord over en hoe hangt dit samen met de onderzoeksvraag? Hang hier een begrijpelijke code aan, zodat je in een paar woorden samenvat wat iemand zegt. Soms kan een antwoord ook meerdere codes bevatten.

Stel ik doe onderzoek naar de impact van AI op onderwijs en de respondent vertelt dat niet iedereen toegang heeft tot digitale apparaten. Dan geef ik aan dit antwoord de codes ‘digitale ongelijkheid’ en ‘tools en impact’. Het coderen hangt in grote mate af van je onderzoeksvraag. Houd dus goed in je achterhoofd wat je wil onderzoeken en kijk ook met deze bril naar de data. Op die manier haal je de meest relevante informatie uit je data.

Visueel voorbeeld van gecodeerde uitgeschreven interviews met verschillende kleuren.

Coderen kun je leren

Tijdens het coderen markeer je de quotes of zinnen die belangrijk zijn om de onderzoeksvraag te beantwoorden. Het makkelijkste is om - net als in het voorbeeld - met verschillende kleurmarkeringen te werken. Zo kun je woorden en zinnen die onder dezelfde code vallen, alvast dezelfde kleur geven en na het coderen makkelijk thema’s creëren.

Stap 3 - thema’s generen

Vervolgens hang je thema’s boven de coderingen. Neem je coderingen nog een keer door. Hoe hangen ze onderling samen? Passen verschillende codes samen onder één thema? Je zou alle codes op post-its kunnen zetten, om daarna te schuiven met de codes totdat er een logische structuur ontstaat.

Sommige codes zullen samen één thema vormen, terwijl andere codes meer een subthema worden. In dit voorbeeld zou een subthema ‘toegang tot digitale middelen’ kunnen zijn, wat vervolgens onder het thema ‘ongelijkheid’ valt. Deze thema’s vallen vervolgens onder het hoofdonderwerp ‘AI en onderwijs’.

Het genereren van thema’s kan soms lijken als een oneindige puzzel; je kunt keer op keer je codes reviewen tot een andere themastructuur. Echter zul je zien dat wanneer je met de codes aan de slag gaat, er vanzelf een logische structuur ontstaat waarin de thema’s onderling samenhangen. Een gezonde dosis analytisch vermogen is hierbij echter niet overbodig 😉.

Stap 4 - thema’s reviewen

Welke overkoepelende thema’s heb je opgeschreven? Neem de thema’s kritisch door en kijk waar thema’s elkaar (te veel) overlappen en kunnen worden samengevoegd tot een nieuw thema of dat het antwoord toch bij het andere thema hoort. Kijk ook kritisch of er thema’s tussen zitten die toch niet zo relevant zijn en kunnen worden weggelaten.

Onderzoek vervolgens hoe de thema’s onderling samenhangen. Vaak heeft het ene thema namelijk invloed op een ander thema. Om dit inzichtelijk te maken, kun je bijvoorbeeld een flowchart maken. Zo kun je eenvoudig in kaart brengen of je thema’s je dataset goed reflecteren.

Een voorbeeldje: vorig jaar deed ik samen met een collega onderzoek naar de ervaringen van eindgebruikers rondom de producten en diensten van een verzekeringsmaatschappij. Het doel van het onderzoek was om de zogeheten “Job-to-be-Done” van ondernemers te onderzoeken. We ontdekten dat de redenen waarom mensen bij deze specifieke verzekeringsmaatschappij een verzekering afsloten met elkaar samenhingen. In de antwoorden zagen we ‘persoonlijk contact’ vaak terugkomen, wat volgens de respondenten leidde tot vertrouwen in de verzekeringsmaatschappij. Door het vertrouwen hadden mensen het gevoel ontzorgd te worden en los te kunnen laten. Het kunnen loslaten van zorgen, gaf mensen het gevoel tijd over te hebben, waardoor ze tijd hadden voor persoonlijke zaken, zoals sport en familie, of juist tijd overhielden om te kunnen investeren in andere zaken rondom hun bedrijf. Tijd overhouden voor sport, familie of andere zaken, bleek hun uiteindelijke “Job-to-be-Done” te zijn. Iets wat je op het eerste oog wellicht niet verwachtte als je aan het afsluiten van een verzekering dacht. De op het eerste oog losse thema’s hebben veel onderlinge samenhang en geven meer inzicht in de USP’s en meerwaarde van de organisatie. Dit is waardevolle informatie die de verzekeringsmaatschappij kan gebruiken in haar communicatie- en campagnestrategie voor de doelgroep ondernemers.

Stap 5 - thema’s namen geven

De naam van een thema is belangrijker dan je in eerste instantie denkt. De naam die je aan een thema geeft, komt vaak terug in de gesprekken die in de organisatie worden gevoerd over de resultaten van en inzichten uit het onderzoek. Pas de benaming daarom aan afhankelijk van je doelgroep; gebruik bijvoorbeeld niet te veel jargon of onnodig moeilijke woorden. Ook voor je eigen proces is het handig om logische thema namen te kiezen. Op die manier raak je niet de draad kwijt in je eigen onderzoek. Kies namen die alles omvatten wat je ermee bedoelt en zorgen dat iedereen in een keer begrijpt waar het over gaat.

Stap 6 - van thema’s naar concrete inzichten

Tot slot verwerk ik de thema’s tot concrete inzichten waar de klant iets mee kan. Wat valt op aan de thema’s? Met welke thema’s moeten we echt iets doen? Dit onderdeel hangt heel erg af van de vraag van de klant en wat er met de inzichten wordt gedaan. Desondanks is het juist in deze stap belangrijk om nog steeds open-minded te blijven. Het zou bijvoorbeeld kunnen dat uit de inzichten blijkt dat de respondenten iets totaal anders willen dan dat de klant van tevoren dacht. Juist dan is het belangrijk om uit te gaan van de data; je hebt het immers niet voor niks opgehaald! Als UX researcher sta je ervoor om de eindgebruiker een stem aan de tekentafel te geven. Presenteer daarom je inzichten zonder oordeel. Meningen en aannames van stakeholders komen later wel weer aan bod.

Maak het visueel

De opvallendheden vertaal ik naar concrete inzichten en adviezen. Maar, eerlijk is eerlijk, van ellenlange adviesrapporten wordt niemand vrolijk. Als zo’n bestandje al niet leuk is om te lezen, verdwijnt het binnen de kortste keren in de bureaula tussen alle andere lappen tekst. Daarom doen we dat bij Netvlies even anders. Vaak werk ik samen met een designer om de inzichten op een leuke, pragmatische en concrete manier te vertalen in handvatten en adviezen waar meteen iets mee gedaan kan worden.

Het liefst op een zo visueel mogelijke manier, zoals statement cards, een service blueprint of customer journey map. Vaak doen we dit in de huisstijl van de klant. Dat maakt het delen van inzichten niet alleen een stuk leuker, maar creëert ook een stukje ownership bij de klant zelf. Op die manier kunnen we waarborgen dat ook daadwerkelijk iets met onze inzichten en adviezen wordt gedaan.

Voor, tijdens en na het interview

Voor, tijdens en na het interview - en eigenlijk elke andere onderzoeksmethode - kun je een hoop doen om de data-analyse eenvoudiger te maken. Zorg allereerst voor een gestructureerde vragenlijst en neem de interviews op. Het kan ook helpen om na elk interview een kort gespreksverslag op te stellen.

Tijdens het interview ga je soms van hot naar her om het gesprek logisch te laten verlopen. Een interview volgt nooit chronologisch de volgorde van je interviewvragen. Houd daarom tijdens het interview een checklist bij van de onderwerpen die je wil uitvragen. Zo voorkom je dat er straks “gaten” ontstaan in je data, omdat je in sommige interviews onderwerpen hebt gemist.

Het voelt misschien als een open deur, maar je zooi goed bijhouden is écht het halve werk. Zorg voor overzicht. Welk interview heb je wanneer? Welke opname hoort bij welk interview? Voorkom chaos door alles op dezelfde manier bij te houden. Dit helpt enorm om alles makkelijk en snel terug te vinden. Daarnaast kan AI je helpen in alle fasen van het onderzoek.

Zo kan AI helpen bij je data-analyse

Toegegeven: ik was in het begin behoorlijk sceptisch over de inzet van AI in data analyses. Mijn grootste bezwaar is vooral dat AI de nuances van een interview niet meekrijgt. Beeldspraak, sarcasme en intonatie zijn complexe menselijke toevoegingen die voor AI vrijwel onmogelijk te lezen zijn. Toch zet ik AI tegenwoordig wel in als een soort co-writer. Ik laat AI bijvoorbeeld de lijst met thema’s die ik heb opgesteld aanvullen. Welke thema’s haalt AI uit mijn geanonimiseerde (!) data? Op die manier heb je eenvoudig een soort extra check van je data. Soms komen er dingen uit die je over het hoofd hebt gezien of bevestigt AI juist de thema’s die je al had gevonden.

Je kunt AI ook gebruiken om interviews te transcriberen, zeker als je de interviews hebt opgenomen. Mijn collega Wouter schreef hier eerder een blog over.

Hoe je AI ook inzet; goede prompts zijn onmisbaar. Net als bij je interviewvragen, moet je eerst goed nadenken welk antwoord je eruit wilt halen en hoe je je vraag het beste kunt formuleren. Ook is het handig om je data meteen duidelijk te formuleren en structureren, zodat het gelezen kan worden door AI. En het is uiteraard essentieel om data te anonimiseren voordat je het in een AI tool gooit.

Belangrijke en leuke stap

Ik hoop dat ik je door dit blog een beetje heb kunnen enthousiasmeren over data-analyse. Het is niet alleen heel belangrijk, maar kan ook gewoon echt heel leuk zijn. Pak vooral even de rust om open-minded in de data te duiken, zet een lekker afspeellijstje op en zet je innerlijke nieuwsgierigheid aan. Als je het gestructureerd aanpakt, is de waarde die je eruit haalt veel groter en kost het minder tijd. Daarnaast kies ik er bewust voor om pragmatisch om te gaan met de wetenschappelijke manier van data analyseren. Op die manier blijft het behapbaar en is het gericht op een concrete output die aansluit bij de vraag van de klant.

Een laatste uitsmijter: geef vooral niet op! Wanneer je veel interviews hebt gedaan, kan het aantal pagina’s transcript soms oneindig lijken. Echter is jouw data veel te waardevol om zomaar even overheen te lezen. In de woorden van onze favoriete Zweedse meubelwinkel: aandacht maakt alles mooier.