Waarom je voor usability testing vaak meer dan vijf gebruikers nodig hebt

Steeds meer bedrijven maken - met goede redenen - gebruik van usability testing om de gebruikerservaring op hun website, app of prototype te verbeteren. Dat je voor usability testing gebruikers nodig hebt, zal voor niemand een verrassing zijn maar hoeveel heb je er eigenlijk nodig om goede resultaten te behalen? 

Boek een demo
 

Meer dan vijf gebruikers een ‘waste of resources’

Nielsen (2000) was een van de eersten die onderzoek deed naar het aantal gebruikers dat nodig is om digitale applicaties te testen. Aan de hand van dat onderzoek kwam hij tot de conclusie dat vijf gebruikers 80% van alle problemen ontdekken en dat elke extra gebruiker een ‘waste of resources’ is. 

De dataset die hij onderzocht heeft, bestond uit 83 usability testen voorafgaand aan het onderzoek zijn uitgevoerd. Om te bepalen wat de waarde is van een extra gebruiker, keek hij naar het aantal nieuwe problemen dat een extra gebruiker ontdekt. Aan de hand van de resultaten is de formule N(1-(1-L)n) opgesteld, waarbij N het aantal gebruikers is en L staat voor de kans dat de gebruiker een probleem ontdekt. 

In een grafiek ziet die formule er zo uit:

Uit bovenstaande grafiek haal je twee interessante bevindingen: 

  1. Vijf gebruikers ontdekken 80% van alle usability problemen, 
  2. Vijftien gebruikers ontdekken alle usability problemen. 

Maar… Wat negen van de tien keer over het hoofd wordt gezien, is dat de formule van Nielsen alleen geldig is op het moment dat vergelijkbare taken door vergelijkbare gebruikers worden uitgevoerd. Dat betekent dat de formule niet opgaat op het moment dat:

  • Je de gebruikerservaring wil testen op verschillende apparaten (mobiel, desktop, tablet). 
  • Je de gebruikerservaring wil testen in één grote of verschillende doelgroepen. Zo zegt een gebruikerstest voor Funda met makelaars niets over de gebruikerservaring van huizenjagers. 
  • De intenties van de gebruikers verschillen. Iemand die een website bezoekt om een nieuwe baan te vinden heeft andere behoeftes dan iemand die een offerte wil aanvragen.

 

Kritiek op Nielsen

Hoewel het onderzoek van Nielsen (2000) bij veel mensen bekend is, zijn er ook onderzoeken die de betrouwbaarheid van Nielsen in twijfel trekken. 

Zo stellen Spool & Schroeder (2001) vast dat je met vijf gebruikers slechts 35% van alle problemen ontdekt. Perfetti & Landesman (2002) tonen aan dat usability testen met meer dan vijf gebruikers van grote waarde zijn en er voor elke extra gebruiker gemiddeld zo’n vijf nieuwe problemen worden ontdekt. Laura Faulkner (2003) doet daar vervolgens een stap bovenop door de formule van Nielsen op de proef te stellen. 

Dit doet ze door zestig usability testen af te nemen, waarin de testers alle usability problemen hebben ontdekt. Wanneer de formule van Nielsen opgaat, betekent het dat bij een willekeurige selectie van vijf usability testen 80% van de problemen boven water komt.  

Tijd om de proef op de som te nemen.

Uit de resultaten blijkt dat de formule van Nielsen niet opgaat en dat - in het slechtste geval - vijf gebruikers slechts 55% van alle problemen ontdekken. Pas bij tien gebruikers wordt de beloofde 80% bereikt. 

 

Hoeveel gebruikers heb je dan wel nodig?

Het aantal usability testen dat je nodig hebt hangt af van verschillende factoren en daar is helaas nog geen magische formule voor bedacht. Het totale aantal testen hangt namelijk af van veel verschillende factoren:

  • Op welke apparaten er getest moet worden. Omdat de gebruikerservaring sterk kan verschillen per apparaat, is het aan te raden aparte usability testen uit te voeren voor desktop, mobiel en tablet. 
  • Of de resultaten statistisch significant moeten zijn. Ontwikkel je een erg gevoelig product met weinig ruimte voor errors? Dan is het soms nodig extra testen uit te voeren om er zeker van te zijn dat er geen grote fouten meer in de website of app zitten. 
  • Of usability testing eenmalig of structureel wordt ingezet. Afhankelijk hoe vaak je usability testing inzet en hoe snel optimalisaties worden doorgevoerd, kan vaker testen met kleinere testaantallen betere resultaten opleveren. 
  • De grootte en variatie van de doelgroep. Afhankelijk van welke doelgroep de website of app bedient, is het soms beter aparte usability testen uit te voeren. Zo doet Funda er bijvoorbeeld goed aan aparte usability testen in te richten voor huiseigenaren, makelaars en huizenjagers.  

Er bestaat dus een grote kans dat vijf usability testen niet voldoende zijn. Toch hoeft het uitvoeren van usability testen niet langer veel tijd en geld te kosten. Er zijn voldoende tools op de markt waarmee je gratis usability testen kunt afnemen of tegen lage kosten de gehele uitvoering kunt uitbesteden. Want één ding blijft zeker: no testing, no insights. 

Benieuwd hoeveel gebruikers we in jouw geval aanraden?

Neem dan contact met ons op via 085 1300 626 of boek een vrijblijvende demo.