Preference test: alternatief voor A/B testen?

Herken je dit? Je wilt graag weten welke versie van je design beter werkt. Maar je hebt niet genoeg bezoekers voor een betrouwbare A/B test. Of je wilt niet 2-4 weken wachten voordat je eindelijk resultaten hebt.

Dat had ik ook afgelopen maand.

Ik wilde weten wat beter zou werken voor mijn blog: een nieuw nieuwsbrief-blok of de bestaande versie. Normaal zou ik een A/B test opzetten. Maar dan moet ik eerst weken wachten op genoeg data.

In plaats daarvan deed ik iets anders. Een preference test. Voor slechts $40 had ik binnen 3 uur mijn antwoord. 74% van de mensen koos versie 1. En nog belangrijker: ze vertelden me precies waarom.

Het probleem met A/B testing

A/B testing is geweldig. Maar het heeft drie grote beperkingen die veel marketeers frustreren.

Je hebt veel bezoekers nodig.
Voor een betrouwbare A/B test heb je minimaal 300 conversies per variant nodig. Met een conversieratio van 2% betekent dat 30.000 bezoekers. Die heeft niet iedereen.

Het duurt weken.
Zelfs als je genoeg traffic hebt, duurt een betrouwbare A/B test meestal 2-4 weken. Vaak langer als je resultaten tegenvallen.

Het vertelt je niet waarom iets werkt.
Je weet wel dat versie B 15% beter converteert. Maar niet waarom. Dat maakt het lastig om je volgende test te bedenken.

Wat is een preference test?

Een preference test is simpel: je laat mensen twee of meer ontwerpen zien en vraagt welke ze beter vinden en waarom.

Het is geen vervanging voor A/B testing. Maar een krachtig alternatief wanneer A/B testing niet haalbaar is. Ik pas het vaak toe in mijn CRO onderzoek of tijdens een website redesign.

In tegenstelling tot A/B tests meet je geen daadwerkelijk gedrag. Je meet meningen en voorkeuren. Je vraagt mensen direct wat ze denken van je ontwerpen voordat je tijd en geld investeert in development.

Preference test voorbeeld uit de praktijk

Voor mijn blog wilde ik weten of een nieuw nieuwsbriefblok beter zou werken. In plaats van maanden wachten op A/B test resultaten, zette ik een preference test op.

Dit is wat ik deed:

• Platform: Lyssna.com
• Doelgroep: 50 Nederlandse marketeers
• Vraag: "Welke versie spreekt je het meest aan en waarom?"
• Kosten: €35 (€0,70 per respondent)
• Resultaat binnen: 3 uur

Het resultaat was duidelijk: 74% koos voor versie 1. Maar veel waardevoller waren de reacties zoals "De tekst is duidelijker" en "Het voelt minder opdringerig".

Zo zie je maar: een preference test is een goed alternatief voor A/B testing wanneer je niet genoeg bezoekers hebt. En het is veel sneller.

Een misverstand

Laten we dan direct ook een misverstand uit de wereld helpen. Conversie-optimalisatie is niet hetzelfde als A/B testing. Het is namelijk een stuk breder. Het draait om het valideren van je ideeën, waar een preference test een krachtig methode voor is.

Wanneer gebruik je een preference test? (Concrete situaties)

Preference testing is ideaal voor het testen van:

• Headlines en koppen - welke spreekt je doelgroep het meest aan?
• Visual designs - logo's, kleuren, layouts
• E-mail onderwerpen - voor je nieuwsbrief of campagnes
• Advertenties - voordat je budget uitgeeft aan ads
• Product pagina's - verschillende benaderingen testen
• Call-to-action buttons - tekst, kleur, positioning

Gebruik het vooral in de vroege ontwerpfase. Wanneer je nog moet kiezen tussen verschillende richtingen. Het helpt je focus aan te brengen voordat je investeert in development.

Word beter in CRO. Ontvang gratis tips.

Aanmelden

5.000+ mensen ontvangen mijn CRO tips
Max één e-mail per maand

Voorbeeld: E-commerce product pagina

Een Nederlandse webshop wilde weten welke product pagina layout beter zou converteren. Met 4.000 bezoekers per maand zouden ze maanden moeten wachten op statistisch betrouwbare A/B test resultaten.

Hun preference test aanpak:

• 3 verschillende layouts getest
• 75 respondenten, gespecialiseerd in online shopping
• Kosten: €95 via UXtweak
• Resultaten binnen 6 uur

Uitkomst: Layout C won. Maar belangrijker nog: respondenten gaven aan dat de reviews prominenter moesten en de prijs duidelijker.

Deze inzichten implementeerden ze in hun definitieve design. Het resultaat? 23% meer conversie.

Voorbeeld: SaaS landing page headlines

Een B2B software bedrijf twijfelde tussen 4 verschillende headlines voor hun nieuwe feature. Hun doelgroep is klein (IT managers), dus A/B testing is niet mogelijk binnen een redelijke tijd.

Preference test opties:

• "Bespaar 10 uur per week met geautomatiseerde rapportage" - 45%
• "Geen handmatige rapportage meer nodig" - 28%
• "Automatische rapporten die je team écht gebruikt" - 18%
• "Rapportage op autopilot" - 9%

De feedback was goud waard. De eerste headline laat direct de waarde zien en "10 uur besparen" is heel concreet. Deze inzichten gebruikten ze ook voor hun Google Ads en e-mail marketing.

Verschillende types preference tests (en wanneer je ze gebruikt)

1. Simpele voorkeurtest

Wat: "Welke van deze twee opties vind je beter?"
Wanneer: Snelle keuze tussen 2 duidelijke alternatieven
Voorbeeld: Logo A vs Logo B, Button kleur rood vs blauw

2. Rangschikking voorkeurtest

Wat: Respondenten rangschikken 3-5 opties van best naar slechtst
Wanneer: Je wilt een duidelijke hiërarchie in voorkeuren
Voorbeeld: 4 verschillende homepage concepten rangschikken

3. Semantische schaal test

Wat: Beoordeling op schalen zoals "Professioneel vs Casual", "Modern vs Traditioneel"
Wanneer: Je wilt begrijpen hoe je merk wordt waargenomen
Voorbeeld: Nieuwe huisstijl testen op verschillende merkpercepties

4. Eerste klik voorkeur

Wat: "Waar zou je als eerste klikken om [taak] uit te voeren?"
Wanneer: Navigatie en informatie architectuur testen
Voorbeeld: Verschillende menu-structuren vergelijken

5. Vijf seconden voorkeurtest

Wat: 5 seconden design laten zien, dan vragen stellen
Wanneer: Eerste indruk en duidelijkheid testen
Voorbeeld: Landingspagina's vergelijken op eerste indruk

Preference test vs A/B testing: wat is het verschil?

Preference test tools: welke past bij jou?

Lyssna (voorheen UsabilityHub) - de veelzijdige keuze

Prijs: Gratis plan beschikbaar, betaald vanaf $89/maand ($75/maand jaarlijks)
Pro plan: $199/maand ($175/maand jaarlijks)
Aantal deelnemers: 690.000+ respondenten wereldwijd
Best voor: Uitgebreid onderzoek met veel verschillende testtypen

Voordelen:

• Grootste deelnemer database
• Alle belangrijke testtypen beschikbaar
• Uitstekende rapportage mogelijkheden
• Goede klantenservice

Nadelen:

• Aan de duurdere kant
• Kan overweldigend zijn voor beginners
• Panel kosten lopen snel op bij specifieke doelgroepen

UXtweak - de beste prijs-kwaliteit verhouding

Prijs: Gratis plan, Plus plan $99/maand ($49/maand jaarlijks)
Business plan: $179/maand ($144/maand jaarlijks)
Deelnemers panel: Uitgebreide database via partnerships, 130+ landen
Best voor: Bedrijven die veel waarde willen voor hun geld

Voordelen:

• Zeer concurrerende prijzen
• Nederlandse interface beschikbaar
• Goede koppelingen met ontwerp tools
• Snelle en behulpzame ondersteuning

Nadelen:

• Minder bekend dan andere tools
• Panel grootte onduidelijk door tegenstrijdige marketing claims

Maze - let op de hoge kosten

Prijs: Gratis plan beperkt, Starter plan $99/maand
Aantal deelnemers: 3+ miljoen via eigen recruitment panel
Best voor: Teams die veel werken met Figma en prototypes

Voordelen:

• Naadloze Figma koppeling
• Moderne, intuïtieve interface
• Goede prototype test mogelijkheden
• Grote participant database met 400+ targeting opties

Nadelen:

• Beperkte functionaliteit in goedkope plannen
• Prototypes crashen regelmatig volgens gebruikers
• Maar 1 onderzoek per maand mogelijk, tenzij je enterprise plan kiest

UserTesting - voor grote bedrijven

Prijs: Vanaf $15.000-$30.000/jaar, kan oplopen tot $50.000+
Geen openbare prijzen - alles op aanvraag na sales gesprek
Aantal deelnemers: 2+ miljoen wereldwijd

Alleen interessant voor grote bedrijven met forse onderzoek budgetten. Biedt uitgebreide video feedback maar is vaak overdreven voor eenvoudige preference tests. De hoge prijzen en verplichte sales gesprekken maken het ontoegankelijk voor de meeste bedrijven.

Ontvang elke maand gratis CRO-tips

Aanmelden

5.000+ mensen ontvangen mijn CRO tips
Max één e-mail per maand

Deelnemers werven: hoe krijg je de juiste respondenten?

Optie 1: platform databases gebruiken

Voordelen: Snel, breed bereik, vooraf gescreend
Nadelen: Duurder, minder controle over kwaliteit
Kosten: €0,50 - €3,00 per respondent

Voorbeeld van de doelgroep die ik bij Lyssna heb geselecteerd

Tips als je werkt met online panels:

• Wees specifiek in je screening vragen
• Voeg aandacht controle vragen toe
• Test eerst met een kleine groep
• Gebruik tijd beperkingen om serieuze respondenten te krijgen

Optie 2: je eigen database/klanten gebruiken

Voordelen: Gratis, relevante doelgroep, betere kwaliteit
Nadelen: Beperkt bereik, mogelijk vooringenomenheid
Kosten: Gratis (alleen tool kosten)

Waar je eigen respondenten kunt vinden:

• E-mail nieuwsbrief abonnees
• Social media volgers
• LinkedIn netwerk
• Klanten database
• Branche communities en forums

Optie 3: gecombineerde aanpak

Combineer beide methoden. Start met je eigen netwerk voor snelle feedback. Valideer daarna met database respondenten voor bredere markt inzichten.

Preference test resultaten analyseren: van data naar actie

Cijfermatige analyse

Basis statistieken die je moet begrijpen:

• Percentage verdeling: 60% vs 40% is duidelijker dan 51% vs 49%
• Steekproef grootte: Minimaal 30 respondenten voor betrouwbare percentages
• Betrouwbaarheid: Met 50+ respondenten heb je 90% zekerheid
• Segmentatie: Bekijk resultaten per doelgroep (leeftijd, ervaring, etc.)

Kwalitatieve analyse - hier zit de echte waarde

Categoriseer feedback in thema's:

• Visuele aantrekkingskracht: "Ziet er professioneler uit", "Mooie kleuren"
• Duidelijkheid: "Begrijp meteen wat het doet", "Verwarrende tekst"
• Vertrouwen: "Lijkt betrouwbaar", "Twijfel over veiligheid"
• Actie intentie: "Zou hier zeker op klikken", "Spreekt niet tot actie aan"

Pro tip: Gebruik tools zoals Google Sheets om feedback te labelen en patronen te identificeren.

Van inzicht naar actie

De beste preference tests leiden tot concrete verbeteringen.

Voorbeeld analyse:

"Versie A wint met 67%. Vooral omdat de headline duidelijker is (genoemd door 34% van respondenten) en de call-to-action opvallender (genoemd door 28%). Versie B heeft betere visuele aantrekkingskracht maar de tekst is te klein om op mobiel goed leesbaar te zijn."

Actiepunten hieruit:

1. Gebruik headline van versie A
2. Gebruik call-to-action styling van versie A
3. Behoud visual design van versie B maar vergroot tekst voor mobiel
4. Test deze hybride versie als volgende iteratie

Stap-voor-stap: zo voer je een preference test uit

Stap 1: bepaal je doelgroep

Specificeer precies wie je wilt bereiken. Denk aan:

• Leeftijd en geslacht
• Locatie (Nederland, Europa, wereldwijd)
• Beroep of industrie
• Ervaring met je product of service
• Apparaat gebruik (mobiel vs desktop)

Hoe specifieker je doelgroep, hoe duurder het wordt. Maar hoe relevanter je resultaten.

Stap 2: stel je vragen op

Hoofdvraag: "Welke versie spreekt je het meest aan?"

Vervolgvragen die waardevolle inzichten geven:

• "Waarom koos je voor deze optie?"
• "Wat viel je als eerste op?"
• "Welke versie vertrouw je meer?"
• "Bij welke versie zou je eerder actie ondernemen?"
• "Wat zou je verbeteren aan je favoriete versie?"

Stap 3: lanceer en analyseer

De meeste tests zijn binnen 24 uur compleet. Kijk niet alleen naar de percentages. Lees vooral de kwalitatieve feedback. Daar vind je de waardevolste inzichten.

Voordelen en beperkingen

Voordelen van preference testing

• Snel resultaat: Binnen uren in plaats van weken
• Goedkoop: €20-€100 vs maanden wachten op gratis A/B test data
• Geen traffic nodig: Perfect voor nieuwe sites of lage traffic
• Waarom inzichten: Je leert niet alleen wat werkt, maar waarom
• Vroege validatie: Test ideeën voordat je ontwikkelt

Beperkingen die je moet kennen

• Voorkeur is geen gedrag: Wat mensen zeggen te prefereren, doen ze niet altijd
• Beperkte context: Mensen zien ontwerpen geïsoleerd, niet in hun natuurlijke omgeving
• Sociale wenselijkheid: Respondenten geven soms antwoorden die ze denken dat je wilt horen
• Geen statistische bewijskracht: Met 50 respondenten kun je geen statistische conclusies trekken zoals bij A/B tests

Belangrijk: Gebruik preference testing om richtingen te bepalen, niet als definitief bewijs. De echte test blijft altijd: zetten mensen om op je live website?

Veelgestelde vragen over preference testing

Hoeveel respondenten heb je nodig voor een betrouwbare preference test?

Voor basis inzichten zijn 20-30 respondenten voldoende. Voor meer betrouwbare percentages adviseer ik minimaal 50 respondenten. Bij zeer specifieke doelgroepen kun je al met 15-20 relevante respondenten waardevolle inzichten krijgen.

Vuistregel: Liever 30 relevante respondenten dan 100 willekeurige mensen.

Kun je preference testing gebruiken voor mobiel vs desktop ontwerpen?

Absoluut! Zorg er wel voor dat je respondenten het juiste apparaat gebruiken tijdens de test. Laat mobiel gebruikers geen desktop ontwerpen beoordelen en omgekeerd. De meeste tools hebben apparaat-specifieke doelgroep opties.

Hoe lang duurt een gemiddelde preference test?

Opzetten: 1-2 uur voor het maken van de test
Live periode: 2-24 uur voor het verzamelen van antwoorden
Analyse: 1-3 uur voor het analyseren van resultaten

Totaal: Je kunt binnen een dag van vraag naar antwoord.

Wat doe je als de resultaten heel dicht bij elkaar liggen?

Bij resultaten zoals 52% vs 48% zijn er twee opties:

• Meer respondenten toevoegen: Vergroot je steekproef naar 100+ voor duidelijkere resultaten
• Focus op kwalitatieve feedback: Vaak zie je in de "waarom" antwoorden wel duidelijke verschillen

Kunnen preference tests A/B tests volledig vervangen?

Nee. Preference tests meten mening, A/B tests meten gedrag. De krachtigste aanpak is beide gebruiken: preference tests voor richting, A/B tests voor definitieve validatie.

Wat als mijn doelgroep heel specifiek is (bijv. alleen CFO's)?

Specifieke doelgroepen zijn duurder maar meestal waardevoller. Reken op €2-5 per respondent voor zeer specifieke doelgroepen. Alternatief: gebruik je eigen netwerk via LinkedIn of branche evenementen.

Hoe voorkom je dat respondenten sociaal wenselijke antwoorden geven?

Tips om eerlijkere antwoorden te krijgen:

• Maak de test anoniem
• Vermijd sturende vragen
• Voeg neutrale opties toe ("geen voorkeur")
• Vraag naar eerste indruk in plaats van wat "beter" is

Gratis CRO-tips in je inbox. Meld je aan!

Aanmelden

5.000+ mensen ontvangen mijn CRO tips
Max één e-mail per maand

Preference test checklist: stap-voor-stap plan

Voor je begint (voorbereiding)

→ Doel bepaald: Wat wil je precies weten?
→ Varianten klaar: Maximaal 3 opties, hoge kwaliteit afbeeldingen
→ Doelgroep gedefinieerd: Wie ga je precies benaderen?
→ Budget vastgesteld: €30-€100 voor de meeste tests
→ Platform gekozen: Lyssna, UXtweak, of Maze account aangemaakt

Test opzetten (30-60 minuten)

→ Hoofdvraag geformuleerd: "Welke versie spreekt je het meest aan?"
→ Vervolgvragen toegevoegd: Minimaal "Waarom koos je deze optie?"
→ Screeningvragen ingesteld: Juiste doelgroep filtering
→ Ontwerpen geüpload: Goede kwaliteit, duidelijk zichtbaar op mobiel
□ Preview test gedaan: Zelf doorlopen voordat je live gaat

Tijdens de test (monitoring)

→ Voortgang gemonitord: Komen er genoeg antwoorden binnen?
→ Kwaliteit gecontroleerd: Zijn antwoorden zinvol en uitgebreid?
→ Stop moment bepaald: Bij gewenst aantal antwoorden stoppen

Na de test (analyse en actie)

→ Percentages geanalyseerd: Welke versie won en met hoeveel?
→ Kwalitatieve feedback gecategoriseerd: Thema's geïdentificeerd
→ Inzichten gedocumenteerd: Niet alleen resultaat maar ook waarom
→ Volgende stappen bepaald: Wat ga je aanpassen of testen?
→ Resultaten gedeeld: Met team en belanghebbenden gecommuniceerd

Veelgemaakte fouten met preference testing

Fout 1: te veel varianten testen

Probleem: 5+ opties maken kiezen moeilijk en resultaten minder betrouwbaar
Oplossing: Maximaal 3 varianten, liever 2 voor duidelijkste resultaten
Tip: Als je meer opties hebt, doe eerst interne pre-selectie of meerdere kleinere tests

Fout 2: slechte kwaliteit afbeeldingen

Probleem: Wazig, klein, of slecht zichtbaar op mobiel
Oplossing: Minimaal 1200px breed, hoge resolutie, test op verschillende apparaten
Tip: Upload als PNG voor scherpste tekst, JPG voor foto's

Fout 3: sturende vragen stellen

Verkeerd: "Welke versie lijkt professioneler?"
Goed: "Wat is je eerste indruk van elke versie?"
Tip: Laat respondenten zelf woorden kiezen in plaats van jouw termen gebruiken

Fout 4: vergeten om context te geven

Probleem: Respondenten begrijpen niet waar ze naar kijken
Oplossing: Korte context: "Dit is een homepage voor een online marketing tool"
Tip: Genoeg context om te begrijpen, niet zoveel dat het beïnvloedt

Fout 5: alleen naar percentages kijken

Probleem: 60% vs 40% zegt weinig zonder de waarom
Oplossing: Besteed meer tijd aan kwalitatieve analyse dan percentages
Tip: Een 55-45 verdeling met duidelijke redenen is waardevoller dan 70-30 zonder uitleg

Fout 6: verkeerde doelgroep benaderen

Probleem: B2B product testen met B2C consumenten
Oplossing: Wees zeer specifiek in je doelgroep criteria
Tip: Liever €50 uitgeven aan 25 relevante respondenten dan €50 aan 50 willekeurige mensen

Pro tip: combineer methoden

De krachtigste aanpak? Combineer preference testing met A/B testing.

Dit is hoe ik het doe:

1. Start met een preference test om uit 3-5 concepten de beste 2 te kiezen
2. Ontwikkel de winnende varianten
3. Valideer met een A/B test op je live website
4. Meet de daadwerkelijke impact op conversie

Zo krijg je het beste van beide werelden. Snelle richting plus definitief bewijs.

Aan de slag met preference testing

Wil je preference testing uitproberen? Start klein.

Dit is wat ik je aanraad:

• Begin met een gratis account bij Lyssna of UXtweak
• Test iets simpels zoals een headline of button-tekst
• Start met 20-30 respondenten uit je eigen netwerk
• Stel 2-3 gerichte vragen, niet meer

Budget indicatie: Reken op €0,50-€2,00 per respondent, afhankelijk van hoe specifiek je doelgroep is. Voor de meeste tests volstaat €30-€80.

Heb je weinig traffic? Wil je snel feedback? Of wil je gewoon begrijpen waarom bepaalde ontwerpen beter werken?

Preference testing geeft je antwoorden die A/B testing alleen niet kan bieden.

Probeer het uit bij je volgende ontwerp beslissing. Je zult versteld staan hoe snel en waardevol de inzichten zijn.

Word beter in CRO. Meld je aan voor Gijs zijn nieuwsbrief en verbeter je skills.

Aanmelden

5.000+ mensen ontvangen mijn CRO tips
Max één e-mail per maand

Hulp nodig? Ik help bedrijven met CRO als specialist of als coach

Gijs heeft meer dan 16 jaar ervaring in het verhogen van conversies als freelance CRO specialist.

Hij combineert zijn expertise in psychologie, statistiek, development, UX design en projectmanagement om alles uit CRO te halen.

Met een track record van meer dan 7.500 uitgevoerde A/B tests is hij een van Nederlands meest ervaren conversie specialisten.

Sinds 2013 is Gijs CXL Certified, een internationaal erkend certificaat voor conversie-optimalisatie.

Gijs is winnaar van de WhichTestWon Award, een internationaal erkend onderscheiding voor conversie-optimalisatie.

Dit is wat zijn klanten over hem zeggen, en dit is het verhaal van Gijs.