Aankopen zijn nog niet beschikbaar. Je kunt de website bekijken en inloggen.
Als iemand zegt "onderzoek toont aan," is de logische vraag: wat voor soort onderzoek? Het verhaal van een vriend, een enquête onder duizenden, één klinische trial, en een samenvatting van vijftig trials worden in gewone taal allemaal "een studie" genoemd, en toch dragen ze enorm verschillend gewicht. Onderzoekers ordenen ze in een ruwe rangorde — vaak afgebeeld als een piramide — van zwakker bewijs onderaan tot sterker bovenaan, specifiek voor oorzaak-en-gevolg-vragen zoals "doet dit eigenlijk iets?"
Van zwakker naar sterker:
Anekdote en casusrapporten — de ervaring van één persoon, of de notitie van een arts over één patiënt. Levendig, hypothesevormend, maar het kan de stof niet scheiden van toeval, stemming of verwachting.
Observationele en enquêtestudies — grote groepen die vragenlijsten invullen of die over de tijd gevolgd worden. Ze tonen patronen en correlaties, maar de mensen kozen vaak zelf wat ze deden, dus oorzaak en gevolg blijven verstrengeld.
Gerandomiseerde gecontroleerde trials (RCT's) — mensen die door toeval aan een echte of een vergelijkingsconditie worden toegewezen. Dit ontwerp is gebouwd om de oorzaak te isoleren, en daarom kan zelfs één kleine RCT een enorme enquête overtreffen.
Systematische reviews en meta-analyses — gestructureerde syntheses die veel trials verzamelen en hun resultaten samenvoegen, waardoor de ruis van één enkele studie wordt gladgestreken.
Dit is het deel dat mensen verrast. Een enquête onder 5.000 microdoseerders die een betere focus rapporteren voelt krachtig — dat zijn veel mensen. Maar iedereen erin koos om te microdoseren. Misschien is het soort persoon dat het probeert sowieso al nieuwsgierig, gemotiveerd of optimistisch. De enquête kan je niet vertellen of de stof de focus veroorzaakte of dat gefocuste mensen zich tot de stof aangetrokken voelden.
Voor oorzaak-en-gevolg-vragen wint ontwerp het van aantallen. Een kleine gerandomiseerde trial die tegen een controle vergelijkt kan 'beter dan wat?' beantwoorden — een vraag die een reusachtige enquête niet kan raken.
Een RCT met 40 mensen die hen willekeurig toewijst, zodat de groepen vergelijkbaar beginnen, is gebouwd om dat te beantwoorden. Aantallen blijven van belang — een latere les besteden we aan steekproefgrootte — maar een slim ontwerp met weinig mensen vertelt je vaak meer over
Beantwoord elke vraag en verstuur om te zien hoe je het deed. Je mag het zo vaak opnieuw doen als je wilt — je score is alleen voor jezelf.
Leden kunnen hieronder ervaringen over deze les delen.
De lesdiscussie is een ledenvoordeel. Word lid om te reageren.
Wees de eerste die reageert.
Voordat je een onderzoek weegt, bepaal je wat je eigenlijk in handen hebt. Bekijk de methodensectie — die vertelt het je meteen.
Een primaire studie verzamelde nieuwe gegevens: het heeft deelnemers, een procedure en verse resultaten. De methoden beschrijven wat de onderzoekers met mensen of monsters deden.
Een review of meta-analyse verzamelde geen nieuwe gegevens; het verzamelt en synthetiseert bestaande studies. De methoden beschrijven hoe er naar onderzoeken gezocht en geselecteerd werd.
Een opinie- of commentaarstuk heeft helemaal geen echte methoden — het is een betoog, een redactioneel stuk, een perspectief. Nuttig voor ideeën, maar het is geen bewijs van een effect.
De valkuil is dat alle drie even gezaghebbend kunnen klinken in een citaat.
Hoger op de piramide staan is geen vrijbrief. Twee fouten schuilen daar:
Cherrypicking in narratieve reviews. Een narratieve review heeft geen systematische zoekregels, dus een auteur kan stilletjes de studies opnemen die zijn standpunt steunen en de andere overslaan. Het leest als een evenwichtig overzicht terwijl het een samengesteld pleidooi voor één kant is.
Rommel erin, rommel eruit. Een meta-analyse is slechts zo goed als de trials die ze samenvoegt. Combineer twintig piepkleine, ongeblindeerde, slecht ontworpen studies en je krijgt een precies ogend gemiddelde gebouwd op drijfzand. Het respectabele label "meta-analyse" kan bovenop zwakke ingrediënten zitten.
Microdoseren is een scherp voorbeeld. Een groot deel van wat circuleert — getuigenissen, verslagen van enquêtes, enthousiaste blogsamenvattingen — zit dicht bij de onderkant van de piramide, ook al wordt het omschreven als "het onderzoek." De rangorde kennen laat je elke bewering plaatsen waar ze hoort, zonder ze af te wijzen of in zijn geheel te slikken.
Niets hiervan vertelt je wat je met je eigen leven moet doen. Het vertelt je hoeveel gewicht een gegeven pagina "bewijs" daadwerkelijk kan dragen.
Vraag eerst wat voor ding je in handen hebt. Het etiket op de doos komt zelden overeen met de inhoud.