Soms analyseer je data en dan vind je iets wat je niet had verwacht. Wat te doen? Zomaar publiceren kan namelijk niet. Dat is een van de bedenkelijke onderzoekspraktijken waarover de laatste jaren zoveel te doen is in de psychologie. Waarom kan dat dan eigenlijk niet? Als je data en vooral rijke data met veel variabelen analyseert dan kun je wel 100 effecten testen. En dan heb je gewoon een behoorlijke kans dat je bij toeval een effect vindt. Daarvoor moet je dan corrigeren (voor de statistici onder u: de Bonferroni-correctie). Maar afhankelijk van de rijkdom van je data kun je misschien ook wel 1000 effecten testen en daardoor het is praktisch onmogelijk om de juiste correctie toe te passen. Daarom maakt men onderscheid tussen exploratieve studies en confirmatie-studies. In een confirmatie-studie leg je van tevoren precies vast wat en hoe je iets gaat analyseren.
Aan het begin van de coronaperiode kreeg ik de beschikking over data van zo’n 80000 proefpersonen die bij elkaar zo’n 1.5 miljoen trials hadden gedaan in een precognitie-experiment. Ik besloot om die data zonder er naar te hebben gekeken in twee delen te splitsen en een deel te gebruiken om te exploreren en het tweede deel dan te gebruiken om de eventueel gevonden effecten te confirmeren (of niet) in het andere deel van de data. En dat lost het boven beschreven probleem op.
Bij toeval vond ik in het eerste deel twee relaties die helemaal niet relevant zijn voor de parapsychologie maar wel voor de studie van meditatie en het bewustzijn. In de eerste plaats vond ik een relatie met iets wat in de psychologie bekend staat als ‘response-bias’, de neiging om 1 alternatief vaker te kiezen dan een ander. Voorkeur voor een keuze. Je zou dit in meer algemene zin een aspect van ‘vooroordeel’ kunnen noemen. Daarnaast vond ik een relatie met hoe lang de deelnemers doorgingen met hun trials voordat ze er de brui aangaven. Iets wat ik associeer met ‘motivatie’ (te volharden in de voorgenomen taak).
Zijn dat grote effecten? En correleren ze positief of negatief?
Zie hiervoor het komende nummer van het TvPBO.