Effecten van interventies bescheiden en onvoorspelbaar
Uitkomst groot review-onderzoek van Hoeken en O’Keefe
Door Bert Pol
Hans Hoeken, hoogleraar in Utrecht bestudeerde met zijn collega Daniel O’Keefe van Northwestern University in de VS de uitkomsten van dertig meta-analyses van artikelen over de effecten van beïnvloedingstechnieken in teksten. Bijvoorbeeld het al dan niet gebruiken van narratieven, winst- versus verliesframing en de disrupt-then-reframetechniek. Zij publiceerden onlangs de bevindingen van hun megaproject1. De uitkomsten nopen communicatieprofessionals tot grote voorzichtigheid. Hun verwachtingen over de effectiviteit van ingezette gedragsinterventies moeten niet te hooggespannen zijn. En zij doen er verstandig aan tegenover hun opdrachtgevers terughoudend te zijn over de effecten. Bert Pol sprak over het onderzoek en de implicaties met Hans Hoeken.
Bert: Jullie bevindingen, op basis van dertig meta-analyses van in totaal 1.149 studies, nopen tot niet al te hoge verwachtingen over het effect van de toepassing van beïnvloedingstechnieken in teksten. De effecten blijken niet erg groot. En de effecten blijken ook nog eens weinig consistent, wat betekent dat eenzelfde interventie de ene keer wel effect heeft, maar een andere keer niet, of zelfs contraproductief is.
Wat was de reden om dit zeer arbeidsintensieve onderzoek te doen? Hadden jullie al twijfels bij de effectiviteit van de interventies? Of kwam de uitkomst compleet als een verrassing?
Aanleiding: op zoek naar magic bullets
Hans: In de afgelopen jaren zijn er steeds meer meta-analyses verschenen. Het leek ons daarom een geschikt moment om de balans op te maken en op zoek te gaan naar zogenaamde magic bullets: boodschapkenmerken die gemiddeld genomen een behoorlijk sterk effect op de overtuigingskracht van een boodschap hebben én waarvan het effect zo consistent is, dat je erop kunt vertrouwen dat toepassing in elk geval de overtuigingskracht niet vermindert.
In eerste instantie hebben we dus gezocht naar meta-analyses waarin de overtuigingskracht van boodschapvariabelen werd beschreven en waarvan de onderliggende data beschikbaar waren zodat we de effectgroottes en de predictie-intervallen2 konden berekenen. Het paper dat we daarover schreven, liet zien dat er geen magic bullets waren. Maar een paar boodschapkenmerken hadden een relatief sterk effect, maar ook voor die kenmerken gold dat het effect niet heel consistent was: de kans bestond dat het toepassen ervan juist tot een minder overtuigende boodschap leidde in plaats van een overtuigender boodschap.
Het paper dat we daarover schreven, werd afgewezen. De reviewers vonden het in meerderheid mooi werk, maar de conclusie te weinig verrassend: ‘natuurlijk bestaan er geen magic bullets. Maar onder bepaalde omstandigheden, zou een boodschapkenmerk wel degelijk een sterk en consistent effect hebben.’ Dus toen zijn we opnieuw de meta-analyses ingedoken om te kijken of we daar aanwijzingen voor konden vinden.
Gepland versus automatisch gedrag
Bert: Als je uitgaat van de twee soorten gedrag die je grofweg kan onderscheiden wanneer je doel beïnvloeden is, zijn dat gepland gedrag (komt tot stand na afweging en overweging) en automatisch gedrag (waar mensen niet of niet meer over nadenken voor ze het uitvoeren)3.
Waar ik heel benieuwd naar ben: is in de meta-analyses die jullie bestudeerden onderscheid gemaakt in deze twee soorten gedrag bij de selectie van de studies die in de respectieve meta-analyses zijn opgenomen? Het zou namelijk nogal wat verschil kunnen maken of je de effecten meet op de ene soort gedrag of op de andere. En dus ook voor de conclusies die je aan een meta-analyse verbindt: het effect kan gemiddeld bijvoorbeeld gering zijn, maar als je uitsplitst naar soort gedrag juist hoger of lager.
Hans: In de meta-analyses in onze studie wordt geen onderscheid gemaakt tussen gepland en automatisch gedrag. Die meta-analyses proberen zo veel mogelijk studies te vinden waarin het boodschapkenmerk is gemanipuleerd en op welke attitude of gedrag zich de boodschap richt, is secundair. Bij sommige meta-analyses wordt wel onderscheid gemaakt tussen de verschillende contexten waarin het boodschapkenmerk is onderzocht, bv. in een reclame- of gezondheidscontext. Maar in één zo’n context worden nog steeds gewoonte- (roken) en gepland (vaccinatie) gedrag op een hoop gegooid.
Interessant in dit verband is de meta-analyse van Webb en Scheeran (2006)4. Zij hebben voor een groot aantal interventies in kaart gebracht wat het gemiddelde effect van die interventies was op de intentie om het gedrag aan te passen (r = .31) en wat het gemiddelde effect was op het daadwerkelijk uitvoeren van dat gedrag (r = .18). Vervolgens hebben ze gekeken of dat effect op gedrag anders was voor gewoontegedrag dan voor gepland gedrag. Dat bleek het geval: de gemiddelde verandering in gewoontegedrag was fors kleiner (r = .11) dan de gemiddelde verandering bij gepland gedrag (r = .35). Nu ging het bij Webb en Scheeran niet alleen om communicatie-interventies maar hebben ze allerlei soorten interventies op een hoop gegooid. Toch zijn de resultaten relevant voor de interpretatie van onze studie. Ze laten namelijk zien dat een verandering in intentie bij gepland gedrag sterker doorwerkt dan bij gewoontegedrag. In bijna alle meta-analyses die we hebben geanalyseerd, bestond de maat voor overtuigingskracht echter uit de intentie of een vergelijkbare, zelf-gerapporteerde maat. Afhankelijk van het gedrag waar de boodschap zich op richt, is het gemiddelde gedragseffect (nog) kleiner naarmate het om automatisch gedrag gaat en mogelijk iets groter als het om gepland gedrag gaat.
Bert: Dat is inderdaad een belangrijk punt. Een verandering van een gedragsintentie zegt niets over een verandering van het gedrag zelf als het doelgedrag automatisch gedrag is. Een gedragsintentie speelt daar helemaal geen rol of geen rol meer: mensen denken niet (meer) na over het gedrag. Ze doen het gewoon. In het geval van gepland gedrag is de intentie een redelijke voorspeller van de verandering van het doelgedrag, maar daar kan nog altijd een intention-behavior gap optreden. De intentie kan overruled worden door afwegingen die men maakt voorafgaand aan de uitvoering van het gedrag. Je kan van alles van plan zijn, maar toch niet doen, omdat er iets tussenkomt, of omdat je vaststelt dat je iets wel wíl doen, maar het niet kán, of niet denkt te kunnen.
Effectiviteit niet te voorspellen
Hans: Het is misschien goed om te benadrukken wat ons onderzoek wel én niet laat zien, omdat we merken dat daar soms verwarring over heerst. Onze resultaten zeggen niets over de effectiviteit van communicatie-interventies per se. Het kan best zijn dat een communicatie-interventie een sterk effect heeft op de opinies of de gedragingen van mensen. Of juist nauwelijks effect. Daarvoor hadden we naar meta-analyses moeten kijken waarbij het effect van een communicatie-interventie werd vergeleken met een controlegroep die géén interventie kreeg. Dan kun je vaststellen hoe groot en consistent het effect is van communiceren ten opzichte van niets doen.
Wat wij wel hebben onderzocht, is het effect van twee verschillende versies van die communicatie- interventie. Bijvoorbeeld met of zonder expliciete conclusie. Of een meer levendige versie ten opzichte van een meer droge versie. Die effecten blijken gemiddeld niet groot – maar bij een concrete toepassing in een specifiek geval, kunnen ze de boodschap een redelijk stukje overtuigender maken.
Alleen is dat effect onvoorspelbaar. We weten niet onder welke omstandigheden dat effect zal optreden. Erger: het kan best dat toepassing ervan tot een minder overtuigende boodschap leidt. En ook hierbij weten we niet onder welke omstandigheden dat zal gebeuren. Kortom: we beschikken over onvoldoende kennis om te voorspellen hoe bepaalde keuzes in het ontwerp van de boodschap het overtuigingsproces beïnvloeden.
Conclusies
Bert: Ik ben geneigd te concluderen dat de review van de meta-analyses erop wijst dat we terughoudend moeten zijn ten aanzien van de effecten van gedragsinterventies, inclusief de gedragsinterventies die gebaseerd zijn op boodschapkenmerken. Het is niet zo dat we met dergelijke interventies hele doelgroepen van gedrag doen veranderen. Maar verder onderzoek in de zin van uitsplitsing naar soort gedrag lijkt me wel belangrijk om meer te weten te komen en stelliger uitspraken daarover te doen.
Jullie bevinding dat er geen consistentie zit in de effecten is een boeiende. Ik vermoed – maar ook dat zou verder uitgezocht moeten worden – dat dat behalve van de context ook afhankelijk is van het soort gedrag, maar tevens van de plek en het tijdstip waarop de interventie wordt uitgevoerd. Is dat op de plaats waar het gedrag in kwestie wordt uitgevoerd, dan zijn de effecten sterker dan wanneer dat niet het geval is (zoals in een spotje of in een digitaal medium). Dat laten effectmetingen uit praktijkonderzoek waar ik bij betrokken was ook zien. Bij simpel gedrag waar voor de mensen die het gedrag uitvoeren weinig of niks van afhangt en waarover zij ook helemaal niet nadenken, vonden we in een aantallen gevallen heel aanzienlijke effecten. Soms wel van 20 procent. Zeker als men waarschijnlijk wel wist wat het wenselijke gedrag was, zoals het dragen van sieraden in zorgomgevingen of het op straat gooien van etensresten. In andere gevallen is er veel minder effect. Als het gewenste gedrag niet bekend is, of als het veel moeite kost.
Los daarvan is het zo dat we in het geval van gedrag nooit kunnen spreken van wetmatigheden. Hooguit van regelmatigheden, waarbij het effect van interventies afhankelijk is van een fors aantal variabelen die je nooit alle onder controle hebt. Er zijn hooguit kansrijke interventies, zekerheid over het effect is er nooit. Maar kansrijk is al heel wat! In hoeverre kan jij je in het bovenstaande vinden, Hans? En op welke punten, zo niet alle, niet?
Hans: Hier kan ik het helemaal mee eens zijn. Volgens mij mag je inderdaad geen grote verwachtingen koesteren over het effect van boodschapkenmerken op het gedrag van grote groepen mensen. En gelukkig maar – het zou ons tot willoze slaven van succesvolle demagogen maken!
Ongetwijfeld hangt de effectiviteit van communicatie als interventie-instrument af van het gedrag dat je probeert te beïnvloeden. Om dat effect te bewerkstelligen, moeten mensen aan de inhoud van die boodschap denken op het moment dat ze het gedrag kunnen uitvoeren. De kans daarop is groter als die boodschap aangeboden wordt in die gebruikscontext dan als ze die informatie op dat moment uit hun geheugen moeten opdiepen.
En het menselijk gedrag wordt inderdaad door zoveel factoren gestuurd dat onze modellen én onze informatie over hoe die factoren precies per persoon en situatie worden ingevuld, onvoldoende ontwikkeld zijn om dat gedrag goed te voorspellen.
Referenties
1 O’Keefe, D.J and Hoeken, H (2021). Message Design Choices Don’t Make Much Difference to Persuasiveness and Can’t Be Counted On—Not Even When Moderating Conditions Are Specified. Frontiers in psychology. 29 June.
2 Een predictie-interval voorspelt de bandbreedte waarbinnen je een effect mag verwachten van een bepaalde tekstinterventie als je deze gebruikt in een nieuwe boodschap.
[3] Voorbeelden van automatisch gedrag zijn er te over: autorijden, fietsen, de vuilniszak in de container gooien of hem ernaast zetten, korstje brood op straat gooien, snel eten, etc. Bij automatisch gedrag werkt beïnvloeding het beste als degene op wie de interventie gericht is, niet over dat gedrag en niet over de interventie nadenkt. Hij doet gewoon wat hij doet en denkt aan iets anders. Dan denkt hij ook niet: ‘dat kunnen ze wel willen, maar dat doe ik mooi niet’ (of wel natuurlijk).
[4] Webb, T. L., & Sheeran, P. (2006). Does changing behavioral intentions engender behavior change? A meta-analysis of the experimental evidence. Psychological Bulletin, 132(2), 249–268.
Dit interview verscheen in nr. 6 (2021) van communicatievakblad C.
