Al sinds de begindagen van Hollywood weten regisseurs onze blik feilloos naar hun hoofdrolspelers te trekken. Neurowetenschappers komen er nu langzaam achter hoe dit werkt.
De actiefilm Iron Man 2 (2010) is nog maar een klein halfuur bezig of er volgt een reeks explosies tijdens een autorace in de straten van Monaco. De scène is een technisch hoogstandje, met een serie explosies, auto’s die over de kop slaan, overal uitslaande vlammen, en duizenden toeschouwers die in paniek slaan. Tijdens een bijeenkomst van de Academy of Motion Picture Arts and Sciences kreeg Jon Favreau, de regisseur, de oogbewegingen te zien van mensen in de zaal die naar deze scènes keken. Favreau zei opgetogen – en opgelucht – te zijn om te merken dat iedereen naar de acteurs keek (Robert Downey Jr en Mickey Rourke), en dan met name naar hun gezicht en hun handen, en dat niemand naar de omstanders keek. De omstanders zijn namelijk allemaal gegenereerd door de computer, en als je heel goed kijkt zie je ook dat ze niet echt zijn. Zolang het publiek niet al te goed keek kon Favreau (die tevens de producent was) flink bezuinigen op deze effecten en het geld gebruiken voor de dingen die echt bepalend zijn.
Dit fenomeen – dat de ogen van het publiek allemaal naar hetzelfde gaan – is typerend voor de bioscoop. Het gaat niet op voor het echte leven. Maar in film wordt heel handig gebruik gemaakt van editing, framing en andere technieken om tot in detail te bepalen waarnaar precies wordt gekeken. De afgelopen honderdvijfentwintig jaar hebben filmmakers wereldwijd proefondervindelijk een soort informele wetenschap van de blik ontwikkeld, door middel van een groot aantal experimenten met de menselijke waarneming. De resultaten zijn niet terug te vinden in neurowetenschappelijke of psychologische werken, al lees je er wel soms iets over in boeken over cinematografie of editing, of in wetenschappelijke artikelen waarin een specifieke film wordt geanalyseerd. Andere inzichten zijn terug te vinden in de films zelf, maar zijn nog niet expliciet beschreven. De afgelopen jaren zijn wetenschappers begonnen met het ontginnen van deze enorme, informele database, met soms opzienbarende conclusies.
Om te begrijpen wat een film met de blik doet, moet je iets weten van de werking van het oog buiten de bioscoop. In het gewone, dagelijkse leven schieten onze ogen twee tot drie keer per seconde van de ene plek naar de andere, waarbij ze bepaalde dingen registreren en andere dingen negeren. Die snelle oogbewegingen heten saccades. Waarom doen we dat? Omdat onze hersenen proberen een zo compleet mogelijke weergave te creëren van wat er om ons heen gebeurt met behulp van een camera – het oog – die slechts op een heel klein vlakje een hoge resolutie heeft. Als bepaalde visuele informatie belangrijk is om een situatie in te schatten, moeten we onze blik daar echt op richten om het te kunnen coderen.
De manier waarop mensen oogbewegingen gebruiken om een situatie te verkennen kent een bepaald ritme, waarbij wordt geschakeld tussen een snelle, verkennende modus en een tragere modus waarbij informatie wordt vergaard.
De eerste pogingen om deze mechanismen te doorgronden vonden plaats in de jaren zeventig van de vorige eeuw, toen psychologen Julian Hochberg en Virginia Brooks van Columbia University de overgang bestudeerden van deze snelle verkennende modus naar de tragere modus waarin informatie wordt vergaard.
In latere onderzoeken werd bestudeerd welke visuele aspecten de blik weten vast te houden. Hierbij kwam men tot de ontdekking dat de mens geneigd is vooral te kijken naar delen van een beeld met randen, met een groot contrast tussen licht en donker, of met een heel duidelijke structuur of gemarkeerde punten, zoals een hoek.
In een natuurlijke omgeving zijn er meestal diverse plekken waar de blik naartoe wordt getrokken. Op het strand zijn er misschien een paar parasols met een sterk contrast, een paar palmbomen met een duidelijke structuur, en een paar strandstoelen met allerlei randen en hoeken. Tijdens de verkennende fase zal bij vrijwel iedereen die dit tafereel in zich opneemt de blik even blijven hangen bij de meeste van deze focalisatiepunten, maar hoe lang de blik daar blijft rusten zal voor iedereen weer anders zijn, afhankelijk van de verschillen in het interne controlesysteem. De blik van een surfer zal misschien even blijven hangen aan een surfplank die tegen een boom staat, terwijl de blik van een zeiler eerder zal worden getrokken door een boot aan de horizon.
Na een cut zijn er veel oogbewegingen – al helemaal na de vele cuts binnen een doorlopende scène
Een van de verschillen tussen een scène in de werkelijkheid en in de film, is dat een film bewéégt. In hoeverre kijken mensen daardoor ook naar andere elementen? In een recent experiment hebben Parag Mital, Tim Smith, Robin Hill en John Henderson van de University of Edinburgh de oogbewegingen bestudeerd van een aantal mensen die naar willekeurige video’s keken, onder meer reclameboodschappen, documentaires, trailers, nieuwsberichten en muziekvideo’s. Een aantal effecten was vergelijkbaar met de blik bij het kijken naar stilstaande beelden. Mensen kijken nog altijd naar plekken met veel contrast, en naar hoeken. Maar bij bewegende beelden treden andere effecten op de voorgrond: mensen kijken naar dingen die bewegen, en naar dingen die van licht naar donker gaan, of van donker naar licht. Vanuit evolutionair oogpunt is dat heel logisch: dingen die veranderen zijn waarschijnlijk belangrijker voor hoe je moet handelen dan dingen die er gewoon zijn. Om preciezer te zijn: de ogen volgen nieuwe bewegingen die je kunnen attenderen op iets waarop je snel moet reageren – iets wat valt, of een dier dat beweegt.
Wil dat zeggen dat we de slaaf zijn van bewegingen? Schieten we niet langer heen en weer tussen verkennen en informatie vergaren en laten we ons gijzelen door bewegingen, of het nu in de film is of in de realiteit? Aan Washington University in Saint Louis werk ik samen met Michelle Eisenberg, een promovenda. Wij hadden allebei het vermoeden dat ons visuele systeem gewoon zou doorgaan met schakelen – met als verschil dat in het geval van voortdurende beweging de overgang van de verkennende modus naar de informatie vergarende modus zou worden aangestuurd door veranderingen in de actie, en niet door markeerpunten of licht.
Neem nou de opening van Orson Welles’ A Touch of Evil (1958). Drieënhalve minuut lang volgen we de twee hoofdpersonen in een complexe scène in een nachtelijk grensplaatsje. Zowel camera als acteurs zijn voortdurend in beweging. Hoe schakelen we in een dergelijke situatie? Wij hadden een hypothesis, gebaseerd op laboratoriumonderzoek waarbij was aangetoond dat mensen een voortdurende activiteit als vanzelf ontleden in een opeenvolging van afzonderlijke gebeurtenissen. Dat ontleden lijkt voortdurend te gebeuren wanneer we anderen handelingen zien uitvoeren, en waarschijnlijk ook wanneer we zelf handelingen uitvoeren. Als ik u bijvoorbeeld een filmpje zou laten zien van een man die een band verwisselt, zult u dat als vanzelf opbreken in verschillende gebeurtenissen, zoals het tevoorschijn halen van de krik en het opkrikken van de auto. Bij de overgang tussen deze gebeurtenissen laten grote delen van uw cortex een kortstondige toename van metabolische activiteit zien – dit kunnen we vaststellen met behulp van functionele MRI. Misschien dat ons visuele systeem telkens wanneer er zich zo’n overgang voordoet, reageert alsof we een nieuw beeld te zien krijgen, met weer een verkennende fase en een daaropvolgende fase van informatie vergaren?
Om dat vast te stellen hebben we de oogbewegingen van kijkers gevolgd, met behulp van een moderne versie van het infraroodcamerasysteem dat Hochberg en Brooks gebruikten bij mensen die naar filmpjes keken van mensen die alledaagse dingen deden. De filmpjes duurden een paar minuten en toonden mensen die een band verwisselden, planten in de aarde zetten, of voorbereidingen troffen voor een feestje. We vroegen de mensen om eerst gewoon naar de filmpjes te kijken, en bij de tweede keer kijken telkens op een knop te drukken bij een overgang tussen verschillende handelingen – het moment waarop de ene handeling ten einde is en de volgende aanvangt. Vervolgens analyseerden we wat hun ogen deden rond de wisseling van handeling. We vonden bewijzen voor de veronderstelde overgang: tegen het einde van een handeling waren de oogbewegingen meestal klein en de tussenpozen vaak wat langer. Zodra zich dan een nieuwe handeling aandiende werd de tijd tussen de oogbewegingen korter en de bewegingen zelf duurden langer. Zodra de overgang van handelingen achter de rug was, kwam alles weer tot rust. Deze opeenvolging doet denken aan de systeemovergang van informatie vergaren naar verkennen, die we aanvankelijk ook hadden waargenomen wanneer tijdens een diavoorstelling een nieuwe afbeelding in beeld verscheen.
In een vakkundig gemaakte film gebruiken de regisseur en de editor verschillende technieken om de visuele overgangen te sturen – al dan niet bewust. Ten eerste is de handeling in scène gezet. Ten tweede is alles gefilmd met camera’s die heel bewust op een bepaalde plek zijn neergezet, die misschien zelfs bewegen en die gebruikmaken van kunstlicht. Tot slot – en dat is misschien nog wel het belangrijkste – wordt het beeldmateriaal gemonteerd, meestal met de bedoeling een coherent verhaal te vertellen. Dit zijn allemaal technieken waarmee niet alleen de volgorde van de handelingen wordt gemanipuleerd, maar ook de volgorde van de visuele overgangen die onze hersenen helpen de voortdurende stroom van handelingen op te breken in een reeks episodes, die we stuk voor stuk verwerken als een beeld: eerst verkennen we het beeld, vervolgens proberen we het in een context te plaatsen, en uiteindelijk gaan we alle details invullen. Door te knutselen met de shot layout en door te editen, manipuleren filmmakers het visuele proces op een manier die vaak experimenteel en nieuw is.
Waar het om oogbewegingen gaat is de laatste manipulatietechniek vermoedelijk de belangrijkste. Editen is deels een verzameling afzonderlijke shots tot een geheel vormen. Tegenwoordig bestaan veel edits uit de meest simpele vorm van verbinden denkbaar: een cut, waarbij een van de twee segmenten domweg achter de andere wordt geplaatst, zonder overgang. (Meer ingewikkelde edits, zoals fades, wipes of iriseffecten, waren altijd al populairder maar werden minder vaak gebruikt.) Editen heeft grote gevolgen voor de oogbewegingen. Na een cut zijn er veel oogbewegingen – al helemaal na de vele cuts binnen een doorlopende scène. Vaak wordt de blik met de oogbewegingen naar het midden van het scherm geleid. Het zou kunnen dat dit een standaardreactie is op een visuele verstoring.
Mensen hebben ook de neiging te gaan knipperen bij een cut. Dat zou een reactie kunnen zijn op een plotselinge verandering van de lichtintensiteit waarmee een cut gepaard kan gaan. Het zou er ook op kunnen duiden dat onze hersenen de visuele onderbreking zien als een teken dat ze heel even mogen ontspannen, en van de gelegenheid gebruikmaken om de ogen te bevochtigen. Tot slot, maar daarom niet minder belangrijk: bij het kijken naar een film die is geëdit, maken we meer oogbewegingen. Bij natuurlijke stimuli is er sprake van twee tot drie oogbewegingen per seconde, bij het kijken naar een video die niet is geëdit gaat het om zo’n vier bewegingen per seconde, maar zodra er sprake is van editen loopt dat op tot rond de vijf per seconde.
Praktisch
Sturen wanneer het publiek waarnaar kijkt is belangrijk vanuit praktisch oogpunt: filmmakers kunnen bezuinigen op die delen van de film waar we toch niet naar kijken, zoals aannemers bezuinigen door de zolder niet te verven. Deze informatie kan ook nuttig zijn voor bepaalde artistieke doeleinden.
Ik sta ervan te kijken dat de betere filmmakers proefondervindelijk bepaalde dingen aan de weet zijn gekomen die ik moet weten, als wetenschapper die onderzoek doet naar perceptie. Tegelijkertijd denk ik dat mijn vakgebied een belangrijke bijdrage kan leveren aan de praktijk van de cinematografie. Kunstenaars en vakmensen voeren talloze experimenten uit – je probeert iets, kijkt hoe het uitpakt, laat het aan een paar vrienden zien, organiseert misschien zelfs een screening en stelt daar een paar vragen over. In de loop der tijd ontwikkel je een soort intuïtie en stel je voor jezelf een aantal vuistregels op. Door het gedrag en de fysiologie in kaart te brengen van mensen die ergens naar kijken, real time, kan mijn vakgebied er wellicht aan bijdragen dit proces te bespoedigen en meer voor het voetlicht te brengen.
Auteur: Jeffery M. Zacks
Vertaler: Nicolette Hoekmeijer
Openingsbeeld: Maratha Mandir-theater in Moembai. – © Reuters / Danish Siddiqui
Aeon
Verenigd Koninkrijk | aeon.co/magazine
Deze site, met als motto ‘lees dieper’, werd opgericht in september 2012 en publiceert dagelijks een essay, waarbij de relativering van het snelle dagelijks leven vooropstaat.