INLEIDING
Een tweede nadeel van het denken in termen van het tweedimensionale,
stilstaande, visuele beeld is dat de indruk ontstaat dat beelden slechts
voor één zintuig zijn gemaakt, terwijl heel wat
beelden zich richten tot meerdere zintuigen. Daarom moet, na de bespreking van de
mimetische media voor monosensoriële beelden in de vorige hoofdstukken, onze
aandacht in dit hoofdstuk uitgaan naar onmiddellijke
mimetische media voor multisensoriële beelden.
Er zijn verschillende redenen waarom er plurisensoriële mimetische media
worden gemaakt. De meest voor de hand liggende is natuurlijk dat het
origineel daarom vraagt: een bewegend origineel, bij uitstek de
handelende en sprekende mens, is pas als audiovisueel goed te vatten. En
het is dan meegenomen als een gegeven technisch medium ook het maken van
mimetische media voor een ander zintuig toelaat. Zo maakt het gebruik
van menselijk lichaam de combinatie van visuele en auditieve beelden
mogelijk, en is het eerder een stunt om, zoals bij pantomime, de
auditieve dimensie weg te laten.
Het optellen van zintuiglijke domeinen kan ook onvermijdelijk zijn: we
zagen dat tactiele beelden niet alleen ook atlijd zichtbaar zijn, maar ook altijd worden bekeken, zodat de
mimetische gelijkenis pas tot stand kan komen als de mimetische media in
kwestie tactilo-visueel zijn. Het kan ook noodzakelijk zijn om überhaupt
een beeld te kunnen realiseren; we zagen dat vooral olfactieve mimetische media pas
overtuigend zijn als ze worden gecombineerd met een visueel beeld.
Merken we op dat we het in dit hoofdstuk alleen hebben over enkelvoudige
mimetische media. De samengestelde worden behandeld in III, 10. Herinneren we
er ook aan dat dat het optellen van zintuiglijke dimensies niet zover
kan gaan dat uiteindelijk alle domeinen worden bestreken: twee objecten die op elkaar gelijken op alle
zintuiglijke domeinen zijn duplicaten. Ze kunnen wel worden gebruikt als
substituut
Geven we hieronder een
verzicht van de mogelijke combinaties - waarbij de
combinatie additief kan zijn of verdicht.
AUDIOVISUEEL: STILSTAAND TWEEDIMENSIONAAL VISUEEL BEELD MET
VERANDERLIJK AUDITIEF BEELD
Al is deze combinatie denkbaar, ze is zeldzaam, omdat het veranderlijke geluid de
onbeweeglijkheid van het beeld in het daglicht stelt - denk aan het
beeld van een waterval het bijbehorende geluid dat precies beweging
suggereert. Precies het 'surrealistische' effect daarvan kan worden
nagestreefd, zoals wanneer ze de kreet van een dier zouden laten horen
bij de Mona Lisa.
De combinatie van visueel beeld en gesproken woord of zang is al bekend van in
de Middeleeuwen: weergeven van dialoog bij een reeks prenten (op de
combinatie van beeld en verhaal komen we terug in III, 7).
Zodra de dialogerende of narratieve tekst niet meer wordt gesproken,
maar als gedrukte tekst bij het gedrukte beeld wordt
gevoegd, krijgen we het stripverhaal en de beeldroman met dialoog. Het lijkt het alleen maar alsof
hier niets is te horen. Maar de
tekstballonnen zijn uitvoeringopwekkende tekens, zoals de noten op een
partituur. Net zoals de noten op een partituur in het hoofd kunnen worden
gehoord, kunnen ook woorden 'innerlijk' worden uitgesproken.
Daarom spraken we in I, 2 af om bij
concrete analyses aan te nemen dat uitvoeringopwekkende tekens luidop
worden uitgevoerd, al zouden we strikt gesproken een bijkomende soort
combinatie moeten voorzien.
Tot deze combinatie behoren ook 'impliciete' dialogen die niet zijn aangegeven met expliciete uitvoeringopwekkende tekens (te onderscheiden van de later te bespreken veronderstelde bijkomende voorstellingen zoals bij de Mozes). Zo hoort bij da Vinci's Laatste Avondmaal het hypothetisch onderschrift 'Een onder U zal mij verraden', en bij menige afbeelding van Christus aan het kruis 'Eli, Eli, sabatai lama'.
Het neerschrijven
(of het impliciet blijven) van de tekst verdonkeremaant in beide
gevallen dat een
onveranderlijk visueel beeld wordt gecombineerd met een veranderlijk auditief beeld:
de gedrukte letters bewegen immers niet, en kunnen precies daarom zo
makkelijk worden gecombineerd met het onbeweeglijke beeld.
AUDIOVISUEEL: VERANDERLIJK TWEEDIMENSIONAAL
VISUEEL BEELD EN
(VERANDERLIJK) AUDITIEF BEELD
Afgezien van fenomenen zoals het schimmemtheater krijgen we pas in de dertiger jaren de combinatie van
tweedimensionale bewegende beelden en auditieve beelden..
Vandaag de meest gebruikelijke combinatie is die van video of film met
opname van geluiden, dialoog, en muziek, em vanaf het einde van de
vorige ook de audiovisuele Virtual Reality. De auditieve dimensie past
meestal bij de visuele, maar er zijn ook 'surrealistische'combinaties
zoals 'Laputa' van Judith Schils: een film van stilstaand water zonder
geluid wordt gecombineerd met een auditieve opname die interzintuiglijk
bewegend water suggereert.
Bij de combinatie moet rekening gehouden met het mogelijke
verschil tussen beeldruimtes. Vaak wordt de scenische
visuele ruimte gecombineerd met een panoramische auditieve
ruimte (exemplarisch in de filmzaal met surround sound). Dat kan leiden
tot de nodige discordantie: terwijl de visuele verschijning van de
auto al uit mijn gezichtsveld verdwijnt waar het scherm ophoudt, beweegt
zijn auditieve verschijning zich nog een tijdlang links of rechts voor
en naast mij, zonder dat daar een visuele verschijning is te zien.
De discordantie verdwijnt vaak ten gevolge van de aanpassing van
auditieve informatie aan de visuele ruimte: zo worden bij combinatie van
scenisch visueel veld met panoramisch auditief veld de klanken uit de
ruimte in de zaal opgezogen door het beeld. Discordantie kan optreden als beide dimensies niet op elkaar
zijn afgestemd
qua schaal: als bij een waterval op een reuzenscherm het
bijbehorende geluid zou weerklinken uit een zwakke geluidsinstallatie,
of als, omgekeerd, een surroundinstallatie uit de filmzaal zou worden
ingezet rond een flatscreen in de huiskamer.
Die standaardcombinatie mag ons niet doen vergeten dat er ook meer
ongebruikelijke combinaties zijn. De 'stomme' film werd in de regel begeleid met muziek (inclusief primitieve sonoriseringen van bewegingen zoals het spelen van een glissando op
piano als iemand uitglijdt), evenals met muzikale beelden van muzikale
originelen (stoomfluiten, de claxons van auto's).
Vaak wordt ook de stomme dialoog weergeven via tekstbeelden. Dat die
uitvoeringopwekkende tekens onveranderlijk zijn, verdonkeremaant ditmaal dat we met de combinatie van twee veranderlijke media hebben te
maken, al is het de toeschouwer die dialogen inspreekt in plaats van de
acteurs zoals bij de latere geluidsfilm.
AUDIOVISUEEL: STILSTAAND DRIEDIMENSIONAAL VISUEEL BEELD EN AUDITIEF BEELD
Sprekende beelden (ook als de woorden op het beeld staan geschreven
zoals in Mesopotamië. Ook hier ontstaan een discordantie tussen het
onveranderlijke van het visuele beeld en het veranderlijke van zijn
spreken.
AUDIOVISUEEL: BEWEGEND DRIEDIMENSIONAAL VISUEEL BEELD EN
AUDITIEF BEELD
Een zeer populaire combinatie ligt hier in het verlengde van dansmuziek;
de overgang van dansmuziek als auditieve design die dansbewegingen als
visuele design dicteert, naar dansmuziek die mimetische bewegingen
dicteert, zoals gebruikelijk in ballet. Ballet vindt zijn oorsprong in de pogingen om de bewegingen van imaginaire wezens
(inclusief sonore wezens) die door mimetische muziek worden gedicteerd te laten uitvoeren door zichtbare,
menselijke lichamen.
Dat doen al vele muzikanten als ze proberen de expressies te vertonen
van het wezen dat ze muzikaal oproepen. Ze worden daarbij gehinderd
doordat een aantal onderdelen van hun lichaam in beslag worden genomen
door de bewegingen die ze moeten maken om de muziek te produceren. Dat
geldt ook als de muzikanten overgaan tot het uitvoeren van pantomimische
voorstellingen, zoals in het muziektheater van Kagel.
Veel vruchtbaarder is het dan ook deze taak aan acteurs over te laten
zoals in het ballet. Dan krijgen we een menging van auditieve design en beeld,
maar vermits de muziek wordt ervaren als de uitdrukking van de
opgeroepen wezens wordt ook de muziek daarbij tot onderdeel van een
omvattend audiovisueel beeld.
Typisch voor het ballet is daarbij dat er (anders
dan in theater en film)
geen gewoon auditief beeld is van geluiden - noch die van de
natuur, noch die van de bewegingen of expressies van de mens.
Een tweede, meer voor de hand liggende en daarom ook
al oeroude combinatie
is die van de visuele verschijning van de mens die wordt aangevuld met
zijn meest opvallende auditieve verschijning: het spreken (al dan niet
in combinatie met geluiden van zijn beweging of omgevingsgeluiden). We
vinden deze combinatie in het theater (driedimensionaal visueel beeld).
De verbale auditieve mimesis wordt vaak aangevuld met gewone auditieve
mimesis (het beeld van allerlei geluiden zoals voetstappen of donder),
en met muzikale mimesis.
Een derde, minder voor de hand liggende, maar niettemin zeer populaire
combinatie is de opera: verschillende combinaties
van spraakmuziek met driedimensionale bewegende acteurs die lyrische
(en de in III, 9 te bespreken narratieve teksten) zingen in de opera. In
China vanaf de eerste dynastieën en in Europa vanaf de 16e eeuw. Inzake
de relatie tussen visueel beeld en muziek stelt zich hier het probleem
dat bij het zingen van de aria, het lyrische spreken vaak gepaard gaat
met absolute muziek. Als Isolde niet langer een zangeres is die tussen
de instrumenten van een orkest staat opgesteld, maar een actrice die is gekleed als een
minnares, en die zich als zodanig gedraagt, valt pas goed op dat ze quasi
bewegingloos op de grond ligt en zich niet in de muzikale ruimte beweegt
zoals de 'Wogender
Schwall' waarvan haar zang het beeld is. (Zelfde probleem stelt zich in l'ho perduto
uit Mozarts Figaro: zangeres die zich
bukt om te zoeken terwijl ze in feite muziek zingt die zwevende wezens
belichaamt).
VISUEEL EN GEUR (OLFACTOVISUEEL)
Evenzeer denkbaar, maar nauwelijks voorkomend is de
combinatie tussen visueel en olfactief beeld, zoals de combinatie van
een driedimensionaal beeld van een bloem met de bijbehorende geur.
Ook een veranderlijk enkelvoudig oflactovisueel beeld is mogelijk:
denk aan scent layering op een visueel beeld van het lichaam. De combinatie
heft de mogelijk ambivalentie van de geur op: dank zij het visuele beeld
weten we dat de geur niet afkomstig is van de Provence of een
grootmoeder of een fles javel , maar van een visueel nagebootste
lavendelbloem.
Ook combinaties met tweedimensionaal (al dan niet bewegend) beeld zijn denkbaar:
men zou kruitdamp in filmzaal
kunnen verspreiden bij eenoorlogstafereel, bosgeur bij bos, lavandel bij
lavendelveld, of ziekenhuisgeur bij ziekenhuis. We zouden dan een combinatie hebben van onveranderlijke geur en veranderlijk
visueel
beeld.
Zerker met geurmasker zouden we veranderlijke geuren met veranderlijk
visuele beelden kunnen combineren.
Discordantie kan hier optreden als het gaat om intieme geuren in een
grote filmzaal (bv. tijdens vrijscène). Of als de nabijheid die wordt
gesuggereerd door de sterkte van de geur niet klopt met de beeldruimte
(bv. sterk bosgeur bij schilderij van bos in de verte).
Historisch gezien zijn er verschillende pogingen om geuren met film te synchroniseren,
wat ook de bedoeling was van Fantasia van Walt Disney. John Waters
gebruikte genummerde scratchkaarten om aan te snuiven voor
'Polyester' (1982).
VISUEEL EN TAST (TACTILOVISUEEL)
De combinatie is niet mogelijk met tweedimensionale visuele mimetische media, omdat de
derde dimensie die moet worden aangeraakt daar slechts is
gesuggereerd, zodat de hand die zou willen aanraken zou stuiten op een scherm of een
paneel. Dat geldt bij uitstek voor een tweedimensionaal
'interactief' beeld waarin de toeschouwer zich kan bewegen: zo'n
tactilovisueel beeld zou worden ontkracht, alleen door het scherm of de bril aan te raken, maar
vooral doordat wij niets zouden voelen, als de objecten naar ons zouden komen (trein) of wij
ertegen zouden botsen (muur). Zouden we toch in
staat zijn om de bijbehorende tastervaringen op te wekken, dan zouden ze
in tegenspraak komen te staan met wat er visueel is te zien: ik zou bv.
de botsing tegen de fiets voelen, maar er toch dwars doorheen kunnen
gaan. Overigens zou er bij gebruik van een datahandschoen principieel een discordantie
onstaan
tussen de plaats waar het object wordt gezien en die waar het wordt
gevoeld ('fernfühlen' bij een
operatie).
Zeer populair en overtuigend is daarentegen de combinatie van
driedimensionaal visueel beeld en tactiel beeld.
Omdat ze niet worden aangeraakt, geven de meeste driedimensionale
visuele beelden slechts de vorm
weer, en neutraliseren ze weerstand of druk. Zodra beelden worden
gemaakt om ook te worden aangeraakt, worden ook hardheid en textuur knagebootst: knuffeldier, sekspoppen, en kunstpenis.
De Andrea experimenteert ook met beelden die niet alleen zacht, maar ook
warm aanvoelen.
Tactilovisuele mimetische media nodigen uit om het eigen lichaam als
beeldmedium in het
tactilovisuele beeld
te betrekken. Zolang een tactilovisueel object vanaf een
afstand wordt bekeken, verschijnt het meestal in een werkelijke ruimte,
omgeven door een visuele beeldruimte die onmerkbaar overgaat in de echte
- denk aan de knuffelpop op het kinderbed, of aan de pop van Casanova
die hem opwacht aan
de tafel in zijn kamer. Pas na toenadering komt de tactiele beeldruimte
binnen bereik. Het tactilovsiuele beeldsubject gebruikt nu naast het oog van
het werkelijke lichaam ook de tastende hand, en bij omarmen
van de knuffelpop ook nog eens de voelende huid (buik, wang....). Het
beeldsubject wordt zodoende uitgebreid met een lichaam dat in het beeld
wordt opgenomen. Stel even dat de pop van Casanova niet
alleen een visueel, maar ook
een tactiel beeld was, een robot met een lichaam in silicone; dat het
geen acteur was die met de pop danste, maar de echte Casanova; en dat
niet wij door de camera van Fellini naar zijn optreden keken, maar
hijzelf naar zijn armen en handen in het beeld.
Dan zou Casanova de delen van zijn werkelijke lichaam die in de
tactilovisuele beeldruimte verschijnen niet langer tussen haakjes
moeten zetten, maar ze integendeel gebruiken als beeldmedium. Visueel
gezien wordt het werkelijke
lichaam opgesplitst in het onzichtbare deel dat tot het lichaam van het
werkelijke subject blijft behoren, en het deel dat doorgaat als de visuele verschijning van
het beeldsubject - zijn
armen en handen. Tactiel gezien wordt het werkelijke lichaam opgesplitst
in het deel dat de vloer en zijn kleren voelt, dat tot het werkelijke
subject blijft behoren, en het deel dat wordt ervaren als de
verschijning die hoort bij het beeldsubject: het deel dat de mouwen en
de automaat voelt en daarmee ook als voelende hand in beeld verschijnt. Het
tactilovisuele mediumale veld loopt hier dus dwars door het
lichaam van Casanova heen. Het beeldsubject met de daarbij behorende
tactilovisuele verschijning wordt zowel
visueel als tactiel ondergedompeld in het beeld waarmee het tactilovisueel interageert, al blijft het ook hier puur contemplatief
zijn eigen zelfopvoering zien en voelen. De onderdompeling is hier op
beide terreinen partieel: alleen de delen van het eigen lichaam die
zichtbaar zijn voor de acteur, en de delen van de huid die in aanraking
komen met de pop, verschijnen in beeld.
Tactilovisuele beelden bestaan al heel lang - denk slechts aan de
kunstpenis Populair
werden ze pas sedert de teddybeer. Pas sedert de uitvinding van silicone wordt het
mogelijk om mooie tactilovisuele kinderpoppen te maken die ook de zachtheid
weergeven. Roboticsa schept ook mogelijkheden om tactiele beweging en druk
na te bootsen. De seksindustrie zal hier vermoedelijk voor een
spectaculaire ontwikkeling zorgen.
AUDITIEF EN GEUR
In een donkere zaal met luidsprekers het knetteren van vuur laten horen
terwijl de geur van rook in de zaal wordt verspreid.
AUDIOVISUEEL EN OLFACTIEF
Denkbaar, maar bij mijn weten onbestaand:
brandweerlucht, brandweersirenes en flikkering van vuur (of
zwaailichten)
CONCLUSIE
Opvallend is de prominentie van de diverse varianten van audiovisueel en
tactilovisueel, evenals, omgekeerd de relatieve zeldzaamheid
of afwezigheid van andere combinaties. Anderzijds valt op dat mimetische media die onder
monosensoriële vorm nauwelijks tot ontwikkeling komen, makkelijker
denkbaar zijn in bisensoriële of trisensoriële combinaties, maar daar
niettemin ook zeldzaam blijven. Nochtans zou het interessant
zijn om bij uitstek niet voor de hand liggende combinaties zoals tast en
geur met horen te exploreren.