Tijdelijk Huis van ThuisTijdelijk Huis van Thuis

Het werk _Reading Interiors_ van kunstenaar en docent Tivon Rice brengt beelden van interieurs samen met vijf door kunstmatige intelligentie (A.I.) gegenereerde stemmen. Deze stemmen van het kind, het thuis, de ruimte, de arbeider en de ander onderzoeken onze veranderende relatie met het huis in tijden van COVID-19. Het werk is onderdeel van de tentoonstelling Tijdelijk Huis van Thuis en bestaat uit een installatie in Het Nieuwe Instituut, te zien van juli 2021 tot en met september 2022, en een website waar gebruikers zelf beelden van interieurs kunnen uploaden - om vervolgens een stem te kiezen die het interieur leest.

Een eigenschap van Rice' artistieke praktijk is het accepteren van tegenstellingen die bestaan in hedendaagse digitale cultuur. In zijn jeugd behoorde hij tot de eerste generatie die opgroeide met computers in het klaslokaal. Het spelen van videospellen en het gevoel dat je jezelf in een andere wereld bevindt, maakt bij Rice later plaats voor een gevoel van ongemak door de herinneringen aan plaatsen en gebeurtenissen die nooit hebben plaatsgevonden in de realiteit.

Het resulteerde bij Rice in het identificeren van een verzameling tegenstellingen of polariteiten die bestaan op de grens van fysieke en digitale ontmoetingen: het directe en het gemedialiseerde; aanwezigheid en afwezigheid; de ervaring en hier zijn versus daar zijn in de omlijsting van het scherm. Rice heeft in latere jaren onder meer zijn PhD gehaald in Digital Art en Experimental Media aan de Universiteit Washington, was Fulbright Scholar (Korea 2012) en een van de eerste individuen die samenwerkte met Google Artists + Machine Intelligence.

Schrijver Twan Eikelenboom ging met Tivon Rice in gesprek, onder meer over zijn eigen veranderende thuisgevoel in tijden van COVID-19, de eerste ideeën en keuzes in het maakproces van Reading Interiors en het werken met A.I. in de artistieke praktijk.

TE: Het bredere thema van de tentoonstelling stelt de vraag: wat maakt een huis een thuis? Hoe is je eigen praktijk, huis en thuisgevoel veranderd tijdens de COVID-19-pandemie? Welke inzichten heb je opgedaan in deze tijden die ook waardevol zijn gebleken voor je werk en praktijk?

TR: Al lange tijd houd ik mij in mijn praktijk bezig met de telematische dimensies van communicatie. Ik herinner me dat ik als digitaal kunstenaar, zelfs 15 tot 20 jaar geleden al, een positieve blik had op ontwikkelingen als telepresence, virtuele samenwerking en genetwerkte voorstellingen. Maar toen COVID-19 ervoor zorgde dat we deze middelen moesten gaan gebruiken voor ons werk, ons onderwijs, ons leerproces en zelfs voor sociaal contact, denk ik dat we allemaal wel een schok ervaarden. Ons huis veranderde in de centrale plek waar al deze activiteiten een plaats moesten krijgen. Naast positieve aspecten als toegankelijkheid en samenwerking op afstand hebben we dus ook de negatieve impact gezien die virtueel thuiswerken kan hebben, waaronder de verwachting van constante bereikbaarheid.

TE: Hoe is je relatie met technologie veranderd in deze tijden? En hoe zorg je dat je, met een grotere nadruk op het gebruik van technologie, toch een balans vindt?

TR: Deze tijden hebben vooral mijn behoefte om fysiek te werken versterkt. Dit biedt tegenwicht aan - en balanceert - de tijd die ik kwijt ben aan het gebruiken van technologie. De afgelopen 3 tot 4 jaar heeft mijn werk grotendeels plaatsgevonden op schermen, maar dit jaar ben ik weer aan de slag gegaan met de beeldende en ruimtelijke kanten van mijn praktijk - die ook onderdeel waren van mijn vroegere werk. Hierdoor moest ik mijn huis wel uitkomen en op mijn fiets naar mijn studio, die naast de makerspace van mijn universiteit ligt. Dit heeft er - denk ik - voor gezorgd dat er nu een gezonde balans is tussen werken met technologie in mijn huis, en het fysieke maakwerk in mijn studio.

TE: Hoe past je werk voor Tijdelijk Huis van Thuis in je bredere werk, interesses en projecten?

TR: Mijn projecten hiervoor richten zich op het creëren van ontmoetingen rond narratieven in verschillende omgevingen, en maakten daarbij specifiek gebruik van teksten gegenereerd door A.I. Ik verkende bijvoorbeeld enkele grote architectonische omgevingen, aan de hand van de A.I.-'stem' van sciencefictionschrijver J.G. Ballard. Ik heb verder recent een serie films gemaakt, waarin omgevingen die zich bevinden aan de grenzen van natuurlijke en menselijke interventies centraal staan. Het verhaal bij de films werd op een vergelijkbare manier verteld door een veelvoud aan A.I.-vertelstemmen. Het thema Tijdelijk Huis van Thuis sluit aan bij mijn werk, doordat het thuis in de afgelopen jaren een plek van technologische interventie is geworden - in voor- en tegenspoed. Wat misschien nog interessanter is, is dat het thuis een archetypische plek is waarin verhalen verteld kunnen worden: van kleine persoonlijke momenten tot grote levensveranderende gebeurtenissen.

TE: Reading Interiors maakt zowel gebruik van beelden uit het archief van Het Nieuwe Instituut, en vraagt gebruikers om op een website eigen beelden van interieurs te delen. Hoe verhouden deze twee bronnen zich tot elkaar? Zie je de tentoonstelling en de bijdragen van gebruikers op de website als een volgende iteratie van het werk?

TR: De 250 narratieven op basis van het archief van Het Nieuwe Instituut zijn een afgerond werk: ze presenteren een polyfonie van stemmen en zijn een vergelijkend onderzoek naar de verschillende vormen waarop we taal kunnen inzetten om de huiselijke ruimte te beschrijven. Dat gezegd hebbende: het archief van Het Nieuwe Instituut bevat een erg specifieke set beelden van interieurs - laten we het houden op upper-class Nederlandse architectuur uit de 20ste eeuw.

De website van _Reading Interiors_ bevat het 'andere archief' met verhalen over interieurs. Dit vanuit het idee om contrast te creëren met de beelden uit het archief van Het Nieuwe Instituut. Dit andere archief toont beelden van door technologie gemedialiseerde interieurs: onbeveiligde bewakingscamera's, Zoom-achtergronden, en webcams gericht op dieren in het wild. Deze scenes stellen andere definities van menselijke en niet-menselijke interieurs voor - en vraagt vanuit die gedachte het publiek om afbeeldingen te delen die tonen hoe hun eigen thuisgevoel is veranderd tijdens de COVID-19-pandemie. De websitedimensie van het project is daarmee in een constante staat van wording. De website kan mogelijk zelfs dienen als manier om de transitie van lockdown terug naar normaal te volgen, of beter gezegd: naar een nieuw normaal dat zowel functies van huiselijkheid uit de tijd voor COVID-19 en erna bevat.

TE: Ik ben benieuwd naar de methodieken en middelen die je gebruikt om je werk te maken, en hoe je tot de ideeën voor een werk komt. Niet veel anderen brengen namelijk A.I.-stemmen en beeld samen op de manier waarop jij dat doet. In Reading Interiors zorgt deze combinatie voor "aanvullende vensters om naar onze 'privé'-ruimtes te kijken." Hoe ben je tot de keuze voor de vijf A.I.-stemmen gekomen? Wat waren je eerste ideeën - en welke ideeën hebben het niet gehaald?

TR: Mijn allereerste gedachten toen ik aan dit project begon richtten zich op de verschillende stemmen die de interieurs zouden 'lezen'. Wat ik zeker wilde, is dat de stemmen de verschillende taaltypes die thuis voorkomen zouden weerspiegelen. Juist omdat thuis in deze tijden in toenemende mate ook een plek is voor werk en onderwijs, in aanvulling op de bestaande huiselijkheid. Door A.I.-stemmen te trainen op basis van werken van Karl Marx, Roald Dahl en George Perec had ik het idee dat de stemmen van de arbeider, het kind en het thuis vanaf het begin al goed vertegenwoordigd waren.

Een stem die het niet heeft gehaald is: de architectuur. Ik wilde deze trainen aan de hand van een encyclopedie van grafische standaarden, maar de A.I. sprak in gortdroge technische termen over de constructie van ruimte. Na het mislukken van de architectuur-stem, wilde ik nog steeds enkele non-fictie-stemmen toevoegen om te reflecteren op de verschillende perspectieven van ruimte. In gesprekken met Klaas Kuitenbrouwer, onderzoeker Digitale Cultuur bij het Het Nieuwe Instituut, ontstond het idee voor een hybride antropologische/filosofische stem die zich richt op de sociale ruimte. De ruimte is een mix van teksten van Marc Auge, Michel DeCerteau, en Michel Foucault. We hebben ook de stem van de ander geformuleerd, die we zien als een perspectief op biologische en niet-menselijke ruimte. Ook dit is een hybride stem, onder meer getraind aan de hand van teksten van Donna Haraway en Jakob von Uexküll.

TE: Wat zijn de eerste praktische stappen wanneer je een project start?

TR: Voordat ik begin met programmeren of deep machine learning vind ik het heel belangrijk om een nauwe relatie op te bouwen met de gekozen dataset(s). Wanneer het gaat om het genereren van verhalen die een auteur of genre emuleren, zijn de datasets letterlijk de onbewerkte teksten van een auteur. Het verzamelen en scrubben - het opschonen van de opmaak - van deze teksten is dan een heel belangrijke stap, omdat het me dichter bij het werk brengt. Het forceert me om het werk opnieuw te lezen of te scannen. Zo krijg ik inzicht in de patronen en het taalgebruik die ik van de A.I. moet kunnen verwachten, op het moment dat het model getraind is.

TE: De stemmen voor Reading Interiors zijn heel onderscheidend en de opbouw van de paragrafen is heel interessant om te zien: een combinatie van bijna steriele omschrijvingen (bijvoorbeeld: "A photo of a white sheep."), aanvullende context en verhaallagen ("Just to the side of the picture frame, a shepherdess holds a sheepdog in her arms. Its paws are stretched out, with its chin resting on her right shoulder."). In het ontwikkelen en trainen van de stemmen, welk deel wordt gevormd door jouw invloed en het bepalen van het bronmateriaal, en welk deel wordt gevormd door de A.I.?

TR: Voor de eerste stap in het genereren van een verhaal gebruik ik computer vision- en image captioning-software. Dit creëert een eenvoudige, steriele beschrijving van de afbeelding. Voor Natural Language Processing gebruik ik een door mijzelf aangescherpte versie van het GPT2-model. Dit model creëert een langere paragraaf over die eenvoudige 'prompt'. Wanneer je dezelfde afbeelding 'laat zien' aan alle stemmen, ontstaat een heel interessant proces. Alle stemmen begonnen met dezelfde prompt, maar beschreven de prompt in de eigen stijlen van de vijf modellen.

Omdat ik het systeem opdracht geef om vijf teksten te genereren en er vervolgens één kies voor het uiteindelijke project, heb ik letterlijk duizenden van deze korte verhalen gelezen. Het was interessant om in de positie van lezer te zitten en te bepalen wat 'goed' of 'vreemd' of 'nauwkeurig' of 'geloofwaardig' is. Dit is een belangrijke en specifieke taak. Wanneer je iets leest dat fictie hoort te zijn, zoals het geval is bij Dahl of Perec, lijkt er een bepaalde vrijheid te zijn om een stem een gedicht of absurd verhaal te laten vertellen. Aan de andere kant moest ik bij Marx en meer filosofische stemmen de vraag stellen of het logisch is. Is dit een economische of antropologische filosofie die ik zou geloven? Dit kunnen we onszelf misschien ook wel afvragen bij de originele teksten. Maar soms laat ik het jargon of het specifieke vocabulaire van de filosofische teksten ook gewoon voor wat het is, ongeacht of de statements 'waarheidsgetrouw' zijn.

TE: Hoe zorg je in dit maakproces dat elementen als beeld, taal, narratief en technologie een coherent geheel blijven vormen?

TR: Een goede vraag, omdat ik geloof dat sommige verhalen en beeld/verhaal-paren eigenlijk best incoherent zijn. Ze kunnen constant door blijven gaan, zichzelf herhalen en tegenspreken, of zich verliezen in taalkronkels. Daarom is het belangrijk dat ik een stap terug doe en het grotere project overzie. Wanneer ik denk aan de manieren waarop technologie impact heeft gehad op ons leven in de afgelopen zestien maanden, dan zegt mijn gevoel dat Reading Interiors de chaotische of absurde dynamiek van deze periode moet weerspiegelen. Uiteindelijk wilde ik een systeem creëren dat de ruimtes van interieurs op creatieve wijze opnieuw kan verbeelden, en mijn verwachting was dat deze verhalen het spectrum zouden bestrijken: van simpele, geloofwaardige narratieven tot het koortsachtige hallucineren van de A.I.-stemmen.

TE: Hoe ga je om met het spanningsveld tussen enerzijds het vormgeven en controleren van het narratief (als auteur) en anderzijds het faciliteren van de creatie van narratieven door technologie? Welke rol of positie neem je als kunstenaar in in dit co-creatieproces?

TR: Ik denk dat er in mijn vroegere werk sprake was van een spanning op de momenten dat ik wilde dat de A.I. zelfstandig een perfect, compleet narratief zou creëren. Maar ik ben tot de conclusie gekomen dat A.I. - op allerlei manieren - een romantische façade is. Er is een beeld ontstaan rond A.I. dat het compleet autonoom kan werken en dat het ons werk, in veel vakgebieden, zal overnemen. Door de ervaring die ik heb in het werken met machine learning in de artistieke praktijk, besef ik me dat A.I. geen creatieve intelligentie bezit. In plaats daarvan kan het mogelijkheden laten zien en nieuwe ideeën uitlokken, die de kunstenaar kan uitvoeren of verder ontwikkelen.

TE: Over dit uitlokken van nieuwe ideeën. Verrast een A.I.-stem je bijvoorbeeld op een onverwachte manier weleens?

TR: Een interessante en ook wel charmante verrassing die ik vaak zie bij deze A.I.-auteurs is hun genderfluïditeit en hoe ze voornaamwoorden afwisselen, midden in een verhaal. Eerst vond ik het gebrek aan consistentie in het gebruik van voornaamwoorden frustrerend. Dat het de A.I. niet echt uitmaakt zie ik nu als een oprechte eigenschap van A.I.-logica. In de uitwerking beeldt het zich verschillende mogelijkheden voor een karakter in.

Wat ik ook waardeer is de semantische fluïditeit die deze A.I.-stemmen kunnen laten zien. In een verhaal van het kind bijvoorbeeld, spreekt de stem van Roald Dahl over magie en realiteit. Op een bepaald moment bevraagt het wat eigenlijk echt is: "that which is real". Het behandelt vervolgens dit idee over realiteit en komt, wanneer het gaat over een vrouw met magische kracht, tot de conclusie: "that witch is real".

TE: Welke inzichten neem je mee uit dit project, die je in kunt zetten in nieuwe projecten? Welke projecten werk je op dit moment aan - en in welke richting wil je jouw artistieke praktijk verder ontwikkelen?

TR: Wat ik heel leuk vond om te doen met Reading Interiors was het creëren van een archief met veel verschillende door A.I. gegenereerde narratieven, en deze te presenteren in op nonlineaire manier. De volgorde van de 250 verhalen zal zich nooit herhalen, waardoor de ervaring in de tentoonstellingsruimte van Het Nieuwe Instituut nooit hetzelfde zal zijn. Dit is anders dan de films die ik recent heb gemaakt, die een vaste duur hebben. Ik wil dit idee graag gebruiken voor een geluidssculptuur die ik ga maken, waarin verschillende concrete objecten (waarvan sommige met luidsprekers) de architectuur van de tentoonstellingsruimte - of een specifieke locatie - proberen te beschrijven. Ik vind het een interessant idee om weg te gaan van beelden op een scherm en in plaats daarvan de objecten, de ruimte en de gesproken verhalen te gebruiken om beelden in de hoofden van het publiek op te roepen.

TE: Naast je artistiek praktijk werk je ook als docent. Welke thema's en projecten werk je op dit moment aan met studenten? Hoe voedt het docentschap je artistieke praktijk?

TR: Ik krijg heel veel ideeën en haal heel veel inspiratie uit het werken met studenten. Deels komt dit denk ik omdat zij ook 'lezers' worden op het moment dat ze voor de eerste keer met A.I. en Natural Language Processing-systemen werken. Ik vind het geweldig om te zien waar zij enthousiast van worden, wat ze vreemd vinden en wat ze provoceert als ze werken met A.I.-gegenereerde tekst. Een van mijn voornaamste onderzoeks- en onderwijsprojecten is erop gericht om machine learning ook toegankelijk te maken voor niet-programmeurs. Wat zullen dichters, schrijvers, muzikanten of artiesten gaan doen met deze gereedschappen? Welke datasets zullen ze trainen? Welke vragen gaan ze eraan stellen? Vanuit mijn rol als docent is het mijn doel om middelen te maken die het programmeren zo simpel mogelijk maken, zodat studenten kunnen focussen op het verzamelen van eigen datasets - en het verkennen van creatieve manieren waarop je A.I. in kan zetten om tekst te genereren.

Om de toegankelijkheid van A.I. te vergroten, is het ook belangrijk om te erkennen dat de meeste van de grote A.I.-taalmodellen Engels zijn. Mijn bezorgdheid hierover is ontstaan toen ik in Amsterdam samenwerkte met deelnemers van een workshop, die een Nederlandstalige A.I. wilden creëren die als stem van de Noordzee kon dienen. Ik ben daarom gestart met een onderzoeksgroep die zich focust op creatief verzet tegen anglocentrische A.I: Creative Resistance to Anglocentric A.I. Ik denk dat op een bepaalde manier al het artistieke werk dat gebeurt met A.I. een vorm van creatief verzet is tegen de bedrijfsmatige en geïnstitutionaliseerde inzet van A.I, maar het is heel belangrijk om vooroordelen en uitsluiting te kunnen herkennen en vinden in breed beschikbare machine learning-modellen. Studenten met diverse achtergronden en die veel verschillende talen spreken, helpen me om hiervan te allen tijde bewust te blijven en motiveren me om de problematische kanten van deze gereedschappen uit te dagen.

Tekst: Twan Eikelenboom