Virtual Black Box
Juni 2020 af Jakob la Cour
Et udviklingsprojekt mellem scenekunst og virtual reality
Hvordan kan virtual reality udvikle scenekunstens udtryk? Hvordan kan teknologiens nye muligheder og funktioner anvendes i en sanselig, inddragende og immersiv sceneoplevelse?
De spørgsmål har vi undersøgt i udviklingsprojektet Virtual Black Box.
Gennem testkørsler med publikum har vi præsenteret og videreudviklet et VR-værk, der baserer sig på nye multiplayerfunktioner og rumlig sporing af bevægelse for at skabe en ny scenekunstoplevelse i krydsfeltet mellem teater og virtual reality.
Virtual Black Box udviklingslaboratoriet har haft til mål at udforske skæringspunktet mellem scenekunst og virtual reality.
Baggrund: Scenekunst og VR
Scenekunst og virtual reality (VR) har altid haft et særligt slægtskab. Antonin Artaud siges at være den første i verden til at benytte ordene i sammenhæng: “la réalite virtuelle” tilbage i 1938. De seneste år er det gået stærkt med udviklingen af virtual reality. Der er opstået helt nye scenekunstneriske muligheder, der gør det muligt at inddrage publikum i virtuelle verdener, hvor de kan bevæge sig og interagere med hinanden.
Efter JAKOB LA COUR STUDIO producerede VR til den udsolgte ungdomsforestilling Kattejammer rock i 2018 på Teater Vestvolden, som blev genopsat i januar 2020, blev det enorme potentiale i at knytte VR og teater sammen helt tydeligt for os. VR skaber nærværende og immersive oplevelser, hvor det enkelte publikumsmedlem bliver inddraget og sat i centrum på en individuel måde.
Det er netop denne individuelle publikumsinddragelse, som vi har ønsket at udforske. Projektet har undersøgt scenekunstneriske muligheder i det tekniske setup 6DOF multiplayer mixed-reality med sporing af bevægelse (motion tracking).
Formål: Nødvendige eksperimenter
Scenekunstneriske eksperimenter inden for teater og VR er afgørende for at teknologien får lov til at udfolde sit potentiale i scenekunsten. Det er nødvendigt for teatret som sådan at forholde sig til og inddrage den teknologiske udvikling, som lige nu tegner til at forandre almindelige menneskers hverdag på mange niveauer.
Med mixed-reality-teknologien får vi nye muligheder for at skabe immersive teateroplevelser, hvor publikum kan interagere med performere og hinanden og med både det reelle og det virtuelle rum. Det gør det muligt at arbejde med performance og scenografi og dets plads i den virtuelle overlagring på en helt ny måde.
På baggrund af de nye teknologier og den tætte forbindelse mellem scenekunst og VR er det kun oplagt, at udviklingen kan foregå i et teaterrum. Derfor kaldte vi eksperimentet Virtual Black Box.
Teknisk setup og fysisk installation
I et defineret sceneområde har både performer og publikum en VR-brille med bevægelsessporing. VR-brillerne er forbundet med en server.
Ordforklaring for de funktioner, vi arbejder med i Virtual Black Box:
- 6DOF: Seks grader af frihed, aktører kan bevæge sig frit i et defineret virtuelt rum.
- Multiplayer VR: Flere kan være i det samme virtuelle rum.
- Mixed-reality: Der er sammenhæng mellem det fysiske og virtuelle rum, f.eks. kan en fysisk stol være sporet og repræsenteret i det virtuelle rum, så det rent faktisk er muligt at bevæge sig hen til stolen og sætte sig på den. Men også DMX512-styring af lys og effekter som røg og blæst.
- Motion-tracking: For at kunne repræsentere hoved, krop, hænder og fingre virtuelt må programmet vide, hvor de er. Derfor udgør bevægelsessporing vigtig data for systemet. Når man er i den virtuelle verden kan man kigge ned af sig selv og se en virtuel krop, arme og hænder. Man bevæger sig fysisk og kan interagere med de andre tilstedeværende.
Til procesvisning er det primært følgende der er benyttet ud over lyd, lys, scenografi og rekvisitter:
- 2 x Oculus Quest inkl. controllers til performer og publikum
- 3 x Trådløs radiofrekvens-høretelefoner inkl. oplader
- 1 x Radiosignal-sender til trådløs radiofrekvens-høretelefoner
- 1 x SubPac vibrationsvest
- 1 x Røde Wireless Go trådløs mikrofon
- 1 x Afviklingscomputer med følgende software: Ableton, Unity, Synaesthesia
- 1 x WiFi-hotspot
Metode og undersøgelse
Forløbet er baseret på metoder inden for scenekunst og interaktionsdesign. Disse kunstneriske metoder benyttes til undersøgelse og udvikling. Der veksles mellem iterativ teknisk udvikling og afprøvning med offentlige visninger. For at kvalificere prototyper blev prøvepublikum løbende inviteret ind i arbejdet til procesvisninger. Der er en række vigtige undersøgelsespunkter, som der tages stilling til:
- Hvilken scenekunstnerisk betydning har det at være i samme virtuelle rum som andre publikummer?
- Hvilke kvaliteter har det virtuelt medierede møde med performeren?
- Hvad betyder den scenografiske og fysiske dimension for VR?
- Hvad betyder sporing af hænder og fingre for interaktionen?
Program, visninger og formidling
Forløbet har været aktivt over sæson 2019/20 og henvendt sig til et ungt og voksent publikum, herunder fagfolk. Forløbet var tilrettelagt med følgende aktiviteter:
- udvikling af teknisk platform
- løbende procesvisninger
- iteration og videreudvikling
- evaluering og afsluttende samtale om processen og resultatet.
Hold og samarbejdspartnere
Jakob la Cour
Koncept, iscenesættelse og interaktionsdesign
Nikolaj Stausbøl
Kreativ teknolog, programmør og XR-ekspert.
Sort/Hvid har bidraget med sparring. Sort/Hvid følger udviklingen i virtual reality som teknologi, og som et teater, der eksperimenterer på tværs af udtryk og medier, taler målet med projektet ind i teatrets profil.
Refleksion
Her er kerneresultaterne:
- Det største og vigtigste resultat af projektet er, at det er lykkes os at skabe et setup for 6DOF multiplayer mixed-reality med motion tracking. Det var ubeskriveligt stort at opleve realiseringen af denne vision.
- Prototype software-setup i Unity til Oculus Quest, der synkroniserer det virtuelle rum og gør det muligt at flere personer kan være virtuelt til stede i det samme rum.
- Arbejdet med workflow hvor en VR-illustrator leverer VR-skabt 3D-grafik til implementering. Endvidere programmet Tilt Brush til hurtige skitseringer.
- Afholdelse af procesvisninger for over 46 personer der individuelt prøvede vores setup, bl.a. gennem værket Mystical Touch på The Overkill Festival i Holland.
- Gratis branchearrangement d. 5 juni 2020 til CPH STAGE på Sydhavn Teater via Zoom videokonference – mere info her.
Vi blev færdig inden COVID-19 pandemien og har som sådan ikke været påvirket heraf. Vi ville dog gerne have haft nogle flere procesvisninger på SORT/HVID, men da vi allerede havde nået vores målsætning valgte vi at afslutte projektet.
Designprincipper
Gennem projektet har vi løbende diskuteret vores designbeslutninger, her er eksempler på nogle at de overvejelser vi har gjort os:
- De interaktive forestillinger handler først og fremmest om dem som oplevelserne foregår i – publikum, deltagerne! Der lægges vægt på den oplevelsesproces et menneske bliver ført igennem – det er heri immersionsteater bør have sin kunstneriske afsøgning. Hvordan føles det? Hvordan er oplevelsesflowet? Hvilke kontaktpunkter har vi til rådighed?
- Oplevelsernes struktur kan med fordel tage afsæt i dramatisk iscenesættelse, rollespilsinteraktion og interaktive dynamikker fra spil og simulationsøvelser.
- Det skal være muligt at improvisere, så skuespillere ikke er bundet til et specifikt forløb, men kan reagere og tilpasse sig publikums valg og bidrag. Dette har haft store konsekvenser for UX-design, valget af interaktionselementer, estimering af varighed osv.
- Liveness og scenisk nærvær skal understøttes og tydeliggøres. Det er vigtigt at mærke feedback loops med miljøet og avatarer.
- Omfavn det hybride og skab oplevelsesværker som bevæger sig på tværs af medieplatforme og bevidsthedstilstande. De hybride formater aktiverer det kreativt udforskende og legende i tilskuerne.
Tekniske løsninger
Her er nogle af de vigtigste løsninger, som er udviklet til Virtual Black Box platformen.
- Informationsarkitektur der gør det muligt at uploade nyt miljø hurtigt
- Relativt præcis synkroniseringsproces så den virtuelle position er kalibreret med den fysiske
- Avatar skelet-rig
- Ingen begrænsning på antallet af deltagere
- Trigger-knap på kontroller til udløsning af lavfrekvent bas-lyd der igangsætter vibrationsvest når man holder kontroller tæt på deltagende publikum. Afstand fungerer som volumen fader.
Fremtidspotentiale
Et følgeresultat er at vi nu har arbejder på at skabe et fundamentet for en sammenslutning af teatre, undervisningsinstitutioner og andre aktører med interesse for feltet.
Her er nogle af de konkrete ting vi gerne så i en version 2.0 af Virtual Black Box frameworket:
- Mere gnidningsfri overgang fra inde til udenfor oplevelsen
- Mere præcis kalibrering
- Optimering af skelet-rig til avatar
- Implementering af Oculus Quest hand tracking
- Spectator applikation så folk kan logge sig på oplevelsen og beskue
- LIVE streaming af indhold
- Plugin til Qlab
- Integrering med Normcore SDK i stedet for Photon.
Specifikke ønsker til Mystical Touch universet:
- En enkel hvid scene der gør det muligt at lave en glidende fade-over
- Interaktiv vægtløst krystal-objekt som kan kastes til hinanden
- Spectator ghost avatar setup
Ressourcer
Mystical Touch
Her er mere info om prototype performancen ‘Mystical Touch’ som blev brugt som case i Virtual Black Box forløbet.
Virtual Black Box koden til inspiration
Dyk ned i koden til ‘Virtual Black Box’. Vi har gjort koden tilgængelig som inspiration og du kan frit benytte den.
Kontakt os for at modtage et link.
Virtual Black Box – Zoom webinar
Støtte
Virtual Black Box er gjort muligt med støtte fra Statens Kunstråd.
#statenskunstfond | #kunstfonden | #danishartsfoundation
