Cum schimbă realitatea mixtă experienţele muzicale. O relatare personală

La începutul lui iunie, fiind în trecere prin New York, am ajuns întâmplător la un concert care avea loc în realitatea mixtă (mixed reality, sau MR). Îndemnat să vizitez Hudson Yards, cel mai mare proiect imobiliar privat mixed-use, care a costat 25 de miliarde de dolari şi încă nu fusese inaugurat acum 8 ani, când am ajuns pentru prima dată în metropola americană, am dat peste the Shed. The Shed este un centru cultural inovator, o instituţie pentru secolul 21, care nu ţine cont de separarea formelor de artă şi încurajează folosirea tehnologiei pentru crearea de experienţe digitale transformative atât la faţa locului, cât şi online. Un fapt care facilitează accesul publicului interesat de forme culturale contemporane este localizarea: în clădirea Bloomberg din cadrul complexului, foarte aproape de Chelsea, districtul galeriilor de artă din Manhattan.

La momentul vizitei mele, am avut norocul să ajung cu câteva minute înainte de începerea unei reprezentaţii a spectacolului (sau, mai degrabă, experienţei) Kagami, cuvânt care în japoneză se traduce prin oglindă. În fapt, un concert revoluţionar desfăşurat exclusiv în realitate mixtă, rezultatul colaborării dintre legendarul compozitor şi artist Ryuichi Sakamoto şi Tin Drum, primul studio din lume dedicat producerii de conţinut MR pentru dispozitive. Născut în Tokio, Sakamoto s-a făcut cunoscut ca membru al Yellow Magic Orchestra, o trupă de muzică electronică experimentală, iar mai târziu drept compozitor al coloanelor sonore ale unor filme precum Ultimul împărat (1987), Crăciun fericit, domnule Lawrence! (1983) sau The Revenant (2015). Pe lângă numeroase producţii de muzică clasică, două opere, el a colaborat la nu mai puţin de 45 de soundtrack-uri cu regizori precum Bernardo Bertolucci, Pedro Almodóvar, Brian De Palma sau Alejandro González Iñárritu, fiind răsplătit de critică, printre altele, cu câte un premiu Oscar, Grammy şi BAFTA, precum şi două Globuri de Aur.

Ryuichi Sakamoto a murit anul acesta, în martie, la 71 de ani, după o luptă de 2 ani şi jumătate cu cancerul. Deşi nu a mai apucat să asiste la unul dintre evenimentele publice Kagami, lansate în paralel la New York şi la Festivalul Internaţional din Manchester (Marea Britanie), reuşise anterior să înregistreze un ultim concert împreună cu Todd Eckert, fondatorul Tin Drum şi cel care a produs primul performance în realitate mixtă destinat unui public numeros, „The Life” al artistei Marina Abramovic. În paranteză, trebuie precizat că Sakamoto a fost mereu un adept al tehnologiei, pe care a adoptat-o şi folosit-o în instalaţiile sale de sunet (numite „installation music”) create pentru muzee sau galerii în aşa fel încât publicul să experimenteze sunetul într-un spaţiu fizic cât mai aproape de ideal. Stă mărturie inclusiv marele premiu pentru artă interactivă al festivalului de artă new media, Ars Electronica, acordat în 1997 lui Sakamoto şi Toshio Iwai pentru concertul Music Plays Images X Images Play Music.

Dacă-l întrebi pe Bard (google) ce este realitatea mixtă (MR), îţi răspunde că MR este o tehnologie care combină elemente ale realităţii virtuale (VR) şi ale realităţii augmentate (AR). În timp ce VR înlocuieşte mediul real cu unul virtual, prin purtarea unor ochelari speciali care îţi aduc un ecran în faţa ochilor, în care eşti pe deplin imersat, MR suprapune elemente virtuale peste mediul real. Dacă în cazul AR e suficient un echipament precum un telefon sau o tabletă pentru a-ţi augmenta realitatea cu diverse obiecte care sunt suprapuse realităţii, pentru MR ai nevoie de un dispozitiv special (ex. HoloLens de la Microsoft, MetaQuest 2 sau, mai nou, Apple Vision Pro). Acest lucru permite utilizatorilor nu doar să vadă, ci să şi audă şi interacţioneze cu ambele lumi, reală şi virtuală.

Aveam să experimentez acest tip de interacţiune odată ce un set de ochelari primit de la organizatori scana un cod şi declanşa pentru toţi cei aproximativ 80 de spectactori, aşezaţi în cerc, imagini virtuale care-l înfăţişau pe Sakamoto cântându-şi compoziţiile la pian. Iniţial, am fost întrebaţi dacă vizualizăm un cub roşu când îndreptăm ochelarii spre centrul cercului sub care fusesem aşezaţi. Întâmplător, ochelarii Magic Leap 2 pe care-i primisem necesitau o resetare, aşa că am primit imediat o altă pereche. Aşezarea în cerc era necesară pentru calibrarea căştilor cu ajutorul unor puncte de reper, care adăugau, pe lângă sunetul şi imaginea concertului de pian susţinut de Sakamoto, înregistrate în fotogrammetrie, obiectele animate (inclusiv pianul) şi o serie de efecte vizuale speciale (VFX) suprapuse şi sincronizate cu muzica.

Odată ce imaginea apare simultan spectatorilor, îl vedem pe pianist aşezându-şi degetele pe clape. Pe parcursul celor 50 de minute în care artistul japonez interpretează o serie de compoziţii proprii, inclusiv celebrele Energy Flow (o baladă delicată, scrisă iniţial pentru o reclamă la vitamine, care a devenit un hit) sau Forbidden Colours (de pe coloana sonoră a filmului Merry Christmas Mr. Lawrence) poţi vedea ciocănelele pianului Yamaha lovind coardele, în timp ce o serie de animaţii potenţează sunetele divine: o ceaţă virtuală se transformă în ploaie, un peisaj urban sau rădăcinile unui copac cresc din pian, puţin mai târziu, iar fulgi de zăpadă cad lin, feeric, pe notele unei alte piese.

Eşti încurajat să te ridici şi să explorezi spaţiul. În timp ce faci câţiva paşi timizi, pentru a te obişnui cu senzaţia, constaţi cu uimire că te poţi poziţiona în spatele artistului, la câţiva centimetri de el, în lateral sau în faţa lui, pentru a-i surprinde expresia de pe chip, modul în care părul îi flutură în timpul mişcărilor capului, fără să obturezi imaginea celorlalţi spectactori. Singura preocupare, în timp ce te învârţi prin cameră, este să nu te loveşti de ceilalţi, pe care-i percepi ca pe nişte umbre prin intermediul ochelarilor speciali. Ai inclusiv un buton pentru a regla sunetul, în funcţie de cât de tare vrei să-l percepi. Ultima piesă din setlist, BB, a fost scrisă, ne spune chiar Sakamoto augmentat la pian, la cinci minute după ce a aflat despre moartea prietenului său Bernardo Bertolucci, regizorul filmului Ultimul împărat.

Practic, ce-ţi poate oferi realitatea mixtă este o experienţă imersivă (posibilitatea de a sta lângă artist şi a-i vedea toate mişcările), personalizată (prin posibilitatea de a alege artistul sau genul de muzică) şi, de ce nu, accesibilă (nu ai nevoie să călătoreşti pentru a prinde turneul unui artist, ci poţi folosi dispozitivele de acasă sau dintr-un spaţiu special amenajat/ dotat).

MR a început deja să fie folosit în artele performative şi către audienţe mai largi, nu doar în contexte mai degrabă intime, cum a fost cel de la the Shed. Astfel, DJ-ul american Porter Robinson, în turneul său Nurture, pentru a crea o experienţă imersivă pentru spectatori. Spectatorii au putut purta căşti VR pentru a vedea un spectacol care a combinat imagini live cu animaţii 3D. În SUA, festivalul de muzică Coachella a folosit MR pentru a crea o experienţă personalizată pentru spectatori, care au scanat coduri QR pentru a debloca conţinut VR şi AR, cum ar fi videoclipuri muzicale, interviuri cu artişti şi poveşti din culise. Iar Sony a creat o experienţă accesibilă în MR pentru spectatorii cu deficienţe de auz, care au putut purta căşti VR pentru a vedea o traducere în timp real a muzicii în limbajul semnelor.

Evident, emoţia unui concert live, în persoană, în care artistul e prezent, mi se pare (încă) inegalabilă. Dar în cazul în care acesta a decedat sau şi-a pierdut calităţile care-l fac unic (vezi comentariile recente despre vocea lui Axl Rose), o astfel de experienţă imersivă poate arhiva şi readuce, pe o perioadă nelimitată şi pentru multe generaţii de spectactori, câteva momente magice. Aşa cum unii ar da orice să-i vadă pe Mozart sau Beethoven cântând în faţa lor, chiar într-o realitate mixtă, mie mi-ar fi plăcut să existe tehnologia la momentul respectiv pentru a-i înregistra pe Freddie Mercury, Kurt Cobain sau Chester Bennington, pe care nu am apucat să-i văd live. Dar poate voi putea merge cu nepoţii mei, când vor mai creşte, să-i vadă pe Thom Yorke, Dave Gahan, Matt Bellamy sau Tom Smith la apogeul carierelor lor.

George Pleşu este manager cultural, preşedintele Asociaţiei AltIaşi

Publicitate și alte recomandări video