Merikeskus Vellamossa esillä olevan kansainvälisen Pako Pompejista -näyttelyn pahaenteisesti otsikoidussa “79 d.C. : Sudden Death” -osiossa on aavemainen tunnelma: tilan seinälle on heijastettu suurena animaatio, joka kuvaa tulivuoren purkausta ja kaupungin peittymistä tuhkaan. Lisäksi tilan lattialla on esillä jäljennöksiä tuhkan alta löytyneistä uhreista. Tarina Pompejin traagisesta lopusta toimii voimakkaana kontrastina viereiselle kaupungin arkea kuvaavalle “Best Place on Earth” -osiolle.
Näyttelyn rakennusvaiheessa Kokemusten talon Xamkin tiimi ideoi näyttelyn osaksi interaktiivisia digitaideteoksia. Projektin tarkoituksena oli tutkia digitaalisten teosten vaikutusta museokävijöiden tilakokemukseen. Mediataiteilija Tatu Heinämäki sai idean lattiaprojisoinnista, joka veisi näyttelykävijät ajassa taaksepäin purkaushetkeen: kävijöiden jalanjäljet jäisivät Pompejin katuja peittävään tuhkakerrokseen, kunnes peittyisivät hiljalleen taas leijuvaan tuhkaan. Heinämäki halusi tuoda “Sudden Death” -tilaan vaikuttavan teoksen, joka vahvistaisi tilassa vallitsevaa surumielistä ja aavemaista tunnelmaa, mutta joka olisi käytettävyydeltään helposti lähestyttävä.
Heinämäen jäädessä hankkeesta pois teos jäi minun toteutettavakseni. Tämä oli hyvin mieluinen ensimmäinen työtehtävä, sillä olen omassa taiteellisessa työssäni kiinnostunut tilaan, kävijöihin tai ääniin reagoivista mediainstallaatioista. Olin aiemmin tehnyt kokeiluja syvyyskameroiden ja liikkeentunnistuksen parissa, joten oli kiinnostavaa päästä niiden kanssa tositoimiin.
Teoksen suunnittelu
Teoksen konsepti ja tarkoitus olivat selkeät, joten ensimmäisenä askeleena oli visuaalinen suunnittelu. Etsin internetistä useita referenssikuvia Pompejin kaduista (Kuva 1) nähdäkseni, miltä teoksessa näkyvän kadunpätkän kuuluisi näyttää. Minkälaisia kiviä ja laattoja Pompejin kaduilta löytyy? Entä miltä tulivuoren tuhka näyttää?
Tärkeää oli myös, että teos on visuaalisesti yhtenäinen näyttelyn ja erityisesti näyttelytilassa pyörivän animaation kanssa, jotta se olisi selkeästi osa näyttelyä eikä vaikuttaisi irralliselta.
Referenssien pohjalta lähdin toteuttamaan kadunpätkää, jonka tarkoitus oli tulla osaksi näyttelytilan lattiaa. Taustan muokkaaminen valokuvista olisi ollut hankalaa, sillä perspektiiviltään ja valotukseltaan neutraalien kuvien saatavuus oli vähäistä. Tämän vuoksi kuva oli parempi toteuttaa alusta asti itse.
Toteutin kadunpätkän Blenderillä, joka on ilmainen 3D-mallintamiseen tarkoitettu ohjelma. Kuva tehtiin proseduuralisena tekstuurina Blenderin Shader Editorilla (Kuva 2). Proseduraalinen tekstuuri tarkoittaa kuvaa, joka on toteutettu kuvanmuokkauksen tai piirtämisen sijasta ohjelmoinnilla. Proseduraaliset tekstuurit ovat skaalautuvia ja jokainen kuvan tekoon käytetty vaihe tai kerros on jälkikäteen muokattavissa. Katukivetyksen toteutus proseduraalisena mahdollisti sen, että katukivetyksen kokoa, värejä ja varjoja voisi säätää myös näyttelytilassa.
Virtuaalituhkan luominen
Käyttäjiin reagoivan tuhkan toteutukseen vaadittiin laite, joka voisi lukea kävijöiden liikettä pimeässä tilassa, sekä ohjelma, joka pystyisi reaaliaikaisesti luomaan liikkeeseen reagoivan tuhkan. Minulla oli aikaisempaa kokemusta Kinect –kameroista ja TouchDesignerista, jotka valikoituivat teoksen työkaluiksi.
Kinect on Microsoftin kehittämä kamera, jolla on useita liikkeentunnistusta hyödyttäviä ominaisuuksia. Tähän teokseen kamera valikoitui sen syvyyssensorin vuoksi. Kinectin ToF, eli Time of Flight –sensori lähettää infrapunavaloa, joka heijastuu takaisin kameraan. Sensori laskee tähän matkaan käytetyn ajan, ja palauttaa sen 0:n ja 1:n välisenä arvona. Tavallisen videokuvan sijaan ToF -sensori näyttää siis kameran ja tilan pintojen välisiä etäisyyksiä. Jokainen arvo saa kuvassa harmaasävyn: mitä kauempana pinta on, sitä vaaleampi pikseli kuvassa on (Kuva 3).
Tämän teknologian avulla teoksen reaktiot pystyttiin rajaamaan kävijöiden jalkoihin sen sijaan, että teos reagoisi esimerkiksi kävijöiden pään liikkeisiin. Infrapunan ansiosta muutokset näyttelytilan valaistuksessa eivät vaikuta teoksen reaktiivisuuteen. Tämä on tärkeä ominaisuus, sillä näyttelytila on pimeä ja seinällä näkyvän animaation tummat ja vaaleat kohdat vaikuttivat huoneen valoisuuteen.
Syvyyskameran kuvan käsittely, tuhkan luonti ja yhdistäminen katukivetystekstuuriin, sekä lopullisen kuvan lähetys projektoriin tapahtuivat kaikki TouchDesignerissa. TouchDesigner on reaaliaikaisiin mediasisältöihin erikoistunut visuaalinen ohjelmointikieli, jota käytetään mm. mediainstallaatioissa ja generatiivisessa taiteessa. TouchDesigner voi käsitellä useita erilaisia video- ja äänilähteitä, ja siinä on sisäänrakennettu tuki Kinect-kameroille.
Käytin teoksen kehittelyyn Kinectillä kuvattua testikuvaa. Ohjelmoin TouchDesignerin piirtämään kuvan liikkeistä viivan, joka näkyy jälkenä lopullisessa tuhkamassassa (Kuva 3). Tämän päälle lisättiin useita kerroksia harmaita kohinatekstuureja, jotka saavat pinnan näyttämään tuhkamassalta. TouchDesignerissa luotiin myös teoksessa leijailevat kolmiulotteiset mustat tuhkapartikkelit, jotka väistävät kävijöitä liikkeentunnistuksen avulla.
Nämä kaikki lisäsin aiemmin luodun katutekstuurin päälle. Annoin tuhkalle varjon, jotta se vaikuttaisi paksummalta. Lisäsin lopulliseen kuvaan mustat reunat, jotta projektorin kuvan rajat eivät olisi liian selkeät, ja näin kadunpätkän laatoitus sulautui osaksi näyttelytilan lattiaa. Pehmeät reunat antavat teokselle myös unenomaisen vaikutelman: teos on kuin hämyinen ikkuna menneisyyteen.
Ensimmäinen prototyyppi
Toteutin teoksen ensimmäisen prototyypin pienikokoisena versiona tietokoneen näytölle (Kuva 4).
Asetin Kinectin sopivan etäisyyden päähän näytöstä, ja kameran syvyyskuvan rajasin näytön reunojen mukaan.
Tutkin tällä, miten tarkasti teos reagoi sormien liikkeeseen, ja kuinka luotettavasti tilassa käytettävä kone pystyy teosta pyörittämään. Tämä antoi käsityksen liikkeentunnistuksen toimivuudesta, mutta ei niinkään lopullisesta teoksesta, sillä tämän version kokoluokka oli käytännössä niin erilainen verrattuna lopullisen viisi metriä korkeaan näyttelytilaan.
Teoksen asennus
Asennus lopulliseen näyttelytilaan voidaan nähdä interaktiivisen teoksen yhtenä tärkeimmistä vaiheista, jota varten täytyy varata aikaa. Vaikka pystyin kehittämään teoksen toimistossa hyvin pitkälle, teoksen reaktioihin vaikuttavat etäisyysarvot ja muut säädöt pystyin tekemään lopullisesti vasta näyttelytilassa. Näiden säätäminen oikein on teoksen reaktioiden kannalta tärkeää, jotta teos säilyy uskottavana ja immersiivisenä.
Ensimmäisenä Kinect-kamera asennettiin kattoon mahdollisimman lähelle projektorin linssiä ja osoittamaan mahdollisimman suorassa kulmassa lattiaan. Näin reaktioiden kohdentaminen onnistuu ilman häiriöitä. Mikäli kamera olisi vaikkapa 45 asteen kulmassa, kameraa lähempänä olevat kävijät peittäisivät kauempana olevien kävijöiden liikkeet.
Kun kamera oli paikallaan, alkoi usean tunnin työ TouchDesignerissa, jossa teoksen etäisyysarvot säädettiin tilan mukaan. Näyttelytilan lattian heijastavuus osoittautui yllättäväksi haasteeksi, sillä se vaikeutti infrapunavalon palautumista kameraan. Erityisesti kuvan reunoille tuli tästä johtuen häiriökuvaa, joka näkyy mustana kohinana. Lattialle asetetut esineet näkyivät selkeästi, mutta kohina vaikeutti liikkeentunnistuksen säätöä. Liikkeentunnistus perustuu kuvien pikselien välisiin muutoksiin, joten nopeasti välkkyvä kohinaa saattaa näyttää ohjelmalle nopeana liikkeenä. Tämä aiheutti teoksessa haamujälkiä, jotka kuitenkin sain korjattua etäisyysarvoja säätämällä.
Yhteenveto
Vaikka teos valmistui nopealla aikataululla, mukaan mahtui paljon epävarmuutta ja muutoksia. Tärkein neuvo, minkä voin antaa interaktiivista teosta suunnittelevalle, on varata riittävästi aikaa teoksen testailuun sen lopullisessa muodossa. Laitteet ovat mahdollisesti käynnissä kuukausia, joten kannattaa varautua myös korjaamaan asioita jälkikäteen.
“Jäljet tuhkassa” on reaktioiltaan loppujen lopuksi hienovarainen mediateos, jonka tarkoitus on toimia saumattomana osana kiertävää “Pako Pompejista” -näyttelyä Merikeskus Vellamossa. Siksi on ollut kiinnostavaa seurata, millä tavoin kävijät ovat vuorovaikutuksessa teoksen kanssa. Huomataanko sitä? Saako se kävijän apeaksi? Leikkiikö joku tuhkalla? Saako se ajattelemaan ja kenties samaistumaan purkauksen uhreihin? Tämänkaltaisia kysymyksiä mietimme teosta seuratessa.