Virtuaalituotanto: Virtuaalisten ja fyysisten maailmojen yhdistäminen videotuotannoissa

Pelimoottoreiden käyttö pelinkehityksen ulkopuolella on kasvava trendi, jota myös HAMK Smart -tutkimusyksikkö tutkii ja kehittää. Eräs jo yleisesti käytössä oleva alue on niin sanotut virtuaalituotannot.

Tietokoneilla luotuja erikoistehosteita on videotuotannoissa käytetty jo kauan. Perinteisesti nämä ovat lisätty jälkituotantovaiheessa, esimerkiksi vihreää tai sinistä taustaa vasten kuvattuihin elokuvakohtauksiin. Virtuaalituotannoilla (engl. Virtual Production) tarkoitetaan yleisesti tekniikkaa, jossa virtuaaliset ympäristöt tai esineet renderöidään ja kuvataan reaaliajassa (mahdollisen) live-materiaalin kanssa. Tämä muun muassa nopeuttaa tuotantoja, sillä kuvattu materiaali nähdään välittömästi oikeassa ympäristössään.

HAMK Smart -tutkimusyksikkö tutkii ja kehittää pelimoottoreiden ja siihen liittyvien teknologioiden, kuten VR (Virtual Reality, suom. virtuaalitodellisuus), hyötykäyttöä. Parhaillaan käynnissä olevassa VATTU – Valmistavan teollisuuden virtuaaliset tuotteet -hankkeessa tehtiin kaksi pilottia, joista toisen tiimoilta kuvataan myös markkinointimateriaalia virtuaalituotantona. Suoritin tietojenkäsittelyn opintoihin kuuluvan työharjoitteluni näiden parissa. Tehtävänäni oli tutkia minkälaisilla käytänteillä ja tekniikoilla kyseinen videotuotanto olisi parasta toteuttaa.

Lähtöajatuksena oli kuvata materiaalia ns. tehostetun todellisuuden tekniikalla (engl. Mixed Reality), jossa pilottiprojektissa luotua, virtuaalisessa ympäristössä suoritettavaa työsuoritetta kuvataan yhdistämällä pelimoottorilla luotua ympäristöä virtuaalisella ja suoritetta tekevää käyttäjää fyysisellä kameralla samanaikaisesti. Näin olisi mahdollista havainnollistaa kiinnostavalla tavalla immersiota, sillä VR-tekniikan keskeisenä tarkoituksena on viedä käyttäjä tai pelaaja toiminnan keskelle.

Fyysiseen kameraan on mahdollista liittää Vive Tracker -lisälaite, jolloin virtuaalisen kameran sijainti voidaan asettaa samalle etäisyydelle kuvattavaan kohteeseen, ja tarvittaessa liikuttaa fyysisen kameran kanssa yhdessä.

Valitussa metodissa ilmeni kuitenkin suuria haasteita. Valmiita ratkaisuita Mixed Realityn käyttämiselle on vähän, ja oma aiheen tutkimiseni keskittyikin yksinomaan Unreal Engine -pelimoottorin kehittäneen Epic Gamesin omaan Mixed Reality Capture -laajennukseen. Tarkoituksena oli kuvata VR-käyttäjää vihreää kangasta vasten, tuoda tämä kuva pelimoottorin käyttöön ja yhdistää se virtuaalisen ympäristön kanssa. Näin luodaan vaikutelma reaalimaailman vuorovaikutuksesta virtuaalisen kanssa esimerkiksi tilanteessa, jossa käyttäjä ottaa VR-tilassa esineen käteensä, jolloin esine näkyy myös reaalikuvassa henkilön kädessä.

Yleisesti ottaen Unreal Engineen liittyvät dokumentaatiot ovat varsin kattavia ja informatiivisia. Näiden ohella pelimoottorin virallinen keskustelupalsta, Unreal Enginellä toteutettaviin virtuaalituotantoihin keskittynyt Facebook -ryhmä sekä Youtube-videopalvelun laaja aihetta käsittelevä sisältö olivat keskeisiä tiedonlähteitä, mutta tässä tapauksessa täsmällisiä ja kattavia ohjeita Mixed Reality Capture -toteutukselle ei löytynyt. Erityisesti virallisen dokumentaation vajavaisuus rajoitti ratkaisujen löytymistä ohjaten tekemistä pääosin yrityksen ja erehdyksen suuntaan.

Vallitsevan koronapandemian takia asetettujen etätyösuositusten myötä kotoa käsin työskentely toi omat haasteensa henkilökohtaiselle tekemiselleni paikallaan junnaavan Mixed Reality -kehityksen oheen. Lisää pandemian vaikutuksista harjoitteluun voi lukea Juhon kanssa kirjoittamastamme blogista.

Heikot tulokset live-kuvan ja virtuaalisen maailman yhdistämisen suhteen halutulla tavalla veivät kuvaamisen suunnittelun askeleen taaksepäin, takaisin lähtökohtaan: miten hankkeen pilotista tuotetaan mielenkiintoista videomateriaalia? Pilotin käyttötestauksen yhteydessä esiin nousi uusia näkökulmia (ja kirjaimellisesti kuvakulmia) sillä esimerkiksi VR-käyttäjän näkemää kuvaa voidaan tarkastella myös virtuaalilasien ulkopuolella.

Unreal Engine sisältää valmiiksi jo kattavat virtuaalisen kuvaamisen työkalut mm. erilaisten säädettävien kameroiden myötä, joita hyödyntämällä on mahdollista kuvata VR-käyttäjää virtuaalisessa ympäristössä niiltä osin kuin käyttäjän hahmo on tehty näkyväksi.

Koska käytettävien laitteiden sijainti kolmiulotteisessa ympäristössä (ns. Euklidisessa avaruudessa) on selvillä, niiden sijaintiin on mahdollista asettaa esineitä, esimerkiksi VR-lasien paikalle niitä kuvaava 3D-malli tai ohjaimien sijaintiin animoidut kädet. Näin on mahdollista kuvata VR-käyttäjän liikettä reaaliajassa virtuaalimaailmassa, vaikka oikean kameran tuottama kuva puuttuukin.

VATTU-pilotin kuvaamisen testeissä ilmeni huomioita erilaisten kuvaustekniikoiden suhteen. Vaikka live-kuvan ja virtuaalisen maailman yhdistäminen ei alun perin onnistunut halutulla tavalla, se olisi edelleen mahdollista toteuttaa rajatummin keinoin. Nämä rajoitukset kuitenkin tekisivät kyseisestä metodista melko lattean, sillä kokeilemallamme toteutuksella live-kuva asetetaan kaksiulotteisen taustan päälle, jolloin kaikki virtuaaliset objektit jäävät kuvan alle. Toisaalta käyttäjän liikkeitä reaaliaikaisesti seuraavilla 3D-malleilla on mahdollista havainnollistaa toimintaa kuvaavasti minimaalisillakin objekteilla.

VR-laitteita seuraavien 3D mallien myötä esille tuli kysymys olisiko mahdollista toteuttaa yksinkertaista liikkeenkaappausta (engl. Motion Capture, tai mocap) hyödyntäen animoitavia luurankomalleja, jolloin käyttäjän liikkeet voitaisiin esittää 3D mallinnetun ihmishahmon avulla. Yleensä liikkeenkaappaus toteutetaan sitä varten tehdyillä puvuilla, joilla on mahdollista mallintaa liikettä tarkasti ja joita käytetään paljon peli- ja elokuvateollisuudessa. Tässä tapauksessa seurattavia pisteitä olisi vain kolme, eli VR-lasit ja -ohjaimet.

Kuvattavan hahmon ei ole pilottiprojektin suoritusta kuvattaessa tarpeellista liikkua kovinkaan paljon, mutta tästä huolimatta mallinnetulle hahmolle saatu liike ei kuvaustilanteissa näyttänyt luontevalta. On mahdollista, että vähäistenkin ”seurantapisteiden” avulla voidaan aikaansaada hahmolle mallinnettua liikettä, jota on hyödyllistä käyttää kevyissä tuotannoissa, mutta käytössä olleen ja jatkokehityksen vaativan ajan suhteen 3D mallinnettujen ihmishahmojen käytöstä päätettiin luopua.

Toisaalta animoitua hahmoa luotaessa heräsi myös kysymys veisikö se onnistuessaankin liikaa huomiota varsinaisesta tekemisestä, jota on tarkoitus kuvata, vai voisiko käyttäjän vuorovaikutuksen kuvaamiseen riittää yksinkertaisempikin visuaalinen toteutus.

Henkilökohtaisesti kiinnostuin aiheesta kuitenkin paljon, ja tarkoituksenani on myöhemmin jatkokehittää vastaavaa matalan kynnyksen liikkeenkaappausta.

Useat haasteet virtuaalisessa ympäristössä kuvaamisessa ovat myös reaalimaailmasta tuttuja, kuten kuvakulmat ja kuvan vakaus. Siinä missä oikeaa kameraa voidaan liikuttaa käsin kohteen ympärillä, ja tarvittaessa vakauttaa sitä varten luoduilla laitteistoilla, tulisi myös virtuaalisen kameran liike saada sulavaksi; liikkuva kuvakulma on usein paikallaan pysyvää mielenkiintoisempi.

Ensivaiheessa virtuaalisessa ympäristössä kuvaavaa kameraa liikuteltiin käsin (hiiren ja näppäimistön avulla ”lentäen”), mutta ongelmaksi muodostuivat mm. äkilliset suunannan muutokset. Tähän ratkaisuksi löytyi Unreal Enginen Spline-työkalu, jolla on mahdollista rakentaa eräänlaisia ratoja, joille voidaan asettaa objekteja, kuten vaikkapa virtuaalikamera. Radalla liikkuvien objektien nopeutta voidaan säätää, jolloin on mahdollista luoda ennalta määritettyjä kamera-ajoja ja kiskoja, joilla kamera kulkee. Kyseisen työkalun sekä käyttäjän virtuaalilaseja ja käsiä kuvaavien mallien avulla olikin mahdollista luoda jo vaikuttavaa, reaaliaikaista kuvaa.

Tulokset

Tehtävänäni oli siis tutkia minkälaisilla käytänteillä ja tekniikoilla kyseinen videotuotanto olisi parasta toteuttaa.

Esimerkiksi VR-käyttäjän kuvakulman kuvaaminen, manuaalisesti ohjailtavan virtuaalikameran käyttö sekä erilaiset rakennettavat Spline -radat, joille kamera voidaan asettaa, ovat hyödyllisiä työkaluja, joiden avulla voidaan tuottaa mielenkiintoista materiaalia.

Käytettäviä tekniikoita valitessa on tarpeen miettiä visuaalisia tehokeinoja siltä kannalta kuinka tarkoituksenmukaisia ne ovat, ja korostavatko ne kuvattavaa asiaa vai vetävätkö ne huomiota itseensä. Edellä mainituilla tekniikoilla on selkeät hyötynsä:

• Ensimmäisen persoonan näkymässä, siis VR-käyttäjän kuvakulmassa, voidaan konkreettisesti tuoda asia esille kuten käyttäjä sen näkee.
• Ohjattava kamera mahdollistaa vapaat kamera-ajot sekä vapaan kuvakulman valinnan
• Spline -radoilla voidaan rakentaa ennalta suunniteltuja kamera-ajoja, vakauttaa kuvaa ja erityisesti toistaa kuvaustilanne samanlaisena kerta toisensa jälkeen.

Vaikka tässä tapauksessa liikkeentunnistukseen perustuva hahmon reaaliaikainen animointi ei lopulta ollut tarkoituksenmukaista, voi siitä olla jatkokehityksen myötä hyötyä tulevaisuudessa vastaavissa projekteissa.

Sen sijaan alkuperäisen tekniikan, eli reaaliaikaisen videokuvan ja virtuaalimaailman yhdistämisen epäonnistuminen jätti paljon kysymysmerkkejä, mm. näkökulman kapeudesta vaihtoehtotoisten lähestymistapojen suhteen. Koska tätä tekniikkaa kuitenkin voi nähdä maailmalla käytettävän, on sen mahdollisuuksia syytä tutkia myös jatkossa.