{"id":650,"date":"2021-01-15T12:26:15","date_gmt":"2021-01-15T10:26:15","guid":{"rendered":"https:\/\/blog.hamk.fi\/ge\/?p=650"},"modified":"2021-01-15T12:26:15","modified_gmt":"2021-01-15T10:26:15","slug":"virtuaalituotanto","status":"publish","type":"post","link":"https:\/\/blog.hamk.fi\/ge\/virtuaalituotanto\/","title":{"rendered":"Virtuaalituotanto: Virtuaalisten ja fyysisten maailmojen yhdist\u00e4minen videotuotannoissa"},"content":{"rendered":"

Pelimoottoreiden k\u00e4ytt\u00f6 pelinkehityksen ulkopuolella on kasvava trendi, jota my\u00f6s HAMK Smart -tutkimusyksikk\u00f6 tutkii ja kehitt\u00e4\u00e4. Er\u00e4s jo yleisesti k\u00e4yt\u00f6ss\u00e4 oleva alue on niin sanotut virtuaalituotannot.<\/h3>\n

Tietokoneilla luotuja erikoistehosteita on videotuotannoissa k\u00e4ytetty jo kauan. Perinteisesti n\u00e4m\u00e4 ovat lis\u00e4tty j\u00e4lkituotantovaiheessa, esimerkiksi vihre\u00e4\u00e4 tai sinist\u00e4 taustaa vasten kuvattuihin elokuvakohtauksiin. Virtuaalituotannoilla (engl. Virtual Production) tarkoitetaan yleisesti tekniikkaa, jossa virtuaaliset ymp\u00e4rist\u00f6t tai esineet render\u00f6id\u00e4\u00e4n ja kuvataan reaaliajassa (mahdollisen) live-materiaalin kanssa. T\u00e4m\u00e4 muun muassa nopeuttaa tuotantoja, sill\u00e4 kuvattu materiaali n\u00e4hd\u00e4\u00e4n v\u00e4litt\u00f6m\u00e4sti oikeassa ymp\u00e4rist\u00f6ss\u00e4\u00e4n.<\/p>\n

HAMK Smart -tutkimusyksikk\u00f6 tutkii ja kehitt\u00e4\u00e4 pelimoottoreiden ja siihen liittyvien teknologioiden, kuten VR (Virtual Reality, suom. virtuaalitodellisuus), hy\u00f6tyk\u00e4ytt\u00f6\u00e4. Parhaillaan k\u00e4ynniss\u00e4 olevassa VATTU \u2013 Valmistavan teollisuuden virtuaaliset tuotteet -hankkeessa tehtiin kaksi pilottia, joista toisen tiimoilta kuvataan my\u00f6s markkinointimateriaalia virtuaalituotantona. Suoritin tietojenk\u00e4sittelyn opintoihin kuuluvan ty\u00f6harjoitteluni n\u00e4iden parissa. Teht\u00e4v\u00e4n\u00e4ni oli tutkia mink\u00e4laisilla k\u00e4yt\u00e4nteill\u00e4 ja tekniikoilla kyseinen videotuotanto olisi parasta toteuttaa.<\/p>\n

L\u00e4ht\u00f6ajatuksena oli kuvata materiaalia ns. tehostetun todellisuuden<\/em> tekniikalla (engl. Mixed Reality), jossa pilottiprojektissa luotua, virtuaalisessa ymp\u00e4rist\u00f6ss\u00e4 suoritettavaa ty\u00f6suoritetta kuvataan yhdist\u00e4m\u00e4ll\u00e4 pelimoottorilla luotua ymp\u00e4rist\u00f6\u00e4 virtuaalisella ja suoritetta tekev\u00e4\u00e4 k\u00e4ytt\u00e4j\u00e4\u00e4 fyysisell\u00e4 kameralla samanaikaisesti. N\u00e4in olisi mahdollista havainnollistaa kiinnostavalla tavalla immersiota, sill\u00e4 VR-tekniikan keskeisen\u00e4 tarkoituksena on vied\u00e4 k\u00e4ytt\u00e4j\u00e4 tai pelaaja toiminnan keskelle.<\/p>\n

Fyysiseen kameraan on mahdollista liitt\u00e4\u00e4 Vive Tracker -lis\u00e4laite, jolloin virtuaalisen kameran sijainti voidaan asettaa samalle et\u00e4isyydelle kuvattavaan kohteeseen, ja tarvittaessa liikuttaa fyysisen kameran kanssa yhdess\u00e4.<\/p>\n

\"Virtuaalituotanto\"
Fyysisen kameran yhdist\u00e4minen virtuaalisen kameran kanssa k\u00e4ytt\u00e4en HTC Vive Tracker:a<\/figcaption><\/figure>\n

Valitussa metodissa ilmeni kuitenkin suuria haasteita. Valmiita ratkaisuita Mixed Realityn k\u00e4ytt\u00e4miselle on v\u00e4h\u00e4n, ja oma aiheen tutkimiseni keskittyikin yksinomaan Unreal Engine -pelimoottorin kehitt\u00e4neen Epic Gamesin omaan Mixed Reality Capture -laajennukseen. Tarkoituksena oli kuvata VR-k\u00e4ytt\u00e4j\u00e4\u00e4 vihre\u00e4\u00e4 kangasta vasten, tuoda t\u00e4m\u00e4 kuva pelimoottorin k\u00e4ytt\u00f6\u00f6n ja yhdist\u00e4\u00e4 se virtuaalisen ymp\u00e4rist\u00f6n kanssa. N\u00e4in luodaan vaikutelma reaalimaailman vuorovaikutuksesta virtuaalisen kanssa esimerkiksi tilanteessa, jossa k\u00e4ytt\u00e4j\u00e4 ottaa VR-tilassa esineen k\u00e4teens\u00e4, jolloin esine n\u00e4kyy my\u00f6s reaalikuvassa henkil\u00f6n k\u00e4dess\u00e4.<\/p>\n

Yleisesti ottaen Unreal Engineen liittyv\u00e4t dokumentaatiot ovat varsin kattavia ja informatiivisia. N\u00e4iden ohella pelimoottorin virallinen keskustelupalsta, Unreal Enginell\u00e4 toteutettaviin virtuaalituotantoihin keskittynyt Facebook -ryhm\u00e4 sek\u00e4 Youtube-videopalvelun laaja aihetta k\u00e4sittelev\u00e4 sis\u00e4lt\u00f6 olivat keskeisi\u00e4 tiedonl\u00e4hteit\u00e4, mutta t\u00e4ss\u00e4 tapauksessa t\u00e4sm\u00e4llisi\u00e4 ja kattavia ohjeita Mixed Reality Capture -toteutukselle ei l\u00f6ytynyt. Erityisesti virallisen dokumentaation vajavaisuus rajoitti ratkaisujen l\u00f6ytymist\u00e4 ohjaten tekemist\u00e4 p\u00e4\u00e4osin yrityksen ja erehdyksen suuntaan.<\/p>\n

\"Unreal
Mixed Reality Capture -laajennuksen haasteet olivat mm. kuvanlaadussa<\/figcaption><\/figure>\n

Vallitsevan koronapandemian takia asetettujen et\u00e4ty\u00f6suositusten my\u00f6t\u00e4 kotoa k\u00e4sin ty\u00f6skentely toi omat haasteensa henkil\u00f6kohtaiselle tekemiselleni paikallaan junnaavan Mixed Reality -kehityksen oheen. Lis\u00e4\u00e4 pandemian vaikutuksista harjoitteluun voi lukea Juhon kanssa kirjoittamastamme<\/u> blogista.<\/u><\/a><\/p>\n

Heikot tulokset live-kuvan ja virtuaalisen maailman yhdist\u00e4misen suhteen halutulla tavalla veiv\u00e4t kuvaamisen suunnittelun askeleen taaksep\u00e4in, takaisin l\u00e4ht\u00f6kohtaan: miten hankkeen pilotista tuotetaan mielenkiintoista videomateriaalia? Pilotin k\u00e4ytt\u00f6testauksen yhteydess\u00e4 esiin nousi uusia n\u00e4k\u00f6kulmia (ja kirjaimellisesti kuvakulmia) sill\u00e4 esimerkiksi VR-k\u00e4ytt\u00e4j\u00e4n n\u00e4kem\u00e4\u00e4 kuvaa voidaan tarkastella my\u00f6s virtuaalilasien ulkopuolella.<\/p>\n

Unreal Engine sis\u00e4lt\u00e4\u00e4 valmiiksi jo kattavat virtuaalisen kuvaamisen ty\u00f6kalut mm. erilaisten s\u00e4\u00e4dett\u00e4vien kameroiden my\u00f6t\u00e4, joita hy\u00f6dynt\u00e4m\u00e4ll\u00e4 on mahdollista kuvata VR-k\u00e4ytt\u00e4j\u00e4\u00e4 virtuaalisessa ymp\u00e4rist\u00f6ss\u00e4 niilt\u00e4 osin kuin k\u00e4ytt\u00e4j\u00e4n hahmo on tehty n\u00e4kyv\u00e4ksi.<\/p>\n

Koska k\u00e4ytett\u00e4vien laitteiden sijainti kolmiulotteisessa ymp\u00e4rist\u00f6ss\u00e4 (ns. Euklidisessa avaruudessa) on selvill\u00e4, niiden sijaintiin on mahdollista asettaa esineit\u00e4, esimerkiksi VR-lasien paikalle niit\u00e4 kuvaava 3D-malli tai ohjaimien sijaintiin animoidut k\u00e4det. N\u00e4in on mahdollista kuvata VR-k\u00e4ytt\u00e4j\u00e4n liikett\u00e4 reaaliajassa virtuaalimaailmassa, vaikka oikean kameran tuottama kuva puuttuukin.<\/p>\n

\"vr\"
VR-laseja ja ohjaimia seuraavat mallit<\/figcaption><\/figure>\n

VATTU-pilotin kuvaamisen testeiss\u00e4 ilmeni huomioita erilaisten kuvaustekniikoiden suhteen. Vaikka live-kuvan ja virtuaalisen maailman yhdist\u00e4minen ei alun perin onnistunut halutulla tavalla, se olisi edelleen mahdollista toteuttaa rajatummin keinoin. N\u00e4m\u00e4 rajoitukset kuitenkin tekisiv\u00e4t kyseisest\u00e4 metodista melko lattean, sill\u00e4 kokeilemallamme toteutuksella live-kuva asetetaan kaksiulotteisen taustan p\u00e4\u00e4lle, jolloin kaikki virtuaaliset objektit j\u00e4\u00e4v\u00e4t kuvan alle. Toisaalta k\u00e4ytt\u00e4j\u00e4n liikkeit\u00e4 reaaliaikaisesti seuraavilla 3D-malleilla on mahdollista havainnollistaa toimintaa kuvaavasti minimaalisillakin objekteilla.<\/p>\n

VR-laitteita seuraavien 3D mallien my\u00f6t\u00e4 esille tuli kysymys olisiko mahdollista toteuttaa yksinkertaista liikkeenkaappausta<\/em> (engl. Motion Capture, tai mocap) hy\u00f6dynt\u00e4en animoitavia luurankomalleja, jolloin k\u00e4ytt\u00e4j\u00e4n liikkeet voitaisiin esitt\u00e4\u00e4 3D mallinnetun ihmishahmon avulla. Yleens\u00e4 liikkeenkaappaus toteutetaan sit\u00e4 varten tehdyill\u00e4 puvuilla, joilla on mahdollista mallintaa liikett\u00e4 tarkasti ja joita k\u00e4ytet\u00e4\u00e4n paljon peli- ja elokuvateollisuudessa. T\u00e4ss\u00e4 tapauksessa seurattavia pisteit\u00e4 olisi vain kolme, eli VR-lasit ja -ohjaimet.<\/p>\n

Kuvattavan hahmon ei ole pilottiprojektin suoritusta kuvattaessa tarpeellista liikkua kovinkaan paljon, mutta t\u00e4st\u00e4 huolimatta mallinnetulle hahmolle saatu liike ei kuvaustilanteissa n\u00e4ytt\u00e4nyt luontevalta. On mahdollista, ett\u00e4 v\u00e4h\u00e4istenkin \u201dseurantapisteiden\u201d avulla voidaan aikaansaada hahmolle mallinnettua liikett\u00e4, jota on hy\u00f6dyllist\u00e4 k\u00e4ytt\u00e4\u00e4 kevyiss\u00e4 tuotannoissa, mutta k\u00e4yt\u00f6ss\u00e4 olleen ja jatkokehityksen vaativan ajan suhteen 3D mallinnettujen ihmishahmojen k\u00e4yt\u00f6st\u00e4 p\u00e4\u00e4tettiin luopua.<\/p>\n

Toisaalta animoitua hahmoa luotaessa her\u00e4si my\u00f6s kysymys veisik\u00f6 se onnistuessaankin liikaa huomiota varsinaisesta tekemisest\u00e4, jota on tarkoitus kuvata, vai voisiko k\u00e4ytt\u00e4j\u00e4n vuorovaikutuksen kuvaamiseen riitt\u00e4\u00e4 yksinkertaisempikin visuaalinen toteutus.<\/p>\n

Henkil\u00f6kohtaisesti kiinnostuin aiheesta kuitenkin paljon, ja tarkoituksenani on my\u00f6hemmin jatkokehitt\u00e4\u00e4 vastaavaa matalan kynnyksen liikkeenkaappausta.<\/p>\n

\"motion
K\u00e4ytt\u00e4j\u00e4n liikkeen kaappaus hahmolle<\/figcaption><\/figure>\n

Useat haasteet virtuaalisessa ymp\u00e4rist\u00f6ss\u00e4 kuvaamisessa ovat my\u00f6s reaalimaailmasta tuttuja, kuten kuvakulmat ja kuvan vakaus. Siin\u00e4 miss\u00e4 oikeaa kameraa voidaan liikuttaa k\u00e4sin kohteen ymp\u00e4rill\u00e4, ja tarvittaessa vakauttaa sit\u00e4 varten luoduilla laitteistoilla, tulisi my\u00f6s virtuaalisen kameran liike saada sulavaksi; liikkuva kuvakulma on usein paikallaan pysyv\u00e4\u00e4 mielenkiintoisempi.<\/p>\n

Ensivaiheessa virtuaalisessa ymp\u00e4rist\u00f6ss\u00e4 kuvaavaa kameraa liikuteltiin k\u00e4sin (hiiren ja n\u00e4pp\u00e4imist\u00f6n avulla \u201dlent\u00e4en\u201d), mutta ongelmaksi muodostuivat mm. \u00e4killiset suunannan muutokset. T\u00e4h\u00e4n ratkaisuksi l\u00f6ytyi Unreal Enginen Spline-ty\u00f6kalu, jolla on mahdollista rakentaa er\u00e4\u00e4nlaisia ratoja, joille voidaan asettaa objekteja, kuten vaikkapa virtuaalikamera. Radalla liikkuvien objektien nopeutta voidaan s\u00e4\u00e4t\u00e4\u00e4, jolloin on mahdollista luoda ennalta m\u00e4\u00e4ritettyj\u00e4 kamera-ajoja ja kiskoja, joilla kamera kulkee. Kyseisen ty\u00f6kalun sek\u00e4 k\u00e4ytt\u00e4j\u00e4n virtuaalilaseja ja k\u00e4si\u00e4 kuvaavien mallien avulla olikin mahdollista luoda jo vaikuttavaa, reaaliaikaista kuvaa.<\/p>\n

\"spline
Spline-radalla kulkeva kamera<\/figcaption><\/figure>\n

Tulokset<\/h4>\n

Teht\u00e4v\u00e4n\u00e4ni oli siis tutkia mink\u00e4laisilla k\u00e4yt\u00e4nteill\u00e4 ja tekniikoilla kyseinen videotuotanto olisi parasta toteuttaa.<\/p>\n

Esimerkiksi VR-k\u00e4ytt\u00e4j\u00e4n kuvakulman kuvaaminen, manuaalisesti ohjailtavan virtuaalikameran k\u00e4ytt\u00f6 sek\u00e4 erilaiset rakennettavat Spline -radat, joille kamera voidaan asettaa, ovat hy\u00f6dyllisi\u00e4 ty\u00f6kaluja, joiden avulla voidaan tuottaa mielenkiintoista materiaalia.<\/p>\n

K\u00e4ytett\u00e4vi\u00e4 tekniikoita valitessa on tarpeen mietti\u00e4 visuaalisia tehokeinoja silt\u00e4 kannalta kuinka tarkoituksenmukaisia ne ovat, ja korostavatko ne kuvattavaa asiaa vai vet\u00e4v\u00e4tk\u00f6 ne huomiota itseens\u00e4. Edell\u00e4 mainituilla tekniikoilla on selke\u00e4t hy\u00f6tyns\u00e4:<\/p>\n