Motion Capture is het opnemen van echte bewegingen van acteurs en deze vertalen naar hyperrealistische 3D-animaties. Hoewel deze techniek al meer dan 20 jaar wordt gebruikt in de film-, animatie- en later de game-industrie, heeft het recent een enorme opkomst gekregen. Dit komt doordat het in de afgelopen jaren veel gemakkelijker is geworden om deze animaties zelf te registreren, met de komst van de Kinect bijvoorbeeld. Je kan zelfs facial-tracking doen met je eigen smartphone. Denk bijvoorbeeld aan Instagram- en Snapchat-filters. Hoewel dit interessante technieken zijn, laat de kwaliteit hiervan vaak nog te wensen over. Motion capture animaties van hoge kwaliteit kun je het beste opnemen in een professionele studio.

Aan de slag met onze eigen motion capture studio

We zijn dan ook erg blij om te vertellen dat onze eigen professionele motion capture studio hier in Leeuwarden klaar is voor gebruik! Vanaf nu kunnen we onszelf in de strakke, zwarte pakken met de witte balletjes hijsen en realtime animaties opnemen voor in onze eigen games. In dit artikel geven we een overzicht van wat je met motion capture kunt bereiken en delen we onze eigen ervaringen met het opbouwen van de studio.

Over de motion capture studio

De Motion Capture-studio stond oorspronkelijk op een andere locatie in de Blokhuispoort (het gebouw waar ons kantoor ook is gevestigd) in Leeuwarden. Samen met NHL Stenden, de eigenaar van alle apparatuur, hebben we besloten om de studio nieuw leven in te blazen door het in ons kantoor op te zetten en te helpen met de bediening van de apparatuur. Het is momenteel opgezet in onze voormalige testruimte.

We zijn vaak op zoek naar studenten of andere organisaties die met ons willen samenwerken om Motion Capture op te nemen, toe te passen en ermee te experimenteren. Als je geïnteresseerd bent, horen we graag van je!

De Motion Capture-apparatuur

Wat heb je nodig om animaties op te nemen? De studio heeft 16 camera’s, die volgens een specifieke manier hangen. Er hangen er 12 camera’s aan de bovenkant van de stelling en 4 camera’s hangen op heuphoogte om de benen en voeten te registreren. We gebruiken de Vicon Vantage-cameraset met hun bijbehorende software Blade.

De camera’s nemen geen beeldweergaven op, maar alleen lichtreflecties. Dat is de reden waarom de acteurs die de animaties zullen opnemen, zwarte klittenbandpakken dragen met reflecterende balletjes (markeringen) verspreid over het lichaam. De camera registreert alleen de bewegingen van deze markeringen en de software herkent ze als een menselijk skelet. We plaatsen ze op het lichaam waar veel beweging plaatsvindt, zoals de ellebogen of de knieën. Vicon heeft een vaste opstelling van camera’s en een handleiding om markeringen goed op het pak te bevestigen. De software is gevoelig en de kans is groter dat de opnames mislukken als er niet aan gehouden wordt.

Wat gebeurt er tijdens een motion capture-sessie?

We hebben veel experimenten en try-outs ondergaan voordat alles werkten zoals we wilden. Hierbij hebben we alle technische aspecten van de Mocap-workflow uitgezocht. Na eindeloos scrollen door de database van Vicon-handleidingen en de gelimiteerde informatie op het internet, hebben we de workflow weten samen te vatten in een eenvoudig te volgen handleiding. Als voorbeeld hebben we een zelf opgenomen animatie geïmplementeerd in een 3D character.

[sc name=”newsletter-signup-NL” ]

Hieronder volgt een kort overzicht van wat we doen tijdens een opnamesessie.

Stap 1: Kalibratie

Het is belangrijk om de camera’s te kalibreren. In de 3D-viewport van Blade moeten alle camera’s precies zo richten en staan ​​als in de studio. Door settings aan te passen, zorgen we er ook voor dat ze geen ander licht vangen dan de reflecterende markeringen op het kostuum van de acteur.

Stap 2: De acteur kalibreren

De markeringen van de acteur verschijnen op het scherm terwijl hij of zij door de studio loopt. We laten de acteur een zogenaamde “Range of Motions” doen. (ROM)

Dan oefent hij of zij de extreme rotaties van het lichaam uit. Zie dit als een mini-workout met  armen draaien, voor en achterover buigen en schoppen. Dit is zodat Blade de markeringen herkent als lichaamsdelen en weet wat de bewegingslimieten van de acteur zijn.

Stap 3: Een digitaal skelet genereren

Voordat het echte animeren begint, zetten we de acteur om in een vereenvoudigd 3D-skelet met “botten” die de markeringen verbinden. In Blade, labelen we de reflecterende markeringen op het pak, zoals vastgelegd in stap 2, met bijpassende lichaamsdelen. Bijvoorbeeld de “Left Inner Elbow” of “Clavicle.” (Afgekort tot LIE of CLAV)

Stap 4: Cleaning

Tijdens de ROM-opname zal het voorkomen dat markeringen verdwijnen tijdens een extreme pose, omdat de camera’s alleen lichtreflecties opnemen. Als de acteur bijvoorbeeld naar voren buigt, verdwijnen de markeringen op de borst automatisch, omdat de camera’s boven hem / haar deze niet meer kunnen zien. Hierdoor ontstaan ​​gaten in het 3D-skelet, die moeten worden opgevuld. Tijdens het cleaning proces vertellen we de software waar “marker zonder een naam” hoort bij bijvoorbeeld “LIE” of “CLAV” Hoe beter de ROM klaar gemaakt is, hoe minder werk het is om dit allemaal handmatig te doen. Denk eraan dat de acteur het pak aan moet houden in de tussentijd, voor de beste resultaten.

Stap 5: opname van de animaties

Het opnemen van de game animaties is gelukkig het gemakkelijkste en het leukste gedeelte. De acteur kan het 3D-skelet nu in real-time besturen. Dit betekent dat elke beweging die hij of zij maakt, direct wordt overgenomen door het 3D skelet. De acteur begint en eindigt in de T-pose, (armen wijd) Druk op “Play” en laat de acteur die coole ninja-kick uitvoeren. Druk op “Stop” en nu is het tijd om de verkeerd gemarkeerde markeringen opnieuw schoon te maken.

Breng je game-character tot leven!

Wat is er leuker dan je game-character tot leven zien komen met de animaties die je net zelf hebt opgenomen? We gebruiken de 3D-software Blender om onze opgenomen animaties aan onze game-character te koppelen. We zetten het 3D-character in Blender en het 3D-skelet met de motion capture animatie naast elkaar.

Het character heeft ook een skelet dat kan worden geposeerd en geanimeerd. Op dit skelet kopiëren we de motion capture animatie van Blade.

Op het Mocap-skelet zetten we een handig systeem op waarmee we de botten handmatig kunnen draaien in een bepaalde as. Dit is voor het repareren van kleine bugs, zoals deze vreemde rotaties hieronder. Hierna zullen we de Mocap-animatie op het 3D-character skelet kopiëren en aanpassen tot het klaar en perfect is.

Tot slot

Motion capture is een zeer nuttige techniek voor 3D-animatie en we vinden het erg leuk om het te gebruiken. Het vereist veel experimenteren en geduld, maar het zal een bevredigend resultaat hebben.

Wil je ons inhuren voor motion capture of wil je de motion capture studio huren? Of heb je vragen over de motion capture techniek? Neem contact met ons op!