Multi-Ref Video: tot vier personages en een decor in één clip

Multi-Ref Video maakt één clip van referenties: tot vier onderwerpen (personages, dieren, objecten) en één decor, gekoppeld aan de generator, aangevuld met een scène die je in eigen woorden beschrijft en waarbij je elke referentie bij naam noemt. Dezelfde personages komen terug van de ene clip naar de volgende, samen, op dezelfde plek.

Begin met een character sheet, niet met een LoRA

Dit is de stap die bepaalt of een personage op zichzelf lijkt. Multi-Ref Video gebruikt de LoRA niet. De gelijkenis van een personage komt uit zijn character sheet: vijf referentieaanzichten van hetzelfde personage (Buste vooraanzicht; Buste ¾ links; Buste ¾ rechts; Ten voeten uit, vooraanzicht; Ten voeten uit, rug of profiel).

Een personage zonder character sheet wordt gegenereerd op basis van één enkele afbeelding, en de gelijkenis is duidelijk zwakker. Dit is de meest voorkomende verrassing: een personage met een goed getrainde LoRA maar zonder sheet verschijnt als een vage versie van zichzelf.

De app geeft dit aan. In Multi-Ref Video toont zo'n personage Zonder character sheet, en een klik opent het profiel. Als je op Genereren klikt terwijl er één gekoppeld is, verschijnt een venster Beperkte gelijkenis met de opties De character sheet maken of Toch genereren.

Om er een aan te maken, open je Mijn personages, kies je het personage, ga je naar de sectie Character sheets en klik je op Nieuwe sheet. Voeg je eigen afbeeldingen toe, genereer de aanzichten op basis van de kenmerken van het personage (met zijn afbeelding-LoRA als er geen foto beschikbaar is), of vul de ontbrekende aanzichten aan vanuit de bestaande. Maak één sheet per outfit of houding: wanneer je het personage koppelt, vraagt Multi-Ref Video welke sheet je wilt gebruiken. Alles wordt uitgelegd bij Character sheets.

Het aanmaken van een personage vereist een licentie. In de demo zijn Lea en Lucas inclusief volledige character sheets, zodat je meteen kunt uitproberen.

Objecten, dieren en decors

Personages zijn niet de enige referenties. In de Bibliotheek staan twee pagina's voor de rest: Objecten en dieren en Locaties en decors. Elk item bevat tot vijf afbeeldingen, een titel en een beschrijving, en wordt op dezelfde manier als een personage gekoppeld aan Multi-Ref Video. Een clip kan maximaal één decor bevatten.

De scène opbouwen

1. Gebruik in Multi-Ref Video de knop Onderwerp toevoegen (een personage, een dier of een object, maximaal vier) en Decor toevoegen (één). Elke referentie wordt gekoppeld aan de generator.

   

2. Beschrijf de scène en vermeld elke referentie met @ gevolgd door de naam, bijvoorbeeld: "@Lea overhandigt een brief aan @Lucas op een stationsperron, avondlicht".

3. Als je hulp wilt, herschrijft de knop AI je idee tot een tekst die klaar is voor de video-engine (shot, actie, camera, licht, geluid, dialoog) en behoudt daarbij de @-referenties. Dit werkt online zonder credits, of offline op je eigen computer zodra de lokale assistent is geïnstalleerd (2,8 GB, bij de eerste klik of via Instellingen > Componenten).

   

   

Elke referentie heeft een Sterkte van 0 tot 2: 0 negeert hem, 1 is normaal, boven 1 neemt hij meer ruimte in de clip. Het seed is standaard automatisch, elke keer nieuw: vergrendel het om dezelfde shot opnieuw te maken terwijl je één ding tegelijk aanpast (zie seed).

De scène schrijven

De knop AI past deze regels automatisch toe. Als je de scène zelf schrijft:

• Roep elke referentie aan met @ en de naam. De app koppelt hem aan zijn afbeeldingen op het moment van renderen.
• Zeg hoeveel personen er in beeld zijn en waar iedereen staat ("Lea links, Lucas rechts, niemand anders op de voorgrond"). Zo voorkom je dat een personage twee keer verschijnt.
• Één actie na de andere, met zichtbare gebaren: het model toont wat te zien is, niet wat gevoeld wordt.
• Een korte dialoogregel tussen aanhalingstekens, gekoppeld aan degene die spreekt: ongeveer twee à drie woorden per seconde clip. Langer, en de spraak slaat woorden over of wordt een voice-over.
• Beschrijf wat er is, nooit wat er niet mag gebeuren: de engine negeert negaties.
• Een personage dat niet menselijk is (een wezen, een draak): zeg wat het is in de scène en beschrijf het als zodanig in het profiel ("vleugels, klauwen, een staart", niet "een drakenarmoutfit"), anders maakt de engine er een persoon in kostuum van.
• Het decor: een afbeelding in het formaat van de video (portret, liggend of vierkant); anders wordt er op het midden bijgesneden.

Modus, formaat en prijs

• Modus: Kwaliteit of Ultra. Snel is niet beschikbaar met meerdere referenties (zie Snel, Kwaliteit of Ultra).
• Formaat: portret, liggend of vierkant, in 480p (alleen Kwaliteit), 720p of 1080p.
• Duur: automatisch, of 5, 10 of 20 seconden, met of zonder geluid.

In Kwaliteit kost een Multi-Ref clip hetzelfde als een gewone clip van hetzelfde formaat (zie cloud video). Ultra heeft een eigen vaste prijs per clip in Multi-Ref Video, die in de app wordt getoond vóór je rendert, en draait alleen op Cloud GPU.

In de demo kan Multi-Ref Video worden uitgeprobeerd met de gratis video, in 720p en tot 5 seconden.

Op je computer of online

Op Windows kan Multi-Ref Video ook renderen op je eigen grafische kaart, in de modus Kwaliteit. Hiervoor heb je een recente NVIDIA-kaart nodig met minimaal 8 GB en een component die eenmalig wordt gedownload (2,2 GB, via het tabblad of via Instellingen > Componenten). Een lokale render duurt ongeveer twee keer zo lang als een clip zonder referenties. Op Mac is lokale video nog niet beschikbaar: schakel over naar Cloud GPU.

Online wacht een render tot 30 minuten op een beschikbare machine en heeft daarna 30 minuten om te berekenen. De voortgangsbalk volgt de werkelijke rendertijd en laat zien of er gewacht wordt op een machine of dat de clip wordt afgerond. Als een render wordt afgebroken, wordt hij geannuleerd en worden er geen credits in rekening gebracht.

Een clip opnieuw oppakken

In de Galerij (tabblad Video's) opent Hergebruiken op een Multi-Ref clip de Multi-Ref Video opnieuw met de referenties weer gekoppeld, inclusief de tekst, het formaat en het seed. Verander één ding en genereer opnieuw.

Voor één enkel personage in afbeeldingen en gewone clips, zie personageconsistentie.