Multi-Ref Video: bis zu vier Charaktere und eine Kulisse in einem Clip

Multi-Ref Video erstellt einen Clip aus Referenzen: bis zu vier Motiven (Charaktere, Tiere, Objekte) und einer Kulisse, die mit dem Generator verbunden sind, und einer Szene, die du in eigenen Worten beschreibst und dabei jede Referenz beim Namen nennst. Dieselben Charaktere kehren von einem Clip zum nächsten zurück, gemeinsam, am selben Ort.

Beginne mit einem Character Sheet, nicht mit einem LoRA

Das ist der Schritt, der entscheidet, ob ein Charakter wie er selbst aussieht. Multi-Ref Video verwendet den LoRA nicht. Die Ähnlichkeit eines Charakters kommt aus seinem Character Sheet: fünf Referenzansichten desselben Charakters (Büste frontal; Büste ¾ links; Büste ¾ rechts; Ganzkörper frontal; Ganzkörper, Rücken oder Profil).

Ein Charakter ohne Character Sheet wird aus einem einzigen Bild gerendert, und die Ähnlichkeit ist deutlich schwächer. Das ist die häufigste Überraschung: Ein Charakter mit einem gut trainierten LoRA, aber ohne Sheet, erscheint als eine vage Version seiner selbst.

Die App weist darauf hin. In Multi-Ref Video zeigt ein solcher Charakter Ohne Character Sheet, und ein Klick öffnet sein Profil. Wenn du auf Generieren klickst, obwohl einer verbunden ist, bietet ein Fenster Eingeschränkte Ähnlichkeit die Optionen Character Sheet erstellen oder Trotzdem generieren.

Um eines zu erstellen, öffne Meine Charaktere, wähle den Charakter, dann seinen Bereich Character Sheets und klicke auf Neues Sheet. Lade eigene Bilder hoch, generiere die Ansichten aus den Merkmalen des Charakters (mit seinem Bild-LoRA, wenn er kein Foto hat), oder vervollständige die fehlenden Ansichten aus den vorhandenen. Erstelle ein Sheet pro Outfit oder Haltung: Wenn du den Charakter verbindest, fragt Multi-Ref Video, welches Sheet verwendet werden soll. Alles wird in Character Sheets erklärt.

Das Erstellen eines Charakters erfordert eine Lizenz. In der Demo kommen Lea und Lucas mit vollständigen Character Sheets, sodass du sofort loslegen kannst.

Objekte, Tiere und Kulissen

Charaktere sind nicht die einzigen Referenzen. In der Bibliothek enthalten zwei Seiten die anderen: Objekte & Tiere und Orte & Kulissen. Jedes Element fasst bis zu fünf Bilder, einen Titel und eine Beschreibung zusammen und verbindet sich mit Multi-Ref Video genauso wie ein Charakter. Ein Clip nimmt höchstens eine Kulisse auf.

Die Szene aufbauen

1. Verwende in Multi-Ref Video die Option Motiv hinzufügen (ein Charakter, ein Tier oder ein Objekt, bis zu vier) und Kulisse hinzufügen (eine). Jede Referenz ist mit dem Generator verbunden.

   

2. Beschreibe die Szene und erwähne jede Referenz mit @ und ihrem Namen, zum Beispiel: "@Lea überreicht @Lucas einen Brief auf einem Bahnsteig, Abendlicht".

3. Wenn du Hilfe möchtest, schreibt der KI-Button deine Idee in einen Text um, der für die Video-Engine bereit ist (Shot, Aktion, Kamera, Licht, Ton, Zeilen), und behält die @Referenzen bei. Es funktioniert online ohne Kreditkosten oder offline auf deinem eigenen Computer, sobald der lokale Assistent installiert ist (2,8 GB, beim ersten Klick oder über Einstellungen > Komponenten).

   

   

Jede Referenz hat eine Stärke von 0 bis 2: 0 ignoriert sie, 1 ist normal, über 1 nimmt sie mehr Raum im Clip ein. Der Seed ist standardmäßig automatisch, ein neuer pro Render: Fixiere ihn, um denselben Shot zu wiederholen, während du eine Sache nach der anderen änderst (siehe Seed).

Die Szene schreiben

Der KI-Button wendet diese Regeln für dich an. Wenn du die Szene selbst schreibst:

• Nenne jede Referenz mit @ und ihrem Namen. Die App verknüpft sie beim Rendern mit ihren Bildern.
• Sag, wie viele Personen im Bild sind und wo jede steht ("Lea links, Lucas rechts, niemand sonst im Vordergrund"). Das verhindert, dass ein Charakter zweimal erscheint.
• Eine Aktion nach der anderen, mit sichtbaren Gesten: Das Modell zeigt, was zu sehen ist, nicht was gefühlt wird.
• Eine kurze Dialogzeile in Anführungszeichen, verbunden mit dem Sprecher: etwa zwei bis drei Wörter pro Sekunde Clip. Länger, und die Sprache überspringt Wörter oder wird zu einem Voice-over.
• Beschreibe, was da ist, nie was nicht passieren darf: Die Engine ignoriert Verneinungen.
• Ein nicht-menschlicher Charakter (ein Wesen, ein Drache): Sage, was es in der Szene ist, und beschreibe es als solches in seinem Profil ("Flügel, Klauen, ein Schwanz", nicht "ein Drachenkostüm"), sonst verwandelt die Engine ihn in eine verkleidete Person.
• Die Kulisse: ein Bild im Format des Videos (Hochformat, Querformat oder Quadrat); sonst wird es zur Mitte hin beschnitten.

Modus, Format und Preis

• Modus: Qualität oder Ultra. Schnell ist mit mehreren Referenzen nicht verfügbar (siehe Schnell, Qualität oder Ultra).
• Format: Hochformat, Querformat oder Quadrat, in 480p (nur Qualität), 720p oder 1080p.
• Dauer: automatisch oder 5, 10 oder 20 Sekunden, mit oder ohne Ton.

Im Qualitätsmodus kostet ein Multi-Ref-Clip dasselbe wie ein regulärer Clip desselben Formats (siehe Cloud-Video). Ultra hat seinen eigenen festen Preis pro Clip in Multi-Ref Video, der in der App vor dem Rendern angezeigt wird, und läuft nur auf Cloud GPU.

In der Demo kann Multi-Ref Video mit dem kostenlosen Video ausprobiert werden, in 720p und bis zu 5 Sekunden.

Auf deinem Computer oder online

Unter Windows kann Multi-Ref Video im Qualitätsmodus auch auf deiner eigenen Grafikkarte rendern. Dafür wird eine aktuelle NVIDIA-Karte mit mindestens 8 GB und eine einmalig heruntergeladene Komponente benötigt (2,2 GB, über den Tab oder über Einstellungen > Komponenten). Ein lokaler Render dauert etwa doppelt so lange wie ein Clip ohne Referenzen. Auf dem Mac ist lokales Video noch nicht verfügbar: Wechsle zu Cloud GPU.

Online wartet ein Render bis zu 30 Minuten auf eine freie Maschine und hat dann 30 Minuten zum Berechnen. Der Fortschrittsbalken folgt der tatsächlichen Renderzeit und zeigt an, ob er auf eine Maschine wartet oder den Clip fertigstellt. Wenn ein Render abgebrochen wird, wird er storniert und es wird nichts berechnet.

Einen Clip wieder aufgreifen

In der Galerie (Tab Videos) öffnet Wiederverwenden bei einem Multi-Ref-Clip Multi-Ref Video erneut, mit seinen wieder verbundenen Referenzen sowie seinem Text, Format und Seed. Ändere eine Sache, generiere erneut.

Für einen einzelnen Charakter über Bilder und normale Clips hinweg, siehe Charakterkonsistenz.