Multi-Ref Wideo: do czterech postaci i sceneria w jednym klipie

Multi-Ref Wideo tworzy jeden klip z referencji: do czterech obiektów (postacie, zwierzęta, przedmioty) i jednej scenerii, połączonych z generatorem, a potem sceny opisanej własnymi słowami, w której każdą referencję przywołujesz po nazwie. Te same postacie wracają z klipu do klipu, razem, w tym samym miejscu.

Zacznij od character sheet, nie od LoRA

To krok, który decyduje o tym, czy postać wygląda jak ona sama. Multi-Ref Wideo nie korzysta z LoRA. Podobieństwo postaci pochodzi z jej character sheet: pięciu referencyjnych widoków tej samej postaci (Popiersie z przodu; Popiersie ¾ w lewo; Popiersie ¾ w prawo; Cała sylwetka z przodu; Cała sylwetka, tył lub profil).

Postać bez character sheet jest renderowana z pojedynczego obrazu, a podobieństwo jest wyraźnie słabsze. To najczęstsze zaskoczenie: postać z dobrze wytrenowaną LoRA, ale bez sheetu, wychodzi jako luźna wersja siebie.

Aplikacja to sygnalizuje. W Multi-Ref Wideo taka postać wyświetla Bez character sheet, a kliknięcie otwiera jej profil. Jeśli klikniesz Generować z taką postacią połączoną, okno Ograniczone podobieństwo proponuje Utworzyć character sheet lub Generować mimo to.

Żeby go utworzyć, otwórz Moje postacie, wybierz postać, następnie sekcję Character sheets i kliknij Nowy sheet. Wgraj własne zdjęcia, wygeneruj widoki na podstawie cech postaci (z jej LoRA obrazów, gdy nie ma zdjęcia) albo uzupełnij brakujące widoki na podstawie tych, które już masz. Utwórz jeden sheet na strój lub postawę: gdy połączysz postać, Multi-Ref Wideo zapyta, którego sheetu użyć. Wszystko jest wyjaśnione w Character sheets.

Tworzenie postaci wymaga licencji. W wersji demo Lea i Lucas mają kompletne character sheets, więc możesz wypróbować od razu.

Przedmioty, zwierzęta i scenerie

Postacie to nie jedyne referencje. W Bibliotece dwie strony zawierają pozostałe: Obiekty i zwierzęta oraz Miejsca i scenografie. Każdy element zbiera do pięciu obrazów, tytuł i opis, i łączy się z Multi-Ref Wideo tak samo jak postać. Klip przyjmuje co najwyżej jedną scenerię.

Zbuduj scenę

1. W Multi-Ref Wideo użyj Dodać obiekt (postać, zwierzę lub przedmiot, do czterech) i Dodać scenerię (jedną). Każda referencja jest połączona z generatorem.

   

2. Opisz scenę i wymień każdą referencję za pomocą @ i jej nazwy, na przykład: "@Lea wręcza list @Lucasowi na peronie stacji, wieczorne światło".

3. Jeśli potrzebujesz pomocy, przycisk AI przepisuje twój pomysł w tekst gotowy dla silnika wideo (ujęcie, akcja, kamera, światło, dźwięk, kwestie) i zachowuje @referencje. Działa online bez kosztów kreditów albo offline na twoim komputerze po zainstalowaniu lokalnego asystenta (2,8 GB, przy pierwszym kliknięciu lub z Ustawienia > Komponenty).

   

   

Każda referencja ma Siłę od 0 do 2: 0 ignoruje ją, 1 to wartość normalna, powyżej 1 zajmuje więcej miejsca w klipie. Seed jest domyślnie automatyczny, nowy przy każdym renderowaniu: zablokuj go, żeby powtarzać to samo ujęcie, zmieniając jedną rzecz na raz (zob. seed).

Napisz scenę

Przycisk AI stosuje te zasady za ciebie. Jeśli piszesz scenę samodzielnie:

• Przywołaj każdą referencję przez @ i jej nazwę. Aplikacja łączy ją z jej obrazami podczas renderowania.
• Powiedz, ile osób jest w kadrze i gdzie stoi każda z nich ("Lea po lewej, Lucas po prawej, nikt więcej na pierwszym planie"). To właśnie zapobiega pojawianiu się postaci dwa razy.
• Jedna akcja po drugiej, z widocznymi gestami: model pokazuje to, co widać, nie to, co się czuje.
• Krótka kwestia dialogowa w cudzysłowie, przypisana do tego, kto ją mówi: około dwóch do trzech słów na sekundę klipu. Dłużej, a mowa pomija słowa albo zamienia się w voice-over.
• Opisz to, co ma być, nigdy to, czego nie może być: silnik ignoruje negacje.
• Postać niebędąca człowiekiem (stworzenie, smok): powiedz, czym jest w scenie, i opisz ją jako taką w jej profilu ("skrzydła, pazury, ogon", nie "kostium smokiego ramienia"), inaczej silnik zamieni ją w osobę w przebraniu.
• Sceneria: obraz w formacie wideo (pionowy, poziomy lub kwadratowy); inaczej zostaje przycięty do środka.

Tryb, format i cena

• Tryb: Jakość lub Ultra. Szybki nie jest dostępny przy kilku referencjach (zob. Szybki, Jakość lub Ultra).
• Format: pionowy, poziomy lub kwadratowy, w 480p (tylko Jakość), 720p lub 1080p.
• Czas trwania: automatyczny albo 5, 10 lub 20 sekund, z dźwiękiem lub bez.

W trybie Jakość klip Multi-Ref kosztuje tyle samo co zwykły klip w tym samym formacie (zob. wideo w chmurze). Ultra ma własną stałą cenę za klip w Multi-Ref Wideo, widoczną w aplikacji przed renderowaniem, i działa wyłącznie na Cloud GPU.

W wersji demo Multi-Ref Wideo można wypróbować z bezpłatnym wideo, w 720p i do 5 sekund.

Na twoim komputerze lub online

Na Windows Multi-Ref Wideo może też renderować na twojej własnej karcie graficznej, w trybie Jakość. Potrzebuje nowszej karty NVIDIA z co najmniej 8 GB i komponentu pobranego raz (2,2 GB, z zakładki lub z Ustawienia > Komponenty). Lokalny render trwa około dwa razy dłużej niż klip bez referencji. Na Mac lokalny rendering wideo nie jest jeszcze dostępny: przełącz się na Cloud GPU.

Online render czeka do 30 minut na wolną maszynę, a potem ma 30 minut na obliczenia. Pasek postępu śledzi rzeczywisty czas renderowania i pokazuje, kiedy czeka na maszynę lub kończy klip. Jeśli render zostanie porzucony, jest anulowany i nic nie zostaje naliczone.

Wróć do klipu

W Galerii (zakładka Wideo) Użyj ponownie na klipie Multi-Ref otwiera ponownie Multi-Ref Wideo z połączonymi referencjami, tekstem, formatem i seedem. Zmień jedną rzecz, generuj jeszcze raz.

Jeśli chodzi o spójność jednej postaci w obrazach i zwykłych klipach, zob. spójność postaci.