Multi-Ref Video:1本のクリップに最大4キャラクターとシーンを組み合わせる

Multi-Ref Videoは、リファレンスから1本のクリップを生成します。最大4つのサブジェクト(キャラクター、動物、オブジェクト)と1つのシーンをジェネレーターに接続し、各リファレンスをその名前で呼びながら自分の言葉でシーンを描写します。同じキャラクターが1本のクリップから次のクリップへと、同じ場所に一緒に登場します。

Lea と Lucas が接続され、シーンと @Lea・@Lucas に言及したシーンが設定された Multi-Ref Video

LoRAではなくcharacter sheetから始める

これが、キャラクターが自分自身に見えるかどうかを左右するステップです。Multi-Ref VideoはLoRAを使用しません。 キャラクターの外見はcharacter sheetから取得されます。character sheetとは、同じキャラクターの5つのリファレンスビュー(Bust, front、Bust ¾ left、Bust ¾ right、Full body, front、Full body, back or profile)です。

character sheetのないキャラクターは1枚の画像からレンダリングされるため、外見の再現性が明らかに低下します。よくある落とし穴がこれです。しっかりトレーニングされたLoRAを持つキャラクターでも、シートがなければぼんやりとした別人のような仕上がりになります。

アプリはこれを通知します。Multi-Ref Videoでは、該当するキャラクターにNo character sheetと表示され、クリックするとそのプロフィールが開きます。そのキャラクターを接続した状態でGenerateをクリックすると、Limited likenessウィンドウが表示され、Create the character sheetまたはGenerate anywayを選択できます。

接続したキャラクターにcharacter sheetがないときに表示される「Limited likeness」ウィンドウ

シートを作成するには、My charactersを開いてキャラクターを選択し、Character sheetsセクションでNew sheetをクリックします。自分の画像をドロップするか、キャラクターの特徴(写真がない場合はimage LoRAを使用)からビューを生成するか、手持ちのビューから不足しているビューを補完します。衣装やポーズごとにシートを1枚作成してください。キャラクターを接続する際、Multi-Ref Videoはどのシートを使用するか確認します。詳細はすべてCharacter sheetsで説明しています。

キャラクターの作成にはライセンスが必要です。デモではLeaとLucasが完全なcharacter sheetとともに用意されているので、すぐに試すことができます。

オブジェクト、動物、シーン

リファレンスはキャラクターだけではありません。Libraryには他のリファレンス用のページが2つあります。Objects & animalsとPlaces & setsです。各アイテムは最大5枚の画像、タイトル、説明をまとめており、キャラクターと同じ方法でMulti-Ref Videoに接続できます。クリップに設定できるシーンは1つだけです。

Library の Objects & animals:タイトル、説明、最大5枚の画像を含むアイテム作成ウィンドウ

シーンを構成する

  1. Multi-Ref Videoで、Add a subject(キャラクター、動物、オブジェクト、最大4つ)とAdd a setting(1つ)を使用します。各リファレンスはジェネレーターに接続されます。

    Add a subject ウィンドウ

  2. シーンを描写し、**@**と名前で各リファレンスに言及します。例:「@Lea が駅のホームで @Lucas に手紙を渡す、夕暮れの光の中で」

  3. ヘルプが必要な場合、AIボタンを使うとアイデアを動画エンジン向けのテキスト(ショット、アクション、カメラ、照明、サウンド、セリフ)に書き直し、@リファレンスを維持します。クレジット不要でオンラインで動作するほか、ローカルアシスタントをインストールすれば(2.8 GB、最初のクリック時またはSettings > Componentsから)オフラインでも利用できます。

    AIクリック前にテキストフィールドに入力されたシーンのアイデア

    AIアシスタントによって書き直されたシーン

各リファレンスには0から2のStrengthがあります。0は無視、1は通常、1を超えるとクリップ内でより多くのスペースを占めます。seedはデフォルトで自動設定され、レンダリングごとに新しいものが使われます。1つの要素を変えながら同じショットをやり直す場合は固定してください(seedを参照)。

Strengthスライダーとcharacter sheetラベルを表示したリファレンスカードのクローズアップ

シーンの書き方

AIボタンを使えばこれらのルールが自動的に適用されます。自分でシーンを書く場合は以下を参考にしてください。

  • 各リファレンスを@と名前で呼ぶ。 アプリはレンダリング時にその画像と紐付けます。
  • フレームに何人いるか、各人物がどこに立っているかを明記する(「Leaは左側、Lucasは右側、前景に他の人物はいない」)。これがキャラクターが2回登場するのを防ぎます。
  • ひとつのアクションを順番に、目に見えるジェスチャーで。モデルは見えるものを表現し、感情は表現しません。
  • セリフは引用符で短く、誰が話しているかを明確にして。クリップ1秒あたり約2〜3語が目安です。長すぎると言葉が飛んだりナレーションになったりします。
  • 存在するものを描写し、起きてはいけないことは書かない。 エンジンは否定表現を無視します。
  • 人間でないキャラクター(生き物、ドラゴンなど)はシーン内での役割を明記し、プロフィールにもそのように描写します(「翼、爪、尻尾」であり「ドラゴンの腕の衣装」ではない)。そうしないとエンジンはコスチューム姿の人間として描写してしまいます。
  • シーン:動画のフォーマット(縦、横、正方形)に合った画像を用意してください。合っていない場合は中央でクロップされます。

モード、フォーマット、料金

  • モード:QualityまたはUltra。複数のリファレンスを使用する場合、Fastは利用できません(Fast, Quality or Ultraを参照)。
  • フォーマット:縦、横、正方形、480p(Qualityのみ)、720p、1080p。
  • 尺:自動、または5秒、10秒、20秒、サウンドあり・なしを選択可能。

Multi-Ref Videoの設定:モード、フォーマット、尺、解像度、サウンド、seed、料金

Qualityでは、Multi-Refクリップの料金は同じフォーマットの通常クリップと同じです(cloud videoを参照)。Ultraはクリップごとに固定料金が設定されており、レンダリング前にアプリ内で表示されます。Cloud GPUでのみ利用可能です。

デモでは、720pおよび最大5秒の無料動画でMulti-Ref Videoを試すことができます。

お使いのコンピューターまたはオンラインで

Windowsでは、Multi-Ref VideoをQualityモードで自分のグラフィックカードを使ってレンダリングすることもできます。8 GB以上のVRAMを持つ最新のNVIDIAカードと、一度だけダウンロードするコンポーネント(2.2 GB、タブからまたはSettings > Componentsから)が必要です。ローカルレンダリングは、リファレンスなしのクリップの約2倍の時間がかかります。Macではローカル動画はまだ利用できないため、Cloud GPUに切り替えてください。

オンラインでは、レンダリングは空きマシンを最大30分待ち、その後30分で計算します。プログレスバーは実際のレンダリング時間を追跡し、マシンを待っているのかクリップを仕上げているのかを表示します。レンダリングが中断された場合はキャンセルされ、料金は発生しません。

クリップを再利用する

完成したクリップのプレビュー、Edit the prompt、Regenerate、Show fileの各ボタン付き

Gallery(Videosタブ)のMulti-RefクリップでReuse を選択すると、リファレンスを接続したままテキスト、フォーマット、seedとともにMulti-Ref Videoが再び開きます。1つ変えて、また生成してください。

単一キャラクターを画像や通常クリップで一貫させる方法については、character consistencyをご覧ください。

Windows・Mac・クラウドまたはローカル

プライベートに生成しましょう。今夜から。

tendre.AIをダウンロードして一度だけ認証すれば、完全オフラインで、自分のGPUを使ってずっと使い続けられます。

OS Windows 10/11GPU NVIDIA 8GB以上VRAM 12GB推奨ディスク容量 20GB

Mac:Apple silicon(M1以降)、macOS 13以降が必要です。Intel Macには対応していません。

Mac上でのローカル画像生成には、24GBメモリ搭載のM4、または24GB搭載のM2・M3 Pro、Max、Ultraが必要です。それ未満のスペックの場合は、すべてクレジットを使ってオンラインで処理されます。現時点では、レタッチと動画生成はMacでもオンラインで実行されます。

tendre.AI for Macのすべて

NVIDIA GPUをお持ちでない方も、100%クラウドで始められます。毎日10枚まで無料、それ以降は1枚につき1クレジットです。NVIDIAカード(8GB以上)があれば、無制限のローカル生成も利用できます。