LTX-2.3: Lyd- og videomodellen i tendre.AI

LTX-2.3 er den lyd-og-video-genereringsmodel, der driver video i tendre.AI. Den tilhører LTX-familien af videodiffusionsmodeller, og dens vigtigste egenskab er, at den genererer billede og lyd sammen, i én model, i stedet for at producere et lydløst klip og overlade lyden til et separat værktøj. Denne artikel er en letforståelig teknisk gennemgang af, hvordan den fungerer, og hvordan tendre.AI integrerer den.

Hvorfor en kombineret lyd-video-model betyder noget

Den gamle måde at få et klip med lyd på var en pipeline: en videomodel laver billederne, en lydmodel laver et spor, og du justerer dem manuelt. Problemet er synkronisering. Lyd, der er genereret uden at "se" bevægelsen, rammer aldrig helt præcist: et fodtrin et halvt slag for sent, en stemme der ikke matcher munden, en baggrundsatmosfære der ignorerer scenen.

LTX-2.3 samler hele den pipeline. Fordi den samme model producerer både billederne og lyden, er de to sammenhængende fra starten: lydsporet er betinget af det samme indhold som billedet, så bevægelse og lyd er synkroniseret fra første generering, ikke lappet til bagefter.

Arkitekturen, i enkle termer

LTX-2.3 er en diffusions-transformer (DiT). To ideer er værd at forstå:

• Diffusion betyder, at modellen starter fra støj og fjerner støj trin for trin mod et klip, der matcher din prompt. Det er det samme princip som bag moderne billedmodeller som SDXL, men udvidet til tid.
• Transformer betyder, at den behandler hele sekvensen (på tværs af frames og lydstrømmen) i stedet for at behandle hvert billede uafhængigt. Det globale overblik er det, der holder bevægelsen stabil og lyden låst til handlingen gennem hele klippets længde.

At arbejde over hele klippet på én gang, i stedet for frame for frame, er den centrale årsag til, at resultatet forbliver sammenhængende: objekter bevarer deres form, kamerabevægelsen forbliver jævn, og lyden følger billedet.

Tekst-til-video og billede-til-video

LTX-2.3 understøtter to startpunkter, og tendre.AI bruger begge:

• Tekst-til-video: beskriv optagelsen, og få et klip med lyd.
• Billede-til-video: start fra et stillbillede, du allerede har genereret lokalt i tendre.AI, og animer det. Den første frame er dit billede, så den karakter og stil, du har låst fast (med en LoRA eller et fast seed), overføres direkte til videoen.

Billede-til-video er det, der gør arbejdsgangen "ét værktøj til billede og video" reel: det billede, du elsker, bliver åbningsframen i klippet, samme ansigt, samme udtryk.

Opløsning: 1080p til iteration, 4K til det færdige resultat

Den samme model understøtter flere opløsninger. I praksis giver det en enkel arbejdsgang:

• 1080p (Full HD) til iteration: hurtigt nok til at afprøve en prompt, høre resultatet, justere og køre igen.
• 4K (Ultra HD) til endelige renders: fire gange så mange pixels, til store skærme eller plads til at beskære og stabilisere i post-produktion.

Du laver udkast i 1080p, låser optagelsen (bevægelse, indramning, lyd), og afslutter derefter det endelige klip i 4K, uden at skifte motorer mellem udkast og leverance.

Effektivitet er pointen

LTX-familien er kendt for at være hurtig i forhold til sin kvalitet. Den effektivitet er ikke bare en pynte-metrik: det er det, der gør hurtige 1080p-udkast og behovsbaserede 4K-renders praktiske i stedet for natvlige jobs. En model, der er effektiv nok til at iterere med, ændrer måden du arbejder på, du udforsker flere takes, fordi hver enkelt er billig i tid.

Hvordan tendre.AI integrerer LTX-2.3

tendre.AI anvender sin sædvanlige regel: lokalt først, cloud kun til den tunge løftning, du selv vælger.

• Billeder forbliver 100% lokale. Hvert stillbillede genereres på din egen GPU, intet uploades.
• LTX-2.3-video kører på en cloud-GPU, efter behov. Synkroniseret lyd og især 4K kræver meget computerkraft, så de kører på en fjern-GPU og faktureres per klip i credits. Det er valgfrit: hvis du kun genererer billeder, ændres intet i din private lokale arbejdsgang.
• Samme karakterer i begge dele. Fordi video starter fra dine lokale stillbilleder, overføres den identitet, du har bygget op, direkte til klippet.

Migreringsnotat: tendre.AI er i aktiv gang med at rulle LTX-2.3 ud i appen. Video med lyd, 1080p-iteration og 4K-færdiggørelse introduceres løbende, efterhånden som migreringen afsluttes. Den lokale billedarbejdsgang er upåvirket.

Indholdsgrænserne gælder stadig

LTX-2.3 ændrer ikke tendre.AIs faste regel. Alt, der genereres, er 100% syntetisk: ingen rigtig person er afbildet, og alle personer er uden tvivl voksne. Modellen er et værktøj til fiktivt, voksen, AI-genereret indhold, intet andet.