Το LTX-2 Φέρνει Παραγωγή Ανοικτού Κώδικα Ήχου και Εικόνας που Τέλος Φτάνει τη Sora και τη VEO

Κατά το περασμένο έτος, η δημιουργία βίντεο ήταν μία από τις πιο υποσχόμενες εφαρμογές της τεχνολογίας AI. Με την εξάπλωση των βίντεο OpenAI’s Sora, Google’s VEO και Kling AI στα μέσα κοινωνικής δικτύωσης, η δημιουργία βίντεο με AI είναι ουσιαστικά αναπόφευκτη στο σύγχρονο διαδικτυακό τοπίο. Αυτό έχει πολλές μακροπρόθεσμες συνέπειες, αλλά η χρησιμότητα αυτής της τεχνολογίας δεν πρέπει να υποτιμάται ή να αγνοείται.

Οι τεχνολογίες ανοιχτού κώδικα έχουν μείνει πίσω σε σχέση με αυτά τα ιδιόκτητα μοντέλα εδώ και κάποιο διάστημα. Αν και μπορούσαν να παράγουν βίντεο υψηλής ποιότητας σε διάφορα στυλ με καλή τήρηση των προτροπών, όπως με το Wan2.2, τους έλειπε η δυνατότητα ταυτόχρονης δημιουργίας ήχου. Ενώ τα μοντέλα Sound-to-Video του Wan έκαναν ένα βήμα προς τη σωστή κατεύθυνση, η καμπύλη δυσκολίας στη χρήση αυτών των μοντέλων ήταν απλώς πολύ μεγάλη για να τα χρησιμοποιήσει κανείς πραγματικά για κάτι όπως η δημιουργία περιεχομένου. Αυτή η σημαντική περιοριστική παράμετρος έχει κρατήσει αυτές τις τεχνολογίες ανοιχτού κώδικα πίσω από την ευρύτερη, μη τεχνική κοινότητα και τον επιχειρηματικό κόσμο.

Όλα αυτά πρόκειται να αλλάξουν με το LTX-2. Ένα πραγματικό βήμα μπροστά για τη δημιουργία βίντεο ανοιχτού κώδικα, το LTX-2 είναι αναμφίβολα η πιο ισχυρή τεχνολογία δημιουργίας βίντεο που έχει ανοικτή δημοσιευθεί ποτέ. Απλά, «Το LTX-2 είναι ένα θεμελιώδες μοντέλο ήχου-βίντεο βασισμένο σε DiT, σχεδιασμένο για να δημιουργεί συγχρονισμένο βίντεο και ήχο μέσα σε ένα ενιαίο μοντέλο.» Αυτή η ισχυρή συνδυαστική ικανότητα, σε συνδυασμό με τον αποδοτικό σχεδιασμό του μοντέλου που το καθιστά δυνατή τη λειτουργία σε GPU καταναλωτικού επιπέδου, καθιστά το LTX-2 ένα ισχυρό εργαλείο για τη δημιουργία βίντεο.

Σε αυτό το σεμινάριο, θα δούμε πώς λειτουργεί το LTX-2 καθώς εξερευνούμε την αρχιτεκτονική του ροή και στη συνέχεια θα δείξουμε πώς να τρέξετε το LTX-2 στο Linux-Console.net Gradient χρησιμοποιώντας το ComfyUI.

Κύρια Συμπεράσματα

  • Το LTX-2 αποτελεί ένα πραγματικό βήμα προόδου στην παραγωγή βίντεο, ενοποιώντας την μοντελοποίηση ήχου και βίντεο σε μια ενιαία διαδικασία
  • Το LTX-2 είναι εύκολο στη χρήση στο Gradient AI χρησιμοποιώντας κάρτες γραφικών NVIDIA
  • Το LTX-2 είναι διαθέσιμο για δωρεάν λειτουργία αυτή τη στιγμή στο Hugging Face

LTX-2: Πώς λειτουργεί

Το LTX-2 είναι ένα ενιαίο μοντέλο δημιουργίας βίντεο-ήχου. Στον πυρήνα του, αποτελείται από έναν ασύμμετρο διπλό ρεύμα μετασχηματιστή που διαθέτει ξεχωριστά ρεύματα βίντεο και ήχου, τα οποία συνδυάζονται με «διπλής κατεύθυνσης στρώματα διασταυρούμενης προσοχής βίντεο-ήχου με χρονικές θέσεις ενσωμάτωσης και cross-modality AdaLN για κοινή χρονική συνθήκη.» Αυτή η ενοποίηση επιτρέπει πιο αποδοτική δημιουργία και των δύο ρευμάτων, με μεγαλύτερη κατανομή της χωρητικότητας για δημιουργία βίντεο σε σύγκριση με την δημιουργία ήχου.

Μπορούμε να δούμε την αρχιτεκτονική του μοντέλου παραπάνω. Στην πράξη, τα ακατέργαστα σήματα βίντεο και ήχου κωδικοποιούνται σε λανθάνουσες αναπαραστάσεις ειδικές για κάθε μορφή μέσω αιτιακών VAE, ενώ το κείμενο επεξεργάζεται μέσω μιας βελτιωμένης διαδικασίας ενσωμάτωσης. Ένας μετασχηματιστής διάχυσης διπλής ροής στη συνέχεια καθαρίζει από κοινού τις λανθάνουσες αναπαραστάσεις ήχου και βίντεο, αξιοποιώντας αμφίδρομη διασταυρούμενη προσοχή ακουστικο-οπτική και συνθήκες κειμένου για να παραγάγει συγχρονισμένα οπτικοακουστικά αποτελέσματα.

Για να γίνει αυτό δυνατό, η ομάδα της Lightricks έκανε αρκετές προόδους στην τεχνολογία Υπολογιστικής Όρασης και Παραγωγής Ήχου. Σημαντικά, το άρθρο για το LTX-2 προσφέρει τέσσερις βασικές συνεισφορές που έγιναν για αυτή την κυκλοφορία:

-Αποδοτική Ασύμμετρη Διπλού Ρεύματος Αρχιτεκτονική: η βάση βασισμένη σε μετασχηματιστή διαθέτει ρεύματα ειδικά για κάθε μορφή δεδομένων, συνδεδεμένα μέσω αμφίδρομης διασταυρούμενης προσοχής και cross-modality AdaLN για κοινή χρονική προσαρμογή.

  • Μπλοκ Επεξεργασίας Κειμένου με Νοητικά Tokens: ανέπτυξαν επίσης ένα νέο μοντέλο προσαρμογής κειμένου που χρησιμοποιεί πρόβλεψη πολλαπλών tokens για να ενισχύσει την κατανόηση των εντολών και τη σημασιολογική σταθερότητα.
  • Συμπαγής Νευρωνική Αναπαράσταση Ήχου: για την επεξεργασία ήχου, δημιούργησαν έναν αποδοτικό αιτιακό ηχητικό Αυτοκωδικοποιητή Μεταβλητών (VAE) που παράγει έναν υψηλής πιστότητας, μονοδιάστατο λανθάνοντα χώρο βελτιστοποιημένο για εκπαίδευση και εξαγωγή βασισμένη στη διάχυση.
  • Καθοδήγηση χωρίς Ταξινομητή με Συνείδηση Μονάδας: Ένα νέο δίτροπο σχήμα διαμόρφωσης που επιτρέπει ανεξάρτητο έλεγχο των κλιμάκων καθοδήγησης μεταξύ διαφορετικών μέσων, βελτιώνοντας σημαντικά την οπτικοακουστική ευθυγράμμιση

Όλα μαζί, αυτά δημιουργούν το πιο αποδοτικό ανοιχτού κώδικα μοντέλο βίντεο που είναι διαθέσιμο, το οποίο συνδυάζει την παραγωγή βίντεο και ήχου σε μια ενιαία διαδικασία.

Δείγμα: LTX-2 με ComfyUI σε GPU Droplet

Τώρα που έχουμε εξετάσει πώς λειτουργεί το μοντέλο, μπορούμε να ξεκινήσουμε με την επίδειξη. Για να ξεκινήσετε, συνδεθείτε στο Linux-Console.net Gradient και δημιουργήστε ένα GPU Droplet. Συστήνουμε μια GPU NVIDIA H100 ή H200 για την εκτέλεση του LTX-2, αλλά θα πρέπει να λειτουργεί επαρκώς και με την NVIDIA A6000. Μόλις ξεκινήσει το Droplet σας, αποκτήστε πρόσβαση σε αυτό μέσω SSH από το τερματικό του τοπικού υπολογιστή σας.

Ρύθμιση του GPU Droplet

Ακολουθήστε τις οδηγίες που περιγράφονται σε αυτό το σεμινάριο για να ρυθμίσετε το GPU Droplet σας εάν δεν το έχετε κάνει πριν. Στη συνέχεια, θα χρησιμοποιήσετε SSH για να αποκτήσετε πρόσβαση στο GPU Droplet στον τοπικό σας υπολογιστή χρησιμοποιώντας VS Code ή Cursor. Κρατήστε τόσο το παράθυρο του τερματικού όσο και το συνδεδεμένο παράθυρο VS Code/Cursor ανοιχτά για αργότερα.

Ρύθμιση του ComfyUI & Λήψη των Μοντέλων

Χρησιμοποιώντας το παράθυρο τερματικού συνδεδεμένο στο GPU Droplet, μεταβείτε στον κατάλογο της επιλογής σας. Μόλις φτάσετε εκεί, επικολλήστε τον ακόλουθο κώδικα για να εγκαταστήσετε το ComfyUI στο GPU Droplet, να κατεβάσετε τα απαιτούμενα μοντέλα για το LTX-2, και στη συνέχεια να τρέξετε το ComfyUI και να έχετε πρόσβαση σε αυτό μέσω του απλού προγράμματος περιήγησης του VS Code/Cursor:

git clone https://github.com/Comfy-Org/ComfyUI
cd ComfyUI
python3 -m venv venv
source venv/bin/activate
pip install -r requirements.txt
cd models/text_encoders
wget https://huggingface.co/Comfy-Org/ltx-2/resolve/main/split_files/text_encoders/gemma_3_12B_it.safetensors
cd ../checkpoints
wget https://huggingface.co/Lightricks/LTX-2/resolve/main/ltx-2-19b-dev-fp8.safetensors
cd ../latent_upscale_models
wget https://huggingface.co/Lightricks/LTX-2/resolve/main/ltx-2-spatial-upscaler-x2-1.0.safetensors
cd ../loras
wget https://huggingface.co/Lightricks/LTX-2/resolve/main/ltx-2-19b-distilled-lora-384.safetensors
cd ../custom_nodes
git clone https://github.com/Lightricks/ComfyUI-LTXVideo
cd ComfyUI-LTXVideo/
pip install -r requirements.txt
cd ../..
python main.py

Μόλις ολοκληρωθεί αυτό, πάρε τη δημιουργημένη διεύθυνση URL (η προεπιλεγμένη είναι http://127.0.0.1:8188) και χρησιμοποίησε τη λειτουργία Simple Browser του VS Code/Cursor για να την ανοίξεις στον περιηγητή του τοπικού σου υπολογιστή.

Λειτουργία LTX-2

Για να εκτελέσουμε τώρα τη ροή εργασίας LTX-2, μπορούμε να μεταβούμε στην αριστερή πλευρά του παραθύρου για να έχουμε πρόσβαση στο εικονίδιο προτύπων της πλαϊνής μπάρας. Κάντε κλικ σε αυτό και στη συνέχεια αναζητήστε και επιλέξτε το πρότυπο «LTX-2 Text to Video». Αυτό θα ολοκληρώσει τη ρύθμισή μας. Αν τώρα κάνουμε κλικ στο εκτέλεση, θα λάβουμε το προεπιλεγμένο βίντεο με μια μαριονέτα που τραγουδά για τη βροχή. Δεν μπορούμε να μοιραστούμε το βίντεο σε αυτήν την πλατφόρμα, αλλά εδώ είναι ένα gif του βίντεο χωρίς ήχο.

Από εδώ, μπορούμε να κάνουμε κλικ στο παράθυρο εντολών για να τροποποιήσουμε το βίντεο εξόδου και να αλλάξουμε το μέγεθος/μήκος του βίντεο. Συνιστούμε να πειραματιστείτε με όλες σας τις ιδέες. Το μοντέλο υπερέχει στη δημιουργία βίντεο με ήχο, οπότε φροντίστε να συμπεριλάβετε εντολές με «αποσπάσματα ομιλίας», ηχητικά σήματα και μουσική.

Για δημιουργία βίντεο από εικόνα, επιστρέψτε στο μενού επιλογής προτύπων και αναζητήστε το πρότυπο «LTX-2 Εικόνα σε Βίντεο». Στη συνέχεια, μπορείτε να εισάγετε οποιαδήποτε εικόνα έχετε δημιουργήσει ή τραβήξει στην πραγματικότητα και να την κινήσετε με μια εντολή. Για παράδειγμα, μπορούμε να πούμε σε μια στατική εικόνα μιας σκηνής σε παραλία να μετατραπεί σε πλήρη κινούμενο βίντεο με συντριπτικά κύματα, φωνές γλάρων και αέρα στην παραλία. Εδώ είναι ένα παράδειγμα ακριβώς αυτού:

Από τα πειράματά μας είναι σαφές ότι, τουλάχιστον για αυτή την πρώτη έκδοση του LTX-2, οι δυνατότητες μετατροπής κειμένου σε βίντεο ξεπερνούν κατά πολύ τις δυνατότητες μετατροπής εικόνας σε βίντεο. Αυτό είναι λίγο λυπηρό, αλλά περιμένουμε ότι θα βελτιωθεί σε μελλοντικές εκδόσεις του μοντέλου, όπως έχει υποσχεθεί η ομάδα LTX-2 της Lightricks.

Τελικές Σκέψεις

Το LTX-2 είναι ίσως το πιο εντυπωσιακό μοντέλο με το οποίο έχουμε ασχοληθεί στον τομέα των βίντεο. Ακόμα περισσότερο από τα VEO-3 και Sora 2, εντυπωσιαζόμαστε από την ταχύτητα και την προσβασιμότητα αυτού του μοντέλου ανοιχτού κώδικα. Προτρέπουμε όλους να δοκιμάσουν αυτό το μοντέλο στο Gradient σήμερα!

Ευχαριστούμε που μάθατε μαζί με την κοινότητα του Linux-Console.net.