Realistic Video Generation
KI-Videogenerator Lumiere: Google beeindruckt mit neuem Ansatz
Forschende der Tel-Aviv University und der Research-Abteilung von GoogleAI haben unter dem Namen Lumiere ein neues KI-Modell vorgestellt, das auf Basis einfacher Texteingaben in der Lage ist, Videos mit realistischen, vielfältigen und kohärenten Bewegungen zu erzeugen.
Bevor eure Augen jetzt zum nächsten Absatz wandern, empfehlen wir euch einmal, durch die seit wenigen Stunden aktive Lumiere-Webseite zu scrollen, die dort sichtbaren Ergebnisse sind beeindruckend.
Ganzes Video statt Einzelbilder
Wichtigstes Merkmal des neuen Ansatzes, der Googles Lumiere-Projekt von anderen Implementierungen im gleichen Feld unterscheidet: Statt lediglich Schlüsselbilder mit festen, zeitlichen Abständen zu erstellen, die anschließend mit synthetisch generierten Videoinhalten verbunden werden, erzeugt Lumiere das gesamte Video auf einmal und liefert so deutlich hochwertigere Ergebnisse.
Der neue Ansatz soll die Erstellung eines konsistenteren Videomaterials ermöglichen, besitzt ein besseres Zeitverständnis als andere Projekte und liefert nach Angaben der Mitwirkenden nicht nur bei der Text-zu-Video-Generierung branchenführende Ergebnisse, sondern kann auch zur Videobearbeitung eingesetzt werden.
Auch Bearbeitung möglich
Mit Lumiere sind Bild-zu-Video-Transformationen, das so genannte Video-Inpainting und die Generierung bestimmter Video-Stile möglich.
Wer sich für die Hintergründe von Lumiere interessiert, kann das zugehörige Paper ab sofort aus dem Netz laden. Überschrieben mit „Lumiere: A Space-Time Diffusion Model for Video Generation“ geht das 18 Seiten lange Dokument auf Fähigkeiten und Hintergründe des neuen Modells ein und vergleicht die Lumiere-Ergebnisse mit ähnlichen KI-Projekten wie AnimateDiff, Gen2, ImagenVideo, Pika und ZeroScope.
- PDF-Download: Lumiere Research Paper
Aber wie so üblich bei Google bisher kein Zugang.
Üblich ist auch das diverse Dinge da auf den Friedhof landen.
Gut nachvollziehbar, daß Google Projekte einstellt oder wie du es beschreibst „…Dinge auf dem Friedhof landen…“, wenn diese nicht rentabel sind, bzw. die Entwicklung in eine neue/andere Richtung geht.
Wozu auch? Da wird ja nur ein Projekt vorgestellt!
Als Aussicht auf die Matrix
Jo, Google sells what they don’t have.
Was genau verkauft Google denn hier?
Spielerei
Ja, so sehe ich das auch. Natürlich beeindruckend, in welcher kurzen Zeit das automatisch generiert wird. Aber das Ergebnis ist doch nicht wirklich einsetzbar.
Ich denke es gibt da im Videoediting schon sehr viele Möglichkeiten wo man so etwas einsetzen kann. Ich finde die Ergebnisse schon sehr beeindruckend. Auch wenn’s noch nicht optimal ist.
Du sagst doch genau das gleiche wie ich.
natürlich ist das eine Spielerei, nämlich genau so lange, bis jemand das so weiter entwickelt um damit sein Leben zu vereinfachen. Dann gibt es eine Zielgruppe und Zack, ist es keine Spielerei mehr, sondern was Sinnvolles.
Sieht aus als wäre das alles sehr begrenzt in der Framerate.
…sehr irritierend
Mal schauen, wann die erste Klobürste mit KI rauskommt. Ohne KI im Namen scheint sich ja momentan nix mehr zu verkaufen.
Nach der Toilettenreinigung sagt die KI dann: „Das war Scheisse.“ Gut, dass wir KI im 21. Jahrhundert haben.
In Japan sicher ein top-seller
Zu den bisherigen Kommentaren fällt mir die Überschrift eines Artikels ein, den ich vor ein paar Tagen gelesen habe „Verliert Europa den Anschluss bei KI?“
Es kann auch an der Einstellung liegen.
/ironie
ach Quatsch. wir sind dem allem hilflos ausgeliefert und schon längst werden wir von einer AGI beherrscht. Vermutlich gibt einen Zusammenhang mit der 5G-Impfung aus den Anfängen von Corona. Aber das ist nur so eine quere Idee.
//ironie off
Vermutlich ist hier zwischen Input und Output noch ein bisschen zu viel natürliche Intelligenz erforderlich. Nun macht Google Werbung dafür um Investoren anzulocken. Dann können die menschlich.manuellen Schritt automatisiert werden und für sagen wir mal 50€ pro User und Monat am Markt angeboten werden. Es wird Video-Editoren* geben, die solch ein PlugIn zu schätzen wissen.
Video-Editoren*: könnte eine natürliche Person oder auch eine andere App sein.