Der neueste KI-Videogenerator von Runway erweckt riesige Zuckerwattemonster zum Leben

Am Sonntag kündigte Runway ein neues KI-Videosynthesemodell namens an Gen 3 Alpha Dies befindet sich noch in der Entwicklung, aber es scheint Videos von ähnlicher Qualität wie Sora Video von OpenAI zu erstellen, das Anfang des Jahres auf den Markt kam (und auch noch nicht veröffentlicht wurde). Es kann aus Textansagen, von realistischen Menschen bis hin zu surrealen Monstern, die durch die Landschaft streifen, frische, hochauflösende Videos erstellen.

Im Gegensatz zur Landebahn Bisher bestes Modell Ab Juni 2023 können mit der Gen-3 Alpha nur noch 2-Sekunden-Clips erstellt werden. Berichten zufolge kann die Gen-3 Alpha 10-Sekunden-Videos von Personen, Orten und Dingen erstellen, deren Konsistenz und Kohärenz die der Gen-2 bei weitem übertrifft. Wenn 10 Sekunden im Vergleich zu Soras vollständiger Videominute kurz erscheinen, denken Sie daran, dass das Unternehmen im Vergleich zum großzügig finanzierten OpenAI mit einem sehr geringen Rechenbudget auskommt – und tatsächlich bereits in der Vergangenheit kommerzielle Nutzer mit der Möglichkeit zur Videoerstellung ausgestattet hat.

Gen-3 Alpha erzeugt keinen Ton, der Videos begleitet, und es ist wahrscheinlicher, dass man sich auf zeitlich konsistente Generationen verlässt (solche, die über einen längeren Zeitraum eine konsistente Persönlichkeit bewahren). Ähnliche hochwertige Schulungsmaterialien. Aber es ist schwer, die Verbesserung der visuellen Wiedergabetreue von Runway im letzten Jahr zu ignorieren.

Video-KI heizt auf

Es waren ein paar arbeitsreiche Wochen mit der Installation von KI-Videos in der KI-Forschungsgemeinschaft, einschließlich der Einführung des chinesischen Modells Kling, erstellt von der in Peking ansässigen Kuaishou Technology (manchmal auch „Kwai“ genannt). Kling kann zwei Minuten 1080p-HD-Video mit einer Geschwindigkeit von 30 Bildern pro Sekunde erstellen Details und Zusammenhalt Es wird gesagt, dass er zu Sora passt.

Gen-3-Alpha-Eingabeaufforderung: „Versteckte Spiegelbilder einer Frau im Fenster eines Zuges, der mit rasender Geschwindigkeit durch eine japanische Stadt fährt.“

Kurz nach Klings Debüt begannen die Leute in den sozialen Medien kreativ zu werden Surreale KI-Videos Mit Luma AI Luma Dream-Maschine. Diese Videos waren neu und seltsam, aber insgesamt cool Es mangelt an Zusammenhalt; Wir haben die Dream Machine getestet und waren von nichts, was wir sahen, beeindruckt.

Unterdessen wurde das 2018 gegründete New Yorker Unternehmen Runway, ein führendes Text-to-Video-Unternehmen, kürzlich Opfer von Memes, die zeigten, dass seine Gen-2-Technologie im Vergleich zu den neuesten Video-Compositing-Modellen nicht mehr beliebt war. Dies ist wahrscheinlich die Motivation hinter der Ankündigung der Gen-3 Alpha.

Gen-3-Alpha-Eingabeaufforderung: „Ein Astronaut rennt durch eine Gasse in Rio de Janeiro.“

Für Video-Compositing-Modelle war es schon immer schwierig, realistische Menschen zu erschaffen. Daher demonstriert Runway speziell die Fähigkeit von Gen-3 Alpha, das zu erschaffen, was die Entwickler „ausdrucksstarke“ menschliche Charaktere mit einer Reihe von Aktionen, Gesten und Emotionen nennen. Allerdings ist das Unternehmen Beispiele bereitgestellt Es ist nicht besonders ausdrucksstark – die meisten Leute starren und blinzeln langsam –, aber es sieht realistisch aus.

Zu den menschlichen Beispielen gehören unter anderem erstellte Videos einer Frau in einem Zug, eines Astronauten, der die Straße entlang rennt, eines Mannes, dessen Gesicht vom Schein eines Fernsehers beleuchtet wird, einer Frau, die ein Auto fährt, und einer Frau, die rennt.

Gen-3-Alpha-Eingabeaufforderung: „Nahaufnahme einer jungen Frau, die ein Auto fährt und nachdenklich aussieht, ein verschwommener grüner Wald, der durch das verregnete Autofenster sichtbar ist.“

Die erstellten Demovideos enthalten auch surrealere Videoinstallationsbeispiele, darunter eine riesige Kreatur, die durch eine heruntergekommene Stadt läuft, ein Mann aus Steinen, der durch einen Wald läuft, und das unten gezeigte riesige Zuckerwattemonster, das vielleicht das beste Video aller Zeiten ist Seite.

Gen-3-Alpha-Eingabeaufforderung: „Ein riesiger Mensch aus flauschiger blauer Zuckerwatte stampft auf den Boden und brüllt in den Himmel, ein klarer blauer Himmel hinter ihm.“

Der Gen-3 wird mehrere Runway AI-Bearbeitungstools unterstützen (einer der größten Ruhmesansprüche des Unternehmens), darunter Multi-Action-Bürste, Erweiterte KamerasteuerungUnd Managermodus. Es kann Videos aus Text- oder Bildaufforderungen erstellen.

Laut Runway ist das Gen-3 Alpha das erste einer Reihe von Modellen, die auf einer neuen Infrastruktur trainiert werden, die für groß angelegtes multimodales Training konzipiert ist, und macht damit einen Schritt in Richtung Weiterentwicklung dessen, was es so nennt: „Allgemeine globale Modelle„Dabei handelt es sich um virtuelle künstliche Intelligenzsysteme, die interne Darstellungen von Umgebungen erstellen und diese verwenden, um zukünftige Ereignisse in diesen Umgebungen zu simulieren.