Neue Offline Video AI Modelle

Es gab in den letzten Wochen gleich mehrere Releases neuer AI Bilder- und Videomodelle. Sora ist raus, Pika ist neu, RunwayML hat ein neues Modell. LeonardoAI hat ein Update. Und so weiter. Die nächste Generation mit verbesserten Ergebnissen ist da.

Aber auch bei der Offline Videoerstellung gibt es Neues. Bis vor Kurzem hatte AnimateDiff mehr oder weniger das Feld dominiert. Das auch existente Stable Video Diffusion nutzte hingegen nach dem Lizenzdisaster kaum noch einer.

Mit AnimateDiff bekommt man immer noch interessante Ergebnisse. Falls ihr Animatediff ausprobieren wollt empfehle ich das LCM Modell und nach entsprechenden Workflows zu suchen. Das ist besser verglichen mit dem Animatediff 3 Modell. Letzteres hat vor allem bei den Farben so seine Probleme. Es gibt nur sehr wenige Weights die damit gut zusammenarbeiten.

https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved

Hunyuan ist ein Videomodell aus China. Leider hat es ein Lizenzproblem, und ist deswegen hierzulande nur für den Eigengebrauch brauchbar. NerdyRodent, ein bekannter AI Youtuber musste ein damit gemachtes Video wieder löschen. Der Wrapper ist von Kijai.

https://github.com/kijai/ComfyUI-HunyuanVideoWrapper

CogVideoX ist ein sehr gutes generelles Modell das schon ein paar Tage länger auf dem Markt ist. Dementsprechend gibt es auch schon enige Features mehr dafür. Macht sehr gute Ergbebnisse. Hat allerdings ein Grössenlimit. Man kann nur Videos in 720x480 erstellen. Dafür kann man ein Anfangs- und Endbild definieren. Und es liefert gute Ergebnisse, ich spiele derzeit damit rum. Auch dieser Wrapper stammt von der guten Seele Kijai.

https://github.com/kijai/ComfyUI-CogVideoXWrapper

Mochi ist ein weiteres sehr interessantes AI Video Modell. Ein weiterer Wrapper von Kijai.

https://github.com/kijai/ComfyUI-MochiWrapper

LTX Video ist definitiv eine weitere Erwähnung wert. Es ist das schnellste Modell, es arbeitet fast Realtime. Vorausgesetzt man hat die dickste Grafikkarte. Ich persönlich habe das Modell allerdings noch nicht zum Laufen gebracht. Da klemmte was bei den Nodes.

https://github.com/Lightricks/ComfyUI-LTXVideo

Und das neueste Release ist Pyramid Flow. Das Tool baut nicht wie die anderen Videotools auf Stable Diffusion auf, sondern auf der alternativen Bilder AI Flux. Der Wrapper stammt schon wieder von Kijai.

https://github.com/kijai/ComfyUI-PyramidFlowWrapper

All diese Modelle können offline in ComfyUI betrieben werden. Vorausgesetzt man hat genug Videoram (Ich empfehle inzwischen mindestens 12 Gb, ich selber bin mit meiner alten 8Gb Karte immer wieder ans Limit gerammelt. Und konnte die neuen Modelle damit gar nicht testen) , genug Geduld, und ein aktuelles ComfyUI installiert.

Workflows findet ihr zum Beispiel auf Civitai. Die entsprechenden Modelle findet ihr auf Huggingface. Man kann die meisten Wrappernodes über den ComfyUI Manager installieren. Bei den Modellen müsst ihr selber schaun.

https://civitai.com/
https://huggingface.co/