Wie die meisten Webseiten nutzen wir Cookies. Nähere Informationen dazu, wie wir mit diesen Cookies umgehen, können Sie in unseren Datenschutzbestimmungen lesen.   Einverstanden
 
 

3D Forum > Optische Verbesserung oder Renderbeschleunigung

Optische Verbesserung oder Renderbeschleunigung

10.05.2024 20:18
 
CrushFr. 10 Mai. 2024, 20:18 Uhr
In den letzten Jahren hat sich ja drastisch etwas im Bereich der künstlichen Intelligenz gemacht.

Ein paar interessante Dinge sind z.B. KI Textur-Generierung und optimierung, KI Modelerzeugung, usw. wobei das alles ruhig noch etwas reifen darf, obwohl die Textur-Erzeugung mit allen möglichen Passes auch Bump oder Displacement maps inzwischen schon ziemlich cool ist. Von Stimmenerzeugung, Musikerzeugung oder Fullbody Kamera Motion tracking usw. will ich jetzt aber noch gar nicht reden.

Ich habe in der letzten Woche ein paar sonstige nützliche und interessante KI-Tools angeschaut weil ich ja seit einer Weile nun einen schnellen CUDA Rechner habe, damit auch alles flutscht und probiere gerade eine optimierte Renderpipeline aus. Der Rechner kann ungleich schneller Frames auswerfen als ich generieren und animieren kann.

Noch weiß ich nicht, was ich sonst noch so alles tun kann, sollte und muß, habe aber schon ein paar richtig geniale Freeware/Opensource Tools zu den Topics Denoising, Upscaling und Videointerpolation gefunden.

Gibt es noch andere super nützliche automatisierungs-Tools, mit denen man die Animationen beschleunigen, verbessern oder sonstwie optisch aufwerten kann?

Im Moment probiere ich alle möglichen Algorithmen und Settings aus, ebenso bin ich mir nicht ganz sicher, was die optimale Pipeline ist. Klein Rendern, dann denoisen, dann upscalen, dann interpolieren oder irgendwie anders herum.

Hat schon irgenjemand damit Erfahrungen gemacht und sich seine persönliche "Pipeline" aufgebaut? Für sonstige Vorschläge an Algorithmen, Tools und Plugins bin ich sehr offen. Vielleicht hat auch jemand eine Idee, wie man logisch durch Nachdenken die perfekte Pipeline aufbauen könnte. Es könnte ja auch sein, daß alles nicht gut für Animationen war, dann würden mich Eure Erfahrungen interessieren.
 
TilesFr. 10 Mai. 2024, 20:42 Uhr
Huhu,

Ich spiele schon eine ganze Weile mit AI rum. So richtig in eine 3D Pipeline habe ich das aber noch nicht gegossen. Eher Standalone. Und ich bin auch weit weg davon ein Crack zu sein. Ich mache damit Videos für meine Musik.

Für ein konkreten Tip bräuchte ich wohl ein konkretes Beispiel was genau du anstellen willst. Vielleicht kenne ich da ja dann was.

Angefangen habe ich damals mit einer Stable Diffusion Extension namens Deforum. Da hat man nicht sonderlich viel Kontrolle über das Ergebnis. Man gibt ein Anfangsbild an, und einen guten Prompt und hofft dann eben das Beste. Im Moment bin ich bei einer anderen Extension namens AnimateDIFF gelandet. Und von was ich ganz die Griffel lasse ist Animate Video Diffusion von den Machern von Stable Diffusion. Die Lizenz erlaubt keine kommerzielle Nutzung ...

Es gibt zwischenzeitlich auch eine SD Extension mit der sich Open Pose Posen als Basis verwenden lassen. Controlnet. Das ermöglicht theoretisch etwas mehr Kontrolle über das Ergebnis.

Mit was ich auch rumgespielt habe war Video to Video. Im Prinzip könntest du in deiner 3D Software Klötzchen animieren, und SD macht daraus dann ein hübsches Video. Oder du nimmst ein Tanzvideo und die AI baut das dann passend um. Auch da kann man Open Pose zwischenschalten.

All die Sachen nutze ich in zwei Lösungen. Einmal das Ding von Automatic1111 und ComfyUI. Das von Automatic1111 ist eher grafisch gehalten. ComfyUI ist ein Node basierter Workflow. Fluch und Segen zugleich. Und natürlich immer Stable Diffusion basiert. Die anderen AI Lösungen sind ja closed ...

LG Tiles



 
TilesSa. 11 Mai. 2024, 07:49 Uhr
Mal weitertippen hier, gestern war schon spät ^^

Es gibt ja wie von dir schon rausgefunden spezielle AI Upscaler für Videos. Sprich du könntest in kleiner Auflösung rendern und die AI rechnet dir das grösser. Damit kenne ich mich allerdings nicht aus, ich kann dir nicht sagen welche die Besten sind. Da müsste ich selber erst mal recherchieren gehen.

Vieles davon ist Online, weil das Rechenleistung verlangt. Aber das sollte bei dir kein Problem sein. Kostenlos gibts da allerdings nicht viel. DaVinci Resolve hat das Upscaling übrigens schon seit mehreren Jahren drin, das nennt sich da Superscale. Ist allerdings ein Pro Feature.
 
TilesSa. 11 Mai. 2024, 08:09 Uhr
Mal in meinen Bookmarks gestöbert. Da gibts so viel was ich noch ausprobieren wollte. Und jeden Monat kommt neues dazu ^^



https://www.mootion.com/?source=7
 
TilesSa. 11 Mai. 2024, 08:14 Uhr
 
CrushSa. 18 Mai. 2024, 19:56 Uhr
Wozu übrigens alles sauber raus rendern? Gute Videodenoiser bekommen den Müll locker aus dem BIld gefiltert. Da habe ich auch ein schönes UI-Tool gefunden, welches z.B: die Intel und Nvidia Denoiser verwerden kann: https://taosoft.dk/software/freeware/dnden/updates/download.htm

Also was ich gar nicht übel finde ist z.B. https://github.com/n00mkrad/cupscale welches diverse Algorithmen verwendet und auch ncoh kaskadieren kann. Das wird aber aktuell glaube ich nicht mehr weiter entwickelt, dafür gibt es jetzt das hier: https://www.upscayl.org/

Für Echtzeit Upscaling gibt es auch kostenlose Player und Player Plugins ist der hier ziemlich gut: https://github.com/bloc97/Anime4K unten sind die Links zu Player damit.

Ein paar Algorithmen können fast schon wunder vollbringen und alle Artefakte aus den Bildern filtern z.B. ESRGAN



Siax finde ich auch super: https://openmodeldb.info/models/4x-NMKD-Siax-CX

Für Video interpolation ist Flowframes sehr gut https://github.com/n00mkrad/flowframes

Der große Vorteil ist nicht nur, daß man kleinere Bilder rendern kann und nahezu verlustlos vergrößern, sondern auch noch Artefakte entfernt und z.B. das Filtern ruhig weg lassen kann, weil die Algorithmen das besser können als super langsame übliche Filteralgorithmen in Renderern.

Manche davon können auch echte "Wunder" bewirken und aus praktisch unlesbaren Bildern fantastisch Bilder errechnen. Um zu sehen, was es jetzt schon gibt lohnt sich ein Blick in die Open Model DB https://openmodeldb.info/ wo man alle Algorithmen mit mehreren Beispielen in Echtzeit ausprobieren und vergleichen kann.

Sowas wie Realwebphoto ist einfach der Hammer: https://openmodeldb.info/models/4x-RealWebPhoto-v4-dat2

Ich bin momentan schwer begeistert, was alles sich an Möglichkeiten auftut um das Rendern zu erleichtern, zu vereinfachen und die Ergebnisse superschnell zu optimieren.

Mein Ziel ist es eine einigermaßen stabile Animation Optimizer Pipeline mit solchen Tools und Algorithmen aufzubauen.
 
TilesSo. 19 Mai. 2024, 08:50 Uhr
Ja, sehr viele geile Möglichkeiten. Bin mal gespannt was du dir da zusammenstellst smile

Upscaling kann wahre Wunder vollbringen. Aber es kann nur Detail hinzufügen wo schon eine Basis dafür ist. Der bessere Weg ist imo die Details schon drin zu haben. Was du mit AI Upscaling gut machen kannst ist ein Oversampling. Hochrechnen und wieder runterskalieren haben wir ja früher schon beim 3D Rendern gemacht. Doppelt so gross gerendert, dann runterskaliert für ein crispes Ergebnis smile

Flowframes war bei meinen letzten Versuchen etwas holprig. Ich interpoliere inzwischen mit DaVinci. Oder direkt in ComfyUI. Aber das ist halt für die AI generierte Videos ein letzter Arbeitsschritt im Workflow. Ich glaube die Interpolation Node gibts gar nicht Standalone.

RealESRGan habe ich hier auch lokal installiert. Ist aber schon etwas älter. Da gibts inzwischen auch viel geiles neueres Zeug.

Ich glaube das hier ist im Moment State of the Art. Der Preis auch ^^

https://www.topazlabs.com/topaz-video-ai

 
 

 


 
 
© 3D-Ring - deutsche 3D Software Community, Archiv 2001 - 2006