Neues AI Tool - DragGAN

Forscher mehrerer Institutionen auf der ganzen Welt haben ein neues AI System entwicklet mit dem sich 2D Bilder quasi neu posen lassen. Das als „DragGAN“ bekannte System der Forscher wird auf der SIGGRAPH 2023-Konferenz vorgestellt.

Mit DragGAN lassen sich Bildinhalte komplett neu ausrichten. Zum Beispiel ein Auge schliessen. Oder einen Kopf der nach links zeigt nach vorn zeigen lassen. Oder jemanden der breitbeinig da steht mit geschlossenen Beinen neu posen. Und das nur anhand eines Ausgangsbildes.

DragGAN besteht aus zwei Hauptkomponenten. Die erste, eine merkmalsbasierte Bewegungsüberwachung, führt den ausgewählten Punkt zu seiner Zielposition. Der zweite Ansatz ist ein neuartiger Punktverfolgungsansatz, der die Position des ausgewählten Punkts mithilfe von GAN-Funktionen verfolgt.

Damit lassen sich äussert realistische Ergebnisse selbst bei komplexen Inhalten erzielen.

Noch ist das Tool nicht als Endanwendersoftware erhältlich. Das Tool, bzw der Code dazu soll wohl Open Source werden. Es gibt schon einen Github Account mit Beispielvideos. Der zugehörige Code soll im Juni erscheinen.

https://github.com/XingangPan/DragGAN

Auf der Webseite gibt es auch noch einige sehr überzeugende Beispielvideos.

https://vcai.mpi-inf.mpg.de/projects/DragGAN/