Zum Hauptinhalt springen

Studierendenprojekte

Faken von Bildern und Videos mit künstlicher Intelligenz

Faken von Bildern und Videos mit künstlicher Intelligenz

Sogenannte Deepfakes werden ein immer häufiger werdendes Phänomen im Internet. Dabei können Bilder und Videos so manipuliert werden, dass der Anschein erweckt wird, dass eine andere Person darin enthalten ist. Mithilfe von diversen Data Science-Algorithmen lassen sich Bilder und Videos so manipulieren, damit sie für andere Zwecke verwendet werden können.

Im Zuge dieses R&D-Projekts wurde eine Deepfake-Applikation erstellt, um beim Tag der offenen Tür der Fachhochschule Salzburg innerhalb weniger Minuten einen qualitativ hochwertigen Deepfake generieren zu können. Zu diesem Zweck wurde eine Applikation, die für das Trainieren der Modelle Autoencoder verwendet, mit verschiedenen Konfigurationen und Hyperparametern getestet und verifiziert. Als idealer Gesichtserkennungsalgorithmus für dieses Modell wurde SAEHD identifiziert. Dabei wurden zwei Modelle mit jeweils 100.000 Iterationen berechnet, was jeweils einer reinen Trainingszeit von etwa 60 Stunden entspricht. Die Applikation bietet die Möglichkeit, innerhalb von etwa 5 bis 6 Minuten einen kompletten Deepfake eines neuen Zielvideos zu erstellen. Das Modell wird auf dieses Video angewandt und wie eine Maske über das Gesicht der Zielperson gelegt. Die Mimik der Person wird in diesem Schritt übernommen.

Ein weiterer Bereich unseres R&D-Projekts umfasste eine Applikation, um Stromlastprofile von Haushalten zu faken, die Pools bzw. keine Pools besitzen. Dabei sollen diese Lastprofile so manipuliert werden, dass einerseits die Pools herausgerechnet und andererseits Pools eingerechnet werden. Um das verwirklichen zu können, wurde ein cycleGAN-Algorithmus verwendet. Dabei werden simultan zwei Generator- und Diskriminator-Modelle trainiert, die Grundlage dafür bildet eine Generative Adversarial Network (GAN). Der Output eines Generators einer Domäne wird zum Input des anderen Generators. Die Diskriminatoren entscheiden in weiterer Folge, ob ein Bild fake oder real ist. Die Generatoren und Diskriminatoren stehen dabei in einem kontinuierlichen Wettbewerb und trainieren sich gegenseitig. Nach Anwendung eines cycleGAN-Algorithmus auf die Lastprofile lief das Modell nach kurzer Trainingszeit in das Vanishing Gradient-Problem. Dabei sind die Losses der Diskriminatoren auf 0 gesunken, somit gibt es keine Gradienten und auch kein Lernverhalten. Nach Anpassung der Hyperparameter konnte die Performance des Modells etwas verbessert werden, was allerdings im Endeffekt nur zu Under- bzw. Overfitting münzte. Als mögliche Lösung kann die Wassersteindistanz als Lossfunktion erwogen werden.

Facts:
Projekt-Betreuer: FH-Prof. MMag. Dr. Günther Eibl und DI Maximilian Ernst Tschuchnig, BSc
Studierende: Mario Siller und Projektpartner
Typ: R&D-Projekt
Studiengang: Master Informationstechnik & System-Management

Bild von Gerd Altmann auf Pixabay

Bild von Gerd Altmann auf Pixabay