Wie Deepfakes technisch funktionieren

Ein Video, in dem ein Politiker etwas sagt, das er nie gesagt hat. Ein Sprachanruf, der klingt wie der eigene Chef. Ein Foto, das eine reale Person an einem Ort zeigt, an dem sie nie war. Deepfakes sind kein Zukunftsszenario mehr, sondern Gegenwart. Wer die Technik dahinter kennt, ist weniger anfällig für Manipulation und kann besser einschätzen, wo echte Risiken liegen und wo Panikmache überwiegt.

Der Ausgangspunkt: Was ein neuronales Netz lernt

Alle gängigen Deepfake-Verfahren basieren auf Deep Learning, also auf künstlichen neuronalen Netzen, die mit sehr großen Datenmengen trainiert werden. Das Netz bekommt tausende Bilder oder Audioschnipsel einer Person und lernt dabei, statistische Muster zu erkennen: Wie bewegt sich der Mundwinkel bei bestimmten Lauten? Welche Lichtreflexe erscheinen auf der Nasenspitze bei Seitenbeleuchtung? Wie klingt die Stimme beim Wort „aber“ im Vergleich zu „aber nicht“?

Das klingt abstrakt, ist aber vergleichbar mit dem, was ein Schauspieler macht, wenn er eine Rolle studiert. Nur läuft der Prozess beim Netz vollautomatisch, braucht keine Pause und verarbeitet in einer Nacht mehr Datenpunkte, als ein Mensch in Jahren bewusst wahrnehmen könnte. Ab etwa 300 bis 500 Fotos lässt sich ein brauchbares Gesichtsmodell trainieren. Bei Prominenten mit tausenden verfügbaren Bildern ist die Qualität entsprechend höher.

Autoencoder: Die klassische Gesichtstausch-Architektur

Das älteste verbreitete Verfahren nutzt sogenannte Autoencoder. Das sind Netzwerke, die aus zwei Hälften bestehen: einem Encoder, der ein Bild auf seine wesentlichen Merkmale komprimiert, und einem Decoder, der aus diesen Merkmalen wieder ein Bild aufbaut.

Beim Deepfake-Gesichtstausch trainiert man zwei solcher Systeme parallel. Encoder A lernt, Gesicht A zu komprimieren. Encoder B tut dasselbe für Gesicht B. Beide teilen sich jedoch denselben Decoder. Schickt man jetzt die komprimierten Merkmale von Gesicht A durch den Decoder von Gesicht B, entsteht ein Bild, das die Mimik und Kopfbewegung von A trägt, aber mit den Gesichtszügen von B gerendert wird. Genau das ist der Kern des klassischen „FaceSwap“-Prinzips, das 2017 auf Reddit aufgetaucht ist und seitdem weiterentwickelt wurde.

GANs: Wenn zwei Netze gegeneinander arbeiten

Eine technisch leistungsfähigere Methode sind Generative Adversarial Networks, kurz GANs. Hier spielen zwei Netze gegeneinander: ein Generator, der gefälschte Bilder produziert, und ein Diskriminator, der echte von gefälschten Bildern unterscheiden soll. Der Generator versucht, den Diskriminator zu täuschen. Der Diskriminator versucht, nicht getäuscht zu werden. Durch dieses ständige Wechselspiel verbessern sich beide Seiten gegenseitig.

Das Ergebnis nach ausreichendem Training sind synthetische Gesichter, die für Menschen praktisch nicht von echten zu unterscheiden sind. Die Website „thispersondoesnotexist.com“ nutzt ein solches GAN-Modell namens StyleGAN, entwickelt von Nvidia. Jeder Klick auf die Seite liefert ein neues, vollständig erfundenes Gesicht in Fotografiequalität, erzeugt in Millisekunden.

Wer sich tiefer in die Strukturen hinter diesen Verfahren einarbeiten möchte, findet bei Deepfakes technisch verstehen eine gut aufbereitete Übersicht zu den verschiedenen Modellklassen und deren Funktionsweise.

Diffusionsmodelle: Der aktuelle Stand der Technik

Seit 2022 haben Diffusionsmodelle GANs in vielen Bereichen überholt. Sie funktionieren nach einem anderen Prinzip: Zunächst wird ein echtes Bild schrittweise mit zufälligem Rauschen überschrieben, bis nichts mehr vom Original übrig ist. Das Netz lernt dann, diesen Prozess umzukehren, also aus Rauschen schrittweise ein kohärentes Bild zu rekonstruieren.

Der Vorteil: Diffusionsmodelle sind stabiler im Training und produzieren weniger Artefakte als frühe GANs. Systeme wie Stable Diffusion oder Midjourney basieren auf diesem Ansatz. Für Deepfake-Anwendungen bedeutet das, dass sich nicht nur Gesichter tauschen lassen, sondern ganze Szenen generieren lassen, die noch vor zwei Jahren enorme Rechenleistung oder spezialisiertes Wissen erfordert hätten.

Sprach-Klone: Wie Stimmen imitiert werden

Neben Bild und Video ist Audio ein eigenständiges Feld. Stimmklone funktionieren über sogenannte Text-to-Speech-Systeme, die mit kurzen Sprachproben einer Zielperson feinabgestimmt werden. Ein bekanntes Beispiel ist ElevenLabs: Schon mit einer Minute Audiomaterial erzeugt das System eine Stimme, die die Sprachmelodie, typische Pausensetzung und den Klangcharakter der Vorlage nachbildet.

Die technische Basis sind wieder neuronale Netze, hier speziell Transformer-Architekturen, die ursprünglich für Textverarbeitung entwickelt wurden. Sie lernen, aus Phonemen und Sprachmerkmalen realistische Wellenformen zu synthetisieren. In Betrugsfällen wurden bereits gefälschte Chefstimmen eingesetzt, um Überweisungen zu autorisieren. Der Schaden in einem dokumentierten Fall aus Großbritannien betrug 220.000 Euro.

Erkennungsmerkmale und warum sie schwieriger werden

Frühe Deepfakes hatten typische Schwachstellen:

  • Unnatürliches Blinzeln oder zu seltenes Blinzeln
  • Unscharfe Haarkanten und Ohren
  • Inkonsistente Beleuchtung zwischen Gesicht und Hintergrund
  • Verzerrungen bei schnellen Kopfbewegungen

Diese Merkmale werden bei neueren Modellen zuverlässig korrigiert. Aktuelle Erkennungstools wie FakeCatcher von Intel oder der Microsoft Video Authenticator setzen daher auf physiologische Signale: Sie suchen nach Herzfrequenzmustern im Hautton, die bei synthetischen Videos fehlen, weil das Modell kein Blut pumpt. Ob diese Methoden mit der Entwicklung der Generatoren Schritt halten, ist offen.

Praktisch bedeutet das: Ein entschiedenes „Das ist ein Deepfake, ich sehe es sofort“ ist bei aktuellen High-End-Produktionen schlicht nicht mehr möglich. Die sinnvollere Frage lautet, ob der gezeigte Inhalt zu anderen verifizierbaren Quellen passt, nicht ob das Bild technisch fehlerfrei aussieht.

Deepfakes sind ein Werkzeug wie viele andere. Die zugrundeliegenden Verfahren, Autoencoder, GANs, Diffusionsmodelle und Stimmklone, haben legitime Anwendungen in Film, Barrierefreiheit und Forschung. Was zählt, ist zu verstehen, was diese Systeme tatsächlich tun, damit man sie nicht überschätzt und nicht unterschätzt.