Projekte in REVISE

© created by DALL-E

Nachrichten werden heutzutage immer häufiger über die sozialen Medien verbreitet und konsumiert. Da Beiträge vor der Veröffentlichung nicht geprüft werden, befinden sich darunter auch viele Falschinformationen. Im Projekt CRISIS werden Beiträge in den sozialen Medien nachträglich auf Desinformationen hin untersucht, wobei hierbei sowohl Informationen in Texten als auch in anderen Multimedia Daten, wie Bildern, Videos und Ton betrachtet werden. Dabei kommen verschiedene Analysemethoden des maschinellen Lernens zum Einsatz, die

1. es ermöglichen, Verbreitungswege von (Des-) Informationen nachzuvollziehen,und die in den Nachrichten vorherrschenden Themen und Trends zu ermitteln (Social Media Analytics),
2. ggf. böswillig „recycelte“ Inhalte wiedererkennen und auf ihre ursprüngliche authentische Quelle zurückverfolgen oder Sachverhalte bereits durchgeführter Faktenprüfungen zuordnen (Semantic Similarity Analysis), und
3. eine manuelle Faktenprüfung unterstützen, indem besonders prüfenswerte Medien vorselektiert werden (Check-Worthiness Analysis).

Die Ergebnisse fließen in einen Demonstrator ein, der Bedarfsträger*innen, wie Journalist*innen und Faktenprüfer*nnen, bei der Untersuchung und Identifizierung von Desinformationen unterstützen soll.

© DALL-E

Im Projekt DREAM werden Methoden zur Erkennung von Medieninhalten erforscht, die mittels  künstlicher Intelligenz erzeugt oder manipuliert wurden. Hierbei liegt ein spezieller Fokus auf der Erkennung von Manipulationen im Bild-, Video- und Audiobereich, die zum Ziel haben, die Identität einer Person nachzustellen. Sogenannte Deepfakes sind in der Lage, in Bildern oder Videos auftretende Gesichter mit Gesichtern beliebiger Personen mithilfe von “Deep Learning” automatisiert zu ersetzen. Bilder können durch Text-to-Image-Synthese Verfahren wie DALL-E, StableDiffusion oder Midjourney, erzeugt werden. Für Videos können hierzu Face Swapping oder Facial Reenactment Techniken wie “Lip-Sync Angriffe” zum Einsatz kommen. Bei Audiodaten hingegen wird die Stimme einer bestimmten Zielperson z.B. durch Voice Conversion oder Text-to-Speech Synthese nachgeahmt, so dass dieser Worte in den Mund gelegt werden können. Um multimodale Manipulationen besser zu verstehen, sollen diese Fälschungen im Rahmen des Projekts auch selbst erstellt werden.