In der heutigen Sicherheitsforschung stellen sich zahlreiche drängende Fragen, die mit den etablierten Methoden der IT-Sicherheit nicht beantwortet werden können, aber dennoch im gleichen Kontext betrachtet werden sollten. Ein bekanntes Beispiel ist der Umgang mit Desinformation. Das Phänomen selbst ist keine Frage der IT-Sicherheit, sondern eher eine politische, soziologische oder journalistische.

Allerdings hat die Informations­technologie hier als Beschleuniger gewirkt, indem sie die Erstellung durch große Sprachmodelle oder Deepfakes vereinfacht, die Verbreitung durch soziale Netzwerke und Messenger beschleunigt und die Wirkung durch Botnetze verstärkt. Damit ist der Umgang mit Desinformation auf technischer Ebene auch zu einer Frage der IT-Sicherheit im weiteren Sinne geworden.  

Die Erkennung von Texten, die Falschinformationen oder Desinformationen enthalten, durch Methoden des Natural Language Processing (NLP) und des maschinellen Lernens, aber auch durch herkömmliche Methoden der Computerlinguistik, ist eine gängige Strategie für die automatisierte Verarbeitung großer Textmengen. Mit diesen Werkzeugen können Nachrichten effizient vorselektiert oder gefiltert werden und anschließend bei Bedarf von menschlichen Expert*innen einer näheren Überprüfung unterzogen werden.

In ähnlicher Weise werden auch Bilderkennungswerkzeuge eingesetzt, um die bei Desinformationen häufig angewandte Strategie zu erkennen, dass Bilder aus dem Kontext gerissen und als Beweis für eine Falschmeldung verwendet werden. Ein weiteres gängiges Beispiel ist die Erkennung von Deepfakes. Deepfakes und andere Arten der KI-gestützten Medienmanipulation erlauben es Menschen, Äußerungen zu tätigen oder Handlungen durchzuführen, die sie nie getan haben. 

Darüber hinaus ist auch die Erkennung von Infrastrukturen, insbesondere im Zusammenhang mit Messenger-Diensten, die Desinformationen verbreiten und verstärken, d. h. Botnetze und Kombinationen verschiedener Social-Media-Kanäle, ein technischer Aspekt der Desinformationserkennung.

Desinformation ist nur ein Beispiel von vielen, bei denen technische Ansätze zur Erkennung oder Filterung von Inhalten eingesetzt werden. Ähnliche Methoden werden auch bei der technischen Umsetzung der politisch umstrittenen Upload-Filter eingesetzt.

Upload-Filter haben zum Ziel, die Verbreitung von fragwürdigen Inhalten bereits bei dem Hochladen auf entsprechenden Plattformen, wie soziale Netzwerke, zu unterbinden. Eine mögliche Herangehensweise stellt dabei die effiziente Wiedererkennung von Inhalten dar, die zuvor in einer Datenbank gespeichert wurden. Handelt es sich bei den Inhalten um Bilder und Videos, können dafür Bilderkennungstools eingesetzt werden. Ein weiteres Beispiel ist die Verhinderung von Cybermobbing, bei dem es darum geht, unerlaubt erstellte oder verbreitete Nacktbilder von Personen (insbesondere von Minderjährigen) zu erkennen und zu blockieren.

Herausforderungen beim Missbrauch von Daten und deren unrechtmäßiger Verbreitung, sei es Text, Audio, Bild oder Video, treten in vielen Szenarien auf und werden immer wieder mit ähnlichen oder gleichen Methoden angegangen. In REVISE werden verschiedene Werkzeuge aus dem Bereich der IT-Sicherheit und des maschinellen Lernens eingesetzt, um diesen Herausforderungen zu begegnen. Mögliche Forschungsziele sind: