Tarnen und Täuschen – Camouflage and deception

Es sind beeindruckende Zahlen, die das Auswärtige Amt über Medien wie den Spiegel am Freitag verbreitet hat: 50.000 gefälschte Nutzerkonten, unzählige gefälschte Webseiten und mehr als eine Million Tweets mit falschen Informationen. Gesammelt und analysiert auf der Social Media Plattform X (ehemals Twitter). Die Gefahr der Desinformation und ihrer Verbreitung über soziale Medien ist nicht neu, es wird durch die mangelnde Prüfung der Tech Konzerne sogar immer einfacher die Kanäle auszunutzen, um im großen Stil Kampagnen zu fahren und die Öffentlichkeit zu beeinflussen.

Sergey Shykevich, Threat Intelligence Group Manager der Research-Abteilung von Checkpoint kommentiert die aktuelle Entdeckung wie folgt: „Bösartige Akteure sind bekannt dafür, dass sie in den sozialen Medien Troll-Farmen zu Desinformations- und Propagandazwecken betreiben. Auch die Erstellung von Fake-News-Websites und die Generierung von Traffic durch gefälschte Social-Media-Konten ist ein sehr bekannter Modus Operandi dieser Akteure. Erst vor einigen Monaten wurde berichtet, dass gefälschte Websites für den Spiegel oder Fox News erstellt wurden, um Desinformationen in der Ukraine zu verbreiten. Letztes Jahr wurde derselbe Vorgang auch in Frankreich beobachtet.“

Die Möglichkeiten der generativen KI lassen erfahrene Programmierer in Windeseile Lookalike Domains im großen Stil zu erstellen und dank Chat-basierter Artikel zu füttern. Diese Webseiten sind darauf ausgelegt, Buchstaben und Zeichen auszunutzen, die leicht verwechselt werden können. Beispielsweise sehen die Domänen „company.com“ und „cornpany.com“ so ähnlich aus, dass sie jemanden täuschen könnten, der nicht aufpasst. Auch das Nutzen kyrillischer Schriftzeichen wie der Null am Platz eines „O“ im arabischen Alphabet ermöglicht es täuschende Domains zu erstellen und diese dann zur Verwendung von Business E-Mail Compromise-Angriffen und dergleichen einzusetzen.  Bösartige Akteure machen sich die Algorithmen zu Nutze, um ihre Inhalte zu multiplizieren. Möglichkeiten die Roboter dank echter menschlicher Interaktion auszutricksen haben in der Vergangenheit immer wieder Klickfarmen aufgezeigt.

Gegen Desinformation, vor allem wenn sie von vermeintlich legitimen Webseiten zu stammen scheint, ist schwer zu agieren. Vor allem aus technischer Sicht ist das Auffinden und Abschalten der Plattformen und Webseiten ein langwieriges und kompliziertes Unterfangen. Zu einfach scheint die Hürde für die Ersteller die Webseiten zu erzeugen und mit Inhalten zu füllen.

Einen Weg zumindest gegen Lookalike Domains vorzugehen und das sogenannte Brand-Spoofing zu verhindern, zeigt dieser Blog von Check Point. Speziell trainierte Software verwendet eine URL-Zeichenfolge oder den Inhalt einer Webseite als Eingabe. Sie extrahiert Merkmale und vergleicht sie beispielsweise mit der Domain, Favicon, Copyright, Titel, Textähnlichkeit und mehr, um die Fälschung zu identifizieren. Neu registrierte Domains werden dann auf Brand-Spoofing-Versuche untersucht, automatisiert erkannt und blockiert. Dies verhindert den Start der Desinformations-Kampagne bevor die Verbreitung über soziale Medien überhaupt beginnt. Dies ist dann ein positives Beispiel wie der Einsatz von KI zum Nutzen der Gesellschaft eingesetzt wird. Allerdings scheinen sich im aktuellen Spannungsfeld rund um generative KI deutlich mehr Negativbeispiele abzubilden.

The figures published by the German Foreign Ministry in media such as Der Spiegel on Friday are impressive: 50,000 fake user accounts, countless fake websites and more than a million tweets containing false information. Collected and analyzed on the social media platform X (formerly Twitter). The danger of disinformation and its spread via social media is nothing new; in fact, the lack of control by tech companies makes it increasingly easy to use these channels to launch large-scale campaigns and influence the public.

Sergey Shykevich, Threat Intelligence Group Manager in Checkpoint’s Research Division, commented on the latest discovery: „Malicious actors have been known to run troll farms on social media for disinformation and propaganda purposes. Creating fake news sites and generating traffic through fake social media accounts is also a well-known modus operandi of these actors. Just a few months ago, it was reported that fake websites for Der Spiegel and Fox News were created to spread disinformation in Ukraine. Last year, the same process was observed in France“.

The power of generative AI allows skilled programmers to quickly create large numbers of lookalike domains and feed them with chat-based articles. These sites are designed to take advantage of letters and characters that are easily confused. For example, the domains „company.com“ and „cornpany.com“ look so similar that they could fool someone who wasn’t paying attention. The use of Cyrillic characters, such as the zero in place of an „O“ in the Arabic alphabet, also makes it possible to create deceptive domains and then use them for business email compromise attacks and the like.  Malicious actors are taking advantage of algorithms to multiply their content. In the past, click farms have repeatedly demonstrated ways to outsmart robots through real human interaction.

It is difficult to combat disinformation, especially when it appears to come from supposedly legitimate websites. From a technical standpoint, finding and shutting down platforms and websites is a long and complicated process. The hurdle for the creators to create the sites and fill them with content seems too easy.

This blog shows a way to at least take action against lookalike domains and prevent brand spoofing. Specially trained software takes a URL string or the content of a website as input. It extracts features and compares them to the domain, favicon, copyright, title, text similarity and more to identify the counterfeit. Newly registered domains are then scanned for brand spoofing attempts, automatically detected and blocked. This stops the disinformation campaign before it even begins to spread on social media. This is a positive example of how AI can be used to benefit society. However, there seem to be far more negative examples in the current field of generative AI.