Deepfakes & Robocalls

Millionen-Verlust durch Videocall-Betrug

Die Zeiten, als Betrugsversuche mit monotoner, roboterhafter Stimme und holprigen Bilder daherkamen, sind vorbei. Cyberkriminelle verwenden modernste künstliche Intelligenz (KI) zur Erstellung von Fakes und nutzen diese, um Desinformation zu verbreiten oder mithilfe von Robocall-Betrügereien Geld zu erbeuten.

Der Fall aus Hongkong zeigt, welche verheerenden Folgen und finanziellen Schäden KI-gestützte Deepfakes nach sich ziehen können. Berichten zufolge nahm das Opfer in einer Fake-Konferenz teil, in der weder der CRO noch die anderen Anwesenden im Call „echt“ gewesen sein sollen. Aussehen und Stimmen der Zielpersonen konnten mithilfe von Deepfake-Technologie und öffentlich zugänglichem Video- und Audiomaterial akribisch und (offenbar) sehr überzeugend nachgebildet werden.

KI-generierte Deepfakes stellen durch soziale und politische Manipulation eine enorme Bedrohung für Demokratie, Rechtstaat und Wirtschaft dar. Außerdem legen sie die Messlatte für die Betrugserkennung sowohl für Privatpersonen als auch für Unternehmen höher. Mehr Wachsamkeit und Skepsis gegenüber öffentlicher und vermeintlich privater Kommunikation sind gefragt.

Gesetzgeber schreiten ein

Eine so große und omnipräsente Bedrohung wie die durch Deepfakes ruft Gesetzgeber weltweit auf den Plan. So hat die US-amerikanische Federal Communications Commission (FCC) im Frühjahr 2024 entschieden, die Verwendung von KI-generierten Stimmen zu verbieten. Dies ist eine direkte Reaktion auf den zunehmenden Missbrauch von Sprachsynthese-Technologie und angesichts des Skandals um Präsident Biden von besonderer Bedeutung: Zu Beginn des Jahres wurden in einer Robocall-Kampagne gefälschte Audiodateien verwendet, die vorspiegelten, vom aktuellen Präsidenten zu sein.

In der EU sollen Deepfakes über den AI Act reguliert werden. Wer einen Deepfake erstellt oder verbreitet, muss zukünftig dessen künstlichen Ursprung und die verwendete Technik offenlegen. So sollen Verbraucher Manipulationen erkennen und informierte Entscheidungen treffen können. Fraglich ist jedoch, ob Transparenzverpflichtungen allein wirksam schützen können, da nicht davon auszugehen ist, dass Akteure mit böswilligen Absichten sich an die Vorschriften halten werden. Deshalb sind Unternehmen und deren Mitarbeitenden zur Eigenverantwortung und Wachsamkeit aufgerufen.

So können sich Unternehmen vor Robocalls und KI-Betrug schützen

• Bei Anrufen und Nachrichten von unbekannten Quellen gilt erhöhte Vorsicht, insbesondere, wenn die Kontaktperson vorgibt, ihr Anliegen sei sehr dringend, oder die Transaktion von Informationen bzw. hohen Geldbeträgen fordert. Anrufe von angeblichen Unternehmensvertretern oder Behörden sollten daher immer auf ihre Authentizität hin überprüft werden.
• Persönliche oder finanzielle Informationen sollten niemals über das Telefon, Videokonferenzen oder ungeprüfte Links weitergegeben werden.
• Unternehmen können verdächtige Anrufe und Telefonbetrüger bei der Polizei oder der Bundesnetzagentur melden. Diese können Anzeige erstatten, Bußgelder erheben und beteiligte Telefonnummern sperren.
• Online-Konten sollten durch sichere Passwörter und Zwei-Faktor-Authentifizierung geschützt werden. Wichtig: Nicht das gleiche Passwort für mehrere Accounts nutzen.
• Durch spezielle Tools zum Blockieren von Anrufen und der Erstellung einer „Do Not Call List“ können Robocalls und Telemarketing-Anrufe eingedämmt werden.

Darüber hinaus helfen eine konsequente Threat Detection and Response-Strategie und kontinuierliche Threat Intelligence Research wie die der Onapsis Research Labs Unternehmen dabei, sich zu schützen.

Fazit

Die aktuelle Cyber-Lage lässt sich sehr gut mit einer Analogie aus dem Straßenverkehr beschreiben: Für die eigene Sicherheit ist es wichtig, in einem verkehrstüchtigen Auto zu fahren und Verkehrsregeln zu beachten. Dennoch können Unfälle passieren – Verkehrsrowdys und unvorhergesehene Umstände können selbst die besten Pläne durchkreuzen. Entsprechend reicht es auch bei der Cyberverteidigung nicht aus, sich ausschließlich auf Technologie und Gesetze zu verlassen. Böswillige Angreifer finden immer Wege, Schutzmechanismen zu überwinden. Deshalb braucht es auch eine vorausschauende und wachsame Fahrweise aller Beteiligten, um durch die Rushhour der Cyberbedrohungen zu navigieren.

Millions lost to video call fraud

Gone are the days when fraud attempts used a monotone, robotic voice and jerky images. Cybercriminals are using cutting-edge artificial intelligence (AI) to create fakes and use them to spread disinformation or make money through robocall scams.

The Hong Kong case illustrates the devastating consequences and financial damage that AI-powered deepfakes can cause. According to reports, the victim participated in a fake conference where neither the CRO nor the other participants on the call were „real“. The targets‘ appearances and voices could be meticulously and (apparently) convincingly recreated using deepfake technology and publicly available video and audio footage.

AI-generated deepfakes pose an enormous threat to democracy, the rule of law, and the economy through social and political manipulation. They also raise the bar for fraud detection for both individuals and businesses. More vigilance and skepticism about public and supposedly private communications is required.

Legislators step in

A threat as large and pervasive as deepfakes is prompting lawmakers around the world to take action. In the spring of 2024, the US Federal Communications Commission (FCC) decided to ban the use of AI-generated voices. This is a direct response to the growing misuse of voice synthesis technology, and is particularly significant in light of the President Biden scandal: earlier this year, fake audio files purporting to be from the current president were used in a robocall campaign.

In the EU, deepfakes will be regulated by the AI Act. Anyone who creates or distributes a deepfake will have to disclose its artificial origin and the technology used. This should enable consumers to recognize manipulation and make informed decisions. However, it is questionable whether transparency obligations alone can provide effective protection, as it cannot be assumed that actors with malicious intentions will comply with the regulations. Companies and their employees must therefore take personal responsibility and be vigilant.

 How companies can protect themselves from robocalls and AI scams

– Calls and messages from unknown sources should be treated with increased caution, especially if the contact person claims that their request is very urgent or requests the transaction of information or large sums of money. Calls from purported company representatives or government agencies should always be verified.

– Personal or financial information should never be provided over the phone, video conferencing, or unverified links.

– Businesses can report suspicious calls and scammers to the police or the Federal Network Agency. They can press charges, impose fines, and block the phone numbers involved.

– Online accounts should be protected with strong passwords and two-factor authentication. Important: Do not use the same password for more than one account.

– Robocalls and telemarketing calls can be mitigated by using call blocking tools and creating a „do not call“ list.

In addition, a consistent threat detection and response strategy and ongoing threat intelligence research, such as that conducted by Onapsis Research Labs, can help protect organizations.

The bottom line

The current cyber situation can be well described with an analogy from road traffic: For your own safety, it is important to drive a safe car and follow the rules of the road. However, accidents do happen – road rage and unforeseen circumstances can thwart even the best-laid plans. Similarly, relying on technology and laws alone is not enough when it comes to cyber defense. Malicious attackers will always find ways around defenses. That’s why it takes a proactive and vigilant approach by all stakeholders to navigate the rush hour of cyber threats.