ChatGPT schlägt hohe Wellen. Hacker können mit dieser KI noch effektivere Scams und Malware gestalten (English version below).
Autor: Richard Werner, Business Consultant bei Trend Micro
Die Software ChatGPT von Open AI schlägt hohe Wellen und wird von manchen mit dem Erscheinen der Suchmaschine Google verglichen. Der Chatbot beantwortet mit Hilfe von KI sehr eloquent unterschiedlichste Fragen, schreibt Vorträge, Gedichte und vieles mehr. Daher sollte es niemand überraschen, dass Kriminelle – wie immer bei neuen Technologien — bereits darüber nachdenken, wie sie diese Fähigkeiten für ihre Zwecke nutzen können. Nun, wie gefährlich ist das für die IT-Security, und wie gut sind wir darauf vorbereitet?
Eine gemeinsame Studie von Europol, Unicri und Trend Micro hat dies untersucht. Für die Open AI-Software kämen diesen Ergebnissen zufolge noch besser erzeugte Social Engineering-Mittel wie Phishing oder BEC infrage. Aktuell haben auch weitere Sicherheitsforscher mit der derzeit gehypten KI erzeugte Betrüger-Mails untersucht, und bedrohliche Ergebnisse erhalten. Auch scheinen die Kriminellen bereits in Untergrundforen über Wege zu diskutieren, ChatGPT ins Dark Web zu bringen.
Die Rolle von ChatGPT
Klar ist, ChatGPT hat nicht die Rolle der legendären „Büchse der Pandora“ inne, die nun geöffnet wurde, sondern stellt lediglich die erste Stufe einer vorhersehbaren Entwicklung dar, die früher oder später dazu führen wird, dass KI in der Cyberkriminalität verwendet wird. Für die Macher von Open AI mag die Veröffentlichung der vorläufige Höhepunkt einer langen Entwicklung sein, für die IT aber beginnt damit die Reise erst. ChatGPT zeigt neue Möglichkeiten und wird verschiedene Andere zu Ähnlichem inspirieren. Die dahinterstehende Technologie wird für eine breite Öffentlichkeit verfügbar sein und als Baustein größerer Lösungen kostengünstig und sinnvoll eingesetzt werden. Eine für die IT übliche und auch positive Entwicklung. Die Rückseite der Medaille ist, dass auch Kriminelle darauf zugreifen werden und die Technik effizient nutzen können.
Phishing/Angriffsmails
Phishing-Mails gehören zum Standardprogramm der meisten Angriffsvarianten, um einen ersten Ansatzpunkt für weitere kriminelle Aktivitäten zu schaffen. Und das ist oft gar nicht so einfach. Deshalb gibt es auch einen eigenen Dienstleistungssektor im digitalen Untergrund, der so genanntes „Access-as-a-Service“ mit guter Qualität bietet — eine Frage des Preises, mehr nicht. Das Problem der Kriminellen ist, dass sowohl Technik als auch menschliche Intuition in der Lage ist, Attacken abzufangen, weshalb sie entweder in Masse (milliardenfach) gestartet werden oder, unter hohem Aufwand, mit menschlicher Interaktion.
KI zur Steigerung der Effektivität klingt für diese Tätergruppe sehr verlockend. Der aktuelle Stand der Technik mit ChatGPT kann dabei unterstützen, Mails glaubwürdiger zu formulieren. Es entfallen die häufig in Sicherheitsschulungen genannten Ausdrucks- und Rechtschreibfehler, und neue Inhalte können schneller generiert werden, so dass die Mails „attraktiver“ erscheinen.
Aber „bessere“ Phishing-Mails sind nicht die Sorgen, die Sicherheitsforscher beschäftigen, wenn sie über den Einsatz von KI im Rahmen von Access-as-a-Service nachdenken. Vielmehr befürchtet man, dass es gelingen könnte, eine KI so zu erstellen, dass sie in der Lage ist, eine interessante Kommunikation mit einem Opfer zu führen und damit den aktuell enormen Aufwand bei gezielten Angriffen zu reduzieren. Gelingt dies, sind künftige Phishing-Mails nicht mehr von echter Geschäftskommunikation zu unterscheiden. Die Opfer werden dann mit persönlichen Angriffen konfrontiert, in welche z.B. über soziale Medien verfügbares Wissen integriert ist. Die Angriffsvariante Emotet hat bereits vorgeführt, welche Effekte dies haben kann, indem sie ihre Angriffsmail als Antwort auf eine zuvor vom Opfer tatsächlich versendete Mail schrieb, zum Glück noch ohne KI-Unterstützung – mit generisch erzeugten Inhalten. Dynamite Phishing, wie diese Methode bezeichnet wird, erwies sich bereits jetzt als äußerst effektiv.
Scams
Die Fortschritte der KI in den letzten Jahren sind vor allem bezüglich Sprache und zwischenmenschliche Kommunikation zu beobachten. Das Besondere an ChatGPT ist auch, dass die Software nicht nur Bestehendes verwendet, sondern für Menschen interessante, neue Inhalte generiert. Damit liegt die Vermutung nahe, dass sie in diesem Bereich von Cyberkriminellen eingesetzt wird. Zwischenmenschliche Kommunikation gibt es bei allen Scam-Varianten. Im Unternehmensbereich ist dies z.B. die Methode Business E-Mail Compromise (BEC), bei der einem Mitarbeiter vorgegaukelt wird, er kommuniziere mit seinem Chef oder einem wichtigen Kunden. Und auch im privaten Bereich gibt es verschiedenste Varianten, wie diverse Romance Scams oder den berüchtigten „Prinzen aus Nigeria“. Kurz, das Opfer wird in einer direkten, häufig längeren Kommunikation überzeugt, am Ende unbedacht Geld an den Täter zu überweisen. Mit den aktuellen Möglichkeiten von ChatGPT dürften Mails kulturell optimiert werden, etwa mit Poesie.
Allerdings ist es auch hier eher die weitere Ausbaustufe, die Sorge bereitet. Das Erste, was fallen dürfte, sind Sprachbarrieren. Schon heute ist die KI auch in Deutsch erhältlich. Bisherige Übersetzungsmöglichkeiten können Wörter oder Sätze eindeutschen, aber nur schlecht den kulturellen Hintergrund einer Person übertünchen. Eine KI kann dies übernehmen. Schon heute gibt es verwandte Techniken im Bereich Deep Fakes, die es erlauben, die Gesichter von Menschen in Echtzeit auszutauschen und damit eine Identifikation über Video zu erschweren.
Darüber hinaus gibt es viele erprobte Betrugsschemata. Eine KI kann deshalb leicht mit erfolgreichen Fällen trainiert werden und daraus lernen, wie man Menschen am besten überzeugt. Täter können damit nicht nur ihre Effizienz steigern, sondern auch die Anzahl an Opfer, die sie parallel angreifen. Aber eine auf Betrug spezialisierte KI kann noch zu ganz anderen Einsatzszenarien führen, die wir heute noch gar nicht abschätzen können.
Malware-Erstellung
Die ChatGPT kann auch Software/Code entwickeln und debuggen. Daher gibt es die theoretische Möglichkeit, auch Malware zu erzeugen. In Proof-of-Concept-Versuchen wurde dies bereits nachgewiesen. Zwar passen die Entwickler von Open AI ihre Policies regelmäßig an, um das zu verhindern, dennoch gibt es immer wieder Beispiele, wie es dennoch funktioniert.
Noch gibt es Hürden: Der erstellte Code funktioniert zwar, fordert aber eine genaue Beschreibung durch den Anfrager. Auch wird darüber diskutiert, dass durch die KI erzeugter Code derzeit gerade bei der Softwareentwicklung noch nicht überzeugt. ChatGPT dürfte entschlossenen Cyberkriminellen deshalb heute tatsächlich noch relativ wenig nutzen. Allerdings ist auch hier die Ausbaustufe absehbar. Es ist klar, dass über kurz oder lang Angriffssoftware durch KI geschrieben wird. Damit wird beispielsweise der Zeitraum zwischen Entdeckung einer Schwachstelle, Patch derselben und Cyberangriff darauf, auf wenige Minuten reduziert — und das sogar für technisch eher unbegabte Kriminelle. All das sind aber bekannte Herausforderungen, für die es im Bereich der Security Lösungen gibt. Schon jetzt ist die Branche mit täglich mehr als 300.000 neuen bösartigen Dateien pro Tag konfrontiert. Wir sprechen von Zero Days und wenigen Stunden Zeit, und längst hat auch bei uns die KI die Arbeit übernommen, vor allem Unbekanntes an der Art des Vorgehens zu identifizieren.
Fazit
ChatGPT hat diese Entwicklung nicht angestoßen, sondern lediglich der Öffentlichkeit demonstriert, was in wissenschaftlichen Kreisen schon längst diskutiert wird. Man kann davon ausgehen, dass der Einsatz von KI vor allem bei der Erstinfektion eine Rolle spielen wird. Hier konkurriert Access-as-a-Service um Kunden, und die KI kann enorme Aufwände minimieren oder den Erfolg von Massenangriffen verbessern. Noch mehr als früher müssen in der Konsequenz Unternehmen davon ausgehen, dass es Angreifer schaffen werden, ihre primären Verteidigungsmechanismen auszuhebeln.
ChatGPT and the future of IT security
ChatGPT is making waves. Hackers can use this AI to design even more effective scams and malware.
Author: Richard Werner, Business Consultant at Trend Micro
Open AI’s ChatGPT software is making high waves, with some comparing it to the appearance of the Google search engine. The chatbot uses AI to very eloquently answer a wide variety of questions, write lectures, poems and more. Therefore, it should surprise no one that criminals — as always with new technologies — are already thinking about how to use these capabilities for their own purposes. Now, how dangerous is this for IT security, and how prepared are we for it?
A joint study by Europol, Unicri and Trend Micro looked into this. According to these results, even better-generated social engineering means such as phishing or BEC could be used for the Open AI software. Currently, other security researchers have also examined fraudster emails generated with the currently hyped AI, and obtained threatening results. It also appears that criminals are already discussing ways to bring ChatGPT to the dark web in underground forums.
The role of ChatGPT
What is clear is ChatGPT does not hold the role of the legendary „Pandora’s Box“ that has now been opened, but is merely the first stage of a predictable evolution that will sooner or later lead to AI being used in cybercrime. For the creators of Open AI, the release may be the preliminary culmination of a long development, but for IT, the journey is just beginning. ChatGPT shows new possibilities and will inspire several others to do something similar. The technology behind it will be available to a wide audience and used as a building block of larger solutions in a cost-effective and meaningful way. A common and also positive development for IT. The reverse side of the coin is that criminals will also be able to access it and use the technology efficiently.
Phishing/attack e-mails
Phishing emails are part of the standard program of most attack variants to create an initial starting point for further criminal activities. And that is often not so easy. That’s why there is also a separate service sector in the digital underground that offers so-called „access-as-a-service“ with good quality — a question of price, nothing more. The criminals‘ problem is that both technology and human intuition are capable of intercepting attacks, which is why they are either launched en masse (billions of times) or, at great expense, with human interaction.
AI to increase effectiveness sounds very tempting to this group of perpetrators. The current state of the art with ChatGPT can assist in making mails more credible. It eliminates the expression and spelling errors often mentioned in security training, and new content can be generated more quickly, making the mails appear more „attractive.“
But „better“ phishing emails are not the concerns that preoccupy security researchers as they contemplate the use of AI in Access-as-a-Service. Rather, the fear is that it might be possible to create an AI in such a way that it is able to communicate with a victim in an interesting way, thereby reducing the current enormous effort required in targeted attacks. If this succeeds, future phishing emails will be indistinguishable from genuine business communications. Victims will then be confronted with personal attacks in which, for example, knowledge available via social media is integrated. The attack variant Emotet has already demonstrated what effects this can have by writing its attack mail as a response to a mail actually sent by the victim before, fortunately still without AI support – with generically generated content. Dynamite Phishing, as this method is called, already proved to be extremely effective.
Scams
The progress of AI in the last few years can be observed mainly in terms of language and interpersonal communication. What is also special about ChatGPT is that the software not only uses existing content, but also generates new content that is interesting for humans. This leads to the assumption that it is used by cybercriminals in this area. Interpersonal communication exists in all scam variants. In the corporate sector, for example, this is the Business E-Mail Compromise (BEC) method, in which an employee is made to believe that he is communicating with his boss or an important customer. And in the private sphere, too, there are many different variants, such as various romance scams or the notorious „Prince from Nigeria“. In short, the victim is convinced in a direct, often lengthy communication to end up transferring money to the perpetrator without thinking. With the current possibilities of ChatGPT, mails are likely to be culturally optimized, for example with poetry.
However, again, it is the further expansion stage that is more of a concern. The first thing that should fall is language barriers. Already today, the AI is also available in German. Previous translation options can unambiguously translate words or sentences, but do a poor job of whitewashing a person’s cultural background. AI can take care of this. Already today, there are related techniques in the field of deep fakes that allow people’s faces to be exchanged in real time, making identification via video more difficult.
In addition, there are many proven fraud schemes. AI can therefore be easily trained with successful cases and learn from them how best to convince people. Perpetrators can thus not only increase their efficiency, but also the number of victims they attack in parallel. But AI specialized in fraud can lead to completely different deployment scenarios that we cannot even predict today.
Malware creation
ChatGPT can also develop and debug software/code. Therefore, there is the theoretical possibility to create malware as well. This has already been demonstrated in proof-of-concept tests. While the developers of Open AI regularly adjust their policies to prevent this, there are still examples of how it still works.
There are still hurdles: The code created works, but requires a precise description by the requester. There is also discussion about the fact that code generated by AI is currently not yet convincing, especially in software development. ChatGPT is therefore likely to be of relatively little use to determined cybercriminals today. However, the expansion stage is also foreseeable here. It is clear that sooner or later attack software will be written by AI. This will reduce the time between discovery of a vulnerability, patching of the same, and cyberattack on it, to a few minutes — and even for technically rather untalented criminals. However, these are all well-known challenges for which there are solutions in the field of security. Already, the industry faces more than 300,000 new malicious files per day. We are talking about zero days and a few hours of time, and for a long time now AI has been doing the work for us as well, especially identifying unknowns in the way of action.
Conclusion
ChatGPT did not initiate this development, but merely demonstrated to the public what has long been discussed in scientific circles. It is reasonable to assume that the use of AI will play a role primarily in initial infection. Here, Access-as-a-Service competes for customers, and AI can minimize enormous efforts or improve the success of mass attacks. Even more than in the past, companies must consequently assume that attackers will succeed in leveraging their primary defense mechanisms.
Dr. Jakob Jung ist Chefredakteur Security Storage und Channel Germany. Er ist seit mehr als 20 Jahren im IT-Journalismus tätig. Zu seinen beruflichen Stationen gehören Computer Reseller News, Heise Resale, Informationweek, Techtarget (Storage und Datacenter) sowie ChannelBiz. Darüber hinaus ist er für zahlreiche IT-Publikationen freiberuflich tätig, darunter Computerwoche, Channelpartner, IT-Business, Storage-Insider und ZDnet. Seine Themenschwerpunkte sind Channel, Storage, Security, Datacenter, ERP und CRM.
Dr. Jakob Jung is Editor-in-Chief of Security Storage and Channel Germany. He has been working in IT journalism for more than 20 years. His career includes Computer Reseller News, Heise Resale, Informationweek, Techtarget (storage and data center) and ChannelBiz. He also freelances for numerous IT publications, including Computerwoche, Channelpartner, IT-Business, Storage-Insider and ZDnet. His main topics are channel, storage, security, data center, ERP and CRM.
Kontakt – Contact via Mail: jakob.jung@security-storage-und-channel-germany.de