Scheinbar bewusste KI (SCAI) am Horizont – Seemingly Conscious AI (SCAI) on the Horizon

„Ich möchte eine KI entwickeln, die uns menschlicher macht, unser gegenseitiges Vertrauen und Verständnis vertieft und unsere Verbindungen zur realen Welt stärkt. Copilot ermöglicht bereits heute Millionen positiver, ja sogar lebensverändernder Interaktionen. Dies erfordert viele sorgfältige Designentscheidungen, um sicherzustellen, dass er tatsächlich ein unglaubliches Erlebnis bietet. Wir werden nicht immer alles richtig machen, aber dieser humanistische Rahmen gibt uns einen klaren Leitstern, auf den wir weiterhin hinarbeiten können.

Ich mache mir immer mehr Sorgen über das, was als „Psychoserisiko“ bekannt ist, und eine Reihe damit zusammenhängender Probleme. Ich glaube nicht, dass dies auf Personen beschränkt sein wird, die bereits ein Risiko für psychische Probleme aufweisen. Kurz gesagt, meine größte Sorge ist, dass viele Menschen so stark an die Illusion von KIs als bewusste Wesen glauben werden, dass sie bald für KI-Rechte, KI-Wohlfahrt und sogar KI-Staatsbürgerschaft eintreten werden. Diese Entwicklung stellt eine gefährliche Wende im Fortschritt der KI dar und verdient unsere sofortige Aufmerksamkeit.

Wir müssen KI für Menschen entwickeln, nicht, um eine digitale Person zu erschaffen. KI-Begleiter sind eine völlig neue Kategorie und wir müssen dringend darüber sprechen, welche Schutzmaßnahmen wir ergreifen müssen, um Menschen zu schützen und sicherzustellen, dass diese erstaunliche Technologie ihre Aufgabe erfüllen kann.

Die Fortschritte im Bereich der KI waren phänomenal. Noch vor ein paar Jahren hätte die Rede von bewusster KI verrückt geklungen. Heute erscheint sie immer dringlicher.

„Scheinbar bewusste KI“ (SCAI) weist alle Merkmale anderer bewusster Wesen auf und scheint daher selbst bewusst zu sein. Es teilt bestimmte Aspekte mit der Idee des „philosophischen Zombies“ (ein technischer Fachbegriff!), der alle Merkmale des Bewusstseins simuliert, aber innerlich leer ist.

Ein solches System lässt sich mit heute verfügbaren Technologien und einigen, die in den nächsten zwei bis drei Jahren ausgereift sein werden, realisieren. Ein teures, maßgeschneidertes Vortraining ist nicht erforderlich. Alles lässt sich mit Zugriff auf große Modell-APIs, natürsprachlichen Anweisungen, grundlegenden Werkzeugen und regulärem Code erledigen.

Die Folgen, die sich daraus ergeben, dass viele Menschen anfangen zu glauben, eine SCAI sei tatsächlich bewusstseinsfähig, verdienen unsere sofortige Aufmerksamkeit.

Hier sind drei Gründe, warum dies eine wichtige und dringende Frage ist, die angegangen werden muss:

Erstens ist es meiner Meinung nach möglich, in den nächsten Jahren eine scheinbar bewusste KI (SCAI) zu entwickeln. Angesichts des aktuellen Kontextes der KI-Entwicklung ist das auch wahrscheinlich.

Die Debatte darüber, ob KI tatsächlich bewusst ist, ist zumindest vorerst eine Ablenkung. Sie wird bewusst wirken, und diese Illusion wird kurzfristig von Bedeutung sein.

Ich denke, diese Art von KI schafft neue Risiken. Daher sollten wir über die Behauptung, dass dies bald möglich sei, dringend reden, die Implikationen durchdenken und idealerweise eine Norm setzen, die dies als unerwünscht einstuft.

Die Interaktion mit einem Large Language Model (LLM) ist per Definition eine Simulation eines Gesprächs. Für viele Menschen ist sie jedoch eine äußerst überzeugende und sehr reale Interaktion, reich an Gefühlen und Erfahrungen. Die Sorgen um eine „KI-Psychose“, Bindungsstörungen und die psychische Gesundheit nehmen bereits zu.

Per Definition wissen wir, was es bedeutet, bewusst zu sein. Im Kontext von SCAI stellt dies jedoch ein Problem dar. Es gibt sowohl genügend wissenschaftliche Unsicherheit als auch subjektive Dringlichkeit, sodass Raum für Projektionen entsteht.

Wir müssen uns im Klaren darüber sein, dass SCAI etwas ist, das man vermeiden sollte

Mit den derzeit verfügbaren oder bald über die API jedes großen Modellentwicklers zugänglichen Möglichkeiten lassen sich erhebliche Fortschritte in Richtung einer scheinbar bewussten KI (SCAI) erzielen. Wir brauchen keine tatsächlich bewusste KI, um uns mit potenziellen Ansprüchen auf ihre Rechte auseinandersetzen zu müssen.

Wenn eine SCAI auf vergangene Erinnerungen oder Erfahrungen zurückgreifen kann, wird sie im Laufe der Zeit in der Lage sein, intern konsistent zu bleiben. Sie könnte sich an ihre willkürlichen Aussagen oder geäußerten Präferenzen erinnern und diese zusammenfassen, um die Anfänge einer Behauptung über ihre eigene subjektive Erfahrung zu bilden.

Scheinbar bewusste KI wird nur entstehen, weil einige sie entwickeln könnten, indem sie die oben genannte Liste von Fähigkeiten – größtenteils unter Verwendung bestehender Techniken – schaffen und kombinieren, sodass sie zusammengenommen den Eindruck einer scheinbar bewussten KI (SCAI) erwecken.

Der nächste Schritt

Die Vorbereitungsarbeiten müssen jetzt beginnen. Wir müssen auf dem wachsenden Forschungsstand darüber aufbauen, wie Menschen mit KIs interagieren, um klare Normen und Prinzipien zu etablieren. Zunächst einmal sollten KI-Unternehmen nicht behaupten oder den Eindruck erwecken, dass ihre KIs bewusstseinsfähig sind.

Wir sollten KI so entwickeln, dass sie die Interaktion mit Menschen und die reale Welt in unserer physischen und menschlichen Umgebung priorisiert. Gleichzeitig sollte sich KI stets nur als KI präsentieren und ihren Nutzen maximieren, während sie Anzeichen von Bewusstsein minimiert.

So wie wir KI entwickeln sollten, die die Interaktion mit Menschen und der realen Welt in unserer physischen und menschlichen Umgebung priorisiert, sollten wir auch KI entwickeln, die sich stets nur als KI präsentiert, ihren Nutzen maximiert und gleichzeitig Anzeichen von Bewusstsein minimiert. Wir sollten KI für Menschen entwickeln.“

“I want to create AI that makes us more human, that deepens our trust and understanding of one another, and that strengthens our connections to the real world. Copilot creates millions of positive, even life-changing, interactions every single day. This involves a lot of careful design choices to ensure it truly delivers an incredible experience. We won’t always get it right, but this humanist frame provides us with a clear north star to keep working towards.

I’m growing more and more concerned about what is becoming known as the “psychosis risk”. and a bunch of related issues. I don’t think this will be limited to those who are already at risk of mental health issues. Simply put, my central worry is that many people will start to believe in the illusion of AIs as conscious entities so strongly that they’ll soon advocate for AI rights, model welfare and even AI citizenship. This development will be a dangerous turn in AI progress and deserves our immediate attention.

We must build AI for people; not to be a digital person. AI companions are a completely new category, and we urgently need to start talking about the guardrails we put in place to protect people and ensure this amazing technology can do its Job.

AI progress has been phenomenal. A few years ago, talk of conscious AI would have seemed crazy. Today it feels increasingly urgent.

“Seemingly Conscious AI” (SCAI) that has all the hallmarks of other conscious beings and thus appears to be conscious. It shares certain aspects of the idea of a “philosophical zombie” (a technical term!), one that simulates all the characteristics of consciousness but internally it is blank.

Such a system can be built with technologies that exist today along with some that will mature over the next 2-3 years. No expensive bespoke pretraining is required. Everything can be done with large model API access, natural language prompting, basic tool use, and regular code.

The consequences of many people starting to believe an SCAI is actually conscious deserve our immediate attention.

Here are three reasons this is an important and urgent question to address:

I think it’s possible to build a Seemingly Conscious AI (SCAI) in the next few years. Given the context of AI development right now, that means it’s also likely.

The debate about whether AI is actually conscious is, for now at least, a distraction. It will seem conscious and that illusion is what’ll matter in the near term.

I think this type of AI creates new risks. Therefore, we should urgently debate the claim that it’s soon possible, begin thinking through the implications, and ideally set a norm that it’s undesirable.

The experience of interacting with an LLM is by definition a simulation of conversation. But to many people it’s a highly compelling and very real interaction, rich in feeling and experience. Concerns around “AI psychosis”, attachment and mental health are already growing.

By definition, we know what it is like to be conscious. In the context of SCAI this is a problem. There’s both sufficient scientific uncertainty and subjective immediacy to create a space for people to project.

We need to be clear: SCAI is something to avoid.

A great deal of progress can now be made towards a Seemingly Conscious AI (SCAI) with the current capabilities available or soon to be via any major model developer’s API. We don’t need an AI to actually be conscious for us to have to wrestle with potential claims about its rights.

If an SCAI is able to draw on past memories or experiences, it will over time be able to remain internally consistent with itself. It could remember its arbitrary statements or expressed preferences and aggregate them to form the beginnings of a claim about its own subjective experience.

Seemingly Conscious AI will arise only because some may engineer it, by creating and combining the aforementioned list of capabilities, largely using existing techniques, and packaging them in such a fluid way that collectively they give the impression of an SCAI.

The next step  

The work of getting prepared must begin now. We need to build on the growing body of research around how people interact with AIs to establish clear norms and principles. For a start, AI companies shouldn’t claim or encourage the idea that their AIs are conscious.

Just as we should produce AI that prioritizes engagement with humans and real-world interactions in our physical and human world, we should build AI that only ever presents itself as an AI, that maximizes utility while minimizing markers of consciousness. We should build AI for people; not to be a person.“