Cloudflare AI Audit

Die Implementierung beginnt mit einer detaillierten Analyse der KI-Dienste, die die Website durchsuchen, und der spezifischen Inhalte, auf die sie zugreifen. Kunden können die Aktivität nach KI-Anbieter und Bot-Typ überprüfen und sehen, welche Bereiche ihrer Website am beliebtesten sind. Diese Daten sind für jede Website auf Cloudflare verfügbar und müssen nicht konfiguriert werden.

Website-Betreiber und Content-Ersteller können sich so erstmals schnell und einfach ein Bild davon machen, wie Anbieter von KI-Modellen ihre Inhalte nutzen. Auf dieser Grundlage können sie selbst entscheiden, ob und wie sie solchen Modellen Zugang gewähren. Darüber hinaus entwickelt Cloudflare eine neue Funktion, mit der Content Creators verlässlich einen fairen Preis für Inhalte festlegen können, die von KI-Unternehmen zum Training ihrer Modelle und für Retrieval Augmented Generation (RAG) verwendet werden.

Ob Non-Profit-Organisation, Medienunternehmen oder Privatperson – viele Website-Betreiber dürften überrascht sein, dass KI-Bots aller Art ihre Inhalte täglich tausendfach durchsuchen, ohne dass die Urheberinnen und Urheber davon wissen oder dafür entschädigt werden. Das verursacht großen wie kleinen Akteuren erheblichen Schaden. Doch selbst wenn sich die Website-Betreiber dieser Tatsache bewusst sind:

Eine technisch adäquate Möglichkeit zu entscheiden, welche Art von Crawling durch Bots sie zulassen wollen, gibt es für sie bislang ebenso wenig wie eine einfache Möglichkeit, Gegenmaßnahmen zu ergreifen.  Damit wir als Gesellschaft auch weiterhin von der inhaltlichen Breite und Vielfalt des Internets profitieren können, braucht es Werkzeuge, mit denen die Urheber von Inhalten die Kontrolle zurückgewinnen.

„KI wird Online-Inhalte grundlegend verändern. Wir müssen alle gemeinsam entscheiden, wie die Zukunft aussehen soll“, sagt Matthew Prince, Mitbegründer und CEO von Cloudflare. „Content Creators und Website-Betreiber haben das Recht, das Eigentum an ihren Inhalten zu beanspruchen und frei darüber zu verfügen. Andernfalls leidet entweder die Qualität des Online-Angebots oder hochwertige Inhalte sind nur noch gegen Bezahlung erhältlich. Wir glauben, dass wir aufgrund unserer Größe und unserer globalen Infrastruktur in der Lage sind, Websites, Publishern und Content Creators die Werkzeuge und Standards zur Verfügung zu stellen, die es ihnen ermöglichen, die Kontrolle über ihren Beitrag zum Internet zurückzugewinnen und eine faire Vergütung auszuhandeln, ohne dabei die Innovationskraft der Anbieter von KI-Modellen einzuschränken“.

Cloudflare will mit AI Audit den Inhaltsschaffenden Informations- und Mitsprachemöglichkeiten geben. Damit am Ende alle profitieren, soll ein transparenter Austausch zwischen

Websites, die mehr Kontrolle über ihre Inhalte wünschen, und Anbietern von KI-Modellen, die neue Datenquellen benötigen, ermöglicht werden. Die aktuelle Produkteinführung soll Websites dabei unterstützen:

– Automatische und kostenlose Kontrolle von KI-Bots: Das Feld der KI entwickelt sich rasant. Viele Website-Betreiber benötigen jedoch Zeit, um die Auswirkungen von KI-Bots auf ihren Traffic oder ihr Geschäft zu verstehen und zu analysieren.

Viele kleine Akteure haben nicht die Fähigkeiten oder Kapazitäten, um KI-Bots manuell zu blockieren. Wenn dies jedoch mit einem Klick möglich ist, haben die Ersteller von Inhalten wieder die Kontrolle.

– Analyse des Zugriffs von KI-Bots auf Inhalte: Die Betreiber jeder Website, die Cloudflare nutzt, können ab sofort anhand von Analysen herausfinden, warum, wann und wie oft KI-Modelle auf ihre Inhalte zugreifen. Sie können nun zwischen verschiedenen Bots unterscheiden – zum Beispiel zwischen textgenerierenden Bots, die noch die Quelle der Daten angeben, die sie zur Erstellung einer Antwort verwenden, und solchen, die Daten ohne Hinweis auf den Urheber sammeln.

– Besserer Rechtsschutz bei Verhandlungen mit Modellanbietern: Eine wachsende Zahl von Websites schließt direkt mit Modellanbietern Vereinbarungen über die Lizenzierung von KI-Training und das Abgreifen von Inhalten gegen Bezahlung. Unter dem Reiter „AI Audit“ von Cloudflare finden sich künftig Analysen der Kennzahlen, die üblicherweise bei solchen Verhandlungen herangezogen werden, wie etwa die Crawling-Rate für eine gesamte Seite oder für bestimmte Abschnitte. Cloudflare wird auch Muster-Nutzungsbedingungen erstellen, die Content Creators in ihre Websites einbinden können, um ihre Rechte zu schützen.

– Festlegung fairer Preise für das Crawlen und die Nutzung von Inhalten für reibungslose Verhandlungen (in Arbeit): Vielen Website-Betreibern – vom zukunftsorientierten Konzern bis zur ambitionierten Bloggerin – fehlen die Ressourcen, das Hintergrundwissen oder die Expertise, um einmalige Verträge auszuhandeln, wie sie größere Verlage mit Anbietern von KI-Modellen abschließen. Die Betreiber von KI-Modellen wiederum haben nicht die Kapazitäten, solche Verhandlungen mit jedem einzelnen Websitebetreiber zu führen, der sich an sie wendet.

In Zukunft werden auch die größten Content Creators von der reibungslosen Preisgestaltung und den Transaktionsprozessen von Cloudflare profitieren können. Auf diese Weise können Modellbetreiber ganz einfach neue Inhalte finden, zu denen sie sonst keinen Zugang hätten. Die Inhalteanbieter können ihrerseits die Kontrolle zurückgewinnen und sicherstellen, dass sie für die von ihnen geschaffenen Inhalte angemessen entlohnt werden.

Implementation begins with a detailed analysis of the AI services crawling the site and the specific content they are accessing. Customers can review activity by AI provider and bot type, and see which areas of their website are most popular. This data is available for any website on Cloudflare and requires no configuration.

For the first time, website owners and content creators can quickly and easily understand how AI model providers are using their content. They can then decide whether and how to grant access to such models. In addition, Cloudflare is developing a new feature that will allow content creators to reliably set a fair price for content used by AI companies to train their models and perform RAG.

Whether they are non-profits, media companies, or individuals, many website owners may be surprised to learn that AI bots of all kinds crawl their content thousands of times a day without the creators‘ knowledge or compensation. This is causing significant damage to both large and small players. But even if website operators are aware of this fact:

There is no technically adequate way for them to decide what kind of crawling they want to allow, nor is there an easy way for them to take countermeasures.  If we as a society are to continue to benefit from the breadth and diversity of content on the Internet, we need tools that allow content creators to regain control.

„AI will fundamentally change online content. We all need to decide together what the future should look like,“ said Matthew Prince, co-founder and CEO of Cloudflare. „Content creators and website owners have the right to claim ownership of their content and dispose of it freely. Otherwise, either the quality of the online experience suffers or quality content is only available for a fee. We believe that with our scale and global infrastructure, we can provide the tools and standards that will allow websites, publishers and content creators to take back control of their contribution to the Internet and negotiate fair compensation, without limiting the innovation of AI model providers.

With AI Audit, Cloudflare wants to give content creators information and a voice. To ensure that everyone benefits in the end, a transparent exchange between

websites that want more control over their content and AI model providers that need new data sources. The current product launch is designed to help websites do just that:

– Automatic and free control of AI bots: The field of AI is evolving rapidly. However, many website operators need time to understand and analyze the impact of AI bots on their traffic or business.

Many small players do not have the skills or capacity to manually block AI bots. But when it can be done with the click of a button, content creators are back in control.

– Analyze AI bot access to content: Operators of any website using Cloudflare can now use analytics to find out why, when, and how often AI models are accessing their content. They can now distinguish between different bots – for example, between text-generating bots that still indicate the source of the data they use to generate a response, and those that collect data without reference to the originator.

– Better legal protection when negotiating with model providers: A growing number of websites are entering into agreements directly with model providers to license AI training and content extraction for a fee.

Under Cloudflare’s “AI Audit” tab, you will find analyses of the key figures that are usually used in such negotiations, such as the crawl rate for an entire page or for specific sections. Cloudflare will also create sample terms of use that content creators can include on their websites to protect their rights.

– Setting fair prices for crawling and content usage for smooth negotiations (in progress): Many website operators – from forward-thinking corporations to ambitious bloggers – lack the resources, background knowledge or expertise to negotiate the kind of one-off contracts that larger publishers sign with AI model providers. The operators of AI models, in turn, do not have the capacity to conduct such negotiations with every single website operator who approaches them.

In the future, even the largest content creators will be able to benefit from Cloudflare’s frictionless pricing and transaction processes. This will allow model operators to easily find new content that they would otherwise not have access to. For their part, content creators can regain control and ensure they are properly compensated for the content they create.