Cloudflare trennt KI-Suche, Training und Agenten. Was Marken wissen müssen

Am 15. September 2026 änderte Cloudflare die Art und Weise, wie Website-Besitzer KI-Crawler steuern. Die wichtige Veränderung ist nicht nur, dass es mehr Einstellungen gibt. Es ist, dass Cloudflare nun Suche, Modelltraining und KI-Agenten als unterschiedliche Verhaltensweisen behandelt.

Für Marken ist diese Unterscheidung wichtig. Eine Website möchte möglicherweise in der Suche und in KI-generierten Antworten auffindbar bleiben, ohne jedem Crawler die Erlaubnis zu geben, ihren Inhalt für das Modelltraining zu verwenden. Bisher konnten diese Ziele schwer voneinander getrennt werden, wenn ein einzelner Crawler mehr als einen Zweck erfüllte.

Die neuen Kontrollen von Cloudflare sind darauf ausgelegt, diese Wahl präziser zu gestalten.

Was Cloudflare geändert hat

Cloudflare gruppiert jetzt KI-bezogene Crawler-Aktivitäten in drei Verhaltensweisen.

Suche umfasst Crawler, die einen Index erstellen, damit Inhalte später gefunden werden können. Training umfasst Crawler, die zum Trainieren oder Feinabstimmen von Modellen verwendet werden. Agent umfasst benutzergesteuerte Systeme, die im Auftrag einer Person in Echtzeit eine Seite besuchen, wie z.B. Chat-Fetch-Bots und Browser-Nutzungs-Agenten.

Das Unternehmen stellt außerdem seine ältere Block AI Bots-Steuerung zugunsten dieser granulareren Einstellungen ein. Cloudflare gibt an, dass bestehende Kundenpräferenzen automatisch auf die neuen Search-, Training- und Agent-Kontrollen migriert werden. Die Dokumentation erläutert die aktualisierten Richtlinienoptionen hier.

Die größte Neuerung ist eine Einstellung namens Disallow AI Training. Sie ist für Websites gedacht, die eine Nicht-Trainings-Präferenz ausdrücken möchten, ohne sich unnötig von der Sucherkennung auszuschließen.

Das klingt nach einer subtilen Infrastrukturänderung. In der Praxis löst sie ein zunehmend wichtiges Problem für Marken.

Warum der alte „KI blockieren“-Ansatz zu grob war

Einige Crawler sind einzweckig. Andere sind gemischt einsetzbar und können sowohl konventionelle Suche als auch KI-bezogene Anwendungen unterstützen.

Cloudflare identifiziert ausdrücklich Applebot, Bingbot und Googlebot als gemischt genutzte Crawler. Unter den aktualisierten Kontrollen kann die Auswahl von Block für das Training diese Crawler nun vollständig blockieren, einschließlich ihrer Suchfunktion. Das bedeutet, dass eine Entscheidung zur Einschränkung des KI-Trainings auch die normale Auffindbarkeit in Suchmaschinen beeinträchtigen könnte.

Cloudflares neue Option Disallow AI Training ist darauf ausgelegt, diesen Kompromiss für Crawler-Betreiber zu vermeiden, die eine separate Präferenz gegen das Training unterstützen.

Die Nachfrage nach dieser Unterscheidung ist bereits in Cloudflares eigenen Daten sichtbar. Das Unternehmen sagt, dass weniger als 1% der Cloudflare-Sites wählen, Search Bots zu blockieren, während 17% einen Mechanismus verwenden, um Training zu blockieren. Mit anderen Worten, die meisten Website-Betreiber scheinen Erkennung und Modelltraining als zwei verschiedene Entscheidungen zu betrachten. Cloudflare veröffentlichte die Zahlen in seiner Ankündigung vom 15. September.

Für Marketing-, SEO- und Content-Teams ist das die wichtigste Erkenntnis: „Kann dieses System unsere Inhalte finden?“ und „Kann dieses Unternehmen unsere Inhalte trainieren?“ sind nicht länger dieselbe Frage.

Suche, Training und Agenten sind drei verschiedene Entscheidungen

Der praktische Wert von Cloudflares Modell liegt darin, dass es Website-Betreiber dazu zwingt, über den Crawler-Zugriff nach dem Zweck statt nach einer vagen Kategorie namens „KI-Bots“ nachzudenken.

Ein Such-Crawler kann eine Produktseite indexieren, damit sie später in den Suchergebnissen erscheinen kann. Ein Trainings-Crawler kann dieselbe Seite als Teil eines Datensatzes sammeln, der zur Verbesserung eines Modells verwendet wird. Ein Agent kann die Seite in dem Moment abrufen, in dem ein Benutzer ihn bittet, Produkte zu vergleichen, die Verfügbarkeit zu prüfen oder Informationen zusammenzufassen.

Diese Aktivitäten können alle dieselbe URL berühren, aber die kommerziellen Auswirkungen sind unterschiedlich.

Für viele Marken ist die Auffindbarkeit in Suchmaschinen wünschenswert. Der Agentenzugriff kann ebenfalls wünschenswert sein, wenn er einem Kunden hilft, das Unternehmen zu recherchieren oder mit ihm zu interagieren. Das Modelltraining ist eine separate politische Frage, die Content-Rechte, kommerziellen Wert und organisatorische Präferenzen betrifft.

Cloudflare bietet Website-Betreibern effektiv eine klarere Kontrollfläche für diese Entscheidungen.

Was „Disallow AI Training“ tatsächlich bewirkt

Cloudflare sagt, dass die neue Einstellung Bot Preference Sync verwendet, um eine entsprechende Nicht-Trainings-Präferenz in robots.txt zu veröffentlichen, während anerkannte gemischt genutzte Crawler weiterhin für die Suche betrieben werden können.

Für reine Trainings-Crawler, die von Unternehmen wie Amazon, Anthropic, Meta und OpenAI betrieben werden, kann Cloudflare laut eigener Aussage den Trainings-Crawler blockieren, ohne einen separaten Such-Crawler zu beeinflussen, sofern der Betreiber diese Funktionen trennt.

Apple und Google bieten bereits Mechanismen an, die Suche von KI-Training unterscheiden. Apple verwendet Applebot-Extended, während Google Google-Extended nutzt. Beide Unternehmen geben an, dass ein Opt-out von diesen erweiterten Nutzungen die konventionelle Suchrangliste nicht beeinflusst.

Microsoft ist etwas anders. Cloudflare sagt, dass Microsoft an einer domänenweiten Nicht-Trainings-Präferenz in robots.txt arbeitet, die für Anfang 2027 geplant ist. Bis diese Unterstützung verfügbar ist, weist Cloudflare darauf hin, dass die Auswahl von Disallow AI Training nicht automatisch eine Nicht-Trainings-Präferenz über robots.txt an Bing übermittelt. Microsoft bietet derzeit andere Kontrollen an, einschließlich seines NOARCHIVE-Mechanismus und der Webmaster Tools.

Diese Nuance ist wichtig. Disallow AI Training ist kein universelles Protokoll, das heute jeder Crawler identisch interpretiert. Es ist eine Kontrollebene, die Cloudflares Crawler-Klassifizierung und -Durchsetzung mit den von einzelnen Crawler-Betreibern unterstützten Präferenzen kombiniert.

robots.txt ist eine Präferenz, keine Sicherheitsschranke

Es gibt noch eine weitere Unterscheidung, die Marken verstehen sollten.

Eine robots.txt-Datei teilt einem Crawler mit, was ein Website-Betreiber von ihm erwartet. Sie verhindert an sich nicht technisch den Zugriff. Cloudflares eigene Dokumentation besagt explizit, dass die Einhaltung von robots.txt freiwillig ist.

Cloudflare kann eine Durchsetzungsebene hinzufügen, da es sich vor der Website befindet. Sein AI Crawl Control-Produkt kann Crawler-Traffic identifizieren und ihn gemäß der Konfiguration der Website zulassen, blockieren oder anderweitig verwalten. Cloudflare dokumentiert den Unterschied zwischen robots.txt-Präferenzen und durchgesetzten Crawler-Kontrollen hier.

Für Teams, die ihre KI-Crawler-Strategie überprüfen, bedeutet dies, dass zwei Fragen zu stellen sind: Welche Präferenz veröffentlicht die Website, und welcher Zugriff wird tatsächlich durchgesetzt?

Crawler-Zugriff ist nicht dasselbe wie KI-Sichtbarkeit

Hier wird das Gespräch besonders relevant für Marken, die die KI-Suche messen.

Einem Crawler den Zugriff auf Ihre Website zu gestatten, garantiert nicht, dass ChatGPT, Gemini, Perplexity, Claude oder eine andere Antwortmaschine Ihre Marke erwähnt, empfiehlt oder zitiert. Crawlbarkeit ist Infrastruktur. Sichtbarkeit ist ein Ergebnis.

Ebenso bedeutet das Blockieren eines bestimmten Trainings-Crawlers nicht unbedingt, dass eine Marke aus KI-generierten Antworten verschwindet. Eine Engine kann immer noch Informationen über einen Suchindex finden, eine Seite mit einem separaten Crawler abrufen, eine Drittquelle zitieren oder Informationen nutzen, die über andere zugelassene Kanäle erworben wurden.

Eine nützliche Art, die Reihenfolge zu betrachten, ist:

Zugänglich -> auffindbar -> abrufbar -> zitiert -> empfohlen.

Crawler-Kontrollen beeinflussen die ersten Phasen. Sie bestimmen nicht die endgültige Antwort.

Deshalb sollte die technische Crawler-Konfiguration neben AI-Sichtbarkeits-Tracking, Zitationsanalyse und Quelleneinfluss betrachtet werden. Die praktische Frage für ein Marketingteam ist nicht nur, ob ein KI-Bot die Website erreichen kann. Es ist, ob die Marke tatsächlich erscheint, wenn potenzielle Kunden relevante Fragen stellen.

Was Marken, die Cloudflare nutzen, jetzt prüfen sollten

• Überprüfen Sie die neuen Search-, Training- und Agent-Einstellungen. Gehen Sie nicht davon aus, dass die alte Block AI Bots-Konfiguration der Richtlinie entspricht, die Ihre Organisation heute wünscht.
• Entscheiden Sie sich für jedes Verhalten separat. Such-Auffindbarkeit, KI-Training und Agenten-Zugriff haben unterschiedliche kommerzielle Auswirkungen.
• Verwenden Sie Disallow AI Training sorgfältig, wenn Ihr Ziel „Suche ja, Training nein“ ist. Eine vollständige Block-Einstellung kann gemischt genutzte Crawler wie Googlebot, Applebot und Bingbot beeinflussen.
• Überprüfen Sie sowohl robots.txt als auch die durchgesetzten Crawler-Regeln. Eine veröffentlichte Präferenz und eine netzwerkweite Blockierung sind nicht dasselbe.
• Überprüfen Sie das Ergebnis, nicht nur die Konfiguration. Stellen Sie sicher, dass wichtige Seiten zugänglich bleiben, und überwachen Sie dann, ob Ihre Marke weiterhin in den KI-Antworten erwähnt und zitiert wird, die für Ihre Kunden wichtig sind.

Citations.io bietet auch einen kostenlosen AI-Crawler-Checker an, der Teams helfen kann zu überprüfen, wie eine Website derzeit gängige KI-Crawler-User-Agents behandelt.

Was dies für AEO und die KI-Suchstrategie bedeutet

Die technischen Grundlagen der Suchsichtbarkeit werden granularer.

Traditionelle SEO-Teams sind es gewohnt, über Googlebot, Indexierbarkeit und robots.txt nachzudenken. Die KI-Suche fügt neue Ebenen hinzu: Trainings-Crawler, Abruf-Crawler, benutzergesteuerte Agenten und Zitationsverhalten auf Quellenebene.

Das Ergebnis ist nicht, dass jede Marke einfach jeden Crawler zulassen sollte. Der bessere Ansatz ist, eine bewusste Entscheidung für jeden Anwendungsfall zu treffen und dann die Konsequenzen zu messen.

Für Organisationen, die an der Optimierung von Antwort-Engines oder generativen Engines arbeiten, sollte die Crawler-Richtlinie nun neben der Inhaltsqualität, der technischen Zugänglichkeit, den strukturierten Daten, der Autorität Dritter und der Zitationsstrategie stehen.

Eine perfekt konfigurierte Crawler-Richtlinie kann eine Antwortmaschine nicht dazu bringen, eine Marke zu empfehlen. Aber eine versehentlich restriktive Richtlinie kann einen wichtigen Weg entfernen, über den Inhalte entdeckt oder abgerufen werden.

Die größere Verschiebung: Kontrolle und Sichtbarkeit trennen sich

Das Update von Cloudflare spiegelt eine umfassendere Veränderung wider, wie das Web mit KI-Systemen interagiert.

Website-Besitzer benötigen zunehmend Kontrollen, die zwischen gefunden werden, genutzt werden und gehandelt werden unterscheiden. Suche, Training und Agenten repräsentieren drei verschiedene Beziehungen zwischen einer Website und einem automatisierten System.

Für Marken besteht die strategische Chance darin, „KI-Zugriff“ nicht mehr als eine einzige Ein/Aus-Entscheidung zu behandeln.

Entscheiden Sie, wo die Entdeckung Wert schafft. Entscheiden Sie, wo das Training akzeptabel ist. Entscheiden Sie, wie Agenten mit Ihren Seiten interagieren sollen. Und messen Sie dann, was tatsächlich in generierten Antworten passiert.

Citations.io verfolgt, wie ChatGPT, Gemini, Perplexity und Claude Marken in KI-generierten Antworten erwähnen, ranken und zitieren. Die Crawler-Konfiguration ist ein Teil dieses Bildes. Das Ergebnis ist, ob Ihre Marke sichtbar ist, wenn es darauf ankommt.

Quellenhinweis: Dieser Artikel basiert auf Cloudflares Ankündigung vom 15. September 2026, seiner Dokumentation zur KI-Crawler-Richtlinie und seiner Dokumentation zu AI Crawl Control. Crawler-Richtlinien und Betreiberunterstützung können sich ändern, daher sollten technische Teams die aktuelle Dokumentation überprüfen, bevor sie Produktionsänderungen vornehmen.