Blokowanie botów AI w Cloudflare obejmuje też Googlebota

Najważniejsze wnioski (Key Takeaways)

• Od 15 września 2026 r. ustawienie Training → Block w Cloudflare blokuje także Googlebota, Bingbota i Applebota, więc ogranicza również dostęp crawlerów wyszukiwarek.
• Training → Block on pages with ads obejmuje crawlery mieszane tylko na stronach, które Cloudflare wykryje jako wyświetlające reklamy.
• Disallow AI Training, przy włączonym Bot Preference Sync, publikuje preferencję zakazu treningu w robots.txt i pozostawia odpowiedzialnym crawlerom mieszanym dostęp do wyszukiwania.
• Cloudflare wycofuje Block AI Bots i Managed Robots.txt, zastępując je odpowiednio kontrolami Search, Training i Agent oraz funkcją Bot Preference Sync.
• W przypadku Bingbota Disallow AI Training nie przekazuje jeszcze automatycznie zakazu treningu przez robots.txt; Microsoft planuje takie wsparcie na początek 2027 r.

15 września 2026 r. Cloudflare zmienił działanie ustawień blokowania botów AI. Opcje Block i Block on pages with ads w kategorii Training obejmują teraz również crawlery mieszane: Googlebota, Bingbota i Applebota. Cloudflare opisuje zmianę w komunikacie z 15 września.

Dla właścicieli witryn to decyzja, która może dotknąć widoczności w wyszukiwarkach. Cloudflare nie zablokował jednak Googlebota wszystkim klientom: istniejące konfiguracje są migrowane z zamiarem zachowania ich dotychczasowego efektu.

Blokowanie botów AI w Cloudflare: co zmieniło się 15 września?

Crawler mieszany to jeden bot wykorzystywany do więcej niż jednego celu. Cloudflare zalicza do tej grupy Googlebota, Bingbota i Applebota, ponieważ obsługują wyszukiwanie i mogą uczestniczyć w procesach związanych z AI. Wcześniej ustawienia blokujące trening nie obejmowały tych botów, by nie odcinać witryn od wyszukiwarek. Od 15 września Block oznacza rzeczywistą blokadę również dla tej grupy, a Block on pages with ads blokuje ją na stronach rozpoznanych jako reklamowe. Taką zmianę definicji opisuje Cloudflare.

Kontrole działają na poziomie domeny i rozróżniają trzy cele ruchu: Search (indeksowanie dla wyszukiwarki), Training (trening lub dostrajanie modelu) i Agent (bot działający na żądanie użytkownika). Każdy cel może mieć osobne ustawienie. Dla Training pojawiła się opcja Disallow AI Training, która pozwala wyrazić sprzeciw wobec treningu bez fizycznego odcinania odpowiedzialnych crawlerów mieszanych od treści.

Przy włączonym Bot Preference Sync Disallow AI Training jest sygnałem w robots.txt, a nie techniczną gwarancją, że operator nigdy nie użyje pobranych treści do treningu. Cloudflare dopuszcza crawlery mieszane oznaczone jako Accountable na podstawie dostępnych mechanizmów i zobowiązań ich operatorów; pozostałe crawlery treningowe blokuje. Cloudflare wyjaśnia kryteria tego oznaczenia oraz sposób publikowania preferencji przez Bot Preference Sync.

Migracja starych przełączników bez automatycznej blokady wyszukiwarek

Block AI Bots jest wycofywany na rzecz osobnych ustawień Search, Training i Agent. Managed Robots.txt ustępuje Bot Preference Sync, który synchronizuje deklarowane preferencje z robots.txt. Według Cloudflare dotychczasowe konfiguracje zostaną przeniesione automatycznie. Komunikat podaje szczegółowe mapowanie ustawień.

Jeżeli domena korzystała wyłącznie ze starego Block AI Bots, jego warianty Block i Block on pages with ads przechodzą na Search: Allow, Training: Disallow AI Training oraz Agent: Block on pages with ads. Jeżeli właściciel ustawił już osobno Search, Training i Agent, Cloudflare zachowuje ustawienia Search i Agent, a dotychczasowe Training: Block lub Training: Block on pages with ads zmienia na Disallow AI Training. W praktyce oznacza to, że dopiero świadomy wybór nowego Training: Block odcina crawlery mieszane również od wyszukiwania.

Co to oznacza dla SEO i wydawców?

Blokada Googlebota lub Bingbota może utrudnić pobieranie nowych i zmienionych stron. To ryzyko dla aktualizacji indeksu, które należy oceniać na podstawie danych danej witryny, a nie traktować jako natychmiastową utratę pozycji. Google potwierdza, że reguły skierowane do Googlebota dotyczą Google Search, podczas gdy token Google-Extended może ograniczać wybrane zastosowania AI bez wpływu na uwzględnienie strony w wyszukiwarce. Dokumentacja crawlerów Google rozróżnia te mechanizmy.

Apple opisuje podobny podział: Applebot-Extended służy do odmowy wykorzystania treści do treningu modeli, a zwykły Applebot może nadal obsługiwać wyszukiwanie w usługach Apple. Dokumentacja Applebota potwierdza, że wyłączenie Applebot-Extended nie jest sygnałem rankingowym dla Apple Search.

W przypadku Bingbota pozostaje luka. Cloudflare informuje, że do czasu wdrożenia przez Microsoft obsługi preferencji „no training” w robots.txt wybór Disallow AI Training nie przekaże jej automatycznie Bingowi. Microsoft wskazuje znacznik NOARCHIVE jako dostępny sposób ograniczenia wykorzystania treści do treningu, z własnymi konsekwencjami dla odpowiedzi AI. Cloudflare podaje planowany termin obsługi na początek 2027 r., a Bing opisuje działanie NOARCHIVE.

Plan działania po zmianie ustawień

1. Spisz aktualną konfigurację domeny: Search, Training, Agent, stare Block AI Bots oraz sposób obsługi robots.txt. Dzięki temu sprawdzisz, czy migracja dała oczekiwany efekt i czy istnieją reguły WAF blokujące roboty niezależnie od nowych kontrolek.
2. Wybierz cel biznesowy: jeśli potrzebujesz ruchu z wyszukiwarek, utrzymaj dostęp dla Search, rozważ Training: Disallow AI Training i sprawdź, czy Bot Preference Sync jest włączony. Training: Block wybieraj świadomie, gdy akceptujesz także odcięcie Googlebota, Bingbota i Applebota.
3. Sprawdź strony z reklamami: przy Block on pages with ads przejrzyj zdarzenia blokowania w Cloudflare dla ważnych adresów URL. Jeśli roboty wyszukiwarek tracą dostęp do stron generujących ruch, zmień politykę i ponownie sprawdź te adresy.
4. Zweryfikuj skutki po migracji: porównaj dostęp botów w logach lub zdarzeniach Cloudflare oraz raporty indeksowania i ruchu w narzędziach wyszukiwarek. Dla Bingbota zdecyduj osobno, czy zastosować NOARCHIVE, uwzględniając jego wpływ na odpowiedzi AI.

Nowe kontrole są dostępne według Cloudflare klientom wszystkich planów w ustawieniach bezpieczeństwa domeny. Rekomendowana konfiguracja nowych domen zależy od tego, czy witryna zarabia na reklamach; właściciel może ją później zmienić. Cloudflare opisuje dostępność i ustawienia początkowe.

FAQ

Czy Cloudflare automatycznie blokuje Googlebota od 15 września 2026 r.?

Nie. Cloudflare migruje istniejące ustawienia tak, aby zachować ich praktyczny efekt. Googlebot zostanie objęty blokadą, jeśli właściciel domeny wybierze dla Training ustawienie Block albo Block on pages with ads.

Czym różni się Block od Disallow AI Training?

Block odcina crawlery mieszane, w tym Googlebota, Bingbota i Applebota, od witryny również na potrzeby wyszukiwania. Disallow AI Training przy włączonym Bot Preference Sync publikuje preferencję zakazu treningu w robots.txt i pozwala crawlerom uznanym za Accountable nadal pobierać treści do wyszukiwania.

Czy Block on pages with ads blokuje Googlebota w całej domenie?

Nie. W kategorii Training Cloudflare stosuje tę blokadę tylko na stronach, które wykryje jako wyświetlające reklamy. Na tych stronach ograniczenie dotyczy również crawlerów mieszanych.

Czy Disallow AI Training zatrzymuje trening treści przez Bing?

Nie automatycznie. Cloudflare podaje, że Bing nie obsługuje jeszcze przekazywania tej preferencji przez robots.txt; Microsoft celuje we wdrożenie na początku 2027 r. Obecnie osobnym narzędziem jest znacznik NOARCHIVE, którego wpływ na odpowiedzi AI trzeba ocenić przed użyciem.

Co stanie się z Block AI Bots i Managed Robots.txt?

Cloudflare wycofuje oba rozwiązania. Block AI Bots zastępują osobne ustawienia Search, Training i Agent, a Managed Robots.txt zastępuje Bot Preference Sync. Cloudflare zapowiada automatyczne przeniesienie istniejących konfiguracji.

Czy nowe ustawienia Cloudflare wymagają płatnego planu?

Nie. Cloudflare podaje, że nowe kontrole są dostępne klientom wszystkich planów. Ustawienia działają na poziomie domeny w sekcji Security Settings.

Źródła

• Cloudflare: Have it both ways: stay discoverable in search while disallowing AI training, 15 września 2026 r.
• Cloudflare: Say it once: introducing Bot Preference Sync, 21 sierpnia 2026 r., aktualizacja 15 września 2026 r.
• Google: Google's common crawlers.
• Apple: About Applebot, 4 września 2026 r.
• Microsoft Bing: Announcing new options for webmasters to control usage of their content in Bing Chat.