RU

Cloudflare изменил доступ ИИ-ботов к сайтам: как проверить настройки и не закрыть поиск

15 сентября Cloudflare обновил правила доступа ИИ-ботов к сайтам. Блокируя сбор данных для обучения, можно заодно закрыть поиск: некоторые боты выпо…

CloudflareGPTBotClaudeBotOAI-SearchBotrobots.txtИИ-краулерыблокировка ботовWAFCloudflare AIuser agent
Habr
RU

Разобрал логи сервера: какие ИИ-боты реально ходят по сайту и что они запрашивают

Про ИИ-ботов пишут в основном пересказами документации вендоров: этот собирает данные для обучения, тот ходит за содержанием по запросу пользователя…

ИИ-ботыGPTBotClaudeBotPerplexityBotлоги сервераrobots.txtllms.txtUser-Agentпарсерыанализ трафика