RU

Cloudflare изменил доступ ИИ-ботов к сайтам: как проверить настройки и не закрыть поиск

15 сентября Cloudflare обновил правила доступа ИИ-ботов к сайтам. Блокируя сбор данных для обучения, можно заодно закрыть поиск: некоторые боты выпо…

CloudflareGPTBotClaudeBotOAI-SearchBotrobots.txtИИ-краулерыблокировка ботовWAFCloudflare AIuser agent
Habr
RU

Cloudflare: из «трубы» — в вахтёра и кассира

(про трубу в заголовке я немного зря - CF всегда были средством доставки, но любили их и за защиту; другими словами, надо бы писать про "трубу с сит…

CloudflareИИ-ботывеб-краулерыWAFCDNBotBaserobots.txtGooglebotPay Per Crawlмонетизация контента