RU

Cloudflare изменил доступ ИИ-ботов к сайтам: как проверить настройки и не закрыть поиск

15 сентября Cloudflare обновил правила доступа ИИ-ботов к сайтам. Блокируя сбор данных для обучения, можно заодно закрыть поиск: некоторые боты выпо…

CloudflareGPTBotClaudeBotOAI-SearchBotrobots.txtИИ-краулерыблокировка ботовWAFCloudflare AIuser agent
Habr
RU

Claude Code читает не страницу, а её пересказ: прошёл путь одного запроса по документации Claude

Совет оптимизировать сайт под Claude смешивает два инструмента Anthropic: Claude и агента Claude Code. Profound снял 24 135 ответов на одних запроса…

ClaudeClaude CodeAnthropicAI-поискrobots.txtllms.txtИИ-краулерыWebFetchGEOлоги nginx
Habr
RU

Cloudflare: из «трубы» — в вахтёра и кассира

(про трубу в заголовке я немного зря - CF всегда были средством доставки, но любили их и за защиту; другими словами, надо бы писать про "трубу с сит…

CloudflareИИ-ботывеб-краулерыWAFCDNBotBaserobots.txtGooglebotPay Per Crawlмонетизация контента