Cloudflare изменил доступ ИИ-ботов к сайтам: как проверить настройки и не закрыть поиск
15 сентября Cloudflare обновил правила доступа ИИ-ботов к сайтам. Блокируя сбор данных для обучения, можно заодно закрыть поиск: некоторые боты выпо…
Testing & QA
⚑ Report a ProblemLatest Testing & QA news from Tech News
All topics
agents
ai
api
architecture
automation
backend
beginners
career
claude
cybersecurity
devchallenge
devops
discuss
javascript
llm
machinelearning
mcp
node
opensource
performance
productivity
programming
python
security
showdev
softwareengineering
testing
tutorial
typescript
webdev
Написал валидатор llms.txt на 64 тестах — и проверил, читают ли этот файл боты
Файл llms.txt предлагают класть в корень сайта с 2024 года: считается, что языковые модели прочитают его вместо того, чтобы разбирать вёрстку. Я нап…
Маленький файл robots.txt и большие последствия одной строки
Разбираемся, как работает robots.txt, почему его часто путают с инструментами индексации и какую роль он играет в эпоху ИИ-сканеров. Читать далее
Спор про llms.txt не сходится: и критики, и хайп меряют не тот слой
Один лагерь показывает 0,1% обращений в логах и хоронит файл. Другой обещает прирост цитируемости на 30–60%. Обе цифры реальны. Они измеряют разные…