Разобрал логи сервера: какие ИИ-боты реально ходят по сайту и что они запрашивают
Про ИИ-ботов пишут в основном пересказами документации вендоров: этот собирает данные для обучения, тот ходит за содержанием по запросу пользователя…
Последние новости
⚑ Сообщить о проблемеTech news from the best sources
Все темы
- игры
AI
Gear
News
Tech
agents
ai
api
architecture
automation
beginners
career
database
devops
javascript
llm
machinelearning
mcp
opensource
performance
productivity
programming
python
react
security
showdev
testing
tutorial
typescript
webdev
Написал валидатор llms.txt на 64 тестах — и проверил, читают ли этот файл боты
Файл llms.txt предлагают класть в корень сайта с 2024 года: считается, что языковые модели прочитают его вместо того, чтобы разбирать вёрстку. Я нап…
Cloudflare: из «трубы» — в вахтёра и кассира
(про трубу в заголовке я немного зря - CF всегда были средством доставки, но любили их и за защиту; другими словами, надо бы писать про "трубу с сит…
ИИ-боты сканируют даже логи TLS-сертификатов. Любая информация используется для обучения LLM
Согласно статистическому отчёту State of AI Traffic от Human Security, за последний год резко увеличилась активность ИИ-агентов, ботов и ИИ-инструме…