Cloudflare изменил доступ ИИ-ботов к сайтам: как проверить настройки и не закрыть поиск
15 сентября Cloudflare обновил правила доступа ИИ-ботов к сайтам. Блокируя сбор данных для обучения, можно заодно закрыть поиск: некоторые боты выпо…
AI & ML
⚑ Сообщить о проблемеПоследние новости AI & ML от Tech News
Все темы
AI
News
Tech
agents
ai
api
architecture
automation
beginners
career
claude
database
devchallenge
devops
javascript
llm
machinelearning
mcp
opensource
performance
productivity
programming
python
react
security
showdev
testing
tutorial
typescript
webdev
Timeout 25 из 25 при concurrency 5: замерил пригодность своего сайта к цитированию до и после переезда
4 сентября прогнал свой сайт на пригодность к цитированию ИИ-поисковиками, тогда он был статическим HTML. 27 сентября, через сутки после переезда на…
Почему ИИ для программирования выбирает одни и те же библиотеки: я просканировал 30 сайтов документации
Я собираю фидбэк по проекту, который советую людям как альтернативу тяжёлому фреймворку. Вставляю его в диалог с ассистентом кода и прошу подсказать…
ChatGPT не открывает страницу в 93% быстрых ответов: что видит модель и что чинить на сайте
В инстант-режиме (быстром, без нажатой кнопки «Think») ChatGPT читает страницу живьём только в 7% ответов. Остальные 93% модель работает с тем, что…
Claude Code читает не страницу, а её пересказ: прошёл путь одного запроса по документации Claude
Совет оптимизировать сайт под Claude смешивает два инструмента Anthropic: Claude и агента Claude Code. Profound снял 24 135 ответов на одних запроса…
Разобрал логи сервера: какие ИИ-боты реально ходят по сайту и что они запрашивают
Про ИИ-ботов пишут в основном пересказами документации вендоров: этот собирает данные для обучения, тот ходит за содержанием по запросу пользователя…
SEO трафик на сайте есть, а заявок нет. Я полез в серверные логи и посмотрел, кто на самом деле «ходит» на сайт
У сайта рос органический трафик, позиции были в порядке, а заявок всё равно не хватало. Клиент задал простой вопрос: «Если людей стало больше, где з…
Написал валидатор llms.txt на 64 тестах — и проверил, читают ли этот файл боты
Файл llms.txt предлагают класть в корень сайта с 2024 года: считается, что языковые модели прочитают его вместо того, чтобы разбирать вёрстку. Я нап…
Карго-культы технического SEO: что robots.txt и sitemap.xml делают на самом деле
Priority и changefreq, которые Google игнорирует. Disallow как «запрет индексации». robots.txt в роли замка для чувствительных данных. Разбираем сем…
AI-краулеры в 2026: кого пускать в robots.txt, чтобы попадать в ответы ИИ
Полгода назад ко мне постучался один из будущих клиентов с вопросом, почему ChatGPT не знает про его компанию, хотя сайт в топ-3 Google по нужному з…
GEO: техника нейровыдачи: чанкование с оверлапом, Schema.org, robots.txt и пр. Часть 3 из 3
В этой части — самое приземлённое про GEO-продвижение. Никакой философии, только то, что можно взять и в понедельник начать делать руками: как резат…
Cloudflare: из «трубы» — в вахтёра и кассира
(про трубу в заголовке я немного зря - CF всегда были средством доставки, но любили их и за защиту; другими словами, надо бы писать про "трубу с сит…
Почему Google не индексирует страницы, хотя технически всё в порядке
У меня есть сайт на Next.js. Часть страниц индексируется почти сразу. Часть застряла в статусе «Обнаружено, не проиндексировано»…
Спор про llms.txt не сходится: и критики, и хайп меряют не тот слой
Один лагерь показывает 0,1% обращений в логах и хоронит файл. Другой обещает прирост цитируемости на 30–60%. Обе цифры реальны. Они измеряют разные…