RU

Полгода SEO с нуля после переезда с Tilda: органика ×20 и 12 граблей, на которые я наступил

Полгода вёл SEO клининговой компании из Петербурга после переезда сайта с Tilda на самописный PHP. Все адреса при переезде сменились,…

SEOкейсTildaЯндексSearch ConsoleТопвизорканнибализацияrobots.txtяндекс метрикаroistat
Habr
RU

Cloudflare изменил доступ ИИ-ботов к сайтам: как проверить настройки и не закрыть поиск

15 сентября Cloudflare обновил правила доступа ИИ-ботов к сайтам. Блокируя сбор данных для обучения, можно заодно закрыть поиск: некоторые боты выпо…

CloudflareGPTBotClaudeBotOAI-SearchBotrobots.txtИИ-краулерыблокировка ботовWAFCloudflare AIuser agent
Habr
RU

Почему ИИ для программирования выбирает одни и те же библиотеки: я просканировал 30 сайтов документации

Я собираю фидбэк по проекту, который советую людям как альтернативу тяжёлому фреймворку. Вставляю его в диалог с ассистентом кода и прошу подсказать…

сезон Код будущегоии для программированиянейросеть для программированияllms txtllms-full.txtopen sourceдокументацияGPTBotAI-краулерыrobots.txt
Habr
RU

ChatGPT не открывает страницу в 93% быстрых ответов: что видит модель и что чинить на сайте

В инстант-режиме (быстром, без нажатой кнопки «Think») ChatGPT читает страницу живьём только в 7% ответов. Остальные 93% модель работает с тем, что…

ChatGPTпоиск ChatGPTrobots.txtOAI-SearchBotGPTBotJSON-LDкэш страницAI-поискиндексацияаналитика
Habr
RU

Карго-культы технического SEO: что robots.txt и sitemap.xml делают на самом деле

Priority и changefreq, которые Google игнорирует. Disallow как «запрет индексации». robots.txt в роли замка для чувствительных данных. Разбираем сем…

robots.txtsitemap.xmlтехническое seoиндексациякраулинговый бюджетnoindexпоисковые роботыseosearch consoleяндекс вебмастер
Habr
RU

AI-краулеры в 2026: кого пускать в robots.txt, чтобы попадать в ответы ИИ

Полгода назад ко мне постучался один из будущих клиентов с вопросом, почему ChatGPT не знает про его компанию, хотя сайт в топ-3 Google по нужному з…

AI-краулерыrobots.txtGPTBotAEOGEOAI-видимостьнейросетиAIOYandexBotяндекс.вебмастер
Habr
RU

Cloudflare: из «трубы» — в вахтёра и кассира

(про трубу в заголовке я немного зря - CF всегда были средством доставки, но любили их и за защиту; другими словами, надо бы писать про "трубу с сит…

CloudflareИИ-ботывеб-краулерыWAFCDNBotBaserobots.txtGooglebotPay Per Crawlмонетизация контента
Habr