RU

Полгода SEO с нуля после переезда с Tilda: органика ×20 и 12 граблей, на которые я наступил

Полгода вёл SEO клининговой компании из Петербурга после переезда сайта с Tilda на самописный PHP. Все адреса при переезде сменились,…

SEOкейсTildaЯндексSearch ConsoleТопвизорканнибализацияrobots.txtяндекс метрикаroistat
Habr
RU

Cloudflare изменил доступ ИИ-ботов к сайтам: как проверить настройки и не закрыть поиск

15 сентября Cloudflare обновил правила доступа ИИ-ботов к сайтам. Блокируя сбор данных для обучения, можно заодно закрыть поиск: некоторые боты выпо…

CloudflareGPTBotClaudeBotOAI-SearchBotrobots.txtИИ-краулерыблокировка ботовWAFCloudflare AIuser agent
Habr
RU

Timeout 25 из 25 при concurrency 5: замерил пригодность своего сайта к цитированию до и после переезда

4 сентября прогнал свой сайт на пригодность к цитированию ИИ-поисковиками, тогда он был статическим HTML. 27 сентября, через сутки после переезда на…

GEOцитируемостьИИ-поискаудит сайтаWordPressкэшированиеrobots.txt
Habr
RU

Почему ИИ для программирования выбирает одни и те же библиотеки: я просканировал 30 сайтов документации

Я собираю фидбэк по проекту, который советую людям как альтернативу тяжёлому фреймворку. Вставляю его в диалог с ассистентом кода и прошу подсказать…

сезон Код будущегоии для программированиянейросеть для программированияllms txtllms-full.txtopen sourceдокументацияGPTBotAI-краулерыrobots.txt
Habr
RU

ChatGPT не открывает страницу в 93% быстрых ответов: что видит модель и что чинить на сайте

В инстант-режиме (быстром, без нажатой кнопки «Think») ChatGPT читает страницу живьём только в 7% ответов. Остальные 93% модель работает с тем, что…

ChatGPTпоиск ChatGPTrobots.txtOAI-SearchBotGPTBotJSON-LDкэш страницAI-поискиндексацияаналитика
Habr
RU

Claude Code читает не страницу, а её пересказ: прошёл путь одного запроса по документации Claude

Совет оптимизировать сайт под Claude смешивает два инструмента Anthropic: Claude и агента Claude Code. Profound снял 24 135 ответов на одних запроса…

ClaudeClaude CodeAnthropicAI-поискrobots.txtllms.txtИИ-краулерыWebFetchGEOлоги nginx
Habr
RU

Я устал проверять сайты постранично и сделал свой сайт проверок HeadInspect

Я занимаюсь созданием сайтов с начала 00-х. Я просто интересовался этой темой. Веб‑дизайн и разработка сайтов никогда не были моей професс…

headinspectтехнический аудит сайтаseoopen graphschema.orgsitemapmeta-тегиrobots.txtpythonвеб-разработка
Habr
RU

Разобрал логи сервера: какие ИИ-боты реально ходят по сайту и что они запрашивают

Про ИИ-ботов пишут в основном пересказами документации вендоров: этот собирает данные для обучения, тот ходит за содержанием по запросу пользователя…

ИИ-ботыGPTBotClaudeBotPerplexityBotлоги сервераrobots.txtllms.txtUser-Agentпарсерыанализ трафика
Habr
RU

SEO трафик на сайте есть, а заявок нет. Я полез в серверные логи и посмотрел, кто на самом деле «ходит» на сайт

У сайта рос органический трафик, позиции были в порядке, а заявок всё равно не хватало. Клиент задал простой вопрос: «Если людей стало больше, где з…

SEOтехническое SEOсерверные логиaccess.logrobots.txtGooglebotYandexBotвеб-краулерыроботный трафикUser-Agent
Habr
RU

Написал валидатор llms.txt на 64 тестах — и проверил, читают ли этот файл боты

Файл llms.txt предлагают класть в корень сайта с 2024 года: считается, что языковые модели прочитают его вместо того, чтобы разбирать вёрстку. Я нап…

llms.txtвалидатор llms.txtгенератор llms.txtGPTBotИИ-ботыспецификация llmstxtпарсер markdownnode testrobots.txtнейропоиск
Habr
RU

Карго-культы технического SEO: что robots.txt и sitemap.xml делают на самом деле

Priority и changefreq, которые Google игнорирует. Disallow как «запрет индексации». robots.txt в роли замка для чувствительных данных. Разбираем сем…

robots.txtsitemap.xmlтехническое seoиндексациякраулинговый бюджетnoindexпоисковые роботыseosearch consoleяндекс вебмастер
Habr
RU

AI-краулеры в 2026: кого пускать в robots.txt, чтобы попадать в ответы ИИ

Полгода назад ко мне постучался один из будущих клиентов с вопросом, почему ChatGPT не знает про его компанию, хотя сайт в топ-3 Google по нужному з…

AI-краулерыrobots.txtGPTBotAEOGEOAI-видимостьнейросетиAIOYandexBotяндекс.вебмастер
Habr
RU

GEO: техника нейровыдачи: чанкование с оверлапом, Schema.org, robots.txt и пр. Часть 3 из 3

В этой части — самое приземлённое про GEO-продвижение. Никакой философии, только то, что можно взять и в понедельник начать делать руками: как резат…

GEOSchema.orgJSON-LDrobots.txtllms.txtчанкованиеSEOнейровыдачаAI OverviewShare of Voice
Habr
RU

Cloudflare: из «трубы» — в вахтёра и кассира

(про трубу в заголовке я немного зря - CF всегда были средством доставки, но любили их и за защиту; другими словами, надо бы писать про "трубу с сит…

CloudflareИИ-ботывеб-краулерыWAFCDNBotBaserobots.txtGooglebotPay Per Crawlмонетизация контента
Habr
RU

Маленький файл robots.txt и большие последствия одной строки

Разбираемся, как работает robots.txt, почему его часто путают с инструментами индексации и какую роль он играет в эпоху ИИ-сканеров. Читать далее

robots.txtSEOпоисковая выдачаиндексацияЯндексGoogleИИсканерытестированиеhostkey
Habr
RU

SEO-админка для большого каталога: sitemap, robots, мета-превью и тревоги поисковиков в одном месте

Рассказываю, как мы собрали SEO-панель для динамического каталога: sitemap, robots.txt, мета-превью, RSS, диагностика и переобход в одном интерфейсе…

SEOsitemaprobots.txtIndexNowNext.jsFastAPIPostgreSQLадминкапоисковые системытехническое SEO