RU

Cloudflare: из «трубы» — в вахтёра и кассира

(про трубу в заголовке я немного зря - CF всегда были средством доставки, но любили их и за защиту; другими словами, надо бы писать про "трубу с ситеч…

CloudflareИИ-ботывеб-краулерыWAFCDNBotBaserobots.txtGooglebotPay Per Crawlмонетизация контента
Habr
RU

Маленький файл robots.txt и большие последствия одной строки

Разбираемся, как работает robots.txt, почему его часто путают с инструментами индексации и какую роль он играет в эпоху ИИ-сканеров. Читать далее

robots.txtSEOпоисковая выдачаиндексацияЯндексGoogleИИсканерытестированиеhostkey
Habr
RU

SEO-админка для большого каталога: sitemap, robots, мета-превью и тревоги поисковиков в одном месте

Рассказываю, как мы собрали SEO-панель для динамического каталога: sitemap, robots.txt, мета-превью, RSS, диагностика и переобход в одном интерфейсе. …

SEOsitemaprobots.txtIndexNowNext.jsFastAPIPostgreSQLадминкапоисковые системытехническое SEO