RU

Как бот ушёл в 7273 год: бесконечный календарь, 88 632 запроса и неожиданный нагрузочный тест Laravel

После запуска хобби-проекта я заметил, что один робот за сутки открыл календарь 88 632 раза и добрался до 7273 года. Причиной оказалась обычная ссыл…

Laravelпоисковые роботывеб-краулерыSEOмаршрутизацияаналитика посещенийнагрузочное тестированиекалендарь
Habr
RU

Карго-культы технического SEO: что robots.txt и sitemap.xml делают на самом деле

Priority и changefreq, которые Google игнорирует. Disallow как «запрет индексации». robots.txt в роли замка для чувствительных данных. Разбираем сем…

robots.txtsitemap.xmlтехническое seoиндексациякраулинговый бюджетnoindexпоисковые роботыseosearch consoleяндекс вебмастер