RU

Как отделить сквозные ссылки от контекстных, не парся вёрстку

Обошли краулером два сайта, посчитали PageRank и получили ровную кашу: у каждой страницы из меню сто с лишним входящих, у каждой вне меню две. Меню…

pagerankперелинковкаграф ссылоккраулерseopythonвнутренние ссылкиструктура сайта
Habr
RU

Сколько страниц на SPA, или Как мы реализовали динамический краулер

Всем привет! Я Владимир Гринчуков, в Positive Technologies мы с командой PT BlackBox разрабатываем сканер безопасности. На вход он получает URL прил…

анализ безопасностикраулерсканер уязвимостейpt blackboxповерхность атакипоиск уязвимостей