RU

Более 100 000 вакансий: полный анализ IT-рынка России в 2026 году. Кто нас на самом деле нанимает?

Привет, Хабр! (И тебе, IT-шник, который хочет разобраться, что в 2026 вообще здесь происходит? И тебе кто уже прочёл первую часть. Сейчас разберёмся…

аналитикаанализ данныхграфикиpython1chrнаймроссийский рынокпарсингрынок труда
Habr
RU

Скрапер Google Maps на Playwright: семь граблей, на которые я наступил

Задача звучала просто: получить список компаний определённого профиля в конкретном городе — с сайтом и способом связаться. Не телефоном, а email / T…

pythonplaywrightпарсингвеб-скрапингgoogle mapsрегулярные выраженияbeautifulsoupcss-селекторы
Habr
RU

Как мы проверяем до 1 000 cайтов в час: рассказываем про ЮScan — сервис оценки рисков в сегменте e-commerce

1000 сайтов в час вместо нескольких часов на каждый — так работает ЮScan, сервис автоматизированного аудита от ЮMoney. Его основная задача — помочь…

pythonscrapyplaywrightвеб-краулерпарсингантифродинформационная безопасностьмашинное обучениеllme-commerce
Habr
RU

Более 100 000 вакансий: полная анализ IT-рынка России в 2026 году. И почему hh.ru нас обманывает?

Привет, Хабр! (И тебе, IT-шник, который хочет разобраться, что в 2026 вообще здесь происходит? Сейчас разберёмся, но легче тебе от этого не станет).…

аналитикаанализ данныхграфикиpython1chrнаймроссийский рынокпарсингрынок труда
Habr
RU

Написал расширение, которое качает статьи Хабра в Markdown — и не долбит сервер

В прошлых двух статьях я разбирал DNS-трафик домашней сети и анализировал 1233 публикации Хабра, чтобы понять, за что площадка даёт рейтинг. И там,…

Chrome extensionрасширениеHabrпарсингMarkdownrate limitingManifest V3выгрузка статейcircuit breakerархив
Habr
RU

6,9к за восемь лет и 121к за полгода: аномалия в данных одного телеграм-канала

Я понимаю, что Хабр не политическая платформа, я хорошо знаком с правилами, понимаю, что получу массу минусов в карму, а может, и бан. Но! Во-первых…

telegramаналитика данныхвизуализация данныхстатистикаподписчикивыборы 2026политические партиияблокопарсингинфографика
Habr
RU

Как я перенёс проверку цен с VPS на компьютеры пользователей — и зачем всё-таки оставил сервер

Сначала PriceTrack проверял страницы маркетплейса на VPS. Селекторы были корректными, но сервер вместо карточек товара получал 403. В итоге я перенё…

архитектура ПОdesktop-приложениеPythonFastAPIPlaywrightпарсингмаркетплейсылокальная обработкараспределённая системаWindows
Habr
RU

Я собрал конвейер аналитики банков на LLM-агентах. Показываю, где он остановил 7 из 31

У проекта есть работающий сайт: ortant.net . На нём 24 принятых исследования, десять досье банков, карта покрытия данных и раздел с методикой. Иссле…

llmии-агентыpostgresqlпарсингбанкикачество данных
Habr
RU

Прокси для парсинга — какие выбрать, а от каких лучше держаться подальше?

Уверен, что любой, кто сталкивался с парсингом (его еще называют скраппинг) попадал в такую ситуацию что парсер отваливается с ошибкой или не собира…

парсингпроксипрокси-серверпрокси серверпрокси сервера
Habr
RU

Рекурсия в RegEx с условиями выхода

Для создания подсветки синтаксиса мне требовалось регулярное выражение, которое может подсветить разные фрагменты пути. При этом оно должно следоват…

regexрегуляркирегулярные выражениярегулярное выражениепарсингобработка текстарекурсияциклподсветка синтаксисаNotepad++
Habr
RU

По обе стороны антибота: как я имитирую Chrome при скрейпинге и ловлю ботов по тем же сигналам

Я собираю афишу города в одну карту из пяти источников. Два из них — Яндекс.Афиша и afisha.ru — собирать себя не хотят. И режут не так, как ждешь: н…

TLS fingerprintJA3JA4curl_cffiантиботпарсингBoringSSLfraud scorebot detectionhttp2
Habr
RU

Хотел одно число про салоны своего города. Легально оно стоит 226 000 ₽ — обошёлся OpenStreetMap

Мне нужно было одно число. Какая доля салонов красоты в моём городе даёт клиенту записаться онлайн — без звонка. Я делаю сервис записи для салонов и…

OpenStreetMapOverpass APIпарсинготкрытые данныеODbLвеб-скрапингисследование рынкаонлайн-записьYCLIENTSсалоны красоты
Habr
RU

Атомарные регулярные выражения

Регулярные выражение обладают возможностями отслеживания пройденного пути и рефлексией. Разберемся, как использовать эти возможности для захвата фра…

regexрегуляркирегулярные выраженияпарсингpcreалгоритмыизучение программированияautohotkeyрегулярное выражениеregular expressions
Habr
RU

Как я хакнул рынок труда: пишем свой ИИ-комбайн для автооткликов на HH.ru

Всем привет! Если вы хоть раз искали работу в IT за последний год, то знаете, что рынок беспощаден к новичкам. Нужно откликнуться на сотни вакансий,…

pythonplaywrighthh.ruollamallama3автоматизацияпоиск работыискусственный интеллектпарсингкарьера
Habr
RU

IP, браузер, TLS: три слоя, на которых палится парсер

С чего все началось Хотел простую вещь: отслеживать цену на пару товаров, которые ждал со скидкой. Чтобы не заходить руками каждый де…

парсингантиботTLS-фингерпринтингJA3JA4headless-браузерClientHelloGoпроксикриптография
Habr
RU

Как я за неделю перевела десктоп-парсер на SaaS, потому что Яндекс ввёл платный API

Я работаю в контекстной рекламе и аналитике пять лет. Когда популярное расширение xml-river перестало работать, у тысяч специалистов сломался привыч…

pythonsaaswordstatпарсингfastapipyside6архитектурамонетизацияпет-проектapi яндекса
Habr
RU

Как мой Telegram-парсер ослеп на проде: чиним пропуск лидов через Active Pull (Python, n8n, LLM)

Когда я запустил свой парсер Telegram-чатов на проде, он просто ослеп. В тестовой группе всё летало, а в 26 боевых чатах — абсолютная тишина и ноль…

pythontelethonn8nchatgptпарсинглидогенерацияtelegram apiархитектура
Habr
RU

Как быстро восстановить сайты, если нет бэкапов

Сайты перестали работать: серверы, на которых всё лежало, разом пропали из сети — без предупреждений и без шанса скачать бэкапы. А самих бэкапов у м…

хостингбэкапвосстановление данныхWayback Machinecommon crawlwarcрезервное копированиепарсингCDX API
Habr
RU

Как я устал от фейковых скидок на Wildberries и написал парсер для аналитики цен на спортпит

Хабр, Привет! Пожать заветную сотку, добрать белка, закрыть углеводное окно и просто попозировать после тяжелой потной тренировки — всё это не&…

парсингpythonwildberriesанализ данныхapiмаркетплейсыsqlitepandasценообразованиескидки
Habr
RU

Как я случайно написал что-то быстрое и декларативное (на Rust)

Писал парсер строго под свой проект, а получился быстрый декларативный движок для парсинга текстовых форматов. Как? Читать далее

rustparsingenginedeclarativefastпарсерпарсингработа с текстомработа с текстовыми данными
Habr
RU

Мы проверили 852 интернет-магазина по 30 критериям: делимся результатами и тем, как вообще это провернули

Привет, Хабр! Меня зовут Дмитрий, руководитель отдела рекламы и продвижения в Аспро . Мы запускаем интернет-магазины и развиваем систему управления…

ecommerceинтернет-магазинмаркетинганалитикапарсингpythonвеб-скрапингисследованиеконверсияux
Habr
RU

Как мы автоматизировали мониторинг цен конкурентов: мультиагентная система на CrewAI + n8n + Firecrawl

0. TL;DR для тех, кто спешит Статья о том, как собрать из подручных open-source инструментов систему, которая ежедневно: — Сканирует цены и отзывы у…

n8nfirecrawlllmagentspythonпарсингмониторинг цен конкурентовe-commerceai-безопасностьprompt injection
Habr
RU

Поиск IT-железа по 30+ дистрибьюторам сразу: как мы собрали 114k SKU

Кейс, в котором мы поняли что закупщику не нужен «ещё один маркетплейс» — нужен инструмент, который за один запрос покажет, у кого из дистров есть н…

B2BзакупкидистрибуцияпоискSaaSпарсингнормализация данныхIT-инфраструктураREST APIкейс
Habr
RU

Сбор сведений из открытых источников: почему это рискованно, если выкачивается информация из чужих баз данных?

Собрать информацию о человеке или продукте с использованием высоких технологий стало делом техники. В прямом и переносном смысле слова. Однако такое…

базы данныхбаза дынныхпарсингпарсинг контентапарсинг сайтовпарсинг сайтапарсинг данныхзащита данныхзащита данных пользователейзаконодательство
Habr