RU

ИИ‑Мониторинг, который работает и врёт

Упавший скрипт меня не пугает. Он падает, крон пишет в лог, в телеграм прилетает ошибка, я иду чинить. Неприятно, но честно. Пуг…

мониторингcronpythonлогированиеобработка ошибоккачество данныхпарсингавтоматизациянадёжностьИИ-агенты
Habr
RU

Одна франшиза — три адреса и два написания: дедупликация каталога франшиз по открытым данным

Человек, который вводит в поиск запрос вроде «франшиза каталог для малого», получает несколько каталогов, и в каждом тысячи карточек. Кажется, что и…

открытые данныепарсингpythonдедупликациясопоставление записейкачество данныхтранслитерациямаркировка рекламыфранчайзинг
Habr
RU

Пять тысяч строк одного списка: собираю франчайзинговую сеть 1С по открытым данным и сверяю с ЕГРЮЛ

У фирмы «1С» есть открытый список 1С-франчайзи: страница, где можно выбрать регион и увидеть всех, кто внедряет «1С:Предприятие» в вашем городе. Это…

открытые данныепарсингpythonЕГРЮЛ1Сфранчайзингкачество данныхсопоставление записейгеокодированиерегулярные выражения
Habr
RU

Парсер, который не падает, а врёт: шесть случаев из моей практики

За полтора месяца я собрал браузером около двухсот карточек товаров, счётчики просмотров с одиннадцати площадок и содержимое пары десятков объявлени…

парсингскрапингplaywrightheadless-браузеррегулярные выражениясбор данныхкачество данныхотладкаrequestspython
Habr
RU

Как мы измеряли рекламные обещания регулярками и почему первая выгрузка соврала вдвое

Нам понадобились свои данные о том, как устроены страницы, продающие франшизы. Не мнение, не подборка скриншотов, а числа, которые можно пересчитать…

регулярные выраженияпарсингразметка данныхкачество данныхpythonвыборкаконтент-анализошибки разметки
Habr
RU

HTTP 200 на несуществующий адрес: пять способов, которыми Telegram обманул мои проверки

Задача была на полчаса: пройтись по списку из 216 адресов вида t.me/имя и понять, какие живы и что это — канал, группа или аккаунт. Ушёл день, и поч…

telegramhttpпарсинготладкатестирование
Habr
RU

Скрапер Google Maps на Playwright: семь граблей, на которые я наступил

Задача звучала просто: получить список компаний определённого профиля в конкретном городе — с сайтом и способом связаться. Не телефоном, а email / T…

pythonplaywrightпарсингвеб-скрапингgoogle mapsрегулярные выраженияbeautifulsoupcss-селекторы
Habr
RU

Как мы проверяем до 1 000 cайтов в час: рассказываем про ЮScan — сервис оценки рисков в сегменте e-commerce

1000 сайтов в час вместо нескольких часов на каждый — так работает ЮScan, сервис автоматизированного аудита от ЮMoney. Его основная задача — помочь…

pythonscrapyplaywrightвеб-краулерпарсингантифродинформационная безопасностьмашинное обучениеllme-commerce
Habr
RU

Как я перенёс проверку цен с VPS на компьютеры пользователей — и зачем всё-таки оставил сервер

Сначала PriceTrack проверял страницы маркетплейса на VPS. Селекторы были корректными, но сервер вместо карточек товара получал 403. В итоге я перенё…

архитектура ПОdesktop-приложениеPythonFastAPIPlaywrightпарсингмаркетплейсылокальная обработкараспределённая системаWindows
Habr
RU

Я собрал конвейер аналитики банков на LLM-агентах. Показываю, где он остановил 7 из 31

У проекта есть работающий сайт: ortant.net . На нём 24 принятых исследования, десять досье банков, карта покрытия данных и раздел с методикой. Иссле…

llmии-агентыpostgresqlпарсингбанкикачество данных
Habr
RU

Как я хакнул рынок труда: пишем свой ИИ-комбайн для автооткликов на HH.ru

Всем привет! Если вы хоть раз искали работу в IT за последний год, то знаете, что рынок беспощаден к новичкам. Нужно откликнуться на сотни вакансий,…

pythonplaywrighthh.ruollamallama3автоматизацияпоиск работыискусственный интеллектпарсингкарьера
Habr
RU

Как мой Telegram-парсер ослеп на проде: чиним пропуск лидов через Active Pull (Python, n8n, LLM)

Когда я запустил свой парсер Telegram-чатов на проде, он просто ослеп. В тестовой группе всё летало, а в 26 боевых чатах — абсолютная тишина и ноль…

pythontelethonn8nchatgptпарсинглидогенерацияtelegram apiархитектура
Habr
RU

Как мы форкнули undetected-chromedriver и добавили SOCKS5, мультипроцессинг и модуль капчи

Устали от блокировок CloudFlare и капч? Показываю библиотеку rtfox-browser — готовое решение для автоматизации Chrome с прокси и решением капчи «из…

rtfox-browserundetected-chromedriverseleniumpythonпарсингweb scrapingобход cloudflarecaptcha solvingsocks5 proxychromedriver