DML против PSM: как оценивать нерандомизированные эксперименты быстрее и надёжнее?
Привет, Хабр! Давайте на примере кейса с рекламой в ПВЗ Wildberries разберемся в двойном машинном обучении (DML) и методе псевдорандомизации (PSM).…
Latest News
⚑ Report a ProblemTech news from the best sources
All topics
- игры
AI
Gear
News
Tech
agents
ai
api
architecture
automation
beginners
career
database
devops
javascript
llm
machinelearning
mcp
opensource
performance
productivity
programming
python
react
security
showdev
testing
tutorial
typescript
webdev
Как потратить 22 000 ₽ на рекламу SaaS, получить 3 289 целевых действий — и остаться без пользователей
Первый запуск рекламы: 5 929 переходов 3 289 целевых действий CR ( доля посетителей, которые совершили нужное нам действие) — 55,47% CPA ( сколько н…
В Telegram-бот пришли 300 человек. Через полгода регулярно возвращаются 11. Разбираю, где я накосячил
После моей прошлой статьи в Telegram-бот за один день пришли 60 человек. Я тогда подумал: ну всё, полетело. Спойлер: не полетело. Сейчас в базе почт…
Шиномонтаж методом Симпсона: как красивая статистика чуть не убила премиум-сервис
Что делать, если средний чек премиального автосервиса оказался в 4 раза меньше планового? Первое «очевидное» решение руководства — немедленно избави…
Как предсказывать долгосрочный эффект A/B теста раньше: прокси-метрики и ловушка регрессии
В продуктовых экспериментах нередко возникает следующая ситуация, когад бизнесу важна долгосрочная или малочувствительная метрика, но оценить эффект…
Метрики, которые врут: ошибка выжившего, p-hacking и другие ловушки данных
Метрика пошла вверх — и хочется сразу закрепить гипотезу и докинуть ресурсов. Но та же цифра нередко оказывается арифметически верной и при этом лжи…
Как предсказывать долгосрочный эффект A/B теста по коротким метрикам — и почему регрессия может обмануть
В продуктовых экспериментах нередко возникает следующая ситуация: бизнесу важна долгосрочная или малочувствительная метрика, но оценить эффект на та…
Чем занимаются и сколько зарабатывают аналитики в IT
По запросу «Аналитик» на Хабр Карьере — более 400 вакансий, и среди них можно найти человека, который пишет SQL-запросы к базам данных, специалиста,…
Чек‑лист по настройке системы дашбординга
Привет! Меня зовут Михаил Измайлов, я лид по аналитике данных в команде лояльности MAGNIT OMNI — бизнес-группе ритейлера «Магнит», которая отвечает…
Предпринимательский «Оскар»: как продать свой стартап Авито и остаться в нём главным
Сооснователь b2b компании EXPF Виталий Черемисинов рассказал, как продал её IT-гиганту Авито , оставшись в ней бизнес-оунером, почему не нужно спеши…
Как я построил сервис аренды квартир без риелторов, довел его до прибыли и почему всё равно закрыл
Когда я переехал из Санкт-Петербурга в Москву, то, как и тысячи людей, первым делом столкнулся с вполне обычной задачей, найти съемную квартиру. Пос…
Как маркетплейсы победили интернет-магазины и что будет дальше
Помните интернет-магазины, где на странице контактов висел номер ICQ? Зелёный цветок показывал, что менеджер онлайн и может ответить на запрос. …
Вашей фичей воспользовались 10 000 раз. Из них 9 000 — это провал
Компания торжественно отчиталась: новой фичей воспользовались десять тысяч раз за месяц. Праздник. Слайд на совете директоров — график вверх и вправ…
Баллада о том, как мы за 7 рублей продлили сезон самокатов на месяц
Короткий операционный кейс о том, как дешёвые строительные перчатки продлили сезон самокатов примерно на месяц и напомнили, что не все продуктовые п…
Метрики ИИ-трансформации: как отличить реальную пользу от хайпа
ИИ-трансформация звучит заманчиво. Но между «мы внедрили» и «приносит компании деньги» лежит пропасть. Найти и устранить этот разрыв помогают метрик…
Технический и продуктовый мониторинг за кастомизациями Битрикс24: как настроить и на что смотреть
Рассказываем и показываем, как можно использовать мониторинг за кастомизациями Битрикс24. Для работы используем телеметрическую инфраструктуру на ба…
Мы не меняли код расширения, но снизили удаления на 13%: кейс Chrome Web Store
Несколько месяцев назад мы запустили своё первое расширение для Chrome — Download Manager (ссылка вшита в название). После публикации я написала ста…
От идеи до первых пользователей: что мы узнали, выпустив Chrome-расширение и получив 140 установок без рекламы
Когда смотришь на рынок Chrome-расширений со стороны, кажется, что всё довольно очевидно. Есть идея. Есть несколько недель разработки. Загружаешь ра…
У абонента положительный баланс, а услуга не работает: как DWH помог найти причину
Личный кейс из телекома: как мы сопоставляли биллинг, 1С, адреса, услуги и партнерскую платформу, чтобы найти, где нарушается синхронизаци…
Data-функция не работает вместо вас
-Gartner прогнозирует, что 80% инициатив в управлении данными провалятся к 2027г. -MIT подводит статистику - 95% AI-проектов не срабатывают и основн…
Слабоумие и отвага: как я за выходные сделала прототип ИИ-помощника для UX-дизайнера
Привет, Хабр! Меня зовут Екатерина Ионова и я руковожу проектами и продуктами экосистемы «Лукоморье» . Когда-то программировала на Java и C#, но пос…
1,78 триллиона vs 65 миллиардов: где страховщики проигрывают некорпоративный сегмент медицины и как им поможет Big Data
В России есть два параллельных рынка медицины. На одном — коммерческие клиники собрали по итогам 2025 года около 1,78 трлн рублей (оценка Eqiva, без…
Дерево решений vs граф работ: как я объединила Data Science и JTBD в одном проекте
Небольшой мысленный эксперимент на стыке машинного обучения и продуктового менеджмента. О том, почему одна и та же задача «определить, что нужно кли…