DML против PSM: как оценивать нерандомизированные эксперименты быстрее и надёжнее?
Привет, Хабр! Давайте на примере кейса с рекламой в ПВЗ Wildberries разберемся в двойном машинном обучении (DML) и методе псевдорандомизации (PSM).…
Latest News
⚑ Report a ProblemTech news from the best sources
All topics
- игры
AI
Gear
News
Tech
agents
ai
api
architecture
automation
beginners
career
database
devops
javascript
llm
machinelearning
mcp
opensource
performance
productivity
programming
python
react
security
showdev
testing
tutorial
typescript
webdev
Как мы переводили страницу объявления на Beduin в мобильной версии Авито
Всем привет! Меня зовут Егор Савинцев , я Frontend Platform Engineer в Авито . Сейчас я работаю в команде архитектуры, а до этого в команде Phobos в…
Метрики, которые врут: ошибка выжившего, p-hacking и другие ловушки данных
Метрика пошла вверх — и хочется сразу закрепить гипотезу и докинуть ресурсов. Но та же цифра нередко оказывается арифметически верной и при этом лжи…
Как предсказывать долгосрочный эффект A/B теста по коротким метрикам — и почему регрессия может обмануть
В продуктовых экспериментах нередко возникает следующая ситуация: бизнесу важна долгосрочная или малочувствительная метрика, но оценить эффект на та…
Эволюция поиска вакансий в Авито Работе: ML-оптимизации и инсайты из АБ-тестов
Привет! Меня зовут Вадим Вахрушев , я старший DS-инженер в Авито , занимаюсь задачами поиска. В статье расскажу, как устроено р…
Как я ставил A/B‑тесты на поток и случайно собрал платформу для экспериментов
Приветики, меня зовут Петр и я алкоголик работаю продуктовым аналитиком вот уже лет 12 наверное. Мои основные профили это продуктовые рисерчи и…
Как мы подружили LLM с А/Б‑тестами: от сломанного BI до HTML‑отчётов с ИИ‑аналитиком внутри
Привет, Хабр! Меня зовут Михаил Рязанский, я руководитель группы технической аналитики в Дзене. Группа включает в себя команды DWH, антифр…
Предпринимательский «Оскар»: как продать свой стартап Авито и остаться в нём главным
Сооснователь b2b компании EXPF Виталий Черемисинов рассказал, как продал её IT-гиганту Авито , оставшись в ней бизнес-оунером, почему не нужно спеши…
Как мы не обожглись на быстрых ML-экспериментах: опыт с 10% аудитории, холиварами с аналитиками и «лампой для лишая»
Каждый новый A/B-тест у нас занимал 3–4 недели. За это время ML-команда успевала придумать ещё несколько гипотез, аналитики — устать, а продакты — н…
Switchback-тесты: инфраструктура для экспериментов в условиях сетевых эффектов
Меня зовут Даниил Никольский , я бэкенд-инженер команды Trisigma . В создании статьи участвовали Искандер Мирмахмадов , руководитель продуктового на…
Линейная регрессия на стероидах: Double Machine Learning для устранения смещений в данных
Любой аналитик знает, что самым надёжным способом проверки гипотез являются рандомизированные контролируемые эксперименты (RCT), или, как их называю…
Как мы получили p-value < 0.001 на 10 наблюдениях в группе: ультимативный гайд по A/B на малых выборках
Всем привет! Я Андрей Романов , тимлид команды аналитики Sales Tech в Авито , а также преподаватель и ментор по А/B-тестированию. В посл…
Подмена hero на edge по UTM: Cloudflare Pages Functions + HTMLRewriter для React SSG за 200 строк
У вас один SSG-лендинг, а платный трафик льётся из 12 кампаний под разные боли ЦА. Все ведут на дефолтный hero — конверсия в заявку проседает на 30–…