DML против PSM: как оценивать нерандомизированные эксперименты быстрее и надёжнее?
Привет, Хабр! Давайте на примере кейса с рекламой в ПВЗ Wildberries разберемся в двойном машинном обучении (DML) и методе псевдорандомизации (PSM).…
Latest News
⚑ Report a ProblemTech news from the best sources
All topics
- Искусственный интеллект, машинное обучение, нейросети
- Новости сети
- автомобили, мотоциклы, транспортные средства
- вирусы, трояны, уязвимости в ПО, вопросы безопасности
- игры
- космос
- мобильные телефоны, смартфоны, сотовая связь, коммуникаторы, КПК
- модули ОЗУ, карты памяти, флеш-накопители, кардридеры
- на острие науки
- процессоры
LLM
ai
ai-агенты
claude
devops
llm
open source
python
ruvds_статьи
Статьи
автоматизация
ии
ии-агенты
информационная безопасность
искусственный интеллект
машинное обучение
нейросети
программирование
разработка
тестирование
Как мы переводили страницу объявления на Beduin в мобильной версии Авито
Всем привет! Меня зовут Егор Савинцев , я Frontend Platform Engineer в Авито . Сейчас я работаю в команде архитектуры, а до этого в команде Phobos в…
Метрики, которые врут: ошибка выжившего, p-hacking и другие ловушки данных
Метрика пошла вверх — и хочется сразу закрепить гипотезу и докинуть ресурсов. Но та же цифра нередко оказывается арифметически верной и при этом лжи…
Как предсказывать долгосрочный эффект A/B теста по коротким метрикам — и почему регрессия может обмануть
В продуктовых экспериментах нередко возникает следующая ситуация: бизнесу важна долгосрочная или малочувствительная метрика, но оценить эффект на та…
Эволюция поиска вакансий в Авито Работе: ML-оптимизации и инсайты из АБ-тестов
Привет! Меня зовут Вадим Вахрушев , я старший DS-инженер в Авито , занимаюсь задачами поиска. В статье расскажу, как устроено р…
Как я ставил A/B‑тесты на поток и случайно собрал платформу для экспериментов
Приветики, меня зовут Петр и я алкоголик работаю продуктовым аналитиком вот уже лет 12 наверное. Мои основные профили это продуктовые рисерчи и…
Как мы подружили LLM с А/Б‑тестами: от сломанного BI до HTML‑отчётов с ИИ‑аналитиком внутри
Привет, Хабр! Меня зовут Михаил Рязанский, я руководитель группы технической аналитики в Дзене. Группа включает в себя команды DWH, антифр…
Предпринимательский «Оскар»: как продать свой стартап Авито и остаться в нём главным
Сооснователь b2b компании EXPF Виталий Черемисинов рассказал, как продал её IT-гиганту Авито , оставшись в ней бизнес-оунером, почему не нужно спеши…
Как мы не обожглись на быстрых ML-экспериментах: опыт с 10% аудитории, холиварами с аналитиками и «лампой для лишая»
Каждый новый A/B-тест у нас занимал 3–4 недели. За это время ML-команда успевала придумать ещё несколько гипотез, аналитики — устать, а продакты — н…
Switchback-тесты: инфраструктура для экспериментов в условиях сетевых эффектов
Меня зовут Даниил Никольский , я бэкенд-инженер команды Trisigma . В создании статьи участвовали Искандер Мирмахмадов , руководитель продуктового на…
Линейная регрессия на стероидах: Double Machine Learning для устранения смещений в данных
Любой аналитик знает, что самым надёжным способом проверки гипотез являются рандомизированные контролируемые эксперименты (RCT), или, как их называю…
Как мы получили p-value < 0.001 на 10 наблюдениях в группе: ультимативный гайд по A/B на малых выборках
Всем привет! Я Андрей Романов , тимлид команды аналитики Sales Tech в Авито , а также преподаватель и ментор по А/B-тестированию. В посл…
Подмена hero на edge по UTM: Cloudflare Pages Functions + HTMLRewriter для React SSG за 200 строк
У вас один SSG-лендинг, а платный трафик льётся из 12 кампаний под разные боли ЦА. Все ведут на дефолтный hero — конверсия в заявку проседает на 30–…