Сага о Дельта‑методе, часть 1: как оценивать ratio метрики?
Допустим, мы запустили АБ‑тест, рандомизировали клиентов, и теперь хотим оценить эффект фичи на средний чек. Средний чек — это пример rati…
Testing & QA
⚑ Report a ProblemLatest Testing & QA news from Tech News
All topics
agents
ai
api
architecture
automation
backend
beginners
career
claude
cybersecurity
devchallenge
devops
discuss
javascript
llm
machinelearning
mcp
node
opensource
performance
productivity
programming
python
security
showdev
softwareengineering
testing
tutorial
typescript
webdev
[Перевод] Со Spark на Apache Doris: как Kwai ускорила расчёт метрик A/B-экспериментов в 145 раз
Kwai перенесла расчёт метрик A/B-экспериментов со Spark на Apache Doris: до 145 раз быстрее при снижении потребления ресурсов на 72%. В переводе раз…
Как предсказывать долгосрочный эффект A/B теста раньше: прокси-метрики и ловушка регрессии
В продуктовых экспериментах нередко возникает следующая ситуация, когад бизнесу важна долгосрочная или малочувствительная метрика, но оценить эффект…
Как мы получили p-value < 0.001 на 10 наблюдениях в группе: ультимативный гайд по A/B на малых выборках
Всем привет! Я Андрей Романов , тимлид команды аналитики Sales Tech в Авито , а также преподаватель и ментор по А/B-тестированию. В посл…