Lmst

Простой кейс, про простой A/B-тест, чтобы брать и пользоваться (чутка математики + код)

Без воды и лишней теории (хотя я так не считаю, что она лишняя), на примере конкретного кейса разберем, как быстро и без боли запустить A/B-тест через Яндекс.Метрику и куки. Прочитать и пойти всех оттестировать...

https://habr.com/ru/articles/928562/

#абтесты #abтестирование #abtest #abtesting #abtests #абтестирование #абтест #математическая_статистика #js #javascript

Why GrowthBook? Not, like, why you should use our powerful, customizable, open source feature flagging and experimentation platform—but why the name "GrowthBook"?

In the beginning, we envisioned a book of everything you learned about growth, an erudite tome of insights from past experiments.

This week, the prophecy has come true 🔮 We launched Learnings, which makes all your past experiments searchable, available to the whole team.

What will you meta-analysis uncover? #datascience #abtest

Welch's test: он вам не замена Т-test'a

Привет! С вами команда аналитиков «Пятёрочки» X5 Tech. В данной статье мы расскажем про один из классических тестов в статистике — тест Уэлча (Welch's Test). Постараемся максимально раскрыть, когда и где стоит его применять и является ли он, на самом деле, тестом по умолчанию вместо Т‑test-a.

https://habr.com/ru/companies/X5Tech/articles/896182/

#abтестирование #abtest #abtesting #abtests #ttest #аналитика #аналитика_данных #аналитика_мобильных_приложений #статистика #статистика_в_it

Propensity Score Matching (PSM): как обойтись без A/B-теста и всё равно узнать правду

Как определить, влияет ли то или иное событие на ключевые метрики, если полноценный A/B-тест недоступен? В этой статье мы разберём метод Propensity Score Matching (PSM ): узнаем, как компенсировать отсутствие рандомизации, выровнять группы по ключевым признакам и избежать ложных выводов при оценке эффекта.

https://habr.com/ru/articles/887276/

#psm #abtest #mashinelearning #mashine_learning #propensity_score_matching #statistics #машинное_обучение #абтесты #статистика #product

#dailyreport #abtest #multiarmedbandit #mab
I have been reading about solving causal inference A/B
test as a Multi-Armed Bandit problem. These is ML
Reinforcement learning algorithms that applied at once
and enhance during time.

Popular algorithms:
- Upper Confidence Bound (UCB) - deterministic, optimal
- Thompson Sampling - stochastic, optimal
- Epsilon Greedy - stochastic, approximate

Thompson Sampling and UCB have asymptotic regret lower
bound (where N is the number of arms and T is the number
of time steps).
: O(√(N*T*log(T)))

*regret* is difference between max possible reward and
collected. *optimal* means algoritms able to achive
minimal regret when T → ∞.

I hacked my first remote machine. I created a separate
account and cleared logs. I didn't break any
configuration. Now I am going to spend a day or so to
make this hack automatic.
蠡