#ab_testing

2025-04-11

Мифы о байесовском А/Б тестировании

Хабр, привет! Сегодня сравним два подхода к А/Б тестированию: байесовский и частотный. Обсудим сложности в интерпретации p-value. Посмотрим, как можно учитывать дополнительную информацию через априорное распределение. Остановим тест раньше времени и решим проблему подглядывания.

habr.com/ru/companies/X5Tech/a

#abтестирование #ab_testing #data_science #data_driven #анализ_данных #аналитика #статистика #проверка_гипотез #байесовский_подход #bayesian

2025-04-09

A/B-тестирование в Android-разработке: гайд для middle+ разрабов

A/B-тестирование — это не только инструмент для продуктовых команд. Это суперспособность и для Android-разработчиков. В этой статье рассказываю, как опытные инженеры могут проектировать, реализовывать и грамотно завершать эксперименты, которые действительно влияют на продукт, не захламляя кодовую базу. От Firebase Remote Config до паттернов чистой архитектуры — всё, чтобы делать более умные и осознанные Android-приложения. 🚀 Почему A/B-тестирование важно именно для разработчиков По сути, A/B-тест — это сравнение двух (или более) вариантов реализации, чтобы понять, какой из них работает лучше. В Android это может быть: • сравнение разных UI-дизайнов, • тестирование разных онбордингов, • проверка производительности оптимизаций, • сравнение реализаций фич (например, RecyclerView против LazyColumn в Compose). Вместо «выпустим и посмотрим» — мы выпускаем, измеряем и улучшаем . 🧩 Как встроить A/B-тесты в кодовую базу Хороший A/B-тест начинается с гипотезы и метрик успеха. Но в инженерном мире нужно думать ещё и о поддержке, масштабировании и разделении логики . Пример архитектуры:

habr.com/ru/articles/899378/

#kotlin #android #ab_testing #senior_developer #software_development

2025-03-26

История эволюции веб-сервиса: от примера из доки до космолета

5k RPS, 5ms Latency и 100 экспериментов одновременно. История о том, как наша команда перестраивала веб-сервис для сплитования трафика в высокопроизводительную систему. С какими ограничениями Cpython и Gil столкнулись на пути, как обходили "узкие места" и оптимизировали сервис до микросекунд. В общем, всё о том, как мы построили "космолет" на Python и взлетели! Ну и, конечно же, ответ на вопрос: "Почему не Go? ".

habr.com/ru/companies/okko/art

#python #multiprocessing #performance #okko #ab_testing

2024-11-20

Размер имеет значение: как исторические данные помогают на этапе дизайна A/B-теста

Метод CUPED уже давно завоевал популярность в анализе A/B-тестов, предоставляя возможность выявлять эффекты меньших размеров. В этой статье мы подробно рассмотрим применение данного подхода на этапе дизайна эксперимента. Мы исследуем, как можно сократить размеры выборок, не теряя при этом в статистической мощности теста.

habr.com/ru/articles/860050/

#проверка_гипотез #анализ_данных #аналитика #математическая_статистика #ab_testing #a/b_test #a/bтестирование

2024-06-04

7 раз отрежь, один релизни. А/Б тесты статических сайтов

Релиз начинается с идеи. Когда в потоке мозгового штурма приходит та самая идея, которая понравится всем пользователям и привлечёт новых клиентов. Идея презентуется команде менеджеров, маркетологов и безоговорочно поддерживается всеми. Прорабатывается ТЗ и задача отдаётся разработчикам. Затем новая версия тестируется и уходит конечным пользователям. На этом жизненный цикл идеи завершён. Теперь остаётся дождаться массива свежей аналитики и отпраздновать… Однако эта идея изначально была обречена. Она была поддержана лишь схожими с её автором людьми. Однако эти люди не самая подходящая ЦА, а возможно и вовсе её редкие исключения. И есть только один гарантированный способ проверить гипотезу - проверить её именно на аудитории бизнеса. Но, не на всей. Этот способ называется А/Б тестированием. И именно ему будет посвящена данная статья. От идеи до конкретной реализации тестирования на next.js (которую можно повторить и на других технологиях).

habr.com/ru/articles/819399/

#nextjs #middleware #edge #ab_testing #абтесты #web_программирование #nextjs #react

2023-12-20

Как быстро и недорого проверить продуктовую гипотезу, не считая А/B-тестов

Привет! Я Аля — продакт-менеджер выделенных серверов Selectel. Люблю быстрое тестирование гипотез (и да, верю, что в B2B это возможно), общаться с целевой аудиторией и чистить бэклог. Думаю, что каждый продакт рано или поздно сталкивается с ситуацией, когда протестировать гипотезу A/B-тестом не получается по целому ряду причин — дорогой запуск, маленькая выборка, юридические ограничения и другие препятствия. Что же делать, когда хорошо известный A/B-тест не подходит, а принять решение Go/No-Go все же надо? В этом тексте я расскажу о методах тестирования продуктовых гипотез, которые не так известны как классические A/B-тесты, но могут быть не менее эффективны. Также в копилке их преимуществ — скорость и низкие ресурсозатраты. Кроме того, рассмотрю, в каких ситуациях эти варианты тестирования стоит использовать и приведу примеры из собственной практики или практики других компаний. Пристегните ремни, погружаемся в дебри тестирования! :)

habr.com/ru/companies/selectel

#selectel #product_management #управлением_продуктом #ab_testing #гипотезы #продукт

2023-12-16

АБ тесты и подводные камни при их автоматизации

Задача оценки нововведений в онлайн и мобильных приложениях возникает повсеместно. Один из наиболее надёжных и популярных способов решения этой задачи - двойной слепой рандомизированный эксперимент, также известный как АБ-тест . На тему АБ-тестирования доступны как статьи на Хабре, так и целые книги (неполный список литературы в конце). В основе АБ-теста лежит следующая идея - случайно разделить пользователей на две или более группы, в одной из которых исследуемая функциональность выключена, а в других - включена. Затем можно сравнить метрики и сделать выводы.

habr.com/ru/articles/781060/

#ab_testing #абтесты #аналитика_данных #статистика #python

Client Info

Server: https://mastodon.social
Version: 2025.04
Repository: https://github.com/cyevgeniy/lmst