О математическом мышлении, статистике и A/B-тестировании с Виталием Черемисиновым

make sense podcast

Подписывайтесь на канал подкаста в телеграме: t-do.ru/mspodcast 86-й выпуск подкаста make sense: о математическом мышлении, статистике и A/B-тестировании с Виталием Черемисиновым Собеседник: Виталий Черемисинов, Head of Data Unit в AIC ФБ: fb.com/vit.cheremisinov Пара цитат: «К денежным метрикам нужен более щепетильный подход, чем к бинарным. Например, конверсия: покупка либо есть (1), либо ее нет (0), и более-менее понятно, как эту метрику интерпретировать. Если мы говорим о среднем чеке или ARPU, для интерпретации нужны разные математические и продуктовые подходы». «Часть математического мышления — смотреть на любое природное явление через призму особенностей поведения данных по мере их накопления либо по мере их изменчивости». О чем говорим: 1:07 — Виталий рассказывает о себе 1:54 — Почему деньги — одна из самых сложных метрик 6:17 — Математические и продуктовые подходы в интерпретации данных 10:01 — Как прогнозировать поведение пользователя без данных 11:28 — Особенности математического мышления 17:18 — Инструменты математической статистики, которые стоит перенять продактам 23:02 — ML-модели и ML-эксперименты 25:28 — Нужно ли усложнять A/B-тесты? 28:40 — Как связаны исследования и growth hacking 30:05 — О чем обычно забывают, когда собираются делать A/B-тестирование 37:32 — Как выбрать метрику, на которую ориентироваться в продукте 42:45 — Сколько занимает подготовка и проведение A/B-тестирования 44:51 — Кто входит в команду, которая проводит эксперименты 45:51 — Об исторических данных и ложных сигналах 48:47 — Что почитать об A/B-тестировании Мы упоминаем: — блог Виталия и Искандера Мирмахмадова Statistics Experiments: https://medium.com/statistics-experiments — документальный фильм «Иноходец. Урок Перельмана»: https://youtu.be/fdCOrOCcB1s — книгу Сары Бослаф «Статистика для всех»: https://www.ozon.ru/context/detail/id/140646186/ — блог Netflix: https://blog.netflix.com/ — блог Booking: https://blog.booking.com/ — блог Airbnb: https://blog.atairbnb.com/ P.S. В блоге Statistics Experiments есть подборка «Материалы по математической статистике и экспериментам: https://medium.com/statistics-experiments/материалы-по-математической-статистике-и-экспериментам-1-0-d065751b07c6