Ближайшая конференция — Матемаркетинг-2020
Состоится 9-13 ноября в формате online
Программа конференции: bit.ly/3iMiT6Z
Билеты и подробности: matemarketing.ru
A/B-тесты — главный двигатель развития продукта. В крупных компаниях ежедневно проводятся сотни экспериментов, а их результаты могут стоить миллионов рублей — как выручки, так и убытков. Анатолий Карпов рассказывает какие подводные камни ожидают аналитиков при проведении экспериментов и как научиться их избегать. Вы глубже поймете статистику и разберетесь в том, каких ошибок можно избежать при проведении A/B тестов.
«Кампус» — это просветительский фестиваль от команды «Бумаги». Учиться можно не только в университетских аудиториях. Любая городская площадка — бар, театр, кино — это место, где вы узнаете новое и знакомитесь с интересными людьми. campus.paperpaper.ru/
Ближайшая конференция — Матемаркетинг-2020
9-13 ноября, Online
Билеты и подробности: matemarketing.ru
Программа конференции: bit.ly/3iMiT6Z
Илья Красинский — CEO и основатель Rick.ai, сооснователь Uncrn.me и автор продуктового курса ProductHeroes.
С 2013 года помогает командам разобраться в экономике продукта и экономике внимания, аналитике, чтобы кратно повысить доход. Помог рассчитать экономику продукта и определить ключевые метрики более 1000 компаниям (от международных компаний, например, Ultimate Guitar 30M, СhatFuel 50M пользователей до небольших стартапов). Знает метрики около четверти продуктовых компаний России.
В 2015 году основал Rick.ai — сервис сквозной аналитики на базе Google Analytics с алгоритмами проверки точности данных, исправления ошибок GA и корректного расчета ключевых метрик для бизнеса.
Доклад Игоря Полянского на конференции «Матемаркетинг-2020».
Полный доступ ко всем докладам: lms.matemarketing.ru
Игорь Полянский — Head of Global Product Analytics at Gett и преподаватель Geekbrains, рассуждает о том, почему роль «аналитик-калькулятор» — умирает, а профессия аналитика ставится значительно сложнее — от «посчитать метрику» до «реши проблему». В докладе разбираются профили аналитиков по скиллсету и приводятся варианты на решение каких задач их правильнее всего направить?
Доклад будет полезен всем тем, кто строит отдел аналитики и дает понимание как сформировать команду под задачи и стадию развития
аналитики в компании.
Игорь рассказывает чем отличается мышление лидера глобальной распределенной команды аналитики и изменении роли тимлида аналитики от «самого лучшего кодера на python» к «лидеру команды и предпринимателя внутри компании». Росте важности business-sense, умения убеждать топ-менеджмент и продавать идеи.
Ближайшая конференция — Матемаркетинг-2020
9-13 ноября, Online
Билеты и подробности: matemarketing.ru
Программа конференции: bit.ly/3iMiT6Z
Доклад рассказывает об общем устройстве инфраструктуры с погружением в детали: безопасный сплит трафика в тесте, типы метрик, производительность при масштабировании, оптимизация, визуализация. Слушатели смогут перенять опыт в построении эффективной инфраструктуры.
Платформа А/В-тестирования нужна для того, чтобы валидировать продуктовые изменения.
Главная трудность состоит в том, что невозможно быстро запускать A/B-тесты, потому что всё делается «руками». Перед аналитиками стоит задача ускорить и автоматизировать этот процесс.
Когда A/B-тестов становится много, они начинают накладываться друг на друга, пересекаться, ломать интерфейс, приводя к некорректным результатам. Статистика Avito: 50 экспериментов одновременно, в каждом эксперименте трекается примерно 300 метрик, а если учитывать срезы, то число метрик достигает 8000. Каждый день проводится примерно 14 млн. измерений. Такие числа в принципе невозможно отсмотреть. Поэтому, чтобы отсматривать такое количество результатов нужно иметь грамотную визуализацию.
Короткие выводы:
1. Текстовые конфиги лучше, чем GUI
2. Использование слоёв и тройного посола для распределение трафика
3. Универсальная формула метрик – observations/ groupby/ threshold
4. Внедрение «бакетов»
5. Линеаризация Ratio вместо Bootstrap
6. Табло для визуализации результатов
7. Minimum Detedtable Effect – важнейший показатель
8. Lift, P-value в динамике, гистограмы
Ближайшая конференция — Матемаркетинг-2020
9-13 ноября, Online
Билеты и подробности: matemarketing.ru
Программа конференции: bit.ly/3iMiT6Z
Большинство дашбордов перегружены информацией и бизнесу сложно понять, что имел ввиду аналитик.
В рамках доклада Виктор рассказывает:
— как определить какие данные нужно выводить в первую очередь и определить лишние;
— как сделать actionable-дашборд.
Бонус: галерея примеров «Как делать надо и как не надо».
