Глобальная контрольная группа

Представьте ситуацию: вы провели классный A/B-тест, получили статистически значимый рост любимой метрики на X%, а потом приходит бизнес и спрашивает: «А сколько денег это принесло?»

Дальше начинается самое интересное - вам нужно и вежливо объяснить, что при проведении теста вы не фокусировались на деньгах (а зачем, да?), и все же попытаться ответить на этот вопрос.

Здесь на помощь приходит глобальная контрольная группа - инструмент, о котором в последнее время говорят всё чаще, и это не случайно: бизнесу важно видеть не только локальные эффекты экспериментов, но и их влияние на общие показатели.

Глобальная контрольная группа позволяет решать задачи, с которыми A/B-тесты справляются не всегда. Например, она помогает:

✅фиксировать изменения в нечувствительных метриках,
✅оценивать кумулятивные эффекты
✅и тд и тд

Об этом инструменте и его прикладной применимости я рассказывала на аналитическом митапе Garage 8, а на YouTube, оказывается, давно есть запись моего выступления.

Так что - инжой!

#абтестное@importpandas

Как развиваться аналитику, если ты один аналитик в компании.

Авито, яндекс, озон и многие другие гиганты имеют очень крутые внутренние программы развития аналитики и выращивают сильных специалистов из стажеров.

Но таких компаний относительно всего рынка очень мало, и довольно часто кандидаты выбирают маленькие компании со штатом аналитиков размером 1-2 человека, где они будут заведовать либо большой частью продукта, а то и всем сразу.

И, как всегда, есть и плюсы, и минусы, и подводные камни, но как факт: один начинающий аналитик внутри компании развивается очень медленно, потому что рядом ни опытных наставников, ни коллег, за которыми можно "подглядеть".

Что делать?
Не знаю.
Что сделала бы я?

1️⃣ Оптимизировала бы рутинные задачи. Посмотрела бы, какие задачи сколько времени занимают. Какие задачи - это примитивные monkey jobs и есть ли решения, чтобы их автоматизировать.

2️⃣ Нашла бы внешнего ментора, благо, их очень много. Опытный взгляд со стороны всегда освежает собственное восприятие

3️⃣ Брала бы больше ответственности. Маленькая компания - это крутая возможность стать мини-сео в своей доменной области, прокачивать смежные компетенции и более простым образом "продавать" свои идеи, так почему бы не воспользоваться этим и не расти в рабочей среде?

4️⃣ Общалась бы с коллегами из других подразделений внутри компании. Многие специалисты с годами приобретают видение не только внутри своей компетенции, но и по другим. Они могут как дать комментарии по вашей работе, так и помочь с развитием. Более чем уверена, что кто-то за время своего карьерного пути не раз сталкивался с аналитическими задачами.

5️⃣ Нашла бы бесплатные сообщества в интернете. Не всегда там дружелюбная атмосфера по отношению к новичкам, к этому нужно быть готовым. Но в таких сообществах, правда, большая ценность с точки зрения "а как ещё может быть".

У нас тут с друзьями возникла дискуссия вот на какую тему.

Может ли разработчик или любой другой член команды разработки влиять на бизнес-метрики?

Опции две:

➖Нет, не может, это разработчик, и бизнес-метрики - не его зона ответственности
➕Да, может, потому что даже в рамках своей зоны ответственности возможен потенциально большой диапазон влияния.

Что думаете?

Может ли разработчик влиять на бизнес-метрики? В продолжение этого поста
Спойлер: Да.

На первый взгляд кажется, что между кодом и прибылью - пропасть. Но это не так.

Примеры из практики:
✔️ Скорость загрузки упала на 1 секунду → конверсия выросла на 10%.
✔️ Баг с оплатой починили за день → клиенты не ушли к конкурентам.
✔️ и тд и тд

Любой член команды разработки — не просто «исполнитель задачи.
Это человек, чьи решения напрямую влияют на лояльность, репутацию, прибыль и многое другое.

Но есть нюанс: чтобы это влияние было позитивным, нужно не просто писать код😅

Нужно:
✅Понимать, зачем ты это делаешь ("Фича для аудитории Х увеличит retention").
✅Думать на несколько шагов вперёд ("Если сжать изображения, снизим нагрузку на сервер и сэкономим $1000/мес").
✅Предлагать улучшения, а не ждать задач ("Го добавим аналитику, чтобы понять, где пользователи отваливаются").

Мне важно работать с теми, кому не всё равно.

Потому что разработчик, который видит за кодом живых людей и бизнес-цели, - это мультипликатор роста, а не "ресурс". Такие люди зачасую не боятся спросить: "Как это повлияет на метрики?" или сказать: "Есть способ сделать это эффективнее".

А еще, как писали в комментариях к посту выше, как правило, зрелым разрабочикам неинтересно просто писать красивый код, важны смыслы❤️

Двигатель прогресса

Сегодня хочу поговорить об обратной связи - инструменте, который, на мой взгляд, главный в построении доверия. На работе я часто выступаю его "евангелистом", но так было не всегда.

Раньше я думала: давать обратную связь нужно только по рабочим кейсам и лишь тогда, когда дальше это терпеть невозможно.
Но однажды коллега прислала мне длинное сообщение. Её задела фраза, которую я бросила в личном разговоре.
Честно? Я даже не заметила бы, если б так сказали мне. Но для неё это было важно.

Вопрос "А че, так можно было?" довольно скоро сменился на мысль о том, что о чувствах можно говорить вежливо и точно - без агрессии, но с конкретикой.

Но, как правило, людям крайне сложно давать обратную связь:

🥰Похвалить? - "Да это просто его работа, за что хвалить?"
🤨Поправить? - "А вдруг обижу?"

Оба типа обратной связи важны:

✅ Позитивная - укрепляет мотивацию,
✅ Развивающая - помогает расти.

Могу рассказать, как давать и ту, и другую. С какой начать?

🎵 Когда продукты ломают твои привычки: история моей любви к музыкальным сервисам

1️⃣Предыстория

Я давно слушаю Яндекс Музыку - лет семь точно. Перешла на неё с ВК, когда та стала платной (эх, времена...). Меня долго всё устраивало, но потом часть треков из ЯМ пропала, и я стала слушать еще и Spotify.

2️⃣Как сформировались мои музыкальные привычки

ЯМ заложил основы:

✔ В "Любимое" я добавляла только по-настоящему важные, любимые и цепляющие песни.
✔ Для остальных создавала плейлисты: по годам (например, 2025, 2022), по настроению, для занятий и т.д.
✔ И главное - если я добавляла трек в плейлист или "Любимое", он автоматически попадал в "Коллекцию". Это позволяло слушать всю музыку разом, а не разбирать ее по плейлистам.

Такое было и в ВК, и это было круто, потому что иногда хочется включить всё подряд из коллекции, а не выбирать жанр или настроение.

3️⃣Что сделала Яндекс Музыка?

Год назад они убрали "Коллекцию", оставив только "Мою волну". Я даже писала в поддержку (редкий случай!), потому что для меня это был удар по привычному сценарию и сердечку

И теперь мой пользовательский сценарий полностью превратился в спотифаешный:

✔️Быстрое добавление треков в избранное - да.
✖️Хранение всей музыки в одном месте - нет.

Вместо этого появилась дилемма: использовать "Любимое" по-старому, только для любимых песен? Или превратить его в хаотичный сборник всего, что хоть сколько-нибудь понравилось?

А у вас были случаи, когда из-за изменений в продукте приходилось менять свои привычки?

❤️Развивающая обратная связь: как дать фидбэк, который реально работает

Писать этот пост оказалось сложнее, чем я думала. Меня неистово раздражают вымученные советы вроде "используйте метод бутерброда" или "хвалите за старания". Они кажутся искусственными и неестественными.
А пересказывать базу, которую можно загуглить за минуту, тоже не хочется.

Главное в развивающей обратной связи - это понять, чего именно вы хотите от человека.

Памятуя принцип “я ок - ты ок", стоит задать себе вопросы и разобраться в том, как вы хотите, чтобы человек поступал.

Например:
📌Вы хотите, чтобы он по-другому общался?
📌Ставил вас в известность, когда берет задачи из вашей зоны ответственности?
📌Звал вас на встречи, где вы нужны, а не пересказывал, что было?

Чем конкретнее сформулируете цель, тем понятнее будет сам фидбэк.

Дальше важно говорить о фактах. Например:

❌ "Ты обесцениваешь мой труд." - Это не факт. Действительно ли у вас достаточно информации, чтобы утверждать, что человек не ценит вашу работу?
✅ "Ты говоришь, что мою задачу можно было сделать быстрее, хотя не участвовал в её реализации и оценке." - Это факт. Человек не участвовал.

Эмоции тоже важны, но в конструктивном ключе. Если вас фрустрирует микроменеджмент, в некоторых корпоративных культурах допустимо сказать, что вы не просто сотрудник, а человек, которому неприятно определённое поведение.

Подчеркну, что развивающая обратная связь - она не про критику или насилие. Она позволяет выйти вам с оппонентом на новый уровень доверия, если вы оба достаточно открыты.

Часто ли вам приходится давать развивающую обратную связь? Было ли изменение в поведении другого человека?

Неожиданная новость: позавчера был год как я работаю продактом.

И за это время я словила огромное количество инсайдов, поняла, как правильно распределять свое время, чтобы на все хватало, и занимаюсь самым-самым главным (нет)

Парочку выводов за это время я, конечно, сделала:

🔴Ультра важно следить за уровнем своей энергии и вовремя отдыхать так, как тебе представляется лучше всего. Уставший продакт = плохой продакт. Еще желательно, конечно, понимать это превентивно.

Для меня сейчас один из самых лучших видов отдыха - это поход на вокал и на хор. После них у меня совершенно свежий взгляд и как-то во время квартального планирования у меня после вокала произошло озарение, как лучше всего посчитать мои метрики.

🔴Неожиданно у меня возрос уровень спокойствия относительно своего будущего и появилось ощущение, что находишься на своем месте. Первые мои попытки стать продактом были еще в 2019 году и закончились на середине купленного курса от Скиллбокса 😅

🔴Важно знать методологии, фреймворки и уметь пользоваться инструментами, однако, адаптировать их все равно придется под себя. И в какой-то момент начинают раздражать базовые статьи про фреймворки, потому что ты понимаешь, что в чистом виде их никогда не сможешь использовать.

🔴Ты нафиг отъедешь, если не будешь держаться своих ценностей и принципов. Быть гибким и открытым важно, но еще важнее - не забывать, кто ты (ауф)

Рубрика #опросное@importpandas

Я тут готовлюсь к парочке выступлений, и вы мне очень сильно поможете, если поделитесь своим опытом🧡

Вопрос для аналитиков:

Когда вы были миддлом-аналитиком, с какими проблемами по части запуска АБ-тестов вы сталкивались?

Вопрос для продактов:

Какой информации от аналитиков вам обычно не достает, чтобы принимать решение о судьбе продукта по итогам АБ-тестов?

Давайте знакомиться.

За последнее время подписалось довольно большое количество человек (что меня приятно удивляет, на канал перестают подписываться только мои друзья и сочувствующие), поэтому считаю своим долгом рассказать, кто я и что мы тут все делаем.

Меня зовут Даша Леонова.

Я:

⚪️ Продакт оунерю в FinTech-е. В прошлом - продуктовый аналитик, поэтому аналитические темы мне очень близки.
⚪️ Преподаю в ИТМО на факультете технологического менеджмента и инноваций.
⚪️ Делаю тренинги для компаний и обучение аналитике для всех уровней.
⚪️ Менторю начинающих и не только аналитиков
⚪️ Занимаюсь вокалом и пою в хоре:)

О чем я пишу:

🔵О продуктовой аналитике и продуктах - исследованиях, аб-тестах, метриках и о том, как измерять все на свете
🔵О саморазвитии, обучении и когнитивистике. Обязательно потратила бы еще одну жизнь на более углубленное изучение этих тем💜
🔵О ценностях - во всем многообразии.
🔵О коммуникациях, софт-скиллах, планировании и о всем том, что помогает идти к намеченному.

Топ постов:

АБ-тесты и аналитика:
Запуск аб тестов: вместе или раздельно
Что читать про АБ-тесты
Глобальная контрольная группа
Конверсия упала на 40%. Что делать?

Софты и лидерство:
Зачем нужен нетворкинг
Почему Пол Атрейдес - хороший лидер
Что делать, когда ты один аналитик в компании
Как давать развивающую обратную связь
Может ли разработчик влиять на бизнес-метрики

Карьера:
Как мы через геймификацию аналитиков нанимали
Почему курсов недостаточно, чтобы найти работу

➖➖➖➖➖
Давайте знакомиться. Пишите в комментариях, чем вы занимаетесь, что любите и как нашли мой канал)

👍Встречаемся на Aha!25

Становится доброй традицией в мае посещать Aha - техническую конференцию о product science, продуктовой аналитике и эффективности бизнеса (впрочем, кому я об этом рассказываю - вы и сами ее прекрасно знаете).

В этом году я открываю секцию "A/B-эксперименты для product-менеджеров" и буду рассказывать о том, как не просто запускать эксперименты, а начать строить эксперименты осознанно и сонаправленно со смыслами и стратегией.

Приходите знакомиться, общаться и обсуждать аналитику❤️

Что еще в этом году интересного:

🖤Наконец-то целых два дня конференции!
🖤16 (шестнадцать, Карл) тематических потоков и более 1200 участников
🖤Топовые эксперты из мира бизнеса и науки
🖤Ключевые темы - LLM, AI, современные подходы к A/B-тестам, применение ML в управлении продуктом и т.д. и т.п.

Пропускать главное событие в мире продуктовой аналитики категорически не рекомендуется😁

Программа тут
А билеты тут

Весна

Эта весна была, наверное, самой рабочей и продуктивной за всю мою сознательную жизнь (за несознательную - тем более).

🟣 выступила на Ахе с крайне сложной темой, собирала для нее материал несколько месяцев. Череда прогонов, доделок, пара сотен мыслей о том, а не самозванец ли я, и - вуаля - все готово.
🟣 сделала внешний курс по аналитике для проджектов
🟣 драйвила большую цель на 4 стрима
🟣 проводила сессию идеации на несколько кросс-функциональных команд разработки
🟣 впервые провела переговоры на английском! Мой английский, разумеется, из бед и огорчений, но было интересно
🟣 провела продуктовый менеджмент для бакалавриков в ИТМО
🟣 съездила впервые в санаторий (шутки про возраст принимаются)
🟣 вылечила аэрофобию (и о чем мне теперь рассказывать в начале своих выступлений?)
🟣 записала первую песню на студии
🟣 выступила на двух квартирниках (my heart will go on - one love)
🟣 выступила на танцевальном отчетнике
🟣 записали сольный танец в студии "под дождем"

За названием хороших антидепрессантов приходите в личку))