Давно не брал я в руки шашек… то есть давно не писал сюда. А тема сегодня “manage up”.
Недавно мы проводили опрос об обставноке в отделе и в частности спрашивали насколько легко выражать несогласие с руководителем. Один из отзывов был про меня лично: “если позиции не принципиально различны то договорить требует усилия, но не сложно. в противном случае *изменить мнение/позицию лидера можно только когда он сам придет после какого-то времени и накопления критической массы информации*. это либо приводит к избыточным усилиям при убеждении, либо (что чаще) оставляется до момента набора критической массы информации”.
Надеюсь, что автор не против, но поскольку опрос анонимный, то уточнить нет возможности.
Этот отзыв побуждает обсудить концепцию “manage up”, которая у нас мало известна. Все понимают про “manage down” - сотрудникам надо ставить ясные задачи, мотивировать их, есть тысячи книг, сотни методов, куча курсов, Стратоплан и все остальное. Но, оказывается, готовить надо уметь не только сотрудников, но и босса. Сюрприз! Это и есть “manage up”.
Отзыв как раз удачно раскрывает в чем состоит manage up - руководителя трудно в чем-то убедить пока он не наберет критическую массу информацию! То есть чтобы его убедить … надо ему эту критическую массу предоставить! Мнение, неподкрепленное критической массой информации (фактами), к сожалению, часто оказывается недостаточно убедительно.
Обратимся к классике
1) известная цитата “Everyone is entitled to his own opinion, but not his own facts.” - не совсем следствие, но тонкий намек, что факты у нас должны быть общими, чтобы наши мнения вообще можно было сопоставлять
2) фундаментальная ошибка аттрибуции - действия других людей, кажутся вызванными их внутренними качествами, а собственные действия - внешними обстоятельствами. Внешним обстоятельством можно полагать и наш контекст, известные нам факты.
- это приводит нас к мысли, что донесение критической массы информации помещает нас обоих в сходный контекст, где мы вероятнее будем иметь если не совпадающие мнения, то хотя бы легко сопоставимые
К сожалению, не так уж многие умеют доносить “критическую массу информацию”. И школьное и высшее образование не особо сфокусированы на навыке убеждать. В чем сложность
- если просто завалить сырыми данными, то объем вызовет банальное отторжение - “что это за гора цифр? да она что хочешь означать может”
- если просто принести свой готовый вывод, то “откуда ты это вообще взял?”
необходимо находить золотую середину, то есть предварительно готовить данные так, чтобы их было достаточно мало, чтобы их проглотили, но их было достаточно много, чтобы они убедили.
Здесь может возникнуть вопрос “зачем нанимать профессионала и не следовать его мнению? зачем корячиться с обоснованиями?” Нам всем очень лестно видеть себя профессионалами, однако наш профессионализм тестируется как раз способностью коротко и полно что-то объяснить. Помните анекдот “… я вам столько раз объяснил, что уже даже сам понял”? - да, только отличное понимание темы позволяет доносить мысль в короткой и одновременно полной форме.
Отдельно стоит обговорить, что сложно определить правильный баланс в объеме не зная констекста другого человека. Однако, этот контекст не так уж сложно определить, если прервать запись длинного внутреннего монолога к воображаемому себе и начать задавать явные рациональные контр-вопросы - известно ли собеседнику что-то? понимает ли он какие-то концепции? Минимум логики позволит довольно достоверно ответить на эти вопросы и выкинуть лишнее.
Итого:
1) боссом можно и нужно управлять
2) управляют боссом (лучше всего!) через донесение информации
3) донесение информации надо уметь делать правильно
В принципе, здесь нет ничего уникального и тоже самое работает в отношении кого угодно, но в отношении других бывает проще заставить, заболтать, развести на хорошие отношения и так далее
Недавно мы проводили опрос об обставноке в отделе и в частности спрашивали насколько легко выражать несогласие с руководителем. Один из отзывов был про меня лично: “если позиции не принципиально различны то договорить требует усилия, но не сложно. в противном случае *изменить мнение/позицию лидера можно только когда он сам придет после какого-то времени и накопления критической массы информации*. это либо приводит к избыточным усилиям при убеждении, либо (что чаще) оставляется до момента набора критической массы информации”.
Надеюсь, что автор не против, но поскольку опрос анонимный, то уточнить нет возможности.
Этот отзыв побуждает обсудить концепцию “manage up”, которая у нас мало известна. Все понимают про “manage down” - сотрудникам надо ставить ясные задачи, мотивировать их, есть тысячи книг, сотни методов, куча курсов, Стратоплан и все остальное. Но, оказывается, готовить надо уметь не только сотрудников, но и босса. Сюрприз! Это и есть “manage up”.
Отзыв как раз удачно раскрывает в чем состоит manage up - руководителя трудно в чем-то убедить пока он не наберет критическую массу информацию! То есть чтобы его убедить … надо ему эту критическую массу предоставить! Мнение, неподкрепленное критической массой информации (фактами), к сожалению, часто оказывается недостаточно убедительно.
Обратимся к классике
1) известная цитата “Everyone is entitled to his own opinion, but not his own facts.” - не совсем следствие, но тонкий намек, что факты у нас должны быть общими, чтобы наши мнения вообще можно было сопоставлять
2) фундаментальная ошибка аттрибуции - действия других людей, кажутся вызванными их внутренними качествами, а собственные действия - внешними обстоятельствами. Внешним обстоятельством можно полагать и наш контекст, известные нам факты.
- это приводит нас к мысли, что донесение критической массы информации помещает нас обоих в сходный контекст, где мы вероятнее будем иметь если не совпадающие мнения, то хотя бы легко сопоставимые
К сожалению, не так уж многие умеют доносить “критическую массу информацию”. И школьное и высшее образование не особо сфокусированы на навыке убеждать. В чем сложность
- если просто завалить сырыми данными, то объем вызовет банальное отторжение - “что это за гора цифр? да она что хочешь означать может”
- если просто принести свой готовый вывод, то “откуда ты это вообще взял?”
необходимо находить золотую середину, то есть предварительно готовить данные так, чтобы их было достаточно мало, чтобы их проглотили, но их было достаточно много, чтобы они убедили.
Здесь может возникнуть вопрос “зачем нанимать профессионала и не следовать его мнению? зачем корячиться с обоснованиями?” Нам всем очень лестно видеть себя профессионалами, однако наш профессионализм тестируется как раз способностью коротко и полно что-то объяснить. Помните анекдот “… я вам столько раз объяснил, что уже даже сам понял”? - да, только отличное понимание темы позволяет доносить мысль в короткой и одновременно полной форме.
Отдельно стоит обговорить, что сложно определить правильный баланс в объеме не зная констекста другого человека. Однако, этот контекст не так уж сложно определить, если прервать запись длинного внутреннего монолога к воображаемому себе и начать задавать явные рациональные контр-вопросы - известно ли собеседнику что-то? понимает ли он какие-то концепции? Минимум логики позволит довольно достоверно ответить на эти вопросы и выкинуть лишнее.
Итого:
1) боссом можно и нужно управлять
2) управляют боссом (лучше всего!) через донесение информации
3) донесение информации надо уметь делать правильно
В принципе, здесь нет ничего уникального и тоже самое работает в отношении кого угодно, но в отношении других бывает проще заставить, заболтать, развести на хорошие отношения и так далее
May 19, 2020
Несколько непрофильный пост, но с другой стороны - всегда актуально понимать масштаб явлений. Одним из громаднейших плюсов курса GoPractice я видел как раз навык не боятся поиска цифр, по которым можно оценить масштаб. Но это не только product manager’ам актуально, а всем, кто должен принимать решения.
Например, коронавирусная самоизоляция вызвала огромный стон со стороны малого и немалого бизнеса. Был и встречный скепсис. Сравнивать это на уровне отдельных личных историй не очень корректно или убедительно, официальной статистике нет особого доверия в стране, да и запаздывает она очень сильно.
На помощь внезапно приходит “большой брат”. Всевозможные сервисы собирают очень много аналитики о бизнесе, а сделать поправку на их репрезентативность не так уж сложно.
Вот три графика о деятельности бизнеса в РФ
1) продукт “Мой склад” показывает почти двукратное падение в объемах продаж у бизнесов и затем линейной восстановление
2) продукт “Эвотор” (кассы) показывает примерно такую же картину
3) продукт Smartway (бронирования командировок) ожидаемо показывает более худшую ситуацию - и падение в 6+ раз и восстановление более скромное
Графики взяты из канала “Инсайды продаж” (https://yangx.top/salesinsides)
Например, коронавирусная самоизоляция вызвала огромный стон со стороны малого и немалого бизнеса. Был и встречный скепсис. Сравнивать это на уровне отдельных личных историй не очень корректно или убедительно, официальной статистике нет особого доверия в стране, да и запаздывает она очень сильно.
На помощь внезапно приходит “большой брат”. Всевозможные сервисы собирают очень много аналитики о бизнесе, а сделать поправку на их репрезентативность не так уж сложно.
Вот три графика о деятельности бизнеса в РФ
1) продукт “Мой склад” показывает почти двукратное падение в объемах продаж у бизнесов и затем линейной восстановление
2) продукт “Эвотор” (кассы) показывает примерно такую же картину
3) продукт Smartway (бронирования командировок) ожидаемо показывает более худшую ситуацию - и падение в 6+ раз и восстановление более скромное
Графики взяты из канала “Инсайды продаж” (https://yangx.top/salesinsides)
June 15, 2020
“Когда в руках молоток, всякая проблема начинает выглядеть гвоздем” - есть поговорка примерно в таком духе. Это может не так страшно, когда молоток в ваших собственных руках, но все мы временами обращаемся за помощью к специалистам. И эти специалисты вобщем-то теже самые молотки.
Например, стоила у меня задача научить людей конструктивно диспутировать друг с другом. Споры и разногласия так-то полезны, НО неконструктивный спор как минимум это потеря времени, а как максимум еще моральный ущерб с переходами на личности, обидами и так далее. Готовых тренингов не нашли, обратились к нескольким известным людям, чтобы подготовить такой тренинг на заказ (опыт, что заказной кастомный тренинг это зло, пришел несколько позже).
Приходит первый известный тренер, основная специализация “ценности организации” и тп - объясняю проблему. “Так они почему спорят” - говорит тренер - “потому что у них ценности разные! Сейчас мы им внедрим понимание общих ценностей и они перестанут спорить”. Не в этом же проблема была!
Приходит второй известный тренер, основная специализация “жесткое управление”. Объясняем проблему. “Так они почему спорят” - говорит тренер - “потому что в вашей организации полномочия жестко не разделены. Сейчас я вам все организую - здесь разработчики, здесь тестировщики. Здесь говорить, здесь слушать”. Опять не вышло!
И в третий раз пошел мужик в лес за елочкой, но это уже другая история
Аналогично и в быту. Какого специалиста позовешь - из такой области и решение получишь. Так, мне однажды популярно объяснили, что только операция меня спасет. Но я что-то замотался и … оно как-то без операции само прошло.
Аналогично с консультантами
Поэтому приходится принимать внешнюю помощь с большой осторожностью
Например, стоила у меня задача научить людей конструктивно диспутировать друг с другом. Споры и разногласия так-то полезны, НО неконструктивный спор как минимум это потеря времени, а как максимум еще моральный ущерб с переходами на личности, обидами и так далее. Готовых тренингов не нашли, обратились к нескольким известным людям, чтобы подготовить такой тренинг на заказ (опыт, что заказной кастомный тренинг это зло, пришел несколько позже).
Приходит первый известный тренер, основная специализация “ценности организации” и тп - объясняю проблему. “Так они почему спорят” - говорит тренер - “потому что у них ценности разные! Сейчас мы им внедрим понимание общих ценностей и они перестанут спорить”. Не в этом же проблема была!
Приходит второй известный тренер, основная специализация “жесткое управление”. Объясняем проблему. “Так они почему спорят” - говорит тренер - “потому что в вашей организации полномочия жестко не разделены. Сейчас я вам все организую - здесь разработчики, здесь тестировщики. Здесь говорить, здесь слушать”. Опять не вышло!
И в третий раз пошел мужик в лес за елочкой, но это уже другая история
Аналогично и в быту. Какого специалиста позовешь - из такой области и решение получишь. Так, мне однажды популярно объяснили, что только операция меня спасет. Но я что-то замотался и … оно как-то без операции само прошло.
Аналогично с консультантами
Поэтому приходится принимать внешнюю помощь с большой осторожностью
Telegram
Products | People | Process
Узкоспецифичная тема - про тренеров
Часто можно увидеть мнение, что тренера, коучи и консультанты - бесполезные дармоеды. В части случаев оно даже будет основано на опыте, и действительно, наверное, шанс столкнуться с плохим тренерством довольно высок. Я…
Часто можно увидеть мнение, что тренера, коучи и консультанты - бесполезные дармоеды. В части случаев оно даже будет основано на опыте, и действительно, наверное, шанс столкнуться с плохим тренерством довольно высок. Я…
June 16, 2020
В одной торговой компании висит плакат, который стал в каком-то смысле если не моим девизом, то одной из любимейших поговорок - “невыставленный счет не может быть оплачен”
Он иллюстрирует проблему, с которой я много сталкиваюсь - это низкая конверсия в действие. Мы знаем, что есть проблема. Мы знаем это это плохо. Мы знаем, что надо БЫ что-то с этим сделать. Но почему-то не делаем.
Простейший пример, видим раздражающий глюк в продукте - но его никто не исправляет, потому что багрепорт не завели. Но это пример очень простой, почти вырожденный, с очень простым шагом к решению.
Более сложный пример - все понимают, что в продукте есть устаревшая компонента, что работа с ней это боль, но - эта боль никуда не девается. Менеджеры продолжают заводить задачи в эту компоненту. Инженеры продолжают страдать. При этом весьма вероятно, что проблему часто обсуждают, но не решают. Яркий сипмтом “кухонные разговоры” или “разговоры в курилке” - часто, подолгу, уже продолжительное время, а проблема все таже.
С одной стороны, можно сказать, что мы видим плохую организацию или среду - если в команде есть лидер, то он оказался недостаточно прозорлив, чтобы выявить ситуацию и решительно исправить. Если команда самоуправляемая, то может мы не дали достаточно полномочий?
Но с другой стороны, в любой среде остается вопрос инициативы отдельного человека. К сожалению, по моим ощущениям, сейчас сильно просел навык к длинным цепочкам действий. Если к результату не ведет одно простое действие, то подавляющее большинство не предпринимают ничего. Однако “путь в тысячу ли все равно начинается с первого шага” - надо выставить “счет”.
Например, давайте наблюдаемую проблему хотя бы опишем и если решение не в нашей власти, то донесем хотя бы ближайшего следующего в иерархии решений лица. Например, классический плач техлида это техдолг, который часто игнорируется его продакт овнером. Но сделаем контрольный вопрос - донесен ли этот долг до его продактовнера в осязаемом виде? Свои задачи продакт осязает очень хорошо, поэтому “выставить счет” это описать долг в понятиях осязаемых и значимых для продакта. Потом можно уже обсуждать и договариваться о пропорциях.
“Выставить счет” это донести проблему от тех, кто видит, но не может, к тем, кто может, но не видит.
Безусловно, среда может оказаться настолько плохой, что и многократно выставленный счет тоже не оплачивается. От этого никуда не уйти. Но при условии, что счета выставляются, их оплату уже можно отлаживать и оптимизировать.
В принципе, можно и выставлению “счетов” способствовать. Классическая ретроспектива это способ собрать “счета” - кто что вспомнит. Но уже на следующем шаге, все может угаснуть - потому что дальнейшие действия-счета не были выставлены.
Вобщем, выставляйте “счета”
Он иллюстрирует проблему, с которой я много сталкиваюсь - это низкая конверсия в действие. Мы знаем, что есть проблема. Мы знаем это это плохо. Мы знаем, что надо БЫ что-то с этим сделать. Но почему-то не делаем.
Простейший пример, видим раздражающий глюк в продукте - но его никто не исправляет, потому что багрепорт не завели. Но это пример очень простой, почти вырожденный, с очень простым шагом к решению.
Более сложный пример - все понимают, что в продукте есть устаревшая компонента, что работа с ней это боль, но - эта боль никуда не девается. Менеджеры продолжают заводить задачи в эту компоненту. Инженеры продолжают страдать. При этом весьма вероятно, что проблему часто обсуждают, но не решают. Яркий сипмтом “кухонные разговоры” или “разговоры в курилке” - часто, подолгу, уже продолжительное время, а проблема все таже.
С одной стороны, можно сказать, что мы видим плохую организацию или среду - если в команде есть лидер, то он оказался недостаточно прозорлив, чтобы выявить ситуацию и решительно исправить. Если команда самоуправляемая, то может мы не дали достаточно полномочий?
Но с другой стороны, в любой среде остается вопрос инициативы отдельного человека. К сожалению, по моим ощущениям, сейчас сильно просел навык к длинным цепочкам действий. Если к результату не ведет одно простое действие, то подавляющее большинство не предпринимают ничего. Однако “путь в тысячу ли все равно начинается с первого шага” - надо выставить “счет”.
Например, давайте наблюдаемую проблему хотя бы опишем и если решение не в нашей власти, то донесем хотя бы ближайшего следующего в иерархии решений лица. Например, классический плач техлида это техдолг, который часто игнорируется его продакт овнером. Но сделаем контрольный вопрос - донесен ли этот долг до его продактовнера в осязаемом виде? Свои задачи продакт осязает очень хорошо, поэтому “выставить счет” это описать долг в понятиях осязаемых и значимых для продакта. Потом можно уже обсуждать и договариваться о пропорциях.
“Выставить счет” это донести проблему от тех, кто видит, но не может, к тем, кто может, но не видит.
Безусловно, среда может оказаться настолько плохой, что и многократно выставленный счет тоже не оплачивается. От этого никуда не уйти. Но при условии, что счета выставляются, их оплату уже можно отлаживать и оптимизировать.
В принципе, можно и выставлению “счетов” способствовать. Классическая ретроспектива это способ собрать “счета” - кто что вспомнит. Но уже на следующем шаге, все может угаснуть - потому что дальнейшие действия-счета не были выставлены.
Вобщем, выставляйте “счета”
June 29, 2020
С некоторым удивлением всегда читаю о применении ТРИЗ к бизнес-задачам. Если вы не сталкивались с этой аббревиатурой раньше, то ТРИЗ это Теория Решения Изобретательских Задач, созданная в 1956 года Генрихом Альтшуллером. Это прямо набор конкретных принципов, абстракций и даже алгоритм, как изобрести что-то хорошее. В советское время отдельные последователи Альтшуллера регистрировали изобретения сотнями, а кто-то, помнится, и тысячу пробил.
Такая универсальная теория может казаться профанацией, но автор с соратниками совершенно серьезно проанализировали многие тысячи существующих патентов, чтобы выявить закономерности в них, а уже затем сформулировали это в виде общих принципов.
Однако, все это было сделано для сферы материальных технологий, и сам автор отмечал, что применять его теорию к другим областям так прямо нельзя. Надо в этой другой области провести такой же объемный анализ, выявить в ней закономерности и затем уже из них сделать аналогичную теорию.
Насколько я знаю, такой работы никто не проводил. Поэтому механический перенос принципов ТРИЗ на бизнес или выдачу каких-то собственных умозрительных принципов за “ТРИЗ для бизнеса” нельзя ставить с оригинальным ТРИЗ на одну полку.
В каком-то смысле программистские паттерны проектирования (синглтон и тп) можно воспринимать как элемент программисткого ТРИЗа, но аналогичной полной системы все-таки нет.
Такая универсальная теория может казаться профанацией, но автор с соратниками совершенно серьезно проанализировали многие тысячи существующих патентов, чтобы выявить закономерности в них, а уже затем сформулировали это в виде общих принципов.
Однако, все это было сделано для сферы материальных технологий, и сам автор отмечал, что применять его теорию к другим областям так прямо нельзя. Надо в этой другой области провести такой же объемный анализ, выявить в ней закономерности и затем уже из них сделать аналогичную теорию.
Насколько я знаю, такой работы никто не проводил. Поэтому механический перенос принципов ТРИЗ на бизнес или выдачу каких-то собственных умозрительных принципов за “ТРИЗ для бизнеса” нельзя ставить с оригинальным ТРИЗ на одну полку.
В каком-то смысле программистские паттерны проектирования (синглтон и тп) можно воспринимать как элемент программисткого ТРИЗа, но аналогичной полной системы все-таки нет.
July 31, 2020
Так совпало, что в нескольких чатиках прозвучали вопросы о том, как правильно принимать/передавать дела по проекту другой команде. Вариант этого вопроса это “как правильно законсервировать проект?”.
В моей жизни было свыше десятка случаев приема продуктов от другой команды и продолжения дел. Несколько случаев передачи проектов внутри одной компании можно считать очень простыми, но в большинстве случаев это были не очень дружественные поглощения, где исходная команда вскоре распускалась, а под поддержку и развитие продукта формировалась новая. Типовым случаем можно считать доступность исходных специалистов для передачи дел в течении примерно 3х месяцев. После чего - крутись как хочешь, но чтобы все работало.
Для понимая особенностей: размер кодовой базы порядка 1 млн строк, число пользователей (b2b) от нескольких тысяч до нескольких десятков тысяч. Нюанс в нашей области - все продукты коробочные, то есть развертываются на серверах клиентов. Нельзя обойтись нежным “работает - не трогай” на своих машинах - каждый раз надо распространить исправление, его развернут на тысячах самых разных машин чужие люди, и если чего пойдет не так, то будет большой вой.
В силу политических причин, все продукты пришлось передавать два раза. От исходной чужой команды - первой своей, а потом от нее другой своей же.
Массовость породила некое подобие процесса:
1) инвентаризация всех существующих ресурсов для последующего копирования. Понятно, что сюда входит репозиторий кода. Но также и багтракер, и хранилище всех документов, и форум, и чат, и история тикетов , вообще все, что можно найти и что отдадут, дистрибутивы и бинарники. Об этом еще немного позже - но это предельно важный этап. Скажу только, что однажды мы обнаружили, что кусок исходников не был на передан (по недосмотру он вообще никогда не помещался в репозиторий) и нужный компонент нашли в бинарном мусоре перебором разных файлов методом черного ящика. Один из них правильно работал по шифрованному протоколу. Фуууух, пронесло…
2) знакомство; требуем общее описание продукта, его архитектуры и принципов. Из чего вы исходили, когда что-то делали, как оно все должно работать вместе. Детали модулей можно почти всегда выяснить по коду, а вот общие принципы выявить тяжело; На хороший документ в большинстве случаев рассчитывать не приходится - вызываем главного специалиста(ов) на место и он под запись рассказывает
3) инструкция по быстрому старту. как это собрать, запустить и убедиться, что работает. До “as a code” подхода оставалось еще очень много лет, да и сейчас он еще не повсеместен. Без такой инструкции я первый принятый продукт бесплодно устанавливал три дня подряд. Про сборку даже говорить не приходится - даже про родной продукт я часто шутил, что можно безопасно допустить утечку исходников - никто не скопирует продукт, потому что собрать его по исходникам просто нереально, нужна цистерна секретного соуса. Разумеется, инструкцию надо немедленно практически проверить. На слово в этом бизнесе верить не стоит.
4) инструкция по расширению - грубо говоря, как добавить новую фичу или модуль. Берем типовую задачу и примеряем ее на код. Интересно, что если с этапа рассказа про архитектуру разработчики выходили со словами “вау! Нам бы так!”, то с прохода по коду все обычно много плевались и говорили нехорошие слова о предшественниках.
5) распросить наиболее проблемные области по текущему опыту. “что бы бы вы советовали сделать самим себе, если бы не прервались.” Инженер не может удержаться и не поговорить о проблемах, а знать слабые места критически важно
6) после воспроизведения сборки, запуска и простых изменений (1-4 недели) с большей частью исходной команды прощаются и ВСЕ управление передается новой команде. 1-3 эксперта из исходной команды остаются консультантами на почасовой оплате на срок 2-4 месяца. Новая команда раскатывает обновление и если клиенты его пережили, то крещением боем пройдено.
Теперь вернемся к инвентаризации -
В моей жизни было свыше десятка случаев приема продуктов от другой команды и продолжения дел. Несколько случаев передачи проектов внутри одной компании можно считать очень простыми, но в большинстве случаев это были не очень дружественные поглощения, где исходная команда вскоре распускалась, а под поддержку и развитие продукта формировалась новая. Типовым случаем можно считать доступность исходных специалистов для передачи дел в течении примерно 3х месяцев. После чего - крутись как хочешь, но чтобы все работало.
Для понимая особенностей: размер кодовой базы порядка 1 млн строк, число пользователей (b2b) от нескольких тысяч до нескольких десятков тысяч. Нюанс в нашей области - все продукты коробочные, то есть развертываются на серверах клиентов. Нельзя обойтись нежным “работает - не трогай” на своих машинах - каждый раз надо распространить исправление, его развернут на тысячах самых разных машин чужие люди, и если чего пойдет не так, то будет большой вой.
В силу политических причин, все продукты пришлось передавать два раза. От исходной чужой команды - первой своей, а потом от нее другой своей же.
Массовость породила некое подобие процесса:
1) инвентаризация всех существующих ресурсов для последующего копирования. Понятно, что сюда входит репозиторий кода. Но также и багтракер, и хранилище всех документов, и форум, и чат, и история тикетов , вообще все, что можно найти и что отдадут, дистрибутивы и бинарники. Об этом еще немного позже - но это предельно важный этап. Скажу только, что однажды мы обнаружили, что кусок исходников не был на передан (по недосмотру он вообще никогда не помещался в репозиторий) и нужный компонент нашли в бинарном мусоре перебором разных файлов методом черного ящика. Один из них правильно работал по шифрованному протоколу. Фуууух, пронесло…
2) знакомство; требуем общее описание продукта, его архитектуры и принципов. Из чего вы исходили, когда что-то делали, как оно все должно работать вместе. Детали модулей можно почти всегда выяснить по коду, а вот общие принципы выявить тяжело; На хороший документ в большинстве случаев рассчитывать не приходится - вызываем главного специалиста(ов) на место и он под запись рассказывает
3) инструкция по быстрому старту. как это собрать, запустить и убедиться, что работает. До “as a code” подхода оставалось еще очень много лет, да и сейчас он еще не повсеместен. Без такой инструкции я первый принятый продукт бесплодно устанавливал три дня подряд. Про сборку даже говорить не приходится - даже про родной продукт я часто шутил, что можно безопасно допустить утечку исходников - никто не скопирует продукт, потому что собрать его по исходникам просто нереально, нужна цистерна секретного соуса. Разумеется, инструкцию надо немедленно практически проверить. На слово в этом бизнесе верить не стоит.
4) инструкция по расширению - грубо говоря, как добавить новую фичу или модуль. Берем типовую задачу и примеряем ее на код. Интересно, что если с этапа рассказа про архитектуру разработчики выходили со словами “вау! Нам бы так!”, то с прохода по коду все обычно много плевались и говорили нехорошие слова о предшественниках.
5) распросить наиболее проблемные области по текущему опыту. “что бы бы вы советовали сделать самим себе, если бы не прервались.” Инженер не может удержаться и не поговорить о проблемах, а знать слабые места критически важно
6) после воспроизведения сборки, запуска и простых изменений (1-4 недели) с большей частью исходной команды прощаются и ВСЕ управление передается новой команде. 1-3 эксперта из исходной команды остаются консультантами на почасовой оплате на срок 2-4 месяца. Новая команда раскатывает обновление и если клиенты его пережили, то крещением боем пройдено.
Теперь вернемся к инвентаризации -
September 1, 2020
Теперь вернемся к инвентаризации - часто приходится выяснять зачем нечто сделано тем или иным образом (потому что сейчас это надо изменить). Если в компании был хотя бы минимальный процесс, то остается масса цифровых следов. Тикеты в поддержку, багрепорты, ТЗ на фичу. В крайнем случае - переписка. В одном случае, просто запаковали и забрали почтовый ящик - очень пригодилось. Поиск по цифровым следам реально работал лучше, чем спрашивать прежнюю команду.
Сейчас оказавшиеся в подобной ситуации люди часто хотят срочно прокомментировать весь код. Этот подход мне кажется малополезным, потому что если не было культуры хороших комментариев с самого начала, то
- написать комментариев на достаточно большой код это мега труд (говорим о размерах порядка 1 млн строк)
- написанные задним числом комментарии окажутся либо банальными перечислениями аргументов (которые и так из кода видны), либо недостоверными (потому что проверять тонкости для вас уже не станут)
- проверить эти комментарии вы также не сможете
Если хорошей объемной документации не было создано сразу, то спрашивать ее задним числом не стоит - только мусор получится.
Может быть это кому-то пригодится
Сейчас оказавшиеся в подобной ситуации люди часто хотят срочно прокомментировать весь код. Этот подход мне кажется малополезным, потому что если не было культуры хороших комментариев с самого начала, то
- написать комментариев на достаточно большой код это мега труд (говорим о размерах порядка 1 млн строк)
- написанные задним числом комментарии окажутся либо банальными перечислениями аргументов (которые и так из кода видны), либо недостоверными (потому что проверять тонкости для вас уже не станут)
- проверить эти комментарии вы также не сможете
Если хорошей объемной документации не было создано сразу, то спрашивать ее задним числом не стоит - только мусор получится.
Может быть это кому-то пригодится
September 1, 2020
А перевброшу-ка я забытую классику, которую сейчас даже гуглом с трудом найти можно. Это рассказ о том, как организационно построено управление на авианосце
Краткий пересказ
Обстановка
1) Авианосец это среда, где выполняются технически сложные и опасные операции в условиях ограниченного времени и большого числа взаимодействующих сторон
2) Частые изменения не позволяют заранее выстроить все процессы, они формируются по месту итеративно.
3) Все слабо документировано в силу тех же самых частых изменений
4) на кораблях высокая текучка кадров в каждой роли из-за постоянных внутренних переназначений
5) требуется несколько недель “отладки” экипажа, чтобы новый корабль вообще мог что-то полезное делать (но медленно и мало)
Решение
1) Преемственность, системность и развитие поддерживаются главным образом ротацией корабельных старшин (читай - тимлидов), которые перекрестно опыляют своими практиками другие корабли
2) Действуют культура и практика постоянного и ежедневного обучения и совершенствования в текущем деле. Все кого-то учат и все чему-то учатся, большей частью на практике. Типичная занятость это учиться текущему делу (a), учить свою команду (б) и учиться на следующую должность (в). Это все неформально, но повседневно.
3) Коллектив находится в непрерывном жестком конфликте между “так принято” и “давайте поменяем”. Несмотря на отдельные попытки это как-то упорядочить, побеждает эволюционно-выживательный подход
4) конкретно полеты организуются не по строгой иерархии или процессу, а по “разберитесь там сами”. отсюда много споров в перекрывающихся областях ответственности. базисом решения споров является оценка, что в итоге успешная операция для всех хорошо, а проваленная - для всех плохо. в итоге получается странная ситуация - господство жестко убежденных в свой правоте людей, однако также жестко настроенных на сотрудничество
5) большинство функций так или иначе “периферийно” дублированы, хотя полновесных крупноблочных дублей часто нет. значительная часть старших офицеров не делают, а “присматривают”
6) большинство рабочих групп в норме недогружены, чтобы обеспечить дублирование при необходимости
https://govleaders.org/reliability.htm
Краткий пересказ
Обстановка
1) Авианосец это среда, где выполняются технически сложные и опасные операции в условиях ограниченного времени и большого числа взаимодействующих сторон
2) Частые изменения не позволяют заранее выстроить все процессы, они формируются по месту итеративно.
3) Все слабо документировано в силу тех же самых частых изменений
4) на кораблях высокая текучка кадров в каждой роли из-за постоянных внутренних переназначений
5) требуется несколько недель “отладки” экипажа, чтобы новый корабль вообще мог что-то полезное делать (но медленно и мало)
Решение
1) Преемственность, системность и развитие поддерживаются главным образом ротацией корабельных старшин (читай - тимлидов), которые перекрестно опыляют своими практиками другие корабли
2) Действуют культура и практика постоянного и ежедневного обучения и совершенствования в текущем деле. Все кого-то учат и все чему-то учатся, большей частью на практике. Типичная занятость это учиться текущему делу (a), учить свою команду (б) и учиться на следующую должность (в). Это все неформально, но повседневно.
3) Коллектив находится в непрерывном жестком конфликте между “так принято” и “давайте поменяем”. Несмотря на отдельные попытки это как-то упорядочить, побеждает эволюционно-выживательный подход
4) конкретно полеты организуются не по строгой иерархии или процессу, а по “разберитесь там сами”. отсюда много споров в перекрывающихся областях ответственности. базисом решения споров является оценка, что в итоге успешная операция для всех хорошо, а проваленная - для всех плохо. в итоге получается странная ситуация - господство жестко убежденных в свой правоте людей, однако также жестко настроенных на сотрудничество
5) большинство функций так или иначе “периферийно” дублированы, хотя полновесных крупноблочных дублей часто нет. значительная часть старших офицеров не делают, а “присматривают”
6) большинство рабочих групп в норме недогружены, чтобы обеспечить дублирование при необходимости
https://govleaders.org/reliability.htm
govleaders.org
High-Reliability and Aircraft Flight Operations at Sea
Discusses why aircraft carriers have so few plane accidents despite their complexity, intensity and pace of operaitons.
September 29, 2020
Время от времени все маленькие и большие начальники должны говорить свои людям обратную связь. Ну там когда человек не тянет, или делает что-то не так. Не в части, что - ну вот тут красную кнопку поменяй на синюю, а в части более общей, что “знаешь ли, не получается у тебя вот здесь”. Ну и как-то так складывается, что многим добрым и хорошим людям, особенно попавшим в эту роль не давно, особенно выделившимся прямо из этой же среды, вот им говорить другим негатив как-то не охота. Не приятно. И они этого избегают. И даже люди, которые решительно критикуют одних, могут жаться и мяться с другими.
То есть одним концом у нас индустрия страдает от “на меня матом орут”, а другим от недостаточно прямой обратной связи. Причем это ситуация класса “оба хуже”. И даже всякие методы типа “слоеный пирожок” (он же попросту “похвалить-поругать-похвалить”) не особо помогают. Все равно неприятная часть начинает замыливаться, ломаться - вот можно даже понаблюдать, что как только человек стал сбиваться, договорить долго, неконкретно, прыгать между незаконченными предложениями - он говорит что-то ему неприятное.
Если недостатки от ругать людей матом более-менее понятны и очевидны, то с недостаточной прямотой несколько сложнее, но если на пальцах - то у человека нет понимания, что он делает что-то не так, у него возникает какая-то своя картина мира, у нас своя, рано или поздно оно бомбанет. Ну например, он считает, что там все отлично сделал и ему теперь надо дать много денег, а мы считаем, что он еще и благодарен должен быть, что эту работу приняли. Ну и вообще, не медвежья ли услуга вводить человека в заблуждение?
Но у кого такая проблема есть, то ее можно более-менее решить простым workaround’ом - написать эту обратную связь. Почему?
1) Потому что любой текст “не вырубишь топором”, и это обязует. Нам придется все сформулировать так, чтобы потом на наши претензии не было ответа “а что ты раньше не говорил, что код прямо совсем плохой? ты же просто сказал, что можно и получше”. Заодно запись еще и мысль в порядок приводит.
2) Потому что, написав все это, мы это должны будем переслать получателю. Но вначале поговорить. Именно вначале. И вот тут мы словами все по-человечески и расскажем, без этой письменной сухости. НО всякий раз, когда говорить что-то будет неприятно, когда захочется смягчить, замылить (есть вы будете связаны тем, что за спиной заградотрядом стоит текст, который надо будет отправить. И если мы говорим “ну тут чуточку не так”, а там написано что вообще все совсем не так, то потом будет удивление. Что это ты говорил одно, а написал другое? Так что придется соответствовать
3) И наконец надо переслать этот текст. Обязательно переслать. Это наш сожженый за спиной мост, чтобы не струсить и не убежать от неприятных слов. Это наш заградотряд, который заставит нас сделать #2 как положено;
У кого есть такая проблема, то пользуйтесь
А кстати, есть такая книжка radical candor, и там расписаны и про “оба хуже” (даже три способа делать плохо). Там они называются Obnoxious Agreesion (это когда “продолбали полимеры”) и Ruinous Empathy (это когда как-то неудобно сказать хорошему человеку прямо) Еще там написано как надо бы в идеале. У меня, правда, не всегда еще получается
То есть одним концом у нас индустрия страдает от “на меня матом орут”, а другим от недостаточно прямой обратной связи. Причем это ситуация класса “оба хуже”. И даже всякие методы типа “слоеный пирожок” (он же попросту “похвалить-поругать-похвалить”) не особо помогают. Все равно неприятная часть начинает замыливаться, ломаться - вот можно даже понаблюдать, что как только человек стал сбиваться, договорить долго, неконкретно, прыгать между незаконченными предложениями - он говорит что-то ему неприятное.
Если недостатки от ругать людей матом более-менее понятны и очевидны, то с недостаточной прямотой несколько сложнее, но если на пальцах - то у человека нет понимания, что он делает что-то не так, у него возникает какая-то своя картина мира, у нас своя, рано или поздно оно бомбанет. Ну например, он считает, что там все отлично сделал и ему теперь надо дать много денег, а мы считаем, что он еще и благодарен должен быть, что эту работу приняли. Ну и вообще, не медвежья ли услуга вводить человека в заблуждение?
Но у кого такая проблема есть, то ее можно более-менее решить простым workaround’ом - написать эту обратную связь. Почему?
1) Потому что любой текст “не вырубишь топором”, и это обязует. Нам придется все сформулировать так, чтобы потом на наши претензии не было ответа “а что ты раньше не говорил, что код прямо совсем плохой? ты же просто сказал, что можно и получше”. Заодно запись еще и мысль в порядок приводит.
2) Потому что, написав все это, мы это должны будем переслать получателю. Но вначале поговорить. Именно вначале. И вот тут мы словами все по-человечески и расскажем, без этой письменной сухости. НО всякий раз, когда говорить что-то будет неприятно, когда захочется смягчить, замылить (есть вы будете связаны тем, что за спиной заградотрядом стоит текст, который надо будет отправить. И если мы говорим “ну тут чуточку не так”, а там написано что вообще все совсем не так, то потом будет удивление. Что это ты говорил одно, а написал другое? Так что придется соответствовать
3) И наконец надо переслать этот текст. Обязательно переслать. Это наш сожженый за спиной мост, чтобы не струсить и не убежать от неприятных слов. Это наш заградотряд, который заставит нас сделать #2 как положено;
У кого есть такая проблема, то пользуйтесь
А кстати, есть такая книжка radical candor, и там расписаны и про “оба хуже” (даже три способа делать плохо). Там они называются Obnoxious Agreesion (это когда “продолбали полимеры”) и Ruinous Empathy (это когда как-то неудобно сказать хорошему человеку прямо) Еще там написано как надо бы в идеале. У меня, правда, не всегда еще получается
October 1, 2020
Очередное captain speaking…
Про NPS. Все, наверное, знают про такую характеристику продукта - Net Promoter Score. Задаем вопрос “Насколько вероятно, что вы нас рекомендуете своим знакомым?”. Затем из доли людей с высокими оценками (рекомендатели) вычитаем долю людей с низкими оценками (очернители). Это получается такая условная мера лояльности и любви.
Знаете с какого NPS мы начали, когда первый раз померили? -28% 🙁 Когда я об этом упоминаю, некоторые пытаются меня убедить, что отрицательный NPS по формуле невозможен. А вот возможен (wiki в помощь)!
Главной претензией к NPS является то, что он не очень actionable. Делать нечего, берем телефон в руки и давай обзванивать респондентов. Раскидали контакты между американцами и теми русскими, кто не совсем отстойно говорит (я пролез!) и в бой. “Приветствую уважаемый! Вы нас тут в опросе запомоили, как насчет выбрать часик пообщаться?”. Ну и дальше уже распрашивали, что пошло не так. Простое правило для такого разговора - не убеждать, не обещать, не оправдывать. Это все только мешает. Надо просто слушать и спрашивать. На основе собранного всеми путями что-то меняли. За два года вышли в ноль. Год болтались у ноля. Потом рванули в плюс. Сейчас пересекли +67.
Потом стали умнее, встроили форму в продукт и добавили поля “что нравится?” и “что не нравится?”. Можно строить веселые квадранты - например, что нравится тем, кто нас не любит. Обрабатывать все равно руками. Раньше делал сам по 800 штук за раз. Отзывы веселые бывают - например “ненавижу вас, сволочи, а куда деваться. +9”
Вообще NPS можно не только к продукту проводить, но и к сотрудникам (у нас делают). На этом мы увидели классическую штуку - что в разных регионах численная оценка ставится разная. Где американец ставит 9, там русский ставит 5-6. Поэтому в продукте мы добавили кодирование смысла оценок цветом и смайликами.
Некоторые считают, что такой кодирование это плохая практика, грязная, что это выклянчивание хороших оценок. Не думаю, чтобы это всерьез помешало кому-то высказать недовольство (регулярно прилетает), но зато происходит культурное нормирование. Нельзя поставить +5 в предположении, что это уже достаточно хорошая оценка.
Но вообще NPS это уже вчерашний день. В прошлом году прочел другую методику, которая мне больше нравится - это Fit For Purpose (F4P). Одноименная книга есть на Амазоне. Вкратце - даем возможность респонденту указать 3-5 важных ему критериев, затем по критериям дать оценку, затем ее объяснить. Ты нами пользуешься для чего? И как оцениваешь? А почему так? Удобнее уже хотя бы тем, что можно проще сегментировать людей - кому важно качество, кому цена, кому что еще. И затем оценки в сегментах уже вполне себе actionable - можно за них бороться.
Про NPS. Все, наверное, знают про такую характеристику продукта - Net Promoter Score. Задаем вопрос “Насколько вероятно, что вы нас рекомендуете своим знакомым?”. Затем из доли людей с высокими оценками (рекомендатели) вычитаем долю людей с низкими оценками (очернители). Это получается такая условная мера лояльности и любви.
Знаете с какого NPS мы начали, когда первый раз померили? -28% 🙁 Когда я об этом упоминаю, некоторые пытаются меня убедить, что отрицательный NPS по формуле невозможен. А вот возможен (wiki в помощь)!
Главной претензией к NPS является то, что он не очень actionable. Делать нечего, берем телефон в руки и давай обзванивать респондентов. Раскидали контакты между американцами и теми русскими, кто не совсем отстойно говорит (я пролез!) и в бой. “Приветствую уважаемый! Вы нас тут в опросе запомоили, как насчет выбрать часик пообщаться?”. Ну и дальше уже распрашивали, что пошло не так. Простое правило для такого разговора - не убеждать, не обещать, не оправдывать. Это все только мешает. Надо просто слушать и спрашивать. На основе собранного всеми путями что-то меняли. За два года вышли в ноль. Год болтались у ноля. Потом рванули в плюс. Сейчас пересекли +67.
Потом стали умнее, встроили форму в продукт и добавили поля “что нравится?” и “что не нравится?”. Можно строить веселые квадранты - например, что нравится тем, кто нас не любит. Обрабатывать все равно руками. Раньше делал сам по 800 штук за раз. Отзывы веселые бывают - например “ненавижу вас, сволочи, а куда деваться. +9”
Вообще NPS можно не только к продукту проводить, но и к сотрудникам (у нас делают). На этом мы увидели классическую штуку - что в разных регионах численная оценка ставится разная. Где американец ставит 9, там русский ставит 5-6. Поэтому в продукте мы добавили кодирование смысла оценок цветом и смайликами.
Некоторые считают, что такой кодирование это плохая практика, грязная, что это выклянчивание хороших оценок. Не думаю, чтобы это всерьез помешало кому-то высказать недовольство (регулярно прилетает), но зато происходит культурное нормирование. Нельзя поставить +5 в предположении, что это уже достаточно хорошая оценка.
Но вообще NPS это уже вчерашний день. В прошлом году прочел другую методику, которая мне больше нравится - это Fit For Purpose (F4P). Одноименная книга есть на Амазоне. Вкратце - даем возможность респонденту указать 3-5 важных ему критериев, затем по критериям дать оценку, затем ее объяснить. Ты нами пользуешься для чего? И как оцениваешь? А почему так? Удобнее уже хотя бы тем, что можно проще сегментировать людей - кому важно качество, кому цена, кому что еще. И затем оценки в сегментах уже вполне себе actionable - можно за них бороться.
October 16, 2020
Попалось интересное про слово test. Какое же ИТ без тестов...
Итак, testa в латыни это «скорлупа». Так римляне называли раковины и кусочки обожженной глины.
Отсюда черепаха это testudo. А внешний скелет морского ежа это и сейчас test.
В старофранцузском слово осело в значении «горшочек» (testum в латыни). Средневековые французские металлурги в таком горшочке делали пробу металла. Английские металлурги позаимствовали горшочек и с ним слово test как «проба» или «испытание».
отсюда
Итак, testa в латыни это «скорлупа». Так римляне называли раковины и кусочки обожженной глины.
Отсюда черепаха это testudo. А внешний скелет морского ежа это и сейчас test.
В старофранцузском слово осело в значении «горшочек» (testum в латыни). Средневековые французские металлурги в таком горшочке делали пробу металла. Английские металлурги позаимствовали горшочек и с ним слово test как «проба» или «испытание».
отсюда
November 16, 2020
Временами мы понимаем, что надо меняться. Там выше было про обратную связь, вот мы ее выслушали и решили - “буду себя вести вот так”. Ну например “быть помягче”, “быть строже” и тп - у каждого свое. Записали себе в план. Год прошел - смотрим, ну может сколько-то раз и получилось, но все тоже самое по большому счету. Бывало такое?
Сам на это регулярно попадаюсь. Потому что сколько сознательных решений не принимай, а в любой конкретной ситуации нами командует ранее выработанная привычка. Эти запрограммированные “если-то” имеют огромную силу над нами (про это сейчас вагон как популярной, так и строго научной информации). Если мы заранее себя настроим на какое-то поведение и подготовимся, возьмем себя в кулак, то может и получится. “Я сейчас заговорю с девушкой, я сейчас заговорю с девушкой” - типа так. Но если ситуация нас застает, как обычно, внезапно - то все снова по старому.
Посоветую банальный способ, как вырваться из этого порочного круга:
1) обернемся назад. в каких совершенно конкретных прошлых ситуациях наше текущее решение должно было привести к другому поведению?
2) продумаем и тщательно проживем все плохие последствия того поведения. чем больше обид и эмоций, тем лучше. потому что эмоциональная окраска улучшает запоминание (строгий научный факт).
3) давайте прикинем, к какому другому поведению мы хотим придти? давайте как можно конкретнее и реалистичнее помечтаем, что мы там делаем? как мы поступим?
Теперь у нас есть набор новых шаблонов “если - то”. Если им уделить достаточно внимания, то по крайней не в слишком стрессовых ситуациях, эти “если - то” начинают получать управление. И мы начинаем себя вести иначе.
Да, эта то самое “повторение - мать учения”, ничего нового. И всякие тренера знают, что теория полностью забывается по окончании тренинга, а практика остается и делают какую-то хоть самую примитивную практику. Вобщем, это симуляция. Совсем идеально, это когда нас кто-то может погонять в режиме спарринг партнера, но это редкая роскошь, так что наш удел “бой с тенью”.
Да, еще есть люди, которые не могут учиться на ошибках (ну то есть не вообще, а в несколько раз хуже других людей). Негативный опыт на них действует очень слабо. Реально есть такой установленный ген. Тогда пункт №2 надо переиграть на позитив - что сильно более хорошее произойдет от другого поведения.
Вобщем, это банально, но это срабатывает
Сам на это регулярно попадаюсь. Потому что сколько сознательных решений не принимай, а в любой конкретной ситуации нами командует ранее выработанная привычка. Эти запрограммированные “если-то” имеют огромную силу над нами (про это сейчас вагон как популярной, так и строго научной информации). Если мы заранее себя настроим на какое-то поведение и подготовимся, возьмем себя в кулак, то может и получится. “Я сейчас заговорю с девушкой, я сейчас заговорю с девушкой” - типа так. Но если ситуация нас застает, как обычно, внезапно - то все снова по старому.
Посоветую банальный способ, как вырваться из этого порочного круга:
1) обернемся назад. в каких совершенно конкретных прошлых ситуациях наше текущее решение должно было привести к другому поведению?
2) продумаем и тщательно проживем все плохие последствия того поведения. чем больше обид и эмоций, тем лучше. потому что эмоциональная окраска улучшает запоминание (строгий научный факт).
3) давайте прикинем, к какому другому поведению мы хотим придти? давайте как можно конкретнее и реалистичнее помечтаем, что мы там делаем? как мы поступим?
Теперь у нас есть набор новых шаблонов “если - то”. Если им уделить достаточно внимания, то по крайней не в слишком стрессовых ситуациях, эти “если - то” начинают получать управление. И мы начинаем себя вести иначе.
Да, эта то самое “повторение - мать учения”, ничего нового. И всякие тренера знают, что теория полностью забывается по окончании тренинга, а практика остается и делают какую-то хоть самую примитивную практику. Вобщем, это симуляция. Совсем идеально, это когда нас кто-то может погонять в режиме спарринг партнера, но это редкая роскошь, так что наш удел “бой с тенью”.
Да, еще есть люди, которые не могут учиться на ошибках (ну то есть не вообще, а в несколько раз хуже других людей). Негативный опыт на них действует очень слабо. Реально есть такой установленный ген. Тогда пункт №2 надо переиграть на позитив - что сильно более хорошее произойдет от другого поведения.
Вобщем, это банально, но это срабатывает
December 9, 2020
В жанре ваш К.О. поделюсь инструментом, который хорошо срабатывал в некоторых наших B2B продуктах и “смазывал” их выход на рынок - это revenue share. То есть мы договариваемся с покупателем о фиксированной доле от выручки, которую он получит через использование нашего продукта
У этого метода два плюса
1) не нужно мучительно придумывать тарифную сетку. продукт хоть и b2b, но не настолько чтобы уж каждому своя цена. а тарифы могут быть сложны - в каждом сегменте хочется взять максимум, но не выше того, что готовы заплатить. Надо определить за что брать, какие ограничения, сколько брать в каждом случае, оххх
2) клиенту не надо рисковать - “а вдруг я вам заплачу, а оно не взлетит”. не взлетит - почти ничего и не должен. взлетит - тоже не обидно, остальная то выручка твоя.
Важная оговорка, когда и почему оно хорошо взлетает - эти продукты сами генерируют выручку для клиента:
1) то есть люди покупают “печатный станок”. Это означает легкое согласие психологически.
2) и получается относительно легкий контроль за полученной выручкой. Объем использования мы видим, а цены клиента для его потребителей либо публичны, либо есть какая-то норма для рынка.
Хотя если слишком расслабиться, то в прошлом вскрывались схемы, когда несколько процентов клиентов читерили и находили способ так все оформлять в системе, что мы объемов не видели.
У этого метода два плюса
1) не нужно мучительно придумывать тарифную сетку. продукт хоть и b2b, но не настолько чтобы уж каждому своя цена. а тарифы могут быть сложны - в каждом сегменте хочется взять максимум, но не выше того, что готовы заплатить. Надо определить за что брать, какие ограничения, сколько брать в каждом случае, оххх
2) клиенту не надо рисковать - “а вдруг я вам заплачу, а оно не взлетит”. не взлетит - почти ничего и не должен. взлетит - тоже не обидно, остальная то выручка твоя.
Важная оговорка, когда и почему оно хорошо взлетает - эти продукты сами генерируют выручку для клиента:
1) то есть люди покупают “печатный станок”. Это означает легкое согласие психологически.
2) и получается относительно легкий контроль за полученной выручкой. Объем использования мы видим, а цены клиента для его потребителей либо публичны, либо есть какая-то норма для рынка.
Хотя если слишком расслабиться, то в прошлом вскрывались схемы, когда несколько процентов клиентов читерили и находили способ так все оформлять в системе, что мы объемов не видели.
January 26, 2021
Пост короткой провокации. Должен ли тимлид кодить?
У нас исторически все тимлиды из инженеров и могут кодить. Кроме того, они из числа очень хороших инженеров и могут кодить на пять. НО, парадоксально, лично кодящий тимлид часто оказывается плохой помощью команде - пока тимлид кодит, он не делает вагон другой, более нужной работы. А если не кодит совсем, то он … теряет квалификацию и тоже перестает мочь делать нужную команде работу. Как быть?
В итоге сформулировался такой принцип:
- кодить, чтобы изучать и пробовать новое, поддерживать квалификацию - ДА
- кодить, чтобы иметь грязные руки и видеть слабые и неудобные места - ДА
- кодить, чтобы “разгрузить” команду - НЕЕЕЕЕТ.
Пожалуйста, нет. Вплоть до формального запрета в трудных случаях.
Нет, потому что это тупиковый путь разгрузки. Нет, потому что занятая рутиной голова не может искать пути развития. А если возникает задача разгружать команду, то явно нужно думать о развитии.
Если же никого разгружать не надо, и вообще все спокойно. Ну ок. Можно снова запачкать руки, чтобы выявить новые проблемы и вернуться к заточке пилы.
P.S. пост от руководителя разработки, который уже забыл, как кодить
У нас исторически все тимлиды из инженеров и могут кодить. Кроме того, они из числа очень хороших инженеров и могут кодить на пять. НО, парадоксально, лично кодящий тимлид часто оказывается плохой помощью команде - пока тимлид кодит, он не делает вагон другой, более нужной работы. А если не кодит совсем, то он … теряет квалификацию и тоже перестает мочь делать нужную команде работу. Как быть?
В итоге сформулировался такой принцип:
- кодить, чтобы изучать и пробовать новое, поддерживать квалификацию - ДА
- кодить, чтобы иметь грязные руки и видеть слабые и неудобные места - ДА
- кодить, чтобы “разгрузить” команду - НЕЕЕЕЕТ.
Пожалуйста, нет. Вплоть до формального запрета в трудных случаях.
Нет, потому что это тупиковый путь разгрузки. Нет, потому что занятая рутиной голова не может искать пути развития. А если возникает задача разгружать команду, то явно нужно думать о развитии.
Если же никого разгружать не надо, и вообще все спокойно. Ну ок. Можно снова запачкать руки, чтобы выявить новые проблемы и вернуться к заточке пилы.
P.S. пост от руководителя разработки, который уже забыл, как кодить
February 2, 2021
Нам часто приходится работать с множественными цифрами. И когда их много - мы часто начинаем оперировать средним арифметическим. Какие диверсии нас ожидают на этом пути?
1) Парадокс №1. Мой школьный учитель говорил: У вас есть 1 курица, у меня 3 курицы. В среднем у нас 2 курицы. НО! Он не сказал, что ни у одного из нас нет 2х куриц. К чему это я?
В 1950х годах ВВС США захотели улучшить эргономику кабины пилота, замерили 4000 пилотов, усреднили и … обнаружили, что результат будет неудобен всем 4000 этих пилотов. Никто из них не оказался тем “средним пилотом”, под которого была сделана кабина. И даже ослабив статистику с 10 замеров до 3х - выяснилось, что только 3% пилотов попадали в средние значения по ним. Один из многочисленных пересказов истории. Таким образом ориентация на среднего пользователя может нас сильно подвести и я в такой ситуации когда-то давно оказался.
Имея малую группу пользователей с характеристикой=1000 и огромную группу с характеристикой=1, кто-то сделал заключение, что в среднем этой характеристики 10 и надо на это ориентироваться. Надо ли пояснять, что результат не зашел ни первой группе, ни второй?
2) Парадокс №2. Положим, что мы повысим средний параметр в каждой из подгрупп. Что произойдет со средним во всей группе? Как насчет, что он, например, упадет?
Вот пример (не мой, но наглядный)
Положим, у нас три группы - учителя, топ менеджеры и доктора наук. В каждой из групп установим число женщин и мужчин, а так же определим зарплату следующим образом:
> Учителя:
> М: 1200 человек, з\п 1800 у.е.
> Ж: 4900 человек, з\п 1850 у.е.
>
> Топ менеджеры:
> М: 15 человек, з.п. 120000 у.е.
> Ж: 10 человек, з.п. 130000 у.е.
>
> Доктора наук:
> М: 700 человек, з.п. 2300 у.е.
> Ж: 650 человек, з.п. 2350 у.е.
Что мы видим? В каждой из групп у женщин з.п. выше, чем у мужчин.
Теперь берем, и считаем среднее "по больнице”:
М: (1200 x 1800 + 15 x 120000 + 700 x 2300) / (1200 + 15 + 700) = 5570000 / 1915 = ~ 2908.6 у.е.
Ж: (4900 x 1850 + 10 x 130000 + 650 x 2350) / (4900 + 10 + 650) = 11892500 / 5560 = ~2138.9 у.е.
И вот получаем, что у женщин в целом в среднем зарплата ниже, хотя в каждой подгруппе зарплата выше. Не интуитивно, правда?
А весь секрет в том, что намного большая доля женщин оказались в низкооплачиваемом сегменте.
DISCLAIMER: пример выдуманный и не стоит от него переходить к гендерным или социальным проблемам. Хотя вы можете воспользоваться этим принципом, когда будете что-то такое исследовать
Это называется парадокс Симпсона и одной из его практических ситуаций было расследование причин, почему при приеме в университет Беркли предпочитали статистически мужчин. И оказалось, что факультеты по отдельности предпочитали статистически женщин…
Надеюсь, эти парадоксы наглядно демонстрируют, что пользоваться средним арифметическим в выводах надо крайне осторожно. По большому счету, он годится строго для масштабирование потребления с одной выборки на другую при условии их равной структуры (репрезентативности).
Если будет интересно, то я позже затрону еще несколько возможных ошибок в численном анализе проблем
1) Парадокс №1. Мой школьный учитель говорил: У вас есть 1 курица, у меня 3 курицы. В среднем у нас 2 курицы. НО! Он не сказал, что ни у одного из нас нет 2х куриц. К чему это я?
В 1950х годах ВВС США захотели улучшить эргономику кабины пилота, замерили 4000 пилотов, усреднили и … обнаружили, что результат будет неудобен всем 4000 этих пилотов. Никто из них не оказался тем “средним пилотом”, под которого была сделана кабина. И даже ослабив статистику с 10 замеров до 3х - выяснилось, что только 3% пилотов попадали в средние значения по ним. Один из многочисленных пересказов истории. Таким образом ориентация на среднего пользователя может нас сильно подвести и я в такой ситуации когда-то давно оказался.
Имея малую группу пользователей с характеристикой=1000 и огромную группу с характеристикой=1, кто-то сделал заключение, что в среднем этой характеристики 10 и надо на это ориентироваться. Надо ли пояснять, что результат не зашел ни первой группе, ни второй?
2) Парадокс №2. Положим, что мы повысим средний параметр в каждой из подгрупп. Что произойдет со средним во всей группе? Как насчет, что он, например, упадет?
Вот пример (не мой, но наглядный)
Положим, у нас три группы - учителя, топ менеджеры и доктора наук. В каждой из групп установим число женщин и мужчин, а так же определим зарплату следующим образом:
> Учителя:
> М: 1200 человек, з\п 1800 у.е.
> Ж: 4900 человек, з\п 1850 у.е.
>
> Топ менеджеры:
> М: 15 человек, з.п. 120000 у.е.
> Ж: 10 человек, з.п. 130000 у.е.
>
> Доктора наук:
> М: 700 человек, з.п. 2300 у.е.
> Ж: 650 человек, з.п. 2350 у.е.
Что мы видим? В каждой из групп у женщин з.п. выше, чем у мужчин.
Теперь берем, и считаем среднее "по больнице”:
М: (1200 x 1800 + 15 x 120000 + 700 x 2300) / (1200 + 15 + 700) = 5570000 / 1915 = ~ 2908.6 у.е.
Ж: (4900 x 1850 + 10 x 130000 + 650 x 2350) / (4900 + 10 + 650) = 11892500 / 5560 = ~2138.9 у.е.
И вот получаем, что у женщин в целом в среднем зарплата ниже, хотя в каждой подгруппе зарплата выше. Не интуитивно, правда?
А весь секрет в том, что намного большая доля женщин оказались в низкооплачиваемом сегменте.
DISCLAIMER: пример выдуманный и не стоит от него переходить к гендерным или социальным проблемам. Хотя вы можете воспользоваться этим принципом, когда будете что-то такое исследовать
Это называется парадокс Симпсона и одной из его практических ситуаций было расследование причин, почему при приеме в университет Беркли предпочитали статистически мужчин. И оказалось, что факультеты по отдельности предпочитали статистически женщин…
Надеюсь, эти парадоксы наглядно демонстрируют, что пользоваться средним арифметическим в выводах надо крайне осторожно. По большому счету, он годится строго для масштабирование потребления с одной выборки на другую при условии их равной структуры (репрезентативности).
Если будет интересно, то я позже затрону еще несколько возможных ошибок в численном анализе проблем
April 1, 2021
Если есть еще интересные примеры “маленьких статистических диверсий” приводите их в чатике. Мне будет интересно https://yangx.top/joinchat/B-bfYQrvBssyBCf4D2YjhQ
Telegram
Product | People | Process чат
Частный чатег @slystsev
Ссылка на канал https://yangx.top/program_man
Ссылка на канал https://yangx.top/program_man
April 1, 2021
А вот вам еще капитанства в ленту! Недавно увидел на конференции очередную разбор дилеммы - как бы это так человеку сказать, что он сделал в работе что-то не так? Налево пойдешь - нахамишь, и будешь токсичным. Направо пойдешь - уси-пуси получатся, ничего не поймут. И люди не могут понять, где оптимальное решение между этими полюсами
Решение предлагает хорошо известная в одних кругах, и совершенно неизвестная в других, книга Radical Candor (Радикальная Прямота). В строгом соответствии с принципом Эйнштейна, что проблема не может быть решена на том уровне, в котором возникла, книга добавляет еще один уровень. А точнее - добавляет еще одно измерение. Получается матрица по двум осям:
1) смолчать-высказаться в лицо
2) c большой заботой о человеке - и без таковой
Вариант “Уси-пуси!” это форма “смолчать” в том смысле, что корень проблемы замыливается.
Соответственно не вдаваясь в разбор всех неправильных сочетаний - правильная форма это “высказать в лицо” + “с большой заботой о человеке”. Прямо с личной и искренней заботой о человеке, а не с целью показать, насколько мы его умнее. Забота и нужные слова подаст, и невербально считывается, так что ваши слова намного более вероятно дойдут до адресата. Поиск сложного баланса между двумя ложными опциями становится не нужен.
Книга, кстати, не толстая и содержит много наглядных примеров.
Может возникнуть вопрос, а как же наш любимый слоеный пирожок “похвалить-поругать-похвалить”? Его главный недостаток, что формула провоцирует механическое применение, без реальной заботы о человеке. А механическое отношение прекрасно считывается слушателем, и в этот момент пирожок перестает работать. Даже наоборот рефлекс может возникнуть “о, похвалили. значит сейчас бить будут!”
При желании можно глянуть прошлый пост о токсичности
Решение предлагает хорошо известная в одних кругах, и совершенно неизвестная в других, книга Radical Candor (Радикальная Прямота). В строгом соответствии с принципом Эйнштейна, что проблема не может быть решена на том уровне, в котором возникла, книга добавляет еще один уровень. А точнее - добавляет еще одно измерение. Получается матрица по двум осям:
1) смолчать-высказаться в лицо
2) c большой заботой о человеке - и без таковой
Вариант “Уси-пуси!” это форма “смолчать” в том смысле, что корень проблемы замыливается.
Соответственно не вдаваясь в разбор всех неправильных сочетаний - правильная форма это “высказать в лицо” + “с большой заботой о человеке”. Прямо с личной и искренней заботой о человеке, а не с целью показать, насколько мы его умнее. Забота и нужные слова подаст, и невербально считывается, так что ваши слова намного более вероятно дойдут до адресата. Поиск сложного баланса между двумя ложными опциями становится не нужен.
Книга, кстати, не толстая и содержит много наглядных примеров.
Может возникнуть вопрос, а как же наш любимый слоеный пирожок “похвалить-поругать-похвалить”? Его главный недостаток, что формула провоцирует механическое применение, без реальной заботы о человеке. А механическое отношение прекрасно считывается слушателем, и в этот момент пирожок перестает работать. Даже наоборот рефлекс может возникнуть “о, похвалили. значит сейчас бить будут!”
При желании можно глянуть прошлый пост о токсичности
May 11, 2021
В старых публикациях нашел совет, который может кому-то пригодится - как "продать" свою большую идею в большой конторе
В чем сложность - в большой конторе много промежуточных менеджеров, которые не очень хотят лишних рисков на свой зад. Не то, чтобы они были против вашей идеи, они даже может за всякие инновации. Но, чтобы не подставиться, они хотят высокой определенности - какой эффект, когда и за какую цену.
Но для любой нетривиальной идеи с определенностью как раз все плохо. А уточнять можно практически бесконечно - никакие уточнения не исключают риск (а подставляться слепо не хочется). Уход слишком глубоко в детали - это путь в никуда. Их никогда не достаточно, и детализировать можно бесконечно
В чем решение - раз ликвидировать риски нельзя, то надо найти человека, который такие риски может принять на себя. Такой человек выступает "спонсором" и "крышей". То есть "крыша" это не просто начальник, а начальник, который возьмет на себя риски.
В зависимости от ожидаемой отдачи, реалистично полагать, что нужные вам для этой идеи ресурсы должны быть в пределах 10-30% того, чем "крыша" может свободно распоряжаться. Только надо понимать, что свободно распоряжаться “крыша” может не всем своим хоязйством, а 10-20%. То есть командир 100 человек, может вписаться в авантюру, которая потребует усилий 1-3х людей, но не 10 людей.
Чем выше начальник, тем больше у него ресурс и тем больше он может вложиться. Но сильно далеко наверх тоже лезть не нужно. Чем дальше от вас - тем сложнее объяснить свою еще сырую идею. Там люди начинают говорить и думать совсем другими понятиями, которые для вас какая-то абракадабра.
То есть для реализации нужно найти минимально могучую "крышу”, которая УЖЕ может себе позволить рискнуть в таком объеме, но ЕЩЕ понимает ваш язык
В чем сложность - в большой конторе много промежуточных менеджеров, которые не очень хотят лишних рисков на свой зад. Не то, чтобы они были против вашей идеи, они даже может за всякие инновации. Но, чтобы не подставиться, они хотят высокой определенности - какой эффект, когда и за какую цену.
Но для любой нетривиальной идеи с определенностью как раз все плохо. А уточнять можно практически бесконечно - никакие уточнения не исключают риск (а подставляться слепо не хочется). Уход слишком глубоко в детали - это путь в никуда. Их никогда не достаточно, и детализировать можно бесконечно
В чем решение - раз ликвидировать риски нельзя, то надо найти человека, который такие риски может принять на себя. Такой человек выступает "спонсором" и "крышей". То есть "крыша" это не просто начальник, а начальник, который возьмет на себя риски.
В зависимости от ожидаемой отдачи, реалистично полагать, что нужные вам для этой идеи ресурсы должны быть в пределах 10-30% того, чем "крыша" может свободно распоряжаться. Только надо понимать, что свободно распоряжаться “крыша” может не всем своим хоязйством, а 10-20%. То есть командир 100 человек, может вписаться в авантюру, которая потребует усилий 1-3х людей, но не 10 людей.
Чем выше начальник, тем больше у него ресурс и тем больше он может вложиться. Но сильно далеко наверх тоже лезть не нужно. Чем дальше от вас - тем сложнее объяснить свою еще сырую идею. Там люди начинают говорить и думать совсем другими понятиями, которые для вас какая-то абракадабра.
То есть для реализации нужно найти минимально могучую "крышу”, которая УЖЕ может себе позволить рискнуть в таком объеме, но ЕЩЕ понимает ваш язык
May 28, 2021
О карьерном пути.
Часто есть такое ощущение, что «стану большим начальником и покажу всем как правильно». В реальности же, стоит стать «большим начальником» и понимание «как правильно» скорее становится проклятьем и обременением.
Смотрите, положим вы реально эксперт и умеете все правильно. Если вы станете маленьким начальником (~2-3 человека), то при минимальной вменяемости за продолжительное время сможете отформатировать своих сотрудников по принципу «делай как я». Профит!
Но если людей не 3, а 10-30-100-… то все становится сложнее. Простое «Делай как я» на такое количество не масштабируется. Понадобятся инструкции, тренинги, экзамены, контроллер качества, система оценки и мотивации. В большом масштабе понадобится даже контроллер контроллеров. А-а-а. Вы же просто хотели, чтобы дело делалось правильно. Но вместо экспертизы о том как делать правильно, вам нужны совсем другие знания - как учить, как контроллировать, как внедрять. Это совсем другие инструменты. Это гора времени. А ведь есть и другие дела.
Дальше начинается непрерывная боль - вы такой знающий и компетентный, а вокруг все совсем не так, как должно быть. Это же ад перфекциониста. И никто не понимает и не разделяет ваших чаяний. Вы просто хотите делать свое дело, а оказались «воспитателем в детском саду».
Гипертрофированно - представьте, что вы со своей компетентностью вдруг стали президентом. Да вокруг же все неправильно. И что делать? Выгореть в попытке объять необъятное? Быть супергероем и тушить пожары лично? Сдаться и молча страдать?
Это все очень большое разочарование и потому сильно компетентному человеку может оказаться совсем не интересно становиться большим начальником (если он вовремя поймет подвох).
С другой стороны, а кому легче быть большим начальником? Проще тому, кто не ищет идеала. Политика это искусство возможного, а значит что на руках есть, с тем и работаем. Немного улучшил, вот и радость. Проще, когда меньше мыслей про «как», но больше про «кто» и «что». Разбираешься в людях, поставил нужных на нужные места - уж они сами решат «как». Только это будет другой «как», не ваш. Часто плохой с вашей идеальной точки зренич
З.Ы.
Как и большинство других постов, этот порожден служебной беседой. В данном случае, о карьерном пути.
Часто есть такое ощущение, что «стану большим начальником и покажу всем как правильно». В реальности же, стоит стать «большим начальником» и понимание «как правильно» скорее становится проклятьем и обременением.
Смотрите, положим вы реально эксперт и умеете все правильно. Если вы станете маленьким начальником (~2-3 человека), то при минимальной вменяемости за продолжительное время сможете отформатировать своих сотрудников по принципу «делай как я». Профит!
Но если людей не 3, а 10-30-100-… то все становится сложнее. Простое «Делай как я» на такое количество не масштабируется. Понадобятся инструкции, тренинги, экзамены, контроллер качества, система оценки и мотивации. В большом масштабе понадобится даже контроллер контроллеров. А-а-а. Вы же просто хотели, чтобы дело делалось правильно. Но вместо экспертизы о том как делать правильно, вам нужны совсем другие знания - как учить, как контроллировать, как внедрять. Это совсем другие инструменты. Это гора времени. А ведь есть и другие дела.
Дальше начинается непрерывная боль - вы такой знающий и компетентный, а вокруг все совсем не так, как должно быть. Это же ад перфекциониста. И никто не понимает и не разделяет ваших чаяний. Вы просто хотите делать свое дело, а оказались «воспитателем в детском саду».
Гипертрофированно - представьте, что вы со своей компетентностью вдруг стали президентом. Да вокруг же все неправильно. И что делать? Выгореть в попытке объять необъятное? Быть супергероем и тушить пожары лично? Сдаться и молча страдать?
Это все очень большое разочарование и потому сильно компетентному человеку может оказаться совсем не интересно становиться большим начальником (если он вовремя поймет подвох).
С другой стороны, а кому легче быть большим начальником? Проще тому, кто не ищет идеала. Политика это искусство возможного, а значит что на руках есть, с тем и работаем. Немного улучшил, вот и радость. Проще, когда меньше мыслей про «как», но больше про «кто» и «что». Разбираешься в людях, поставил нужных на нужные места - уж они сами решат «как». Только это будет другой «как», не ваш. Часто плохой с вашей идеальной точки зренич
З.Ы.
Как и большинство других постов, этот порожден служебной беседой. В данном случае, о карьерном пути.
August 27, 2021
Минутка рекламы. Есть такое теплое ламповое мероприятие для продуктовых менеджеров, вход на которое не совсем свободный, с фейс-контролем - это ProductCamp. Тут как раз один из наших сумел фейс-контроль пройти и срочно покупает билеты в Питер, а для остальных есть вариант поучаствовать онлайн. Регистрация по ссылке https://productcamp.ru/one
Событие будет 11-12 сентября в Ленобласти. Хотя для онлайна какая разница где… Чем мне ProductCamp нравится, что он не превратился еще в шоу, как некоторые другие проф.конфы, не оторвался от земли, большей частью выступают люди, которые именно делают, а не курсируют по кругу с выступлениями.
Обещают, что всем зарегистрировавшимся счастливчикам будет предоставлен полный набор ссылок на трансляции, а также интерактивы в чатах, нетворкинг и прочее. Выдадут записи и материалы. Терять то нечего…
Кстати, я лично часто слушаю доклады на актуальные темы даже не столько с целью что-то прям как рецепт узнать, а просто у меня мозг просыпается и начинает генерировать сопуствующие идеи при прослушивании. Иногда прямо в противофазе с докладчиком - он топит за одно, а у меня все идеи в наоборот. В любом случае я не с пустыми руками выхожу. Смысл вобщем в том, что даже если своего опыта вагон, то послушать других все равно полезно
Событие будет 11-12 сентября в Ленобласти. Хотя для онлайна какая разница где… Чем мне ProductCamp нравится, что он не превратился еще в шоу, как некоторые другие проф.конфы, не оторвался от земли, большей частью выступают люди, которые именно делают, а не курсируют по кругу с выступлениями.
Обещают, что всем зарегистрировавшимся счастливчикам будет предоставлен полный набор ссылок на трансляции, а также интерактивы в чатах, нетворкинг и прочее. Выдадут записи и материалы. Терять то нечего…
Кстати, я лично часто слушаю доклады на актуальные темы даже не столько с целью что-то прям как рецепт узнать, а просто у меня мозг просыпается и начинает генерировать сопуствующие идеи при прослушивании. Иногда прямо в противофазе с докладчиком - он топит за одно, а у меня все идеи в наоборот. В любом случае я не с пустыми руками выхожу. Смысл вобщем в том, что даже если своего опыта вагон, то послушать других все равно полезно
September 7, 2021