📕 Книга ML System Design от Alex Xu
Отличная обзорная книга о том, как проектировать системы машинного обучения. В русскоязычном сегменте ML популяризировал эту тему Валера Бабушкин через серию роликов. Более того, он позже участвовал в создании курса и книги. Но вернёмся к книге от Alex Xu, тем более он сам ее рекомендует. Книжку я бы советовал, в первую очередь, менеджерам, которым предстоит проектировать что-то новое. Например, вы всегда внедряли бустинги для скоринга, а теперь нужно заняться ранжированием видео в выдаче. Эта книга предлагает чёткий пайплайн, с чего стоит начать. А вот DSм будет скучно, как и мне тоже показалась. Важно: книга не про обучение моделей, а скорее про подход к проектированию систем.
Пайплайн
⭐️ Понять проблему
• Какую задачу нужно решить? Какая итоговая бизнес-цель? (например, увеличение конверсий, увеличение кликов, ранжирование товаров).
• Какие ограничения? (объём данных, доступные ресурсы, производительность).
⭐️ Архитектура
a. Пайплайн ML-модели
• Как будут происходить получение, хранение и обработка данных? Какие этапы ETL необходимы? Выбор баз данных
• Какие признаки планируем использовать в модели?
• Какие целевые метрики будем использовать? (ROC AUC, MAP@K и т.д.).
• Какую модель выбрать? (можно подумать над SOTA-решениями).
• Как организовать деплой? (Batch/Online предсказания, необходимость API, логирование).
b. Масштабируемость
• Горизонтальное vs вертикальное масштабирование. Нужно ли предусмотреть запас для обработки большего объёма данных?
• Как расширять решение при росте нагрузки?
• Надёжность: отказоустойчивость, например, откат на более простую модель, если основная падает или работает слишком медленно.
• Производительность: как соблюдать баланс между точностью и временем предсказаний (latency vs accuracy).
c. Мониторинг
• Как часто переобучать модель?
• Как построить процесс оценки качества модели? (онлайн/офлайн метрики, A/B тестирование).
• Можно изучить отдельно тему MLops (aka DevOps) для более глубокой проработки.
⭐️ Подвести итоги
Пример: Рекомендательная система для интернет-магазина
1. Уточнение задачу: Рекомендация товаров, метрика — CTR.
2. Архитектура: Данные из базы + обработка событий в реальном времени → тренировка модели (SVD + самые популярные товары) → деплой через REST API.
3. Балансировка: offline-тренировка + быстрые онлайн-предсказания.
4. Мониторинг: Latency и CTR в продакшене.
Отличная обзорная книга о том, как проектировать системы машинного обучения. В русскоязычном сегменте ML популяризировал эту тему Валера Бабушкин через серию роликов. Более того, он позже участвовал в создании курса и книги. Но вернёмся к книге от Alex Xu, тем более он сам ее рекомендует. Книжку я бы советовал, в первую очередь, менеджерам, которым предстоит проектировать что-то новое. Например, вы всегда внедряли бустинги для скоринга, а теперь нужно заняться ранжированием видео в выдаче. Эта книга предлагает чёткий пайплайн, с чего стоит начать. А вот DSм будет скучно, как и мне тоже показалась. Важно: книга не про обучение моделей, а скорее про подход к проектированию систем.
Пайплайн
⭐️ Понять проблему
• Какую задачу нужно решить? Какая итоговая бизнес-цель? (например, увеличение конверсий, увеличение кликов, ранжирование товаров).
• Какие ограничения? (объём данных, доступные ресурсы, производительность).
⭐️ Архитектура
a. Пайплайн ML-модели
• Как будут происходить получение, хранение и обработка данных? Какие этапы ETL необходимы? Выбор баз данных
• Какие признаки планируем использовать в модели?
• Какие целевые метрики будем использовать? (ROC AUC, MAP@K и т.д.).
• Какую модель выбрать? (можно подумать над SOTA-решениями).
• Как организовать деплой? (Batch/Online предсказания, необходимость API, логирование).
b. Масштабируемость
• Горизонтальное vs вертикальное масштабирование. Нужно ли предусмотреть запас для обработки большего объёма данных?
• Как расширять решение при росте нагрузки?
• Надёжность: отказоустойчивость, например, откат на более простую модель, если основная падает или работает слишком медленно.
• Производительность: как соблюдать баланс между точностью и временем предсказаний (latency vs accuracy).
c. Мониторинг
• Как часто переобучать модель?
• Как построить процесс оценки качества модели? (онлайн/офлайн метрики, A/B тестирование).
• Можно изучить отдельно тему MLops (aka DevOps) для более глубокой проработки.
⭐️ Подвести итоги
Пример: Рекомендательная система для интернет-магазина
1. Уточнение задачу: Рекомендация товаров, метрика — CTR.
2. Архитектура: Данные из базы + обработка событий в реальном времени → тренировка модели (SVD + самые популярные товары) → деплой через REST API.
3. Балансировка: offline-тренировка + быстрые онлайн-предсказания.
4. Мониторинг: Latency и CTR в продакшене.
👍9❤1🔥1🤔1🤝1
📕 Книга Decode and Conquer: Answers to Product Management Questions Или как через CIRCLES и DIGS дойти до ICE MoSCoW
Неплохая книжка по продуктовому менеджменту, которая помогает системно отвечать на продуктовые вопросы, через решение различных кейсов, хотя иногда и бывало скучно. Все используя готовые фреймворки, о которых далее
⭐️ CIRCLES — для анализа и декомпозиции задачи:
• Comprehend: Понять проблему и ситуацию. Например, если обнаружена ошибка в проде:
- Discovery-подход: Определить, какой бизнес-сегмент просел, какие метрики изменились
- Delivery-подход: Проанализировать последние изменения, релизы и потенциальные баги
• Identify: Кто пользователь и его потребности, кого аффектит история?
• Report the customer’s needs: Определить ключевые пользовательские потребности
• Cut: Расставить приоритеты на основе ограничений и целей. Например, используя методы приоритезации (R)ICE или MoSCoW
• List: Предложить несколько решений проблемы
• Evaluate: Оценить компромиссы и trade-offs между решениями
• Summarize: Итоговые выводы
В целом некоторые шаги объединяемы иначе можно уснуть отвечая на все из них, например Identify и Report.
⭐️ DIGS — для структурированного ответа на кейсы (короче и больше сути):
• Define: Сформулировать задачу и гипотезы
• Identify: Определить основные метрики и ограничения
• Generate: Придумать несколько вариантов решений
• Select: Обосновать выбор наилучшего решения
⭐️ MoSCoW — для приоритизации задач:
• Must-have: Критичные функции, без которых продукт не работает
• Should-have: Важные, но не критические задачи
• Could-have: Желательные улучшения (если есть время)
• Won't-have: То, что пока не войдет в фокус
⭐️ RICE = Reach х Impact х Confidence / Effort для приоритизации задач:
• Reach (Охват): Сколько пользователей затронет задача
• Impact (Влияние): Насколько сильно решение повлияет на пользователей
• Confidence (Уверенность): Насколько уверены вы в данных и оценках? (например, 80% уверенности — высокая, 50% — средняя
• Effort (Затраты): Сколько времени или ресурсов займет реализация задачи (ПШЕ)
🤔 Кажется решать через CIRCLES долго, а вот через DIGS как раз:
• Define: Задача: Увеличить конверсию из просмотров в заявки на объявления. Гипотеза: Конверсия низкая из-за сложной формы заявки и недостаточно заметного CTA.
• Identify:
- Метрики. Конверсия из просмотра объявления в заявку (%). Количество незавершенных заявок.
- Ограничения: Временные ресурсы на разработку и дизайн.
• Generate: Решения. (1) Улучшить видимость кнопки "Оставить заявку". (2) Упростить форму заявки. (3) Добавить пуш-уведомления о новых предложениях. (4) Показать доверие к объявлениям через метрики (рейтинг продавца).
• Select: Выбираем решение с максимальным ROI (RICE): Решение 1 и 2: Легко внедряемые с высоким влиянием на конверсию.
Неплохая книжка по продуктовому менеджменту, которая помогает системно отвечать на продуктовые вопросы, через решение различных кейсов, хотя иногда и бывало скучно. Все используя готовые фреймворки, о которых далее
⭐️ CIRCLES — для анализа и декомпозиции задачи:
• Comprehend: Понять проблему и ситуацию. Например, если обнаружена ошибка в проде:
- Discovery-подход: Определить, какой бизнес-сегмент просел, какие метрики изменились
- Delivery-подход: Проанализировать последние изменения, релизы и потенциальные баги
• Identify: Кто пользователь и его потребности, кого аффектит история?
• Report the customer’s needs: Определить ключевые пользовательские потребности
• Cut: Расставить приоритеты на основе ограничений и целей. Например, используя методы приоритезации (R)ICE или MoSCoW
• List: Предложить несколько решений проблемы
• Evaluate: Оценить компромиссы и trade-offs между решениями
• Summarize: Итоговые выводы
В целом некоторые шаги объединяемы иначе можно уснуть отвечая на все из них, например Identify и Report.
⭐️ DIGS — для структурированного ответа на кейсы (короче и больше сути):
• Define: Сформулировать задачу и гипотезы
• Identify: Определить основные метрики и ограничения
• Generate: Придумать несколько вариантов решений
• Select: Обосновать выбор наилучшего решения
⭐️ MoSCoW — для приоритизации задач:
• Must-have: Критичные функции, без которых продукт не работает
• Should-have: Важные, но не критические задачи
• Could-have: Желательные улучшения (если есть время)
• Won't-have: То, что пока не войдет в фокус
⭐️ RICE = Reach х Impact х Confidence / Effort для приоритизации задач:
• Reach (Охват): Сколько пользователей затронет задача
• Impact (Влияние): Насколько сильно решение повлияет на пользователей
• Confidence (Уверенность): Насколько уверены вы в данных и оценках? (например, 80% уверенности — высокая, 50% — средняя
• Effort (Затраты): Сколько времени или ресурсов займет реализация задачи (ПШЕ)
• Define: Задача: Увеличить конверсию из просмотров в заявки на объявления. Гипотеза: Конверсия низкая из-за сложной формы заявки и недостаточно заметного CTA.
• Identify:
- Метрики. Конверсия из просмотра объявления в заявку (%). Количество незавершенных заявок.
- Ограничения: Временные ресурсы на разработку и дизайн.
• Generate: Решения. (1) Улучшить видимость кнопки "Оставить заявку". (2) Упростить форму заявки. (3) Добавить пуш-уведомления о новых предложениях. (4) Показать доверие к объявлениям через метрики (рейтинг продавца).
• Select: Выбираем решение с максимальным ROI (RICE): Решение 1 и 2: Легко внедряемые с высоким влиянием на конверсию.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8🔥4👌2
В октябре съездил в Кейптаун, ЮАР – поездка всего на неделю, но удалось много чего посмотреть. Только сейчас разобрал фотки с поездки. Трансфер занял всего 24 часа с пересадкой в Эфиопии – зато смена времени на полгода: пока в Москве была осень, там уже весна. Это был тур через @heapcheaptrips_tours, что сняло вопросы организации. Была небольшая группа из 6+ человек.
🌍 Океаны (Индийский и Атлантический), горы, причем непростые, а столовые (с плоской вершиной), – всё это создает интересные пейзажи. В школе читал про мыс доброй надежды, а вот удалось на нем побывать.
🏘 Достаточно безопасно, но ночью мы это не проверяли. При этом все отели обнесены колючей проволокой под напряжением. Напоминание о сложности истории — многокилометровые тауншипы (гетто), оставшиеся со времен апартеида.
🌸 Весна в ЮАР – это время цветения множества растений, большинство из которых растет только там, создается ощущение эдакой другой планеты. Весной еще приплывают киты и пингвины, последние, конечно, бесконечно милые. Пока плыли к китам, проплыли сквозь стаю дельфинов 🐬 — их, наверное, под сотню. Ощущение, как в фильме про дикую природу.
🦁 Настоящее сафари – в Национальном парке Крюгер, но туда нужно ехать в глубь страны до Йоханнесбурга, от которого еще столько же до самого парка. Там настоящая жизнь, но это время + риск малярии. Нам же удалось одним днем съездить в питомник: это не сафари, но уже точно не зоопарк. Посмотреть на львов на расстоянии вытянутой руки с открытой машины, не говоря уже об африканских слонах, буйволах и т. д., – <3
Рекомендую :)
🌍 Океаны (Индийский и Атлантический), горы, причем непростые, а столовые (с плоской вершиной), – всё это создает интересные пейзажи. В школе читал про мыс доброй надежды, а вот удалось на нем побывать.
🏘 Достаточно безопасно, но ночью мы это не проверяли. При этом все отели обнесены колючей проволокой под напряжением. Напоминание о сложности истории — многокилометровые тауншипы (гетто), оставшиеся со времен апартеида.
🌸 Весна в ЮАР – это время цветения множества растений, большинство из которых растет только там, создается ощущение эдакой другой планеты. Весной еще приплывают киты и пингвины, последние, конечно, бесконечно милые. Пока плыли к китам, проплыли сквозь стаю дельфинов 🐬 — их, наверное, под сотню. Ощущение, как в фильме про дикую природу.
🦁 Настоящее сафари – в Национальном парке Крюгер, но туда нужно ехать в глубь страны до Йоханнесбурга, от которого еще столько же до самого парка. Там настоящая жизнь, но это время + риск малярии. Нам же удалось одним днем съездить в питомник: это не сафари, но уже точно не зоопарк. Посмотреть на львов на расстоянии вытянутой руки с открытой машины, не говоря уже об африканских слонах, буйволах и т. д., – <3
Рекомендую :)
👍10🔥7❤2🥰1