Карьерный трек для аналитика
В пятницу был в Санкт-Петербурге на митапе BI-done, на котором, в частности, рассказывал историю создания канала LEFT JOIN, и после решил, что хочу вернуть некоторое число моих личных авторских постов в канал с собственным мнением по теме.

Сегодня хочу порассуждать про карьеру аналитика и, возможно, дать некоторое число непрошенных советов для профессионалов, которые строят свое резюме.

Прежде всего хочу сказать, что я просмотрел тысячи разных резюме и общался с сотнями, если не тысячами кандидатов, потому расскажу свои выводы, которые мне кажутся полезными для вас. Самое главное, что вам как профессионалу в дата-области стоит сделать — это разобраться в том, что вы хотите от себя в ближайшем будущем.

Есть несколько траекторий развития, которые я бы выделил, если вы только начинаете свой путь:
1️⃣Углубиться в какую-то конкретную область и стать в ней узкопрофильным профессионалом. К примеру, лучший A/B-аналитик, гений в продуктовой аналитике, дата-инженер в хайлод решениях, Clickhouse expert. Так или иначе, вы выбираете какой-то профайл, который оттачиваете и улучшаете, не очень переключаетесь между профессиональной нишей, чтобы весь свой опыт работы направить в одну сторону, за счет этого вы строите свой сильный профессиональный личный бренд и люди/компании приходят к вам для решения своей конкретной задачи.

Минус этого подхода очевиден — вы ограничиваете себя одной конкретной областью, и если она вам надоест, будет несколько сложнее переключиться

2️⃣Широкопрофильный специалист aka full-stack. Вы пытаетесь усидеть на нескольких стульях и разбираетесь одновременно и в инжиниринге данных, и в аналитике. Вы эдакое мини-агентство в одном человеке. Можете быть очень полезны в компаниях, которые только начинают строить что-то аналитическое, но почти не пригодны для крупных компаний, так как им нужны люди из п. 1.

3️⃣ Вы — менеджер. Вы хотите растить себя вверх, управлять людьми, управлять командами. Когда-то давно я выбрал именно этот путь. Мне захотелось стать руководителем, и я понял, что это непростая задача, когда ты хороший линейный специалист. Мне помогли книги, решимость и большое внутреннее желание им стать. Первое, что я сделал — осознал, что мне никто не даст эту роль без действий с моей стороны. Соответственно, я предложил компании, в которой я тогда работал (Yota), что я возьму стажеров и бесплатно их всему обучу, тем самым получу свой первый опыт руководителя, который потом могу использовать уже для других компаний и представляться менеджером, у которого есть «руководящий опыт».

Дайте знать, если подобные посты для вас интересны и полезны, продолжу рассказывать свои мысли и идеи.

Когда очень хочешь в IT, не остановит даже тюрьма
Давно прошли золотые времена, когда войти в IT можно было после короткого онлайн-курса. Сейчас человеку даже с опытом найти хорошую работу не так-то просто, а уже новичку тем более. Но все препятствия преодолимы, если очень захотеть, и вкатиться в индустрию можно даже из тюрьмы.

У нас и пруф есть: пост одного из инженеров БД на основе SQLite Turso.

🔵Инженера зовут Престон Торп, ему 31, и треть своей жизни он провел в тюрьме. Про то, что его туда привело, у него есть отдельный пост, но в общем все беды из-за наркотиков.
🔵Когда просто отбывать срок ему надоело, он занялся самообразованием, удаленно поступил в колледж и начал изучать программирование.
🔵В итоге ему позволили участвовать в программе по поиску удаленной работы для заключенных, и так он сначала присоединился к стартапу Unlocked Labs, а потом и к Turso. Сейчас он там переизобретает SQLite на фуллтайме.
🔵Многих работодателей тот факт, что соискатель сидит в тюрьме, может отпугнуть, но Престон упомянул неожиданный плюс такой ситуации: в заключении абсолютно нечем заняться. Поэтому сотрудник готов 12+ часов в день уделять либо работе, либо прокачке навыков, не отвлекаясь на мелочи вроде семьи и хобби.

Positron — новая IDE для дата саентистов
Компания Posit известна как разработчик RStudio — среды разработки, популярной среди дата саентистов и предназначенной для работы с R. Их новый проект, Positron, призван выступить как новая, более гибкая альтернатива.

🔵Positron поддерживает работу в R и Python, предусмотрена возможность добавить и другие языки. Пока их не добавили официально, можно пользоваться сторонними расширениями — уже есть для Rust, Javascript/Typescript, C/C++ и Lua.
🔵Главный фокус разработчиков — создать удобную среду разработки, которая за счет богатого функционала легко встраивается в рабочие процессы вне зависимости от стека и сферы деятельности. Positron позволяет писать код, изучать и анализировать данные, поддерживает ноутбуки на R и Python, запуск дата-приложени: Dash, FastAPI, Streamlit и так далее.
🔵Надо ли говорить, что у Positron, конечно же, есть свой ИИ-ассистент?

Если верить отзывам, после 2 лет в разработке Positron все еще страдает от багов и недостатка фич, особенно по сравнению с более привычным многим RStudio, но это уже вполне рабочий и перспективный инструмент.

Он доступен бесплатно на Windows, macOS и Linux.

Как сломать PostgreSQL
Логично, что большинство гайдов по Postgres посвящены тому, как сделать его быстрее, выше, сильнее. А вы когда-нибудь задумывались, как наоборот сделать его медленнее?

Зачем? Ну, во-первых, это прекрасный способ разобраться, как СУБД работает и что обеспечивает ее производительность, а во-вторых, почему бы и нет.

Если вы об этом не задумывались, не страшно. Нашелся экспериментатор, который сделал это за вас и замедлил Postgres в 42 000 раз.

По условиям задачи, было тормозить его можно было только изменениями параметров postgresql.conf. Иначе неспортивно.

Итак, что же он сделал?
🔵Ужал кэш. Прочитав блок данных, Postgres записывает его в кэш, и это позволяет обрабатывать следующие запросы быстрее, чем если бы СУБД каждый раз обращалась к диску. Ряд экспериментов показал, что 2 МБ — это минимальное возможное значение, при котором Postgres может работать, просто очень медленно, обрабатывая 500 меньше транзакций в секунду. На старте, с кэшем в 10 ГБ у него было 7082 TPS.
🔵Завалил СУБД фоновыми задачами. В частности — заставил ежесекундно запускать autovacuum, процесс, с помощью которого Postgres находит и заполняет пустое место на диске новыми. Из-за ужатого кэша СУБД была вынуждена часто обращаться к диску, и скорость упала до 293 TPS.
🔵Заставил записывать все изменения в WAL перед внесением в базу. TPS упал ниже 100.
🔵Фактически отключил возможность пользоваться индексами, увеличив параметры random_page_cost и cpu_index_tuple_cost и заставив сканировать все страницы последовательно. Кэш пришлось увеличить до 8МБ, но TPS все равно стал ниже единицы.
🔵И наконец-то перевел Postgres в однопоточный режим, выставив параметры io_method = worker и затем io_workers = 1. Это уронило TPS ниже 0,1.

Дело сделано, база еле ползает. В конце статьи перечислены все параметры, в которые вносились изменения, если вдруг кто-то захочет повторить.

А что вы изменили бы, если бы хотели замедлить СУБД?

Устойчивое основание для ваших управленческих решений
Команда Стратоплана запускает бесплатный курс Management Foundation, где поделится фундаментальными знаниями о том, как принимать грамотные управленческие решения.

Что будет на проекте:
🔵ассессмент, чтобы участники смогли оценить свои сильные и слабые зоны как руководителей,
🔵разборы кейсов и сложных тем с практиками, которые уже добились успехов в управлении,
🔵полезные материалы про менеджмент.

Кстати, про практиков. Кроме Стратоплана, опытом поделятся авторы каналов «Тимлид Очевидность», «Кода Кода», «Чужими руками», «System Design & Highload», «LinkedIn & Career» и другие.

Они раскроют три ключевые темы:
🔵«Я менеджер: что это значит на практике» — про ловушки первых шагов в менеджменте,
🔵«Почему с вами никто не договаривается» — какие ошибки чаще всего мешают договариваться,
🔵«Менеджер в системе без самой системы» — как не жить в пожарном режиме и успевать главное.

Курс пройдет онлайн, 1–19 сентября 2025.
Предварительная бесплатная регистрация уже открыта 🔜 Записаться

Чего нас лишает ИИ
В разговоре про генеративный ИИ чаще всего застрагивают темы либо эффективности, либо этичности.

🔜 Кого-то волнует, насколько хорошо искусственный интеллект сегодня справляется с рабочими задачами и что вообще на самом деле можно ему доверить. Эти вопросы особенно актуальны после историй про ИИ-ассистентов, которые сносили базы проектов, потому что перенервничали.

🔜 А кого-то волнует, насколько вообще допустимо использование ИИ, учитывая то, что обычно он обучен на материалах, которые собирали без согласия авторов, рискует усугубить безработицу и при этом еще наносит вред экологии.

Но интересно посмотреть на этот вопрос с новой стороны.

Хотя ИИ не со всеми заданиями справляется идеально, время он точно экономит и при правильном использовании увеличивает эффективность сотрудника.

Но не лишает ли это удовольствия от работы? От радости, когда нашлось решение сложной задачи или наконец-то выловился баг, из-за которого не работал код?

Конечно, если вы работу не особо любите, это может быть неважно: главное, что задачи выполнены. Но если вам нравится то, что вы делаете, не возникает ли ощущение, что ИИ лишает самой интересной, творческой части процесса?

На эту мысль навел любопытный пост из блога Terrible Software, автор которого столкнулся именно с этой проблемой. Благодаря Cursor справляться со своими обязаностиями он стал эффективнее, но ощущение «потока», погруженности в работу ушли, и он задается вопросом — неужели это наше будущее? Или надо просто пересмотреть свой подход и найти какой-то новый источник радости и повод для профессиональной гордости?

А вы как думаете? 👀

Семантический слой, и с чем его едят
Одно из главных препятствий на пути к внедрению в компании data-driven подхода — это то, что обычные бизнес-юзеры не понимают, как им работать с аналитикой. Не просить у аналитиков каждый раз сделать отчет или выгрузку, а самостоятельно копаться в данных и находить ответы на свои вопросы.

🔜 Способ сделать данные чуть ближе к людям — это введение сематического слоя, который выступает прослойкой между БД и бизнесом. В нем, как в едином источнике правды, задаются все метрики, уровни доступа, этапы трансформации данных и затем подтягиваются во все BI-тулы, приложения и так далее.

Плюсы в том, что не приходится прописывать всю эту информацию каждый раз в разных системах, а бизнес-пользователи могут работать с данными, оперируя понятными им терминами и названиями. И уже под капотом у семантического слоя их простые запросы трансформируются в оптимизированный SQL-код.

Конечно, нужно это не всем. Введение семантического слоя оправдано, когда:
🔵в компании уже довольно развитая система аналитики — множество дашбордов, разные BI-платформы, пользователи из разных отделов со своими запросами и метриками,
🔵используется сложная бизнес-логика и расчеты, а не только SUM() и AVG(),
🔵хочется дать пользователям возможность самим писать ad hoc-запросы, не заставляя их изучать продвинутый SQL с join’ами и прочими тонкостями.

Если пока нет необходимости объединять системы и стандартизировать расчеты, тратить время на создание семантического слоя может быть нерационально.

🔜 Но если момент настал, и вы не знаете, что теперь делать, то мы нашли для вас гайд. Он объясняет процесс на довольно простом примере, но зато наглядно: с чего начать, как задать определения метрик на YAML и настроить логику работы. В конце еще и короткий FAQ добавили.

Для тех, кому этого мало, даже дали ссылку на еще подробную статью с подборкой полезных материалов и списком тулов для создания семантических слоев.

Как становиться руководителем — гайд 101
На основе личного опыта.

0️⃣ Change your mind
Нулевой пункт — самый важный, потому что требует нескольких вещей:
🔵Разобраться, зачем вам это нужно? Ну реально, станет ли лучше, если вы начнете кем-то руководить? Даже зарплата может стать ниже на какой-то период.
🔵Понять, что жизнь изменится и интересные задачки в духе написать клевый SQL-код, придумать алгоритм, запилить датавиз, сократятся до минимума.
🔵Перестроиться, что дальше вы будете думать о людях, команде, мотивации.

1️⃣ Вооружиться полезным контентом
Мне помогали в свое время книги:
🔵Питер Друкер, «Эффективный руководитель»
🔵Стивен Кови, «7 навыков высокоэффективных людей»
🔵Кеннеди Гэвин, «Договориться можно обо всем»,
🔵Эдвардс Деминг, «Выход из кризиса».

Скорее всего, сейчас инфы больше — найдутся полезные ролики на Youtube, шортсы, рилсы, телеграм-контент и так далее.

Почему важно погрузиться в контент?
Вы начинаете менять парадигму мышления, и появятся темы, о которых вы никогда раньше не думали. Вам предстоит расширить границы осознаваемого, найти для себя новые мысли и идеи, и книги хорошо решают эту задачу. Контент тоже.

2️⃣ Найти пример для подражания
Когда-то давно у меня был в Ленте классный руководитель по маркетингу. Привет тебе, Леша, если вдруг читаешь. Меня поражало с какой точностью он ставит задачи, описывает ожидаемые решения, уточняет дедлайны и спрашивает о результатах. Я хотел быть на старте, как Леша, поэтому я копировал его стиль постановки задач, их описания, структурирования.

Позже я, конечно же, понял, что я никакой не Леша, а Коля, и стиль у меня будет собственный, но с чего-то же надо начинать?

3️⃣ Поискать ментора
Вдруг удастся найти кого-то, кто уже проходил этот путь (ну вот я, например, проходил), и он сможет поделиться советами как наставник? У вас точно будут неожиданные вызовы, и нужно будет думать, как решать задачу. К примеру, руководитель часто решает вопросы, связанные с наймом и увольнением, а это довольно непростые вещи, так как предполагают общение с людьми, причем зачастую — довольно конфликтное.

4️⃣ Начать действовать
У меня было так: я серчил вакансии руководителя и каждый раз обнаруживал, что все ищут руководителя с опытом работы 1-3 года. Я, напомню, был аналитиком данных. Меня всегда это интересовало, откуда может у меня появится опыт руководителя, если все ищут руководителя с опытом? Стало понятно, что опыт нужно создать.

Тогда я пошел к своему боссу в Yota и сказал, что у меня есть силы и ресурс обучить аналитике несколько чуваков из колл-центра, если у них будет норм бэкграунд. В Yota это называлось «ротационные». Собственно, это я и делал, отобрал их по резюме, и начал давать контент + задачи по теме, которые помогали разгрузить меня и создавали пользу для моего подразделения в Yota.

Так у меня появился первый опыт управления персоналом, и мне стали чуть лучше понятны концепции, которые описывали в книгах. Я даже начал экспериментировать и применять их на практике, например, разные способы мотивации.

5️⃣ Осознать изменения
Важно понять, что если вы были суперкрутой аналитик, дата сатанист или даже кэггл-грандмастер, на старте вы нулевой руководитель и вам по новой надо набираться опыта, проходить кривую опыта, быть готовым к тому, что вы теперь не звезда, а учитесь управлять людьми, а это очень сложно.

6️⃣ Становиться лучшим боссом
Обучаться дальше, расти, получать обратную связь от подчиненных, находить новые возможности получения результатов, сплачивать команду и кайфовать.

Про Уилла Смита, ИИ-видео и ненужный улучшайзинг
Помните те старые страшненькие ИИ-видео, где нейроУилл Смит ел нейроспагетти? Это одни из первых сгенерированных роликов, которые завирусились в интернете.

С тех пор качество генераций стало намного лучше, но видео, созданные или обработанные ИИ, все еще довольно часто можно отличить от обычных. Иногда — из-за искажений объектов, неестественных движений людей или животных в кадре. А иногда в глаза бросается слишком резкий контраст или эффект «масляной живописи», когда изображение выглядит нарисованным.

Все это и подвело Уилла Смита и заодно указало на новую и неожиданную проблему, которую YouTube создал для своих авторов и зрителей.
🔵Смит — который не только актер, но и репер — сейчас гастролирует по Европе. У себя на YouTube-канале он выложил шортс с записями своих выступлений. На первый взгляд он выглядит абсолютно стандартно для концертного видео.
🔵Но если приглядеться к заднему плану, то бросаются в глаза искривленные лица и руки, странные движения и резкий контраст, только подчеркивающий неестественность картинки. Это тут же вызвало обсуждения и насмешки, якобы некогда востребованный актер настолько растерял популярность, что зрителей пришлось рисовать нейросетями.

Но, кажется, ситуация намного интереснее. 👀
🔵Скорее всего, зрители настоящие. Во время тура в соцсетях Смита публиковались кадры и видео с его концертов — те же, что вошли в злополучный шортс— и там люди выглядели абсолютно нормально. В статье TechCrunch есть сравнение, где хорошо видно, как сильно исказилась картинка на YouTube.
🔵Тогда почему видео выглядит так ненатурально? Все из-за новой фичи YouTube. Сайт начал в качестве эксперимента обрабатывать некоторые невезучие шортсы с помощью нейросетей, чтобы «повысить резкость, улучшить качество и убрать шум». Обещают, что вроде бы авторам разрешат отключать это нововведение, но пока надо потерпеть.
🔵И да, Уилл Смит не единственная жертва. Еще несколько человек обнаружили, что их видео облагородили с помощью ИИ. Один автор даже признался, что если бы не знал точно, что его друг снимает свой контент сам, из-за этой обработки мог бы принять его видео за сгенерированное нейросетью.

🔜 Вот такой парадокс получается: фейковые ролики становятся все больше похожими на правду, а настоящие — на фейки. В интернете и раньше никому верить было нельзя, а сейчас тем более.

Почему искать работу в IT так сложно, и как сделать этот процесс проще?
Какое максимальное число этапов собеседований вам приходилось пройти, чтобы в итоге получить ответ «мы вам перезвоним»?

Поиск работы в IT — утомительный и часто многоступенчатый процесс, который включает в себя общение с целой кучей людей, выполнение тестовых, лайв-кодинг, и все это без какой-либо гарантии результата. Возможно, что работодатель по итогу пришлет шаблонный отказ (или просто заигнорит), а возможно, что долгий и нудный путь к офферу приведет на такую работу, откуда сотрудник сам сбежит еще до конца испытательного.

🔜 Инженер Джин Нельсон описала свой взгляд на эту ситуацию, который интересно обсудить как с теми, кто нанимает, так и с теми, кого нанимают.

Она привела несколько критериев, которым должен отвечать процесс подбора:
🔵он должен помогать отличить грамотных специалистов от неучей с ChatGPT,
🔵проверять те навыки, которые действительно надо будет применять на работе,
🔵помогать находить людей, с которыми можно выстроить долгосрочное сотрудничество, а не закрыть дыры в штате здесь и сейчас,
🔵разумно расходовать время всех участников,
🔵быть построен на взаимном уважении.

С некоторыми пунктами можно поспорить — например, не всем работодателям и соискателям нужно многолетнее сотрудничество. Но в целом выглядит разумно.

Предсказуемо, что большая часть принятых способов подбора под эти критерии не особо подходят. Лайв кодинг давно не помогает оценить скиллы, а тестовые задания тратят время соискателей и при этом тоже не всегда адекватно отражают уровень знаний.

В качестве примера более эффективных и уважительных к кандидату вариантов она указала код ревью и анализ семплов из рабочих проектов.
🔵 В первом варианте подборщик пишет так себе код, а соискатель его ревьюит. Этот подход не только показывает навыки из разных областей (от кодинга до умения давать грамотный фидбек), но и требует от работодателя активного участия и подготовки. Это, по ее мнению, более уважительно к соискателю, чем просто выдать ему тестовое.
🔵Во втором варианте, который используют в Oxide Computer Company, соискатель показывает примеры того, над чем работает сейчас, детально отвечает на вопросы о своих ценностях и целях, а потом проходит через 9 кругов ада часов интервью. Процесс крайне времязатратный, но для обеих сторон — нанимателю надо внимательно проанализировать присланные примеры работы и эссе «Кем я себя вижу через 5 лет».

А что вы думаете?
Как должны выглядеть собеседования в IT — в частности, в аналитике и дата-инжинирнге — чтобы не превращаться в трату времени для кандидата и работодателя?

Немного истории: зачем и почему LinkedIn создал Apache Kafka
LinkedIn можно не любить, можно даже ругать, но нельзя отрицать его вклад в культуру. Как минимум, он подарил нам пост «Я сделал предложение своей девушке, и вот что это я узнал о B2B-продажах благодаря этому» и Apache Kafka.

🔜 Kafka — это платформа для обработки потоковых данных в реальном времени. Она используется там, где важно настроить передачу больших объемов данных с потенциалом для масштабирования и минимальным лагом — у наc на сайте есть пример.

Но почему вообще LinkedIn решил создать такой тул?
Если кратко, то дела обстояли так.

LinkedIn собирает данные о поведении пользователей — посты, комментарии, лайки, просмотры. Они используются для создания рекомендательных алгоритмов и защиты от фрода. Раньше, до появления Kafka, это все распределялось на два отдельных конвейера:
🔵«пакетный» пайплайн — каждый час информация о событиях на сайте сохранялась в XML и пачками отправлялась в хранилище,
🔵real-time пайплайн — метрики, которые надо было отлеживать в режиме реального времени (состояние серверов, ошибки, алерты об ошибках) отправлялись в Zenoss.

За развитие обоих пайплайнов отвечали две небольшие команды, которым приходилось делать много ручной работы по их поддержке и обновлению — например, добавлять новые метрики или источники.

Получилась система немасштабируемая, неудобная и не стабильная. Сбой в пайплайне мог повлечь за собой сбои на сайте.

Конечно, это было не дело, и в LinkedIn решили разработать альтернативу: устойчивую, масштабируемую, способную интегрироваться с разными сервисами и обеспечивающую доступ к данным в реальном времени.

Так и появилась Kafka. Сейчас даже сложно представить, что не так уж и давно в такой большой компании как LinkedIn большие массивы данных обрабатывались почти вручную, еще и с большими задержками.

🔜 Если интересно узнать подробности, то они описаны в этой статье.

Ну и не забудьте рассказать в комментах — в вам приходилось пользоваться Apache Kafka?