Find a bug in.jvm inteoduced by one of 500 PRs causing massive thread inflation.

I had a recent few days of plugging together various ms teams and Jira api calls webhooks into Jenkins to automate something.

The vertical pod autoscaler has been evicting pods that emit OOM (out of memory) even when the host is not out of RAM. These pods are also not selected by a VPA.

Visual Basic……………….. забудьте то, что я сказал.

Jira. Я так устал быть дефакто администратором atlassian, вынужденным убирать за всеми, ибо никто и пальцем не пошевелит для реализации облака.

Электронная почта. Я знал электронную почту вдоль и поперек когда управлял почтовыми серверами в одной компании. Никогда больше. Если возникают проблемы с электронной почтой, я просто пожимаю плечами и делаю вид, что ничего не знаю. Я ненавижу email в той же степени, что и принтеры.

Все, что сделано рукой IBM.

Недавно наняли парня из VMware, бывшего сотрудника Dell из России.

16:40. Один из наших администраторов чистил хранилище данных в vSAN и случайно удалил несколько vmdk, что привело к остановке прода. Решили, что восстановим из Veeam ночные копии. Но с учетом восстановления будет потеряно 2 или более дней работы.

Этот парень, которого мы наняли из России, заходит, смотрит и с густым европейским акцентом говорит "Я исправлю это за 4 часа». Он включает ssh, запрашивает root, подключается, начинает, кажется, собирать файлы вместе, я не уверен, и — черная магия: VDMK ребутнулись, виртуальные машины работают как ни в чем не бывало. Он сослался на стишок про Шалтая-Болтая: «Я сшиваю виртуальные машины, как Шалтая-Болтая, делаю виртуальные машины снова целыми».

Точно... черный маг.

Однажды я работал в одной телекоммуникационной компании в начале эры ADSL, и мы проводили демонстрацию того, как можно накладывать друг на друга различные технологии - ATM, Frame Relay, VDSL и еще какие-то, которые я уже забыл. У нас были Alcatel, Lucent, Cisco и некоторые другие. Так или иначе, это не работало. Три группы инженеров от разных поставщиков и консультантов несколько дней смотрели на все это, но так и не смогли заставить работать.

В конце концов руководство проекта прислало супердорогого консультанта Cisco из Японии или США. Этот парень представлял собой образ консультанта «большой пятерки» - дорогой костюм, портфель, как с иголочки.

Самое удивительное, что я когда-либо видел - прямо как из фильма про хакеров. Парень садится за консоль с зеленым экраном, включает какой-то пакетный хекс-дамп, смотрит на это, прокручивая по экрану в течение 5 минут, и говорит: «О, вы забыли включить X, установить Y на Z и включить Q». Сделал эти изменения и бац - все заработало. Парень ушел через 10 минут.

Хотел бы я приблизиться к такому уровню мастерства.

Для меня это было включение подсветки ошибок в журналах сборки. Эффект был колоссальным, потому что теперь разработчики могли легко сортировать журналы сборки. Коротко и ясно. Не поймите меня неправильно, у нас все еще есть сбои, но теперь очень просто найти 👍

Напишите как можно больше CI/CD-задач в виде отдельных скриптов, чтобы можно было запускать и тестировать их локально. Но не заходите слишком далеко: написание собственной CI/CD системы на скриптовом языке — не самое лучшая трата вашего времени.

Чтобы скрипты было легко вызывать, добавьте несколько Makefiles в качестве обертки. Только эти две вещи сэкономят вам огромное количество времени.

Производительность CI/CD зависит от кэширования. В GitHub Actions есть кэш, который поддерживается Docker. Его использование значительно повышает производительность.

В этом проекте есть ряд примеров использования кэширования для оптимизации производительности. Например, использование GitHub docker реестра для обмена образами между параллельными этапами, использование кэша GitHub для файлов и т. д.

Вообще говоря, будет лучше, если вы сможете запускать CI/CD локально для дебага. Иначе вы застрянете в медленном цикле коммитов кода и ожидания сбоя CI. В этом проекте используется «контейнерная» сборка и тестирование, поэтому все, что возможно, делается в Docker. Так получается его более изолированно.