Начинаем неделю с полезного контента 🙌

Ловите вторую подборку записей докладов для разработчиков различных направлений с HighLoad++ 2024. Первая была здесь, если пропустили 👌

1️⃣ WASM: цель, устройство, перспективы. Владимир Хомутов

Доклад для разработчиков модульных систем, разработчиков расширений (в частности, nginx/angie).

Человек, столкнувшийся с WASM, впадает в ступор от своеобразия технологии и неожиданных архитектурных ходов. Это классический комитетский долгострой, а приложения нужны еще вчера. Владимир рассказал о том, как они «упаковали» WASM, чтобы разработчики могли эти приложения создавать.

VK Видео
RUTUBE

2️⃣ Лес Меркла, или Как мы уменьшили объём метаданных на 83% и заодно ускорили поиск дубликатов в 10 раз в СХД TATLIN.BACKUP. Сергей Ли

Доклад для разработчиков систем хранения и баз данных.

В мире уже придумано множество структур данных, подходящих для разных случаев. Среди них есть менее известные, но от этого не теряющие своей красоты структуры, способные помочь в эффективном хранении данных. Из доклада вы узнаете про дерево Меркла и его эффективное применение совместно с CDC. 

VK Видео
RUTUBE

3️⃣ Итак, вы решили надежно записывать данные на диск. Дмитрий Родионов

Для разработчиков, кому интересен путь данных от пользователя до железа и какие проблемы скрываются на этом пути

Простые действия могут иметь под собой на удивление сложную логику и многочисленные последствия. Доклад погрузит вас в дивный мир гарантий при записи данных, покажет интересные примеры проблем из жизни и затронет важный вопрос поиска подобных ошибок в приложениях.

VK Видео
RUTUBE

4️⃣ Как отлаживать асинхронный Odyssey, не привлекая внимания санитаров. Роман Хапов

Для разработчиков на С/С++, разработчиков асинхронных движков.

Глубоко технический доклад о том, как GDB расширяли для отладки Odyssey: асинхронного connection pool для PostgreSQL. Движок написан на C в асинхронной парадигме на корутинах, и в докладе Роман рассказал, как подобную задачу пытались решить в Go, но на самом деле не решили. А они — решили.

VK Видео
RUTUBE

5️⃣ Путь к стабильным и быстрым дискам в Yandex Cloud. Даниил Татьянин

Системным разработчикам

Как не терять производительность при эмуляции устройств, не уходя в крайности? Даниил рассказал про вариант эффективной реализации виртуальных дисков и новый опенсорсный проект, позволяющий решать подобные задачи.

VK Видео
RUTUBE

6️⃣ Особенности современной аппаратуры: как на x86-64 изолированные ВМ могут чувствовать друг друга. Максим Давыдов

Разработчикам облаков

Захватывающая история расследования проблемы с производительностью ВМ, вызванной конкуренцией за кэш L3 и шину к RAM. Спикер показал, как инженеры Yandex Cloud смогли найти взаимное влияние ВМ и оптимизировать их работу.

VK Видео
RUTUBE

Продуктивного просмотра! Не забывайте делиться с коллегами, кому данные записи могут быть полезны 😉

Продолжаем рассказывать вам о программе HighLoad++ 2025. На этот раз доклады из секций: DevOps-практики и культура, Базы данных и системы хранения, Архитектура и масштабируемость.

Выбирайте актуальную для вас тему и сохраняйте в свое личное расписание на конференции ✅

1) ICQ мёртв. Да здравствует ICQ! Олег Вознесенский (VK Tech)

15 ноября 1996 миру был представлен ICQ – пионер сервисов мгновенного обмена сообщениями и некогда самый популярный IM. 26 июня 2024 года компания VK, на тот момент владеющая проектом, прекратила работу мессенджера. Конец. На самом деле все гораздо интереснее. В 2019 году был представлен корпоративный мессенджер VK Teams, который фактически является... коробочной версией ICQ. Давайте заглянем под капот аськи, оценим архитектуру, окунемся в историю, сформулируем проблемы и вызовы и поговорим о путях развития. Для этого приходите на доклад Олега.

2) Снапшоты своей файловой системы через LSM: с RocksDB легко, но есть нюансы. Александр Черепанов (YADRO)

Александр поделится опытом интеграции преимуществ RocksDB, сфокусировавшись на реализации снапшотов файловой системы. Вы узнаете, как воспользоваться преимуществами LSM-дерева для реализации снапшотов и при этом не раздуть их метаданные из-за особенностей RocksDB. Как стреляют в ногу нюансы дедуплицирующей файловой системы и POSIX. И как делать поверх всего этого очистку более неиспользуемых данных.

3) Как мы в Яндекс Еде построили свой рекламный движок с нуля за 3 месяца. Денис Токарев (Яндекс Еда)

История создания собственного рекламного движка в Яндекс Еде: от бизнес-требований до production-решения, обрабатывающего >600 запросов в секунду с откликом <200ms. Выбор между R-tree и H3 для геопоиска до ML-предсказаний в real-time. Разберем аукцион второй цены, CPA-модель и архитектуру.

Присоединяйтесь к нам на HighLoad++ 2025 🙌

Успейте забронировать билет до повышения цены ⚡

Хотите упростить работу с асинхронными API и сделать документацию понятной и доступной?

Александр Митин, Java-разработчик в компании ИТ-Холдинг Т1, рассказал про AsyncAPI — стандарт, аналогичный Swagger или OpenAPI, но для событийно-ориентированных систем с обменом сообщениями через брокеры.

Как описывать асинхронные взаимодействия, какие инструменты использовать для визуализации и генерации кода, как построить CI/CD для автоматической работы с AsyncAPI-спецификациями — все это в сегодняшней статье.

🖐️ Если ваша архитектура строится на Kafka, MQTT, RabbitMQ или похожих решениях, этот инструмент и опыт применения AsyncAPI могут упростить разработку и поддержку.

Данные — это сердце любой высоконагруженной системы 🖤

В треке «Базы данных и системы хранения» собран опыт работы с петабайтами информации: от классических РСУБД до современных распределенных хранилищ. Мы обсудим реальные проблемы и их решения: шардирование, репликация, консистентность, оптимизация запросов.

Рассказываем еще о двух докладах трека ⤵️

1) TTL данных в Яндекс Доставке – где закончился PostgreSQL и что вместо него. Валерий Кондаков (Яндекс Доставка)

Яндекс Доставка — высоконагруженный сервис, считающий 10 000 офферов в секунду (каждый оффер — JSON ~30 КБ). Им нужно укладываться в 20 мс на сохранение и при этом сохранять персистентность данных. В докладе Валерий поделится выжимкой трехлетнего пути: PostgreSQL под write-heavy и TTL – с какими ограничениями они столкнулись и почему масштабирование упирается в архитектуру базы. Переход к Redis/Valkey: почему in-memory хранилище подходит под эту задачу и как они не потеряли гарантии. Хранение офферов на клиентах Ya.Go вместо собственной БД: когда это оправдано, какие подводные камни и что важно учесть при внедрении.

2) Миграция контента в KION: как перенести сотни ТБ без downtime. Никита Иванов (МТС Web Services (MWS))

Казалось бы, перенос данных — рутинная задача. Но когда речь идет о работающем онлайн-кинотеатре с нагрузкой в тысячи RPS, гигабитами трафика и жесткими требованиями к IOPS, всё становится сложнее. В этом докладе Никита расскажет реальный кейс миграции контента из легаси-системы (на физических серверах) на новую платформу KION без остановки сервиса.

✅ Все доклады трека можно посмотреть на сайте

Ждем вас 6 и 7 ноября на HighLoad++ 2025 🙌

Рассмотреть актуальные скорости трафика и методы их съема, узнать архитектуру современного сервера и принципы создания высокопроизводительных систем вы сможете на докладах из секции «Архитектура и масштабируемость», о которых рассказываем сегодня ⤵️

1) Программный съем трафика на скорости 400Gbps: опыт, оптимизации и неочевидные решения. Юрий Морозов (Группа компаний «Гарда»)

В этом докладе слушатели рассмотрят актуальные скорости трафика и методы их съема. Узнают, почему 400Gbps — сегодняшняя реальность. Погрузятся в теорию программного съема и на практических примерах компании «Гарда» разберут, как достигли 400Gbps. Главный фокус — на неочевидных оптимизациях схемы и кода, давших прорыв в производительности, а также вывод — решение есть почти всегда, надо стараться найти.

2) Восстание машин или как хранилища Sage на новое железо заезжали. Руслан Боярский (Т-Банк)

Из доклада вы узнаете:
-Архитектуру современного сервера: процессоры, память, riser и RAID-контроллеры.
- Опыт запуска ES на новом железе и на какие проблемы с аппаратным обеспечением (hardware) наткнулась команда Sage в Т-Банке (их «черный лебедь»).
- Как при этом вел себя ES нода или сервер, и как команда доказывала, что проблема не в приложении, а на уровне железа.
- Как эти проблемы были решены и какие выводы были сделаны на будущее.

3) Performance-Driven Development — как сделать торговую систему с минимальными задержками. Алексей Шурыгин (AlphaNova)

Какими принципами надо руководствоваться, чтобы создать систему, где скорость задержки — микросекунды, а количество заявок — десятки и сотни тысяч? Что такое Performance-Driven Development (PDD), и почему без него такую систему не создать? Какие практические подходы надо использовать? За ответами приходите на доклад Алексея.

Присоединяйтесь к нам 6 и 7 ноября на HighLoad++ 2025 🙌

➡️ Программа пока в стадии формирования, но вы уже можете посмотреть часть из того интересного и полезного, что вас ждет.

Языки программирования и технические стеки, GenAI и большие языковые модели (LLM), Тестирование высоконагруженных систем — тематические треки из программы HighLoad++ 2025.

В этом посте рассказываем о докладах из этих треков. Выбирайте актуальное для вас направление и сохраняйте в свое личное расписание на конференции ✅

1) От Protobuf к FlatBuffers: Двухкратное ускорение сервиса с правильной сериализацией. Денис Божок (Островок!)

Денис поделится опытом перехода от использования Protocol Buffers к FlatBuffers в связке с языком Go и gRPC. Будут детально разобраны причины и процесс миграции, рассмотрены проблемы, с которыми они столкнулись, а также результаты этой миграции.

2) Как сохранить высокую надёжность при GenAI трансформации. Вячеслав Кудряшов (Сбер)

Из доклада узнаете, как в Сбере внедряют AI-агентов в критичные банковские системы без падений прода. Увидите 12 боевых паттернов надежности: от предотвращения зацикливаний до автоматических откатов. Готовые решения для вашего GenAI. Не пропустите опыт, который сэкономит вам месяцы!

3) Чему нас научили 24 миллиарда событий в сутки: уроки эксплуатации ClickHouse. Сергей Волков (Сбер)

Сергей расскажет о том, как устроен их стриминговый пайплайн, как сервис сбора событий справляется с миллиардами событий, какие тесты они проводили. Про внезапный скачок нагрузки х2, сбой кластера ClickHouse и как он проявился, сбой Kafka и поведение пайплайна. К чему привела запись всех событий в один проект вместо 50+. Какие баги, затыки и инсайты они получили, и как это повлияло на прод. Доклад будет интересен всем, кто работает с ClickHouse под высокой нагрузкой, собирает real-time данные, использует Kafka и хочет понять, где тонко и как не порвать.

Ждем вас на HighLoad++ 2025 🙌

➡️ Узнать больше о программе и забронировать билет можно на сайте

Как обеспечить отказоустойчивость почтового сервера Exim при обработке миллиона писем в минуту?

В статье Максим Уймин из VK делится опытом создания распределённой почтовой очереди на базе Tarantool и Zepto, которая позволяет Exim стать stateless и легко переживать сбои ЦОД без прерывания работы.

Узнайте, как устроена архитектура очереди, почему Tarantool оказался лучшим решением, как реализована файловая система на FUSE и как всё это интегрируется с Kubernetes для стабильной и масштабируемой работы почты.

💡 Для всех, кто интересуется высоконагруженными системами и отказоустойчивыми решениями — отличный глубокий кейс от практиков!

Мы начинаем работу над новым продуктом и хотели бы обратиться к вам за помощью 🖐️

Приглашаем вас принять участие в опросе, который поможет нам лучше понять ваши потребности.

Опрос небольшой, займет всего пару минут, но для нас это важная информация для создания действительно полезного и нужного продукта для вас.

✅ Пройти опрос

Спасибо за ваше участие!

Разобрать весь путь данных, поговорить о security в масштабе, узнать, как выжимать максимум из железа и перенять опыт работы с петабайтами информации — все это вы сможете на HighLoad++ 2025 🙌

Берите на заметку следующие доклады из программы конференции ⤵️

1) Онлайн-анализатор миллиона видеостримов: как положить в кликхаус 2 млрд записей в сутки и достать в мультитенантную графану. Максим Лапшин (erlyvideo)

В докладе вы узнаете технические детали разработанного решения, анализирующего структурную целостность около миллиона видеопотоков одновременно. Это поток в 2 млрд строк в Clickhouse в сутки. Эти данные просматривают люди через Grafana, адаптированную для мультитенатного доступа и роботы, присылающие алерты в системы мониторинга клиентов.

2) SSO для бедных: реализация IAM на Open Source в инфраструктуре разработки. Александр Лысенко (К2 Кибербезопасность)

Инфраструктура заказной разработки — страшный сон для любого специалиста ИБ: большое количество сервисов, «тестовые» и «демо»-сервисы с инфраструктурной обвязкой. При этом бизнес требует делать больше за меньшее число человеко‑часов. В таких условиях DevOps‑инженеры успевают лишь «чинить» очередную упавшую сборку. Подобные ситуации порождают огромное количество рисков ИБ. Александр расскажет, как это решить данную проблему.

3) Как понимание работы RAM ускорило на +30% пакетный шлюз 4G/5G сетей и позволило обрабатывать 4M пакетов в секунду на одном ядре и 100Gbps на NUMA node. Максим Шахметов (ООО «Протей-Лаб»)

Максим поделится опытом, как они при помощи профилирования нашли узкие места в программе. Какие CPU метрики (DTLB miss, L2/L3 cache miss, RAM throughput) проседали, какие решения они применяли для увеличения производительности. Эти простые методы применимы для широкого круга задач разработки.

4) Как прокачать иопсы вновь: новый слой хранения для Vitastor. Виталий Филиппов (Личный проект)

За последние 3 года Vitastor стал универсальной SDS. Появилось много новых функций и оптимизаций. Однако одной вещи не хватало давным-давно — более умного и быстрого слоя хранения. Идея не давала покоя буквально все эти годы, и только сейчас наконец кристаллизовалась и вылилась в практическую реализацию. Результаты отличные! О новом хранилище и будет доклад Виталия.

🖐️ Ждем вас 6 и 7 ноября в Москве

✅ Пройдите на сайт, чтобы узнать больше о программе HighLoad++ 2025

Узнайте, как внедрить Traffic Mirroring в OVN для анализа трафика. Погрузитесь в архитектуру высоконагруженного поиска с 10К запросов в секунду. Узнайте, почему ML не всегда лучше классического кэширования. Получите готовый план масштабирования GitLab до 4000 RPS. ⤵️

1) Зеркала не врут: Traffic Mirroring в OVN. Александра Рукомойникова (K2 Cloud)

Александра расскажет, как им удалось осуществить желание стать первым российским облаком с готовым решением Traffic Mirroring. Как они реализовали этот механизм в своей SDN-платформе на базе OVN и интегрировали его с NTA-решениями.

2) Как поиск авиабилетов в Туту обрабатывает 10000 предложений в секунду: вызовы, архитектура, кейсы оптимизации. Иван Садовой (Туту)

Почему поиск авиабилетов — это не просто бизнес‑логика про тарифы, а настоящий Highload со специфическими метриками качества? Как устроены доменные слои поиска и где внутри системы «взрывается» нагрузка? Ответы на эти вопросы вы получите в докладе Ивана. А также узнаете: на какие компромиссы и приемы оптимизации им пришлось пойти, где не сработали первоначальные идеи; каких целей и показателей в продакшн они достигли, а каких целей достичь не удалось; какие новые вызовы стоят перед системой после 5 лет эксплуатации.

3) Интеллектуальное кэширование: можем ли мы научить backend предсказывать будущее. Николай Кокоулин (Ви.Tech)

Кэширование ускоряет работу сервисов, и чаще всего мы полагаемся на проверенные эвристики вроде TTL или LRU. Но в реальных высоконагруженных системах они не дают хороших результатов. В докладе Николай расскажет, как они пробовали использовать ML, чтобы кэш сам предсказывал востребованность данных, почему не все сработало и почему в проде они оставили классическое решение.

4) От одного контейнера до 4000 RPS: как мы масштабировали GitLab в 3 датацентрах. Максим Степанов (МТС Web Services (MWS))

Доклад посвящен реальному опыту масштабирования GitLab от маленького контейнера до крупного распределенного решения в трех датацентрах с нагрузкой 4000 запросов в секунду. Будут подробно рассмотрены ограничения, с которыми столкнулись при росте нагрузки и пользователей, и конкретные шаги по решению этих проблем. После доклада вы поймете, как последовательно и эффективно масштабировать GitLab и аналогичные сервисы, избегать распространенных ошибок и заранее подготовиться к техническим ограничениям инфраструктуры.

Присоединяйтесь к нам на HighLoad++ 2025, будем обсуждать реальные решения для актуальных задач 🙌

➡️ Пройдите на сайт, чтобы посмотреть другие доклады и забронировать билет