Как сохранить консистентность данных в распределенных системах на базе PostgreSQL?
В докладе на PGConf.Russia 2024 Никита Печёнкин, наш разработчик ПО, рассказал про особенности сохранения консистентности данных. Делимся записью выступления — из доклада вы узнаете:
✔️Чем консистентность в СУБД отличается от консистентности в распределенных системах и как они сочетаются в распределенных СУБД
✔️Что такое уровни согласованности, в том числе с точки зрения допустимых аномалий
✔️Какие гарантии согласованности данных предоставляют различные решения на базе PostgreSQL, включая Shardman от Postgres Pro
✔️Как реализована архитектура Shardman с точки зрения возможных аномалий, какими способами можно от них избавиться
✔️Как мы в Shardman верифицируем гарантии консистентности с помощью jepsen-тестирования
⚡️Смотрите запись на площадках YouTube, Rutube, Дзен и VK.
Уже 31 марта — 1 апреля в Москве пройдет PGConf.Russia 2025! Обсудим разработки на базе PostgreSQL, новые решения для работы с открытой СУБД, в том числе поговорим про Shardman.
Регистрация на PGConf.Russia 2025
В докладе на PGConf.Russia 2024 Никита Печёнкин, наш разработчик ПО, рассказал про особенности сохранения консистентности данных. Делимся записью выступления — из доклада вы узнаете:
✔️Чем консистентность в СУБД отличается от консистентности в распределенных системах и как они сочетаются в распределенных СУБД
✔️Что такое уровни согласованности, в том числе с точки зрения допустимых аномалий
✔️Какие гарантии согласованности данных предоставляют различные решения на базе PostgreSQL, включая Shardman от Postgres Pro
✔️Как реализована архитектура Shardman с точки зрения возможных аномалий, какими способами можно от них избавиться
✔️Как мы в Shardman верифицируем гарантии консистентности с помощью jepsen-тестирования
⚡️Смотрите запись на площадках YouTube, Rutube, Дзен и VK.
Уже 31 марта — 1 апреля в Москве пройдет PGConf.Russia 2025! Обсудим разработки на базе PostgreSQL, новые решения для работы с открытой СУБД, в том числе поговорим про Shardman.
Регистрация на PGConf.Russia 2025
Практические занятия по PostgreSQL на PGConf.Russia 2025 — открыта запись!
Возвращаем формат мастер-классов на конференции, где мы вместе научимся новому в работе с СУБД, освоим инструменты и решения для PostgreSQL.
Темы мастер-классов:
✔️Работа с Shardman
✔️Отказоустойчивый кластер BiHA
✔️Интеграция кластера BiHA с корпоративным окружением
✔️Сборка эксплойтов для исторических CVE
✔️Работа с CFS
✔️Демонстрация работы команды merge в pg_probackup3
✔️Что можно сделать при помощи pg_probackup3 FUSE
✔️pg_probackup3 для разработчиков
✔️Работа с расширением pg_uprobe. Трассированние запросов и их анализ
✔️Создание отказоустойчивого кластера PostgreSQL 17 на Corosync/Pacemaker с отказоустойчивой логической репликацией
⚡️ Мастер-классы проводят опытные специалисты: они расскажут теорию, на практике покажут особенности работы, ответят на вопросы и помогут при возникновении сложностей. Для участия необходим свой ноутбук.
📍На мастер-классы нужно регистрироваться отдельно. Посетить занятие может офлайн-участник конференции, который уже оплатил билет. Торопитесь — количество мест ограничено!
Регистрация на PGConf.Russia 2025
Возвращаем формат мастер-классов на конференции, где мы вместе научимся новому в работе с СУБД, освоим инструменты и решения для PostgreSQL.
Темы мастер-классов:
✔️Работа с Shardman
✔️Отказоустойчивый кластер BiHA
✔️Интеграция кластера BiHA с корпоративным окружением
✔️Сборка эксплойтов для исторических CVE
✔️Работа с CFS
✔️Демонстрация работы команды merge в pg_probackup3
✔️Что можно сделать при помощи pg_probackup3 FUSE
✔️pg_probackup3 для разработчиков
✔️Работа с расширением pg_uprobe. Трассированние запросов и их анализ
✔️Создание отказоустойчивого кластера PostgreSQL 17 на Corosync/Pacemaker с отказоустойчивой логической репликацией
📍На мастер-классы нужно регистрироваться отдельно. Посетить занятие может офлайн-участник конференции, который уже оплатил билет. Торопитесь — количество мест ограничено!
Регистрация на PGConf.Russia 2025
Please open Telegram to view this post
VIEW IN TELEGRAM
Что будет интересного в pg_probackup 3
На Хабре рассказали про новую версию нашей утилиты для резервного копирования — pg_probackup 3. Утилита написана заново с учетом опыта разработки и эксплуатации прошлой версии.
Архитектура полностью переработана для реализации новых возможностей, теперь утилита состоит из 3 частей:
🔹 Утилита резервного копирования, которая отвечает за выполнение команд, связь с СУБД и управляет записью данных резервной копии на диск
🔹Расширение ядра СУБД — отвечает за реализацию нового протокола PRO и так же включает в себя PTrack для отслеживания изменений
🔹Библиотека LibProbackup3 — позволяет внешним приложениям использовать утилиту через программный интерфейс
В новой версии вы получаете дополнительные возможности:
✔️Новый репликационный протокол (алгоритм передачи данных) PRO — не требует прав для доступа к PGDATA, масштабируется согласно нагрузке
✔️FUSE — возможность запуска сервера БД без необходимости полного восстановления резервной копии
✔️Merge — новые возможности по управлению резервными копиями
✔️Новый формат резервной копии — позволяет лучше оптимизировать скорость записи и чтения резервных копий
⚡️ Переходите и читайте статью: внутри собрали много подробностей о реализации решения и его возможностях, привели тесты производительности и представили планы по разработке.
Читать статью
На Хабре рассказали про новую версию нашей утилиты для резервного копирования — pg_probackup 3. Утилита написана заново с учетом опыта разработки и эксплуатации прошлой версии.
Архитектура полностью переработана для реализации новых возможностей, теперь утилита состоит из 3 частей:
🔹 Утилита резервного копирования, которая отвечает за выполнение команд, связь с СУБД и управляет записью данных резервной копии на диск
🔹Расширение ядра СУБД — отвечает за реализацию нового протокола PRO и так же включает в себя PTrack для отслеживания изменений
🔹Библиотека LibProbackup3 — позволяет внешним приложениям использовать утилиту через программный интерфейс
В новой версии вы получаете дополнительные возможности:
✔️Новый репликационный протокол (алгоритм передачи данных) PRO — не требует прав для доступа к PGDATA, масштабируется согласно нагрузке
✔️FUSE — возможность запуска сервера БД без необходимости полного восстановления резервной копии
✔️Merge — новые возможности по управлению резервными копиями
✔️Новый формат резервной копии — позволяет лучше оптимизировать скорость записи и чтения резервных копий
Читать статью
Please open Telegram to view this post
VIEW IN TELEGRAM
«PGMeetup: Механизмы секционирования больших таблиц» — уже 25 марта!
Секционирование — неотъемлемый механизм работы СУБД с большими таблицами. Об этой функциональности в Postgres Pro поговорим на бесплатном вебинаре из цикла «Работа с большими БД в СУБД Postgres Pro Enterprise».
✔️Представим возможности секционирования таблиц в Postgres Pro: добавление и отсоединение, разделение и объединение секций
✔️Проведем демонстрацию pgpro_autopart — инструмента Postgres Professional для автоматического создания новых секций
✔️Поговорим про механизм декларативного секционирования, а также варианты секционирования: hash,range,list, — сценарии их применения и ограничения
✔️Обсудим нюансы работы планировщика с секционированными таблицами
⚡️ На встрече выступит Владимир Пудовченко, технический консультант Postgres Professional. 25 марта, 11:00. Необходима регистрация, участие — бесплатное. Подробнее о других вебинарах цикла — в этом посте.
Регистрация на «PGMeetup: Механизмы секционирования больших таблиц»
Секционирование — неотъемлемый механизм работы СУБД с большими таблицами. Об этой функциональности в Postgres Pro поговорим на бесплатном вебинаре из цикла «Работа с большими БД в СУБД Postgres Pro Enterprise».
✔️Представим возможности секционирования таблиц в Postgres Pro: добавление и отсоединение, разделение и объединение секций
✔️Проведем демонстрацию pgpro_autopart — инструмента Postgres Professional для автоматического создания новых секций
✔️Поговорим про механизм декларативного секционирования, а также варианты секционирования: hash,range,list, — сценарии их применения и ограничения
✔️Обсудим нюансы работы планировщика с секционированными таблицами
Регистрация на «PGMeetup: Механизмы секционирования больших таблиц»
Please open Telegram to view this post
VIEW IN TELEGRAM
СУБД Postgres Pro Enterprise доступна для вузов и ссузов!
Расширяем программу академических лицензий: теперь образовательные организации могут использовать Enterprise-редакцию нашей СУБД.
✔️Учебные заведения получают безлимитный доступ к системе: для обучения, научных исследований, студенческих конкурсов и не только
✔️СУБД можно использовать и для общей административной работы, но без технической поддержки — её можно приобрести отдельно
⚡️Первым к расширенной программе подключился Уфимский университет науки и технологий (УУНиТ). В вузе планируют провести ближайшую приёмную кампанию с использованием Postgres Pro Enterprise и программы «1С: Университет ПРОФ».
Чтобы присоединиться к программе, направьте запрос официальным дистрибьюторам.
Подробнее о возможностях сотрудничества — на сайте.
Расширяем программу академических лицензий: теперь образовательные организации могут использовать Enterprise-редакцию нашей СУБД.
✔️Учебные заведения получают безлимитный доступ к системе: для обучения, научных исследований, студенческих конкурсов и не только
✔️СУБД можно использовать и для общей административной работы, но без технической поддержки — её можно приобрести отдельно
⚡️Первым к расширенной программе подключился Уфимский университет науки и технологий (УУНиТ). В вузе планируют провести ближайшую приёмную кампанию с использованием Postgres Pro Enterprise и программы «1С: Университет ПРОФ».
Чтобы присоединиться к программе, направьте запрос официальным дистрибьюторам.
Подробнее о возможностях сотрудничества — на сайте.
Автоматическая миграция баз данных на PostgreSQL: планирование, решения, трудности
На PGConf.Russia 2024 Алексей Мигуцкий рассказал, как вести миграционный проект, какие бывают сложности и ошибки, как его автоматизировать и провести миграцию быстрее, сохранив время и ресурсы. В докладе рассмотрели:
✔️Проект миграции БД
✔️Миграцию схемы и бизнес-логики
✔️Oracle — PostgreSQL / SQL Server — PostgreSQL: примеры конвертации
✔️Изменение приложения при миграции баз данных
⚡️Будет полезно тем, кто планирует миграцию, хочет ускорить этот процесс и разобраться со сложностями при переносе данных. Смотрите запись на площадках YouTube, Rutube, Дзен и VK.
Уже 31 марта — 1 апреля проведем PGConf.Russia 2025: обсудим новости PostgreSQL, возможности системы и новые разработки. Регистрируйтесь, чтобы не пропустить!
Регистрация на PGConf.Russia 2025
На PGConf.Russia 2024 Алексей Мигуцкий рассказал, как вести миграционный проект, какие бывают сложности и ошибки, как его автоматизировать и провести миграцию быстрее, сохранив время и ресурсы. В докладе рассмотрели:
✔️Проект миграции БД
✔️Миграцию схемы и бизнес-логики
✔️Oracle — PostgreSQL / SQL Server — PostgreSQL: примеры конвертации
✔️Изменение приложения при миграции баз данных
⚡️Будет полезно тем, кто планирует миграцию, хочет ускорить этот процесс и разобраться со сложностями при переносе данных. Смотрите запись на площадках YouTube, Rutube, Дзен и VK.
Уже 31 марта — 1 апреля проведем PGConf.Russia 2025: обсудим новости PostgreSQL, возможности системы и новые разработки. Регистрируйтесь, чтобы не пропустить!
Регистрация на PGConf.Russia 2025
Доклады, мастер-классы, демо-стенды и обмен опытом — о главном на PGConf.Russia 2025
Есть много причин пойти на крупнейшую конференцию по PostgreSQL, но сегодня мы расскажем о 4 главных, все подробности — в карточках.
⚡️ Уже 31 марта — 1 апреля соберемся в Москве в Центре международной торговли, а также онлайн. Изучайте расписание, записывайтесь на мастер-классы и до встречи на конференции!
Регистрация на PGConf.Russia 2025
Есть много причин пойти на крупнейшую конференцию по PostgreSQL, но сегодня мы расскажем о 4 главных, все подробности — в карточках.
Регистрация на PGConf.Russia 2025
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Закрываем регистрацию на PGConf.Russia 2025!
Последний шанс принять участие в крупнейшей конференции по PostgreSQL, которая пройдет уже 31 марта — 1 апреля.
На PGConf.Russia 2025 вас ждут:
✔️50+ докладов про эксплуатацию СУБД, отказоустойчивость и масштабируемость, кейсы миграции и возможности систем
✔️10+ демонстраций разработок на базе PostgreSQL и Postgres Pro
✔️Мастер-классы — практические занятия по PostgreSQL, где вместе научимся новому в работе с СУБД
✔️1500+ администраторов баз данных, архитекторов, разработчиков ПО и ИТ-менеджеров — возможность обменяться опытом и получить новые знакомства
⚡️Регистрация открыта до 26 марта включительно. Конференция пройдет в Центре международной торговли в Москве, также участвовать можно онлайн.
Регистрация на PGConf.Russia 2025
Последний шанс принять участие в крупнейшей конференции по PostgreSQL, которая пройдет уже 31 марта — 1 апреля.
На PGConf.Russia 2025 вас ждут:
✔️50+ докладов про эксплуатацию СУБД, отказоустойчивость и масштабируемость, кейсы миграции и возможности систем
✔️10+ демонстраций разработок на базе PostgreSQL и Postgres Pro
✔️Мастер-классы — практические занятия по PostgreSQL, где вместе научимся новому в работе с СУБД
✔️1500+ администраторов баз данных, архитекторов, разработчиков ПО и ИТ-менеджеров — возможность обменяться опытом и получить новые знакомства
⚡️Регистрация открыта до 26 марта включительно. Конференция пройдет в Центре международной торговли в Москве, также участвовать можно онлайн.
Регистрация на PGConf.Russia 2025
Меньше часа до вебинара по секционированию ⚡️
Уже в 11:00 начнем встречу, где обсудим возможности секционирования таблиц в СУБД Postgres Pro, про особенности работы расскажет наш технический консультант Владимир Пудовченко.
Подключайтесь, также на вебинаре проведем демонстрацию инструмента для автоматического создания новых секций — pgpro_autopart.
Трансляция — по ссылке
Уже в 11:00 начнем встречу, где обсудим возможности секционирования таблиц в СУБД Postgres Pro, про особенности работы расскажет наш технический консультант Владимир Пудовченко.
Подключайтесь, также на вебинаре проведем демонстрацию инструмента для автоматического создания новых секций — pgpro_autopart.
Трансляция — по ссылке
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
В подкасте «Рукотворный код» Иван Панченко, заместитель генерального директора Postgres Professional, обсудил наболевшие проблемы рынка СУБД, вызовы и тренды развития систем.
Поговорили о том, какое ПО может считаться по-настоящему российским, как проходит импортозамещение и какие специалисты нужны отрасли СУБД прямо сейчас.
⚡️ Также Иван рассказал про планы компании — следите за новостями, подробностями будем делиться позже.
📍Смотрите (ВК Видео, Rutube, YouTube) и слушайте (Яндекс Музыка, ВК Подкасты, Apple Podcasts) на удобной платформе.
Поговорили о том, какое ПО может считаться по-настоящему российским, как проходит импортозамещение и какие специалисты нужны отрасли СУБД прямо сейчас.
📍Смотрите (ВК Видео, Rutube, YouTube) и слушайте (Яндекс Музыка, ВК Подкасты, Apple Podcasts) на удобной платформе.
Please open Telegram to view this post
VIEW IN TELEGRAM
Забег в честь PGConf.Russia 2025 — обсудим СУБД и разомнемся перед конференцией!
По традиции устраиваем забег в честь конференции, активно проведем время вместе, а самые спортивные смогут обсудить PostgreSQL прямо на бегу.
Встречаемся в воскресенье 30 марта и бежим в комфортном темпе 6.30-7.00:
📍Дистанция — 15 км: старт в 14:00 у метро «Воробьевы горы» (выход №2).
📍Дистанция — 10 км: старт в 14:30 у фонтана напротив Новой Третьяковки.
📍Дистанция — 5 км: старт в 15:00 у метро «Чистые пруды» (выход №2).
Можно преодолеть весь путь (15 км) или подойти к одной из точек — так забег будет короче. Финишируем на станции метро «Кропоткинская».
Подробности и организационные вопросы обсудим в чате. Побежали вместе!
По традиции устраиваем забег в честь конференции, активно проведем время вместе, а самые спортивные смогут обсудить PostgreSQL прямо на бегу.
Встречаемся в воскресенье 30 марта и бежим в комфортном темпе 6.30-7.00:
📍Дистанция — 15 км: старт в 14:00 у метро «Воробьевы горы» (выход №2).
📍Дистанция — 10 км: старт в 14:30 у фонтана напротив Новой Третьяковки.
📍Дистанция — 5 км: старт в 15:00 у метро «Чистые пруды» (выход №2).
Можно преодолеть весь путь (15 км) или подойти к одной из точек — так забег будет короче. Финишируем на станции метро «Кропоткинская».
Подробности и организационные вопросы обсудим в чате. Побежали вместе!
Как работает ILM в Postgres Pro Enterprise и зачем управлять жизненным циклом информации?
В Postgres Pro Enterprise 17 мы разработали расширение pgpro_ilm для переноса редко используемых данных в более дешёвое хранилище по аналогии с функцией ILM в Oracle.
В статье на Хабре говорим про основы управления жизненным циклом информации и разбираемся:
✔️Зачем нужен ILM и распределение данных на медленные и быстрые носители, какие подходы в разделении данных практикуются
✔️Как мы реализовали управление жизненным циклом информации в Postgres Pro, какие настройки распределения данных доступны и как проходит обработка условий
✔️Что происходит на практике с pgpro_ilm, как работает управление правилами, нюансы работы расширения
⚡️Также рассказали про несколько расширений и инструментов, которые могут дополнительно пригодиться при работе с большими объемами данных.
Читать статью
В Postgres Pro Enterprise 17 мы разработали расширение pgpro_ilm для переноса редко используемых данных в более дешёвое хранилище по аналогии с функцией ILM в Oracle.
В статье на Хабре говорим про основы управления жизненным циклом информации и разбираемся:
✔️Зачем нужен ILM и распределение данных на медленные и быстрые носители, какие подходы в разделении данных практикуются
✔️Как мы реализовали управление жизненным циклом информации в Postgres Pro, какие настройки распределения данных доступны и как проходит обработка условий
✔️Что происходит на практике с pgpro_ilm, как работает управление правилами, нюансы работы расширения
⚡️Также рассказали про несколько расширений и инструментов, которые могут дополнительно пригодиться при работе с большими объемами данных.
Читать статью
Укрощаем базы данных и разбираемся с особенностями работы СУБД
У разработчика, который пишет прикладной код, работа с базами данных может вызывать трудности. Для тех, кто считает СУБД чёрным ящиком, который «просто работает», — доклад Ильи Сазонова и Федора Сазонова с PGConf.Russia 2024.
Илья и Федор рассказывают о том, что стоит знать об устройстве СУБД, чтобы писать стабильно работающий код, даже в условиях растущей нагрузки на систему.
⚡️Выступление вошло в топ лучших по итогам зрительского голосования! Смотрите запись на площадках YouTube, Rutube, Дзен и VK.
Уже 31 марта — 1 апреля проведем PGConf.Russia 2025, сегодня мы закроем регистрацию, не упустите шанс принять участие в конференции!
Регистрация на PGConf.Russia 2025
У разработчика, который пишет прикладной код, работа с базами данных может вызывать трудности. Для тех, кто считает СУБД чёрным ящиком, который «просто работает», — доклад Ильи Сазонова и Федора Сазонова с PGConf.Russia 2024.
Илья и Федор рассказывают о том, что стоит знать об устройстве СУБД, чтобы писать стабильно работающий код, даже в условиях растущей нагрузки на систему.
⚡️Выступление вошло в топ лучших по итогам зрительского голосования! Смотрите запись на площадках YouTube, Rutube, Дзен и VK.
Уже 31 марта — 1 апреля проведем PGConf.Russia 2025, сегодня мы закроем регистрацию, не упустите шанс принять участие в конференции!
Регистрация на PGConf.Russia 2025
This media is not supported in your browser
VIEW IN TELEGRAM
Новая эра в работе с СУБД: общайтесь с базой данных на естественном языке 🔥
Мы рады сообщить о запуске в публичный доступ ChatPPG — участники наших конференций уже знают о разработке, а теперь первый ИИ для работы с СУБД вы можете протестировать лично!
ChatPPG решает два блока задач:
✔️Отвечает на вопросы о СУБД
ИИ за секунды находит ответ на вопрос о PostgreSQL и Postgres Pro, долой долгий ручной поиск информации!
ChatPPG обращается к технической документации ванильной PostgreSQL и нескольких редакций Postgres Pro (более 2800 страниц) — ответ будет четкий и структурированный.
✔️Генерирует SQL-запрос из текста на естественном языке
Низкий уровень владения синтаксисом SQL — не помеха для работы с СУБД, если вы используете ChatPPG. Опишите задачу на русском или английском языке и чат-бот сформирует нужный SQL-запрос.
⚡️ Скоро мы встроим ChatPPG в некоторые наши продукты — запрос можно будет отправлять на русском или английском языках, полностью отказавшись от ручного написания SQL.
Протестировать ChatPPG
Мы рады сообщить о запуске в публичный доступ ChatPPG — участники наших конференций уже знают о разработке, а теперь первый ИИ для работы с СУБД вы можете протестировать лично!
ChatPPG решает два блока задач:
✔️Отвечает на вопросы о СУБД
ИИ за секунды находит ответ на вопрос о PostgreSQL и Postgres Pro, долой долгий ручной поиск информации!
ChatPPG обращается к технической документации ванильной PostgreSQL и нескольких редакций Postgres Pro (более 2800 страниц) — ответ будет четкий и структурированный.
✔️Генерирует SQL-запрос из текста на естественном языке
Низкий уровень владения синтаксисом SQL — не помеха для работы с СУБД, если вы используете ChatPPG. Опишите задачу на русском или английском языке и чат-бот сформирует нужный SQL-запрос.
Протестировать ChatPPG
Please open Telegram to view this post
VIEW IN TELEGRAM