📍Говорим о сложностях с PostgreSQL на реальных примерах
Михаил Жилин, руководитель команды производительности Postgres Professional, выступил на конференции Joker 2024 и рассказал про непростые моменты в работе с открытой СУБД.
В докладе — о трех проблемных случаях:
✔️Упала производительность запросов на небольших данных из-за особенностей работы механизма многоверсионности (MVCC) PostgreSQL — на что должны обращать внимание разработчики в таких случаях
✔️Нюансы работы индексов критически сказались на инфраструктуре бизнеса — что нужно учитывать, чтобы не допустить такую ситуацию
✔️Работа всего приложения была неожиданно заблокирована из-за отсечения пустых страниц после очистки мусора — как работать с параметром vacuum_truncate
Смотрите запись на YouTube и в VK
Михаил Жилин, руководитель команды производительности Postgres Professional, выступил на конференции Joker 2024 и рассказал про непростые моменты в работе с открытой СУБД.
В докладе — о трех проблемных случаях:
✔️Упала производительность запросов на небольших данных из-за особенностей работы механизма многоверсионности (MVCC) PostgreSQL — на что должны обращать внимание разработчики в таких случаях
✔️Нюансы работы индексов критически сказались на инфраструктуре бизнеса — что нужно учитывать, чтобы не допустить такую ситуацию
✔️Работа всего приложения была неожиданно заблокирована из-за отсечения пустых страниц после очистки мусора — как работать с параметром vacuum_truncate
Смотрите запись на YouTube и в VK
Партиционированный Postgres: немного о проблемах с лимитами
Говорим про тонкое место в построении плана с партициями — запросы с лимитами. В отличие от одиночной таблицы, при наличии ограничения на количество выдаваемых строк или fractional paths оптимизатор сталкивается со множеством вопросов, которые затрудняют планирование.
На Хабре:
✔️Рассказали про решение проблемы промежуточных планов запросов через патч, который разработали специалисты Postgres Professional
✔️Обсудили проблему вычисляемого лимита, у которой сейчас нет простого решения
✔️Подвели небольшой итог по работе с партиционированными таблицами, спойлер — такие таблицы усложняют задачу для текущей версии Postgres
Подробности — в статье
Говорим про тонкое место в построении плана с партициями — запросы с лимитами. В отличие от одиночной таблицы, при наличии ограничения на количество выдаваемых строк или fractional paths оптимизатор сталкивается со множеством вопросов, которые затрудняют планирование.
На Хабре:
✔️Рассказали про решение проблемы промежуточных планов запросов через патч, который разработали специалисты Postgres Professional
✔️Обсудили проблему вычисляемого лимита, у которой сейчас нет простого решения
✔️Подвели небольшой итог по работе с партиционированными таблицами, спойлер — такие таблицы усложняют задачу для текущей версии Postgres
Подробности — в статье
📍Кейс Правительства Амурской области: перевод СЭД «Дело» на 5+ тысяч пользователей с MS SQL Server на Postgres Pro
В Правительстве Амурской области успешно завершилась миграция СЭД «Дело» на отечественную СУБД Postgres Pro Standard после нескольких лет работы с зарубежной системой.
✔️Цель миграции — переход на отечественное ПО со сравнимой функциональностью и производительностью, а также качественной технической поддержкой 24х7 на территории РФ
✔️Выбрана Postgres Pro Standard — СУБД, соответствующая требованиям заказчика, с решениями для безопасности и надежности хранения данных
✔️В процессе миграции оптимизировано хранение данных, улучшены процедуры резервного копирования и восстановления данных, повышен уровень безопасности
✔️При миграции перенесли 4 ТБ данных с минимальным временем простоя
✔️Работы проводили в процессе эксплуатации системы. Финальный этап с выводом из строя старой СЭД и вводом новой занял всего 7 часов
✔️СУБД обеспечивает стабильную работу 5+ тысяч пользователей, в системе формируется и обрабатывается 30+ тысяч документов в год!
⚡️ Проект миграции СЭД «Дело» на СУБД Postgres Pro Enterprise в АО «НИКИЭТ» участвует в конкурсе «Проект года». Голосуйте за него на сайте Global CIO!
Читать кейс полностью
#кейс_pgpro
В Правительстве Амурской области успешно завершилась миграция СЭД «Дело» на отечественную СУБД Postgres Pro Standard после нескольких лет работы с зарубежной системой.
✔️Цель миграции — переход на отечественное ПО со сравнимой функциональностью и производительностью, а также качественной технической поддержкой 24х7 на территории РФ
✔️Выбрана Postgres Pro Standard — СУБД, соответствующая требованиям заказчика, с решениями для безопасности и надежности хранения данных
✔️В процессе миграции оптимизировано хранение данных, улучшены процедуры резервного копирования и восстановления данных, повышен уровень безопасности
✔️При миграции перенесли 4 ТБ данных с минимальным временем простоя
✔️Работы проводили в процессе эксплуатации системы. Финальный этап с выводом из строя старой СЭД и вводом новой занял всего 7 часов
✔️СУБД обеспечивает стабильную работу 5+ тысяч пользователей, в системе формируется и обрабатывается 30+ тысяч документов в год!
Читать кейс полностью
#кейс_pgpro
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
📍Новые возможности СУБД Postgres Pro Enterprise 17 — представим на конференции PGProDay 2025!
На нашей первой продуктовой конференции Марк Ривкин, руководитель отдела технического консалтинга Postgres Professional, выступит с докладом про СУБД Postgres Pro Enterprise 17.
В выступлении — обзор новых возможностей системы по ключевым направлениям:
✔️Масштабируемость и производительность
✔️Высокая надежность
✔️Безопасность
✔️Удобство разработки
✔️Миграция
✔️Управляемость и администрирование СУБД
✔️AI и векторные БД
🔥Из доклада «Новые возможности СУБД Postgres Pro Enterprise 17» разработчики приложений, DBA, сотрудники службы информационной безопасности, архитекторы и пользователи СУБД узнают о новых решениях и разработках, которые упростят работу с системой.
Регистрация на PGProDay 2025
На нашей первой продуктовой конференции Марк Ривкин, руководитель отдела технического консалтинга Postgres Professional, выступит с докладом про СУБД Postgres Pro Enterprise 17.
В выступлении — обзор новых возможностей системы по ключевым направлениям:
✔️Масштабируемость и производительность
✔️Высокая надежность
✔️Безопасность
✔️Удобство разработки
✔️Миграция
✔️Управляемость и администрирование СУБД
✔️AI и векторные БД
🔥Из доклада «Новые возможности СУБД Postgres Pro Enterprise 17» разработчики приложений, DBA, сотрудники службы информационной безопасности, архитекторы и пользователи СУБД узнают о новых решениях и разработках, которые упростят работу с системой.
Регистрация на PGProDay 2025
64-битный счетчик транзакций — как в Postgres Professional решили проблемы при работе с большой транзакционной нагрузкой
Использование коммерческих СУБД на базе PostgreSQL для решения задач большого бизнеса требует особого подхода, доработки нескольких элементов системы в сторону производительности.
Среди узких мест при работе с серьезной нагрузкой — переполнение 32-битного счетчика транзакций. Возможностей открытой СУБД здесь недостаточно и мы в Postgres Professional придумали решение для работы с большой транзакционной нагрузкой.
Подробности — в статье на Хабре:
✔️Как PostgreSQL обрабатывает транзакции, в чем особенности механизма многоверсионности MVCC, история счетчика транзакций
✔️Где начинаются сложности и почему, если с принципом работы механизма проблем нет, стабильная работа больших систем без доработок, реализованных в СУБД Postgres Pro, находится под угрозой
✔️Что сделали специалисты Postgres Professional — первый в мире 64-bit xid — расширение пространства идентификаторов транзакций до 2 в степени 64!
✔️Как 64-bit xid используется в большинстве форков PostgreSQL (в том числе коммерческих), что с принятием в комьюнити
Читать статью
Использование коммерческих СУБД на базе PostgreSQL для решения задач большого бизнеса требует особого подхода, доработки нескольких элементов системы в сторону производительности.
Среди узких мест при работе с серьезной нагрузкой — переполнение 32-битного счетчика транзакций. Возможностей открытой СУБД здесь недостаточно и мы в Postgres Professional придумали решение для работы с большой транзакционной нагрузкой.
Подробности — в статье на Хабре:
✔️Как PostgreSQL обрабатывает транзакции, в чем особенности механизма многоверсионности MVCC, история счетчика транзакций
✔️Где начинаются сложности и почему, если с принципом работы механизма проблем нет, стабильная работа больших систем без доработок, реализованных в СУБД Postgres Pro, находится под угрозой
✔️Что сделали специалисты Postgres Professional — первый в мире 64-bit xid — расширение пространства идентификаторов транзакций до 2 в степени 64!
✔️Как 64-bit xid используется в большинстве форков PostgreSQL (в том числе коммерческих), что с принятием в комьюнити
Читать статью
Каким был 2024 год?
Без лишних предисловий — делимся ключевыми показателями за прошедший год, цифры говорят лучше, чем любые слова.
Спасибо, что в 2024 году были с нами, дальше — больше⚡️
Без лишних предисловий — делимся ключевыми показателями за прошедший год, цифры говорят лучше, чем любые слова.
Спасибо, что в 2024 году были с нами, дальше — больше
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Поздравляем с наступающим 2025 годом!
Благодарим партнеров и заказчиков за доверие и продуктивную совместную работу, читателей и гостей конференций — за интерес к Postgres Professional.
В новом году нас ждет еще больше ярких событий, интересных анонсов и мероприятий!
До встречи в 2025,
Postgres Pro Team ❤️
Благодарим партнеров и заказчиков за доверие и продуктивную совместную работу, читателей и гостей конференций — за интерес к Postgres Professional.
В новом году нас ждет еще больше ярких событий, интересных анонсов и мероприятий!
До встречи в 2025,
Postgres Pro Team ❤️
Любишь базы данных? Разбираешься в SQL? Прими участие в конкурсе «СУБД Postgres Pro»!
В этом году мы снова организуем состязание на знание языка SQL, где участникам предстоит решать интересные и непростые задачи в открытой СУБД PostgreSQL.
Конкурс проходит на международной олимпиаде «IT-Планета 2025»:
✔️Участники — студенты и дипломированные специалисты от 16 до 27 лет
✔️Первый этап — тестирование на знание основ теории БД и основ языка SQL, второй этап и финал — решение задач на разработку нестандартных SQL-запросов. Отборочные этапы проходят онлайн, финал — очный
✔️Участие поможет получить практический опыт, познакомиться с командой Postgres Professional. Финалисты получат мерч компании, победители — денежные призы, ваучеры на прохождение сертификации по PostgreSQL
🧐 Как подготовиться? На Хабре опубликованы разборы задач прошлых лет — советуем почитать (второй и третий этап 2023 года, второй и третий этап 2024 года). Также мы предоставим участникам доступ к курсу «Язык SQL» — его изучение поможет в прохождении конкурса.
Регистрация
В этом году мы снова организуем состязание на знание языка SQL, где участникам предстоит решать интересные и непростые задачи в открытой СУБД PostgreSQL.
Конкурс проходит на международной олимпиаде «IT-Планета 2025»:
✔️Участники — студенты и дипломированные специалисты от 16 до 27 лет
✔️Первый этап — тестирование на знание основ теории БД и основ языка SQL, второй этап и финал — решение задач на разработку нестандартных SQL-запросов. Отборочные этапы проходят онлайн, финал — очный
✔️Участие поможет получить практический опыт, познакомиться с командой Postgres Professional. Финалисты получат мерч компании, победители — денежные призы, ваучеры на прохождение сертификации по PostgreSQL
🧐 Как подготовиться? На Хабре опубликованы разборы задач прошлых лет — советуем почитать (второй и третий этап 2023 года, второй и третий этап 2024 года). Также мы предоставим участникам доступ к курсу «Язык SQL» — его изучение поможет в прохождении конкурса.
Регистрация
This media is not supported in your browser
VIEW IN TELEGRAM
Опубликовали расписание нашей первой продуктовой конференции, переходите на сайт, изучайте список тем и находите наиболее интересные доклады для вас.
Всего пройдет 11 выступлений, также специалисты проведут демонстрации решений, расскажут о новых продуктах и поделятся планами развития компании.
Заместитель генерального директора Postgres Professional Иван Панченко рассказал, что еще интересного ждет гостей конференции.
📍Встречаемся 28 января, онлайн и офлайн. Москва, Цифровое деловое пространстве (ЦДП), ул. Покровка, д. 47.
Регистрация на PGProDay 2025
Please open Telegram to view this post
VIEW IN TELEGRAM
📍Серия статей про нейронные оптимизаторы в реляционных базах данных
Развитие машинного обучения способствует появлению новых решений для оптимизации выполнения запросов — нейронных оптимизаторов. Эти инструменты сами находят закономерности в выполнении сложных планов. На Хабре подготовили цикл статей про нейрооптимизаторы:
✔️Пионеры в области нейросетевых оптимизаторов
Говорим про модель для оценки кардинальности запросов MSCN, модель построения плана выполнения запроса DQN, а также NEO — end-to-end-подход, который объединил обучаемую функцию оценки скорости выполнения заданного плана и его построение.
✔️Стабильные подходы
Рассматриваем решения, которые не требуют гигантских вычислительных кластеров и удовлетворяют большинство потребностей бизнеса: Bao, Balsa и AQO (Adaptive Query Optimization), решение от Postgres Professional.
✔️Ранжирование
Говорим про ранжирование — этот тип задач обособлен и от классификации, и от регрессии. Рассматриваем его в целом, а также адаптацию методов поиска оптимального плана исполнения запроса.
Больше полезных технических материалов — в блоге на Хабре⚡️
Развитие машинного обучения способствует появлению новых решений для оптимизации выполнения запросов — нейронных оптимизаторов. Эти инструменты сами находят закономерности в выполнении сложных планов. На Хабре подготовили цикл статей про нейрооптимизаторы:
✔️Пионеры в области нейросетевых оптимизаторов
Говорим про модель для оценки кардинальности запросов MSCN, модель построения плана выполнения запроса DQN, а также NEO — end-to-end-подход, который объединил обучаемую функцию оценки скорости выполнения заданного плана и его построение.
✔️Стабильные подходы
Рассматриваем решения, которые не требуют гигантских вычислительных кластеров и удовлетворяют большинство потребностей бизнеса: Bao, Balsa и AQO (Adaptive Query Optimization), решение от Postgres Professional.
✔️Ранжирование
Говорим про ранжирование — этот тип задач обособлен и от классификации, и от регрессии. Рассматриваем его в целом, а также адаптацию методов поиска оптимального плана исполнения запроса.
Больше полезных технических материалов — в блоге на Хабре
Please open Telegram to view this post
VIEW IN TELEGRAM