Что получится, если соединить YTsaurus, YQL и динамические таблицы?

Часто в ETL-процессах возникает потребность «считать часть данных не в batch-режиме, а в NRT». Из записи доклада Филиппа Козьмина «YTsaurus и аналитические витрины с актуальностью в 15 минут» вы узнаете, как эффективно реализовать такой процесс для big-data-инфраструктур на базе YTsaurus и, при этом, не наплодить параллельные вселенные для батча и стриминга.

Триплет технологий YTsaurus + YQL + динамические таблицы позволили найти архитектуру поставок данных, повторяющую подход к обработке данных, заложенный в стриминге, но упрощающий реализации. Это дало нам достаточную скорость обработки данных в минуты, помноженную на технологии с невысоким входом и прозрачную для потребителя структуру промежуточных и конечных данных. И — вишенкой на торте — такие поставки интегрированы по данным классическим с T-1-поставками и их можно легко пересчитывать

Лучший взгляд — это взгляд изнутри

Принесли вам свежий материал «Data Internals X 2025: взгляд изнутри на настоящее и будущее data-инженерии». В нём член программного комитета Алексей Жиряков честно и подробное рассказал о том, какие темы и доклады ждут настоящих data-инженеров на конференции Data Internals X 2025.

Как масштабировать петабайтные ClickHouse-кластеры без остановки сервиса? Как внедрить векторный поиск в эпоху AI и повысить качество корпоративных данных с помощью Llm? Как построить Data Governance продукт с нуля, изменить мышление компании и оптимизировать работу с BI-системами с помощью ИИ-агентов?

Эти и десятки других вопросов можно будет решить после нашей осенней конференции Data Internals X.

🎫 Приобрести билеты можно прямо сейчас на сайте

Итоги розыгрыша онлайн-билета на Data Internals Х подведены!❤️‍🔥

Поздравляем нашего победителя @oXdeadbeefXo!
С вами свяжутся в ближайшее время

Благодарим всех за участие ♥️

“Дата Контракты - как создать продукт с нуля, изменив мышление всей компании”
Доклад Анны Мавлютовой о новом на российском рынке подходе к управлению данными через внедрение дата-контрактов.

Основные выгоды подхода, о котором Анна расскажет 23 сентября:

- оптимизация разработки
- выстраивание инцидент-менеджмента
- устранение хаоса в управлении данными между командами
- упрощение внедрения Data Governance в крупных компаниях

Посетить выступление будет интересно всем, кто работает с данными, кто развивает собственные data-платформы и решает задачи организации взаимодействия между источниками и потребителями данных. А также тем, кто интересуется темами Data Mesh, data governance, shift-left и автоматизацией управления метаданными.

Участники получат готовую методологию запуска Data Governance продукта: от идеи до масштабирования на десятки команд, узнают конкретные технические решения (GitOps, policy-as-code) и стратегии преодоления организационного сопротивления. А также детально разберутся в практических кейсах изменения корпоративной культуры и ускорения adoption новых процессов в enterprise-среде.

📌 Изучить полную программу конференции и приобрести билеты

Почему Data Internals X 2025 — это инвестиция в бизнес?

Data Internals X 2025 — это не просто "техническая тусовка", это стратегическая инвестиция в устойчивость и конкурентоспособность бизнеса.

Один день конференции сэкономит вашей компании месяцы на консалтинге и даст годы конкурентного преимущества. Программа мероприятия сфокусирована на том, как выжать максимум из существующей инфраструктуры, а не на том, как потратить бюджет на новые инструменты.

Внедрив в работу практики и знания наших спикеров, вы увидите конкретные результаты уже спустя 3-6 месяцев:
- Снижение затрат на инфраструктуру на 30-50% через оптимизацию запросов и архитектуры
- Ускорение аналитики в 10 раз через внедрение AI-агентов для поиска метрик
- Сокращение времени разработки data-продуктов на 40% через DataOps-практики
- Готовность к импортозамещению без критических рисков для бизнеса

Изучить полную программу конференции и приобрести билеты

P.S. Мы даем особые условия для корпоративного участия (от 10 билетов на очное или онлайн-участие) - все подробности можно узнать, написав на почту [email protected]

Успеть за 20 минут
Мы ввели в программу Data Internals X особенный формат лекций — Lighting Talks.

Каждое выступление в рамках такого формата длится всего 20 минут. За это короткое время спикер успевает поделиться своим кейсом, а также рассказать о самых главных ошибках и самых важных практических рекомендациях. А участники конференции не успевают устать и растерять фокус внимания.

Целых три лекции “облегченного” формата вы сможете посетить по теме “Управление данными”:

Александр Бояркин “Data Governance в финтехе: конкурентное преимущество в эпоху AI”

Доклад Александра про опыт внедрения Data Governance, внедрение политик и процедур в командах, реализацию технологических решений и мониторинг эффективности. Изменение процессов — это не happy path, поэтому речь пойдем и о том, что не сработало в первоначальном плане и об ошибках, которых можно было избежать.

Марина Суслова “Python вместо ручек. Как мы автоматизировали проставление атрибутов сущностей в дата-каталоге”

Каталог данных — о нем многие говорят и внедряют в своих компаниях, но после успешного этапа интеграции все неизбежно сталкиваются с тем, что ручной процесс заполнения каталога трудоемкий и подвержен человеческим ошибкам. Марина поделится тем, как автоматизировать процесс заполнения и перестать страдать.

Ирина Шахтарина “Работа над качеством данных - вершина айcберга или дно впадины?”

Ирина прошла трудный путь согласования требований, создания и настройки комплексных проверок, и теперь готова поделиться этим опытом на примере контроля качества данных отдела «Управление благосостоянием» Сбера. Приглашаем на лекцию всех, кто хочет узнать, как улучшить качество ваших данных не для галочки, а в долгосрочной перспективе.