Cтатья о внедрении хранилища данных на платформе RT.Warehouse

В статье CDO ИТ-холдинга Fplus делится опытом создания корпоративного хранилища данных на отечественной платформе.

Вот основные выводы:

🟣Предпосылки. Создание хранилища не было импульсивным решением; компания «переросла» аналитику из ERP-систем и теперь стремится самостоятельно проверять бизнес-гипотезы.

🟣Результаты проекта. Перемены в культуре работы с данными: от самодельных скриптов до централизованного хранилища. Это позволило ускорить подготовку и обработку информации.

🟣Будущее проекта. Доступность данных и скорость принятия решений стали ключевыми факторами конкурентного преимущества компании. А внедрение хранилища открыло множество направлений для дальнейшего развития. Сейчас важно обеспечить не только доступность данных, но и их прозрачность и понимание.

Читайте полную статью по ссылке и узнайте, как эффективная работа с данными меняет бизнес-процессы.

TAdviser выпустил ежегодный аналитический отчет, посвященный российским производителям СУБД.

Отечественные вендоры за год создали ряд новых инструментов и обновлений, включая продвинутые решения для мониторинга, управления, а также новые версии дистрибутивов.

Ключевые мысли-инсайты отчета:

➡️ 1. Российские вендоры СУБД добились значительных успехов в развитии функционала и интеграции с приложениями. Прогнозируется значительный рост рынка СУБД в ближайшие годы, что может привести к пику импортозамещения.

➡️ 2. Импортозамещение в сфере СУБД растет, однако процесс идет медленно из-за сложности миграции и нехватки специалистов. Вендоры активно работают над обучением кадров, что является ключевым фактором для дальнейшего развития в условиях дефицита квалифицированных специалистов.

➡️ 3. Увеличение объемов информации и пересмотр архитектур хранения данных подчеркивают необходимость изменения подходов к разработке СУБД. Появляются новые технологические тренды. Кстати, об этом была дискуссия и доклад на DataTalks 5.0.

У нас вышло интервью с техническим директором РТК ИТ Кириллом Пихтовниковым.

Кирилл поделился подробностями о работе над интеллектуальным помощником для разработчиков — Василисой. Это решение, интегрированное в привычные среды разработки, поможет разработчикам автоматизировать рутинные задачи, улучшать качество кода и ускорять процесс разработки.

Использование искусственного интеллекта в программировании уже стало неотъемлемой частью работы разработчиков, которые начинают воспринимать AI-помощников как "навигаторов" в парном программировании.


Ключевые мысли интервью:

🟣 Использование AI в разработке становится стандартом и неотъемлемой частью рабочего процесса.
🟣 AI-помощники действуют как "навигаторы" в парном программировании, повышая продуктивность и эффективность разработчиков.
🟣 Для корпоративного использования необходимо создавать локализованные и защищенные AI-решения.
🟣 При разработке Василисы использовались специализированные подходы к дообучению и адаптации LLM под специфические нужды компании.
🟣 Василиса позволяет автоматизировать рутинные операции и качественно улучшать разработку кода разработчикам РТК.

➡️ Подробнее о возможностях современных AI-ассистентов для разработчиков, планах развития и вывода Василисы на коммерческий рынок смотрите в видео

Gartner выпустил ТОП 10 стратегических трендов на 2025 год.

ТОП 10 трендов 2025 года согласно Gartner выглядят так:

1. Агентский ИИ: программное обеспечение, которое самостоятельно принимает решения и действует для достижения целей, комбинируя ИИ с памятью, планированием и взаимодействием с окружением.

2. Платформы управления ИИ: платформы управления и контроля систем ИИ, гарантирующие ответственное и этичное использование, соответствие стандартам безопасности и ценностям организации.

3. Безопасность дезинформации: системы, которые гарантируют точность информации, проверяют подлинность, предотвращают мошенничество и отслеживают распространение вредоносного контента.

4. Постквантовая криптография: криптографические методы, защищающие данные от угроз квантовых компьютеров.

5. Невидимая интеллектуальная среда: использование меток и датчиков для отслеживания объектов и сред,и последующего анализа информации в облаке.

6. Энергоэффективные вычисления: проектирование и эксплуатация компьютерных систем с минимальным потреблением энергии и углеродным следом.

7. Гибридные вычисления: объединение различных вычислительных технологий, таких как CPU, GPU, ASIC, нейроморфные и квантовые системы, для решения сложных задач.

8. Пространственные вычисления: технология, дополняющая физический мир цифровым контентом, с которым пользователи взаимодействуют в реалистичной и интуитивно понятной форме.

9. Полифункциональные роботы: машины, которые могут выполнять несколько разных задач, следуя инструкциям или примеру человека.

10. Неврологическое усиление: улучшение когнитивных способностей человека с помощью технологий, которые считывают и декодируют, а при необходимости записывают информацию в мозг

Что изменилось в трендах за год?

➡️ Появились новые технологические направления.

В 2025 году Gartner представляет новые тренды, среди которых постквантовая криптография, невидимые интеллектуальные среды, энергоэффективные вычисления, многофункциональные роботы и неврологическое усиление.

➡️ Повысился интерес к этическим аспектам и вопроса безопасности ИИ

В 2025 году тема управления доверием, рисками и безопасностью в ИИ (AI TRiSM) выделяется в самостоятельные тренды, такие как платформы управления ИИ и безопасность информации, что подчеркивает растущую необходимость контроля и регуляции в этой сфере.

➡️ Смещение фокуса от отдельных технологий к целостным платформам и экосистемам.

В 2024 году Gartner выделяет такие направления, как платформенная инженерия, облачные платформы для конкретных отраслей и интеллектуальные приложения. В 2025 акцент смещается на более обширные концепции, включая агентский ИИ, платформы для управления ИИ, пространственные вычисления и гибридные вычисления.

В нашем дружеском канале сегодня вышел пост про работу с большими данными в "Ростелекоме". Рассказываем про источники данных, технологии для их обработки и визуализации.

📌 Кстати, для визуализации данных мы используем RT.DataVision на базе Apache Superset, обучающий курс про который есть на нашем rutube канале

🏆 TData стала лауреатом Cnews Awards за успешное внедрение инструмента по документированию данных RT.DataGovernance (DG) в компании ЕВРАЗ. Проект победил в номинации «Управление данными в промышленности».

В рамках проекта ЕВРАЗ поставил целью унификацию показателей многочисленных дивизионов - добыча руды и горно-металлургические операции, включая выплавку стали и производство стальной продукции. Было необходимо упорядочить взаимодействие между владельцами данных, бизнес-пользователями и ИТ-специалистами.

Продукт DG упорядочил работу с большими объемами данных, обеспечил контроль над процессами и вдвое ускорил разработку производственных показателей. Сейчас уже более 9 000 производственных показателей внедрено в систему, из них 3 000 содержат детализированное описание.

➡️ Подробнее о проекте представители ЕВРАЗ рассказывали в своем докладе на конференции DataTalks, а о победе на премии рассказываем здесь.

В современном мире генеративный контент становится потенциальной угрозой для предприятий. Хакеры используют ИИ-технологии (фишинг, дипфейки и дезинформация) в атаках. Для противодействия новым вызовам организации должны активно применять инструменты, способные выявлять опасный контент и защищать свои системы.

➡️ В статье рассказывается о том, как генеративный контент используется для атак и какие технологии могут этому противостоять.

Искусственный интеллект также играет важную роль в улучшении безопасности информационных систем. Он может анализировать данные, снижать количество ложных срабатываний и выявлять уязвимости в программном обеспечении. Применение моделей ИИ в процессе безопасной разработки (SSDLC) помогает находить баланс между качеством проверок и скоростью разработки, что ведет к созданию более защищенных IT-продуктов.

➡️ Подробнее про процесс безопасной разработки и поиск уязвимостей при помощи ИИ читайте в этой статье.

Проект "Data Sharing Platform на базе платформы управления данными TData" в конкурсе "Проект года" Global CIO.

Global CIO проводит ежегодный конкурс "Проект года" и TData участвует в конкурсе в номинации "Лучшее решение в предметной области – Управление и хранение данных".

На конкурс мы подали совместный проект с Т2 - Data Sharing Platform. Это решение, которое улучшает управление данными в группе компаний «Ростелеком» и открывает новые горизонты для бизнеса.

Почему DSP важен и чем он уникален? Вот основные факты:

🟣 Повышение зрелости: DSP позволяет значительно повысить уровень управления данными на уровне всей группы компаний «Ростелеком».
🟣 Стандартизация: Проект унифицирует подходы к обмену данными между различными юридическими лицами.
🟣 Эффективность: Позволяет сократить трудозатраты на обработку данных и ускорить процессы благодаря автоматизации.
🟣 Безопасность: Обеспечивает защищенные каналы передачи данных и высокую скорость обработки информации.
🟣 Качество данных: Внедренный стандарт качества данных (DQ Firewall) гарантирует, что пользователи получают только достоверную и проверенную информацию.
🟣 Гибкость:Архитектура платформы позволяет легко интегрировать новые данные и сервисы без больших затрат.
🟣 Импортозамещение: Решение поддерживает задачи по импортозамещению, что особенно актуально в современных реалиях.

На сегодняшний день к платформе уже подключены 3 юридических лица нашей группы, а объем передаваемых данных ежедневно составляет около 1,5 Гб! Мы добились значительного снижения времени на обработку запросов и возросшего качества данных, что подтверждает положительное влияние DSP на повседневные процессы сотрудников.

➡️ Узнать про проект подробнее можно по ссылке.

🏆 Чтобы поддержать наш проект на конкурсе - оставьте комментарий под описанием проекта. Ваша поддержка важна для нас - ваши комментарии будут нашей мотивацией в реализации следующих этапов проекта.

Подборка интересных статьей на Хабре:

📝 В статье рассматривается, как правильно выбрать паттерн проектирования в зависимости от источников данных и технологий, а также какие ключевые компоненты составляют эффективный конвейер и как создать масштабируемую и высокопроизводительную систему?

📝 Аналитика трансформирует не только бизнес-процессы корпораций но игровой бизнес. Разработчики игр используют инструменты, для улучшения геймплея и балансировки механик. Для этого собирается множество метрик: взаимодействие игроков, их предпочтения и обратная связь. Это помогает выявлять проблемы, повышать стабильность игр и персонализировать опыт игроков с помощью адаптивных решений и динамичных элементов сюжета. Читайте статью , чтобы узнать, как аналитика влияет на все этапы разработки, от альфа-тестирования до поддержки после релиза.

📝 А в этой статье мы погружаемся в мир тепловых карт (heatmaps) — мощного инструмента для анализа поведения игроков и оптимизации дизайна игровых уровней. В игровой индустрии тепловые карты используют для выявления закономерностей в игровом взаимодействии, улучшения баланса и увлекательности уровней.

72% организаций уже используют ИИ для автоматизации процессов и поиска креативных решений. Искусственный интеллект помогает в клиентской поддержке, аналитике и создании контента.
➡️ Ключевые тренды развития корпоративного ИИ хорошо систематизированы в этой статье

Тест Тьюринга давно пройден, а тест Возняка пока недостижим. Стандартные бенчмарки для оценки ИИ часто не дают полезной информации, но, кажется, игры могут стать эффективным инструментом для тестирования искусственного интеллекта.Компьютерные игры обеспечивают визуально понятный способ анализа поведения и производительности ИИ, демонстрируя их умение понимать формы, цвета. Например, Minecraft используется для оценки способности моделей LLM к рассуждениям.
➡️ О преимуществах игровых тестов для оценки искусственного интеллекта читайте в статье


Разработана система LucidSim , которая использует искусственный интеллект для виртуальных тренировок роботов. ChatGPT генерирует текстовые описаний условий среды, а на их сонове создаются 3D-симуляции с физическим моделированием. Разработчики утверждают, что роботы, обученные с помощью LucidSim, показывают лучшие результаты в сравнении с традиционными методами.
➡️ Подробности по ссылке

Мы подобрали интересные статьи, которые помогут разобраться в современных трендах обработки данных и технологий, связанных с ними.

➡️ "Ландшафт Open Source Data Engineering в 2024 году: место России и мировые тенденции"

В статье авторы анализируют последние достижения в области Open Source дата-инжиниринга. 2023 год стал годом активного развития, и новые инструменты открывают двери для дата-инженеров. Важность выбора правильных инструментов становится ключевым навыком, а обзор таких ресурсов, как MAD Landscape и State of Data Engineering, помогает понять текущие тренды в мире технологий.

Читайте статью по ссылке


➡️ "Загрузка и обработка видеофайлов посредством Minio, REST и FFmpeg"

Статья посвящена практическим аспектам работы с видео. Авторы описывают, как реализовать загрузку и обработку видеофайлов с помощью Minio и FFmpeg, решая распространенные проблемы, с которыми сталкиваются пользователи. Несмотря на наличие готовых решений, такой подход позволяет обойти ограничения существующих сервисов и предлагает собственные решения для обработки видео.

Узнайте подробнее о процессе и его реализации по ссылке

🏆 Проект TData - победитель премии ПРИОРИТЕТ-2024

ИТ-холдинг Fplus получил национальную премию в области промышленных технологий «ПРИОРИТЕТ-2024: 10 лет» за внедрение аналитического хранилища данных на платформе RT.Warehouse компании TData.

Национальная премии за внедрение аналитического хранилища подтверждает успех проекта и его влияние на конкурентоспособность ИТ-холдинга Fplus.

➡️ Вот три ключевых факта о проекте:

1. Стратегическое преимущество: Эффективное использование решений Big Data помогло компании улучшить стоимость владения, качество технической поддержки и функциональные возможности, что, в свою очередь, подчеркивает важность стратегии, основанной на данных.

2. Минимизация рисков: Переход на платформу TData исключил связанные с использованием open source решений риски, такие как уязвимости и лицензионные проблемы. Это обеспечило стабильную и безопасную среду для работы с данными не только для аналитиков, но и для бизнес-пользователей, что способствовало доступности и прозрачности данных в компании.

3. Оптимизация работы с данными: Внедрение аналитического хранилища данных на платформе RT.Warehouse позволило значительно улучшить процесс обработки и анализа больших объемов данных в ИТ-холдинге Fplus. Это способствовало переходу от использования неэффективных инструментов, таких как Excel, к более мощным решениям, что изменило культуру работы с данными и повысило эффективность принятия решений.

Подробнее о проекте читайте в интервью CDO Fplus Ярослава Назарова.

В этом году сразу два проекта на базе данных Ростелекома и компании из Дата-кластера Ростелекома Platforma участвуют в экспертном конкурсе лучшей рекламы в России "ИТОГИ ГОДА 2024" на Составе ✨

Сейчас там проходит народное голосование. Давайте поддержим Platforma в народном голосовании и продвинем наши совместные активности по ссылкам ниже ⬇️

⚡️ Кейс "Как увеличить знание о застройщике и конверсию в покупку недвижимости"
Задачей команды стала разработка подхода, который способен эффективно донести ценность бренда до высокодоходной аудитории с максимально возможными охватами, обеспечивая измеримость и прозрачность оценки медиаканалов с точки зрения продаж. Для достижения стратегических целей ФСК команда проекта выбрала охватное in-stream-размещение в рамках Streaming Ads с фокусом на Smart TV.

⚡️ OLV-видеоролик для «Самолета»
Использовался наш инновационный инструмент — ТВ-ретаргетинг. Такой метод позволяет оптимизировать охват и затраты, достраивая аудиторию на основе данных о просмотрах ТВ-рекламы. По всей воронке продаж были получены впечатляющие результаты.

🏆 Наши коллеги из компании TData и T2 стали лауреатами престижной награды Tadviser IT Prize в номинации «Управление данными в экосистемах» за решение Data Sharing Platform (DSP). Награждение прошло 28 ноября 2024 года на традиционном мероприятии Tadviser Summit.

DSP — это уникальная масштабируемая платформа для управления данными в экосистемах компаний. Она основана на продуктах RT.DataGovernance и RT.Streaming и позволяет организовать защищенные каналы передачи информации между юридическими лицами по единым стандартам. На данный момент к платформе DSP подключены 3 дочерние организации «Ростелекома», обмен осуществляется по ~270 атрибутам данных. Около 500 сотрудников «Ростелекома» уже пользуются преимуществами DSP, что существенно снизило время на запрос и обработку данных.

➡️ Подробнее об этом проекте коллеги рассказывали на DataTalks