Клуб CDO
3.22K subscribers
440 photos
26 videos
88 files
1.54K links
Сообщество профессионалов в области работы с данными и искуственным интеллектом
加入频道
March 9
А пока редакция читает статьи и готовит дайджест - посмотрите эту 15-ти минутную запись полета StarShip8.

Все таки удивительно как точно он приземляется обратно на стойку. Интересно, там же должен быть какой-то мощный комп на борту? Ведь управление двигателями для маневрирования в реальном времени требует хорошей вычислительной мощности.

Интересно узнать что там у них.

https://youtu.be/9H8puVq2oi0?si=sex6GK4CUH7tIPWM
March 9
Дайджест статей

Iceberg Catalogs: A Guide for Data Engineers
https://medium.com/itversity/iceberg-catalogs-a-guide-for-data-engineers-a6190c7bf381

Delta Lake 4.0: Next-Level Big Data Management
https://medium.com/@vijaygadhave2014/delta-lake-4-0-next-level-big-data-management-690d03710a42


Agentic BI for Data Analysis with Gen AI
https://medium.com/@nayan.j.paul/agentic-bi-for-data-analysis-with-gen-ai-f9caf60a0a82

Building a Scalable and Open-Source Realtime Data Lake : End to End Architecture
https://medium.com/@mukesh.vast/building-a-scalable-and-open-source-data-lake-end-to-end-architecture-235ba920084e

Is Data Engineering Dying? The AI Takeover & The Future of Data Roles!
https://blog.det.life/is-data-engineering-dying-the-ai-takeover-the-future-of-data-roles-ecf7d96df623

Understanding the Data Culture
https://dzone.com/articles/the-data-culture

AI Agents for Data Warehousing
https://dzone.com/articles/ai-agents-for-data-warehousing

Почему AI-агентам нужна оркестрация
https://habr.com/ru/articles/887370/

Синтетические данные в 2025: волшебная таблетка для нейросетей или темная лошадка?
https://habr.com/ru/companies/skillfactory/articles/887884/

Аналитика и данные – ваш козырь против конкурентов
https://habr.com/ru/companies/croc/articles/888152/

Цифровые двойники в сельском хозяйстве: изучим потенциал на примере выращивания мандаринов
https://habr.com/ru/companies/rshb/articles/888240/

От данных к действиям: как мы создавали рекомендации на главной странице Uzum Market
https://habr.com/ru/companies/uzum/articles/884328/

Как превратить сырые данные в аналитический отчет
https://habr.com/ru/articles/888436/

Безопасная AI-управляемая система раннего выявления для анализа медицинских данных и диагностики
https://habr.com/ru/companies/otus/articles/888652/

Зачем бизнесу нужно DWH и как обосновать необходимость проекта? Можно ли оценить окупаемость хранилища?
https://habr.com/ru/articles/888952/
March 10
The State of Lakehouse Architecture: A Conversation with Roy Hassan on Maturity, Challenges, and Future Trends

Недавно в Data Engineering Weekly состоялся подкаст с Роем Хассаном, продуктовым лидером компании Upsolver (ныне Qlik), посвящённый текущему состоянию архитектуры Lakehouse, её зрелости, вызовам и будущим тенденциям.

Основные темы обсуждения:
• Определение архитектуры Lakehouse: Рой подчеркнул, что Lakehouse — это не конкретный продукт или сервис, а архитектурный подход, объединяющий гибкость data lakes и структурированность data warehouses.
• Зрелость внедрения Lakehouse: Обсуждалась степень зрелости внедрения Lakehouse на различных облачных платформах, включая Databricks, AWS, Azure Fabric, Snowflake и Google BigQuery.
• Открытые табличные форматы: Рассматривались такие форматы, как Iceberg, Delta Lake и Hudi, их особенности и поддержка современными системами запросов.
• Роль Apache XTable: Обсуждалась цель улучшения совместимости между различными табличными форматами и актуальность этого проекта в будущем.
• Вызовы и критика Lakehouse: Рой отметил существующие проблемы и критику в адрес архитектуры Lakehouse, а также пути их преодоления.
• Роль инженеров данных в эпоху ИИ: Обсуждалось, как инженеры данных могут адаптироваться и вносить вклад в развитие ИИ, используя архитектуру Lakehouse.

https://www.dataengineeringweekly.com/p/the-state-of-lakehouse-architecture
March 10
А вот вам подборка ТОП-100 лучших продуктов GenAI

Да и вообще там интересная статистика в статье про динамику роста аудитории разных LLM моделей, включаю DeepSeek

https://a16z.com/100-gen-ai-apps-4/
March 11
Друзья, пора немного обновить информацию про проект @IgorVA_bot. Как оказалось, модель монетизации через донаты в наших реалиях не работает — последний донат был 16/01/25, а с тех пор, несмотря на сотни обращений к боту в день, поддержки не поступало.

При этом я перешёл на pro-аккаунт OpenAI, что открыло доступ к новым мощным моделям. Сейчас бот работает через Telegram с прослойкой на Python-сервере, что даёт возможность дополнять его функционал полезной автоматизацией.

🚧 Что дальше?
Я планирую закрыть публичный бесплатный доступ и оставить его только для тех, кто поддержал проект донатами. При этом для них в боте появятся новые, продвинутые модели и улучшенные возможности диалога.

💡 Что можно добавить?
Если у вас есть идеи, какие агенты или функции сделать, чтобы бот был реально полезен и решал задачи, с которыми не справляются другие решения (а их сейчас целая галактика) — пишите!

📌 Ссылка на донаты — если хотите попасть в список доступа, успейте поддержать проект!

https://yangx.top/tribute/app?startapp=daeS
March 11
March 11
Сегодня еще один анонс от наших парнеров: мероприятие "Как стать востребованным ИТ-директором производства?"

Коллеги, вам знакомо это чувство?
Вы создаете ИТ-продукты, автоматизируете процессы, решаете сложные технические задачи — но при этом бизнес часто недооценивает ваш вклад.

Как быть стратегическим лидером, а не просто техническим специалистом? Как донести ценность ИТ-инициатив до руководства?

20 марта в Москве пройдет насыщенный и максимально честный воркшоп. Опытные ИТ-директора и независимые эксперты поделятся своими решениями, расскажут реальные кейсы и помогут взглянуть на вашу роль под новым углом.

Что значит быть ИТ-директором пищевого производства, и какие задачи он решает?
Как укрепить свои позиции в бизнесе?
Какие инструменты помогут повысить свой статус внутри компании?

Почему это важно?В камерной обстановке на 40 участников выстроим честный диалог и дадим максимум пользы. У вас будет возможность задать вопросы, получить советы и вдохновение для следующего шага в вашей карьере.

👉🏻Ссылка на регистрацию: https://clck.ru/3GuXEV


Регистрация уже открыта. Успейте забронировать место!
Please open Telegram to view this post
VIEW IN TELEGRAM
March 12
Forwarded from Бэкап
DrawDB – это надёжный и удобный редактор связей между объектами базы данных (DBER) прямо в вашем браузере

Создавайте диаграммы в несколько кликов, экспортируйте сценарии SQL, настраивайте редактор и многое другое без создания учётной записи

Языки: JavaScript (98.8%), Other (1.2%).

⭐️ Star 24.1k

https://github.com/drawdb-io/drawdb

⚡️ @becaps
Please open Telegram to view this post
VIEW IN TELEGRAM
March 12
March 13
March 13
Дайджест статей

How Meta Solves Data Lineage At Scale
https://blog.det.life/how-meta-solves-data-lineage-at-scale-690874d8d7ba

Open-source инструменты для визуализации данных
https://habr.com/ru/articles/891010/

Подробная карта OpenSource инструментов для создания AI агентов
https://habr.com/ru/articles/890774/

Современные требования к инфраструктуре для агентских AI-систем. Развертывание, поддержка и операционные расходы
https://habr.com/ru/articles/890836/

What I learned after one year of building a Data Platform from scratch
https://medium.com/@jeremysrgt/what-i-learned-after-one-year-of-building-a-data-platform-from-scratch-d7075629cab1

2025 Enterprise Data & AI Trends: Agents, Platforms, and Moonshots
https://sanjmo.medium.com/2025-enterprise-data-ai-trends-agents-platforms-and-moonshots-0010c8b4d1f3

Introducing Netflix’s TimeSeries Data Abstraction Layer
https://netflixtechblog.com/introducing-netflix-timeseries-data-abstraction-layer-31552f6326f8

Instacart Creates Real-Time Item Availability Architecture with ML and Event Processing
https://www.infoq.com/news/2024/02/instacart-item-availability/

Building an End-to-End Data Lakehouse with Medalion Architecture, Airflow, and DuckDB
https://medium.com/@sweetkobem/building-an-end-to-end-data-lakehouse-with-medalion-architecture-airflow-and-duckdb-67c6a4c5c2c4
March 17
Интересный сервис, еще не смотрел в деталях но он очень активно взлетел в новостях, все про него пишут. Надо изучить

https://manus.im/
March 17
March 18
Самое милое, что было сейчас на конфе-робот Blue,созданный Disney+DeepMind+NVidia

Дженсен Хуанг заявил: «Пришло время роботов. Зачем? Чтобы решить проблему нехватки рабочей силы. Все, что движется, будет роботизировано».

Он давал этому мультяшному роботу команды на сцене в прямом эфире https://yangx.top/alwebbci/3114
March 18
Немного инсайдерской информации про Apple от Bloomberg. Siri+ не будет 🙂

Интересно, что на фоне заметных шагов вперед у Alexa и Google, Siri продолжает буксовать и сейчас похоже уже можно говорить о том что Siri+ не будет до 2026 года. К сожалению в статье не описываются конкретные сложности, с которыми столкнулась команда, а было бы интересно узнать. Попробуем погыпытышить.

"Walker said the decision to delay the features was made because of quality issues and that the company has found the technology only works properly up to two-thirds to 80% of the time"

Особенно выделяется то, что Apple уже демонстрировала Siri+ на прошлой конференции для разработчиков, а они никогда не показывают на конференции то, в запуске чего не уверены. Это возможно первый раз когда они отходят от этого правила.

Но тем не менее они остаются привержены своей парадигме "But Apple wants to maintain a high bar and only deliver the features when they’re polished" и не стараются притянуть запуски к каким то памятным датам - остается достойной уважения такая позиция в части продуктовой разработки.

https://www.bloomberg.com/news/articles/2025-03-14/apple-s-siri-chief-calls-ai-delays-ugly-and-embarrassing-promises-fixes?accessToken=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJzb3VyY2UiOiJTdWJzY3JpYmVyR2lmdGVkQXJ0aWNsZSIsImlhdCI6MTc0MjE1NTk3MSwiZXhwIjoxNzQyNzYwNzcxLCJhcnRpY2xlSWQiOiJTVDMxRE1EV1JHRzAwMCIsImJjb25uZWN0SWQiOiJFQTExNDNDNTM4NEE0RUY5QTg5RjJEN0IxMTg2MzcwOSJ9.NIVHf5K-5EZVbtJFJbkn_R9BqHrNdEJXTdo7m3SxsF4&utm_source=tldrnewsletter&leadSource=uverify%20wall
March 19
March 19
Мои ИИ-стек инструментов

За последние два года я попробовал больше сотни разных ИИ-инструментов. Многие не оправдали своих ожиданий, но есть звездочки, которые не только доказали свою ценность, но и стали незаменимыми партнерами в ежедневной деятельности.

Так получился мой ИИ-стек, которым я пользуюсь практически ежедневно.

▶️Базовые LLM:

1. Claude - скоро будет год как для меня Claude - LLM #1. Долгое время я его использовал только через API в своих агентах, но с выходом 3.7 Sonnet и появлением интерактивного интерфейса, добавил подписку и на claude.ai.

2. ChatGPT - всегда рядом, на случай второго мнения. Использую только через API.

3. Deepseek - хорош, но на каждый день он слабее.

4. Google Gemini - открыл его для себя заново с появлением Gemini 2.0 Flash и расширением возможностей AI Studio, включая Realtime режим анализа стриминга с камеры (фильм "Она" все помним).

5. Grok - Deep Research с поиском в интернет и "думающий" режим, да еще и бесплатно (в одном из запросов модель пока размышляла, собрала 103 источника и сгенерировала 140 листов текста.... для выдачи ответа на 1 лист. не жалеет grok себя :) )

▶️ Для работы с информацией

6. NotebookLM - лучший бесплатный инструмент от Google для работы с документами. Загружаем до 50 источников (ссылки на youtube, pdf, видео файлы) и получаем интерактивный инструмент с поиском по документам. Практически все отчеты теперь читаю в нем.

7. Perplexity - отлично ищет информацию в интернет, но мне не нравится как он ее обрабатывает последние месяцы. Использую как инструмент через API в агентах.

▶️ Генерация изображений

8. Midjourney - 99% изображений создаю в нём. С настройкой собственных профилей (фактически файн-тюнинг по себя) всё чаще радует с первого раза.

9. DALL-E - для генерации изображений в своих агентах. (midjourney бы твой API)

10. Adobe - photoshop c ИИ хорош.

▶️ Видео и Аудио

11. Hailuo, Runway, Pika - как правило экспериментирую сразу с несколькими [1] [2]. Результат пока 50/50 - чаще не попадает в ожидания. Но сделать видео-поздравление по фотографиям - с этим инструменты справляются на ура.

12. Suno - лучший генератор песен и первый инструмент, у которого я сразу на год купил подписку. Песни-поздравления, треки для тренировок в нужном темпе, каверы в том стиле, в котором хочется. [1] [2] [3]

13. ElevenLabs - клонирование собственного голоса (настолько похоже, что сам пугаюсь). использую для своих аватаров и агентов. Ждем эмоции.

14. HeyGen - непосредственно создание цифровых аватаров. можно и через api.

▶️ Автоматизация и ИИ-агенты

- Интерфейс для работы с агентами - Телеграм или google таблицы - самые удобные для меня.

- Notion - обновление таблиц агентами, а Obsidian еще и как база данных для агента (через RAG).

- n8n - основной инструмент автоматизации. Есть несколько сценариев работающих на make, но они постепенно переписываются в n8n. В n8n очень удобная среда настройки агентов и добавление внешних инструментов. А скоро еще и MCP можно будет добавить... [1] [2] [3]

- IFTTT удобен для ряда сценариев, которые в n8n и make требуют кучу усилий или денег - например, выгрузка новостей из feedly в google таблицу.

- Для хранения данных нам нужна - классическая база данных (настройки и данные между процессами), быстрая база - ключ/значение (контекст и память) и векторная база в качестве RAG для агентов. Я пока остановился на Airtable, Xata и Pinecone.

- Ну и куда сегодня без вайб-кодинга. Использую Replit и Cursor. С выходом Claude 3.7 оба стали работать намного лучше. [1] [2]
А как прибавил сам Сlaude! - смотрим.

Универсальных решений нет, поэтому каждый собирает под себя свою удобную ИИ-команду!

Всех с пятницей! и нескучного погружения в мир ии-инструментов!

🅰️🅱️@ReymerDigital

Что из звездочек я пропустил? пишите в комментарии
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
March 21