288K subscribers
3.96K photos
682 videos
17 files
4.55K links
Погружаемся в машинное обучение и Data Science

Показываем как запускать любые LLm на пальцах.

По всем вопросам - @haarrp

@itchannels_telegram -🔥best channels

Реестр РКН: clck.ru/3Fmqri
加入频道
This media is not supported in your browser
VIEW IN TELEGRAM
📓🦙 NotebookLlama —Практически полный функционал NotebookLM — в опенсорсе.

Особенности:
✔️ Создаёт базу знаний из документов — с точным разбором через LlamaCloud
✔️ Автоматически пишет резюме и строит mind map-графы
✔️ Позволяет генерировать подкасты (работает на базе ElevenLabs)
✔️ Позволяет вести чат с агентом по документам
✔️ Метрики и аналитика через opentelemetry

🛠 Всё в открытом репо — можешь форкать, кастомизировать, заменять компоненты под себя.

Установка:


git clone https://github.com/run-llama/notebookllama


GitHub: https://github.com/run-llama/notebookllama
Попробовать в LlamaCloud: https://cloud.llamaindex.ai

@ai_machinelearning_big_data


#AI #ML #LLM #opensource #NotebookLM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9937👍17🥰1
📌 США могут ускорить гонку ИИ, вложив в "Манхэттенский проект ИИ" ресурсы, сопоставимые с программой «Аполлон».

Идея «Манхэттенского проекта для ИИ», витавшая последние месяцы на самом высоком уровне в США, кажется, начинает обретать очертания. Но за громкими сравнениями обычно теряется суть: а что это значит на практике?

Аналитики из Epoch AI решили посчитать, какой вычислительный монстр может появиться, если американское правительство консолидирует ресурсы частного сектора и вложит в проект долю ВВП, сопоставимую с пиком лунной программы.

Epoch AI - некоммерческий исследовательский институт, который изучает траекторию развития искусственного интеллекта, анализирует тренды в вычислениях, данных и алгоритмах, чтобы прогнозировать влияние ИИ на экономику и общество.


🟡Картина получается масштабная.

Расчеты показывают, что к концу 2027 года такой проект мог бы обеспечить тренировочный прогон модели с вычислительной мощностью порядка 2 × 10²⁹ FLOP.

Чтобы понять масштаб: это примерно в 10 000 раз больше, чем потребовалось для обучения GPT-4. По сути, это рывок, который по текущим прогнозам должен был случиться на несколько лет позже.

Финансирование на уровне программы «Аполлон» (около 0.8% ВВП или 244 млрд. долларов сегодня) позволило бы закупить и объединить в один кластер эквивалент 27 миллионов NVIDIA H100. Эта цифра, кстати, совпадает с экстраполяцией текущих доходов NVIDIA от продаж в США.

🟡А хватит ли на это электричества?

27 миллионов GPU потребуют около 7.4 ГВт мощности - это больше, чем потребляет весь город Нью-Йорк. Оказывается, это не главная преграда. Аналитики говорят, что к 2027 году в США и так планируется ввод 8.8 ГВт за счет новых газовых электростанций, значительная часть которых уже предназначена для дата-центров.

При наличии политической воли и используя законодательные инструменты, правительство США сможет сконцентрировать эти мощности в одном месте, так что энергия не станет узким местом.

🟡Разумеется, у сценария есть свои «но».

Геополитическая напряженность, например, вокруг Тайваня, может сорвать поставки чипов. Кроме того, нельзя просто так взять и увеличить масштаб в тысячи раз. Масштабирование требует времени на отладочные прогоны и эксперименты, но это скорее инженерное, а не ресурсное ограничение.

Тем не менее, анализ показывает: при должной координации и инвестициях технологический скачок в области ИИ может произойти гораздо быстрее, чем мы думаем. И это уже вполне просчитываемая возможность.

🔜 Статья на Epoch AI

@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
86👍58🔥26🤔15🤣8🥱5😭3
🧠 MCP сервер для баз данных от Google

Он выступает прослойкой между вашим агентом (например, LangChain, LlamaIndex, VertexAI) и базой данных, упрощая работу с базой, подключение, управление, безопасность и мониторинг.,

Подходит для разработки AI-агентов, которые могут создавать и управлять в реальными БД.

Особенности:
✔️ Подключение к БД за < 10 строк Python
✔️ Встроенный pooling и аутентификация
✔️ Простая интеграция в агентов (LangChain, Autogen, и т.д.)
✔️100% open-source
✔️Поддержка разных БД: PostgreSQL, MySQL, SQLite, SQL Server, AlloyDB, Cloud SQL, Spanner, BigQuery, Bigtable, Couchbase, Dgraph, Redis, Neo4j и др.
✔️Удобная конфигурация : простой синтаксис YAML для описания функций и запросов.


Если делаете агентов, которые работают с SQL/PostgreSQL/MySQL — точно стоит попробовать.

GitHub: https://github.com/googleapis/genai-toolbox

@ai_machinelearning_big_data


#AI #ML #aiagent #opensource #MCP #databases #genai
Please open Telegram to view this post
VIEW IN TELEGRAM
56👍23🔥163🥰1🍓1
Media is too big
VIEW IN TELEGRAM
✔️ Groq открывает первый европейский дата-центр.

Первый дата-центр Groq в ЕС разместится в Хельсинки, Финляндия, в сотрудничестве с местным провайдером Equinix. Этот шаг направлен на удовлетворение растущего спроса со стороны европейских клиентов, которым необходимы минимальная задержка и высокая скорость обработки запросов. Размещение инфраструктуры в Финляндии также решает вопросы суверенитета данных европейских пользователей.

Европейский хаб станет частью глобальной сети компании, которая уже включает мощности в США, Канаде и Саудовской Аравии. Выбор Финляндии обусловлен ее надежной энергосистемой и возможностями для эффективного охлаждения оборудования.
groq.com

✔️ БРИКС предложил принципы глобального регулирования ИИ.

На саммите в Рио-де-Жанейро расширенный блок БРИКС принял декларацию, значительная часть которой посвящена управлению искусственным интеллектом. В документе содержится инициатива к созданию глобальной системы регулирования под эгидой ООН, чтобы преимущества технологии были доступны всем странам, включая Глобальный Юг.

Ключевые принципы, предложенные блоком: защита от несанкционированного использования ИИ, ограничение на избыточный сбор данных и разработка механизмов справедливой компенсации для правообладателей. Декларация также подтверждает суверенное право каждой страны устанавливать собственные правила, но рекомендует создание совместимых международных стандартов.
reuters.com

✔️ NVIDIA построит в Израиле технологический кампус.

NVIDIA планирует создать на севере Израиля крупный технологический кампус, что станет одной из крупнейших инвестиций в истории страны. Для проработки деталей проекта уже выпущен официальный запрос информации (RFI).

Цель «мегакампуса» - значительно расширить операции NVIDIA и ускорить инновации в области ИИ. На данный момент в израильском центре исследований и разработок NVIDIA, который является крупнейшим за пределами США, уже работает около 5000 сотрудников.
timesofisrael.com

✔️ Китайский робот-гуманоид приготовил стейк под управлением оператора за 1500 км.

Shenzhen Dobot продемонстрировала возможности телеуправления своим роботом Dobot Atom. Находясь в провинции Шаньдун, робот успешно приготовил стейк, в то время как оператор управлял им из провинции Гуандун, с расстояния 1500 километров.

Управление осуществлялось в реальном времени с помощью VR-гарнитуры, которая отслеживала и передавала движения рук инженера. В ходе демонстрации робот выполнил несколько сложных задач с точностью движений до 0.05 мм.

Dobot уже начала глобальные поставки Atom, став одним из немногих китайских разработчиков гуманоидов, вышедших на стадию серийного производства.
scmp.com

✔️ ByteDance выложила в открытый доступ агента-программиста Trae.

Trae Agent превращает текстовые запросы в рабочий код. Этот экспериментальный проект использует Claude и Gemini, чтобы писать, отлаживать и исправлять ошибки в коде без участия человека. Он работает через командную строку, анализирует большие проекты, применяет bash-скрипты и обновляет файлы в реальном времени.

Система уже показала высокие результаты на тесте SWE-bench Verified. Trae открыт под MIT-лицензией, а его команда планирует расширить поддержку LLM, добавить MCP и усилить Unit-тестирование.
github.com

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4022🔥14😴3🤩2
🔥 MWS Data Scout — первый в России AI-агент для автоматического описания данных

Компания МТС Web Services (MWS) запустила AI-агента нового поколения, который самостоятельно анализирует корпоративные базы данных, описывает, что в них хранится, и как всё связано.

🟡 Что делает MWS Data Scout — это часть платформы MWS Data. Агент парсит базы данных, анализирует метаинформацию, подключается к Confluence и дата-каталогам (DataHub, OpenMetadata и др.), после чего формирует структированное описание таблиц, столбцов и связей между ними. Всё это — в десятки раз быстрее ручного аудита.

🟡 Ключевые функции — Понимает, как рассчитывается «Выручка» или «Сумма сделки» — Отмечает валюту, округления, методики расчёта — Показывает, до или после налогообложения данные — Находит критичные персональные данные (ПДн, паспорт, CVV, банковская информация) — Отслеживает семантику: объясняет смысл даже тех данных, где подписей нет

🟡 Работа в облаке и в защищённом контуре Подключается как из облака, так и из локальных IT-сред, с соблюдением требований к безопасности и хранению чувствительной информации.

🟡 Что дальше В будущем агент будет: — строить пайплайны данных от источника до BI/ML-систем, — запускать автоматические проверки качества, — искать аномалии и подозрительные отклонения в потоках данных.

MWS Data Scout уже сейчас автоматизирует рынок, который оценивается в 3,5 млрд рублей. Потенциальная экономия - от 50 млн рублей на проект.

@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
44🤣23👍19🔥6🥱3🗿2
🌟 HumanOmniV2: модель, которая понимает контекст видео.

Alibaba Group разработали HumanOmniV2, модель на базе Qwen2.5-Omni-7B-thinker, которая получила навык осмысления визуального контекста за счет изменения самого процесса мышления модели. Ее научили следовать строгому формату: сначала описать контекст, потом рассуждать и только затем давать ответ.

Теперь, прежде чем отвечать на вопрос, модель генерирует подробное описание сцены в теге <context>. На этом этапе она фиксирует, кто что делает, какой фон, какие звуки слышны. Только после этого в теге <think> она строит логическую цепочку рассуждений, связывая вопрос с собранным контекстом. И лишь в конце выдает результат в теге <answer> .

Чтобы этот подход работал, его усилили системой вознаграждений на основе RL. За точность и правильный формат модель получает стандартные награды, но были введены и две новых:

🟢«Награда за контекст» дается, если его описание полное и релевантное, причем качество этого описания оценивает другая, более мощная LLM;

🟢«Логическая награда» проверяет, что в своих рассуждениях модель действительно использовала данные из видео и аудио, а не проигнорировала их.

Для оценки HumanOmniV2 создали бенчмарк IntentBench (633 видео, 2689 вопросов) на основе Social-IQ 2.0, EMER и MDPE.

Его фишка в том, что вопросы требуют одновременного анализа: видеоряда (жесты, микровыражения), диалогов (тон, смысл реплик) и социального контекста (ирония, обман, скрытые намерения).

Тестовая модель обошла открытые аналоги на 3 бенчмарках:

🟠Daily-Omni: 58.47% (53.13% у MiniCPM-o 2.6);
🟠WorldSense: 47.1% (45.4% у Qwen2.5-Omni);
🟠IntentBench: 69.33% (64.20% у Qwen2.5-Omni).


📌Лицензирование: Apache 2.0 License.


🟡Модель
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #MMLM #HumanOmniV2 #Alibaba
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4933🔥15🥱5🗿1
🧠 ИИ умеет мыслить стратегически?

Новое исследование Oxford и King’s College London поставило перед ИИ-моделями сложную задачу: сыграть тысячи раундов эволюционной версии "Дилеммы заключённого", где важно не просто ответить правильно, а выстроить стратегию в долгую.

В эксперименте участвовали флагманские модели от OpenAI, Google и Anthropic. Вот как они себя проявили:

🔹 Google Gemini — хладнокровный и расчётливый
Не доверяет, первым атакует, наказывает за предательство. Стратег чистой воды.

🔹 OpenAI GPT — слишком добрый
Склонен к сотрудничеству даже тогда, когда это невыгодно. Хорош в мире, уязвим в конфликте.

🔹 Anthropic Claude — гибкий и адаптивный
Умеет прощать, но делает выводы на основе опыта коммуникации. Меняет поведение со временем и часто приходит к победе.

Исследователи проанализировали 32,000 решений, и выяснили:
эти модели не просто "угадывают" слова — они делают выводы, оценивают риск, строят гипотезы о поведении противника и последовательно придерживаются своей стратегии.

Общее в поведении:
1. Модели справляются с новыми, непредсказуемыми оппонентами
2. Демонстрируют разные стратегии, несмотря на общий обучающий набор данных
3. Объясняют свои действия — в некоторых случаях с вероятностным анализом, ссылаясь на поведение соперников

Еще большинство моделей выбирает кооперацию — особенно против предсказуемых и простых стратегий соперника.

Каждая модель показала уникальный стиль поведения — почти как характер.

Если приводить аналогию с реальными личностями:
- Gemini = Генри Киссинджер
- OpenAI = Вудро Вильсон
- Anthropic = Джордж Буш-старший

Современные LLM практически ведут себя как полноценные стратеги: формулируют цели, оценивают оппонентов и формируют осторожные, но устойчивые пути к победе.

🔜 Подробности

@ai_machinelearning_big_data


#AI #ML #MMLM #research
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
65👍36🔥15😁9🥰1
🌟 EX-4D: генерация видео с экстремальными движениями камеры.

EX-4D - совместная разработка ByteDance и Pico, которая предлагает элегантное решение проблемы генерации экстремальных ракурсов камеры для видео.

Методика позволяет генерировать видео с амплитудой угла камеры от -90° до 90°, опираясь на новый тип геометрического представления, Depth Watertight Mesh (DW-Mesh).

В отличие от стандартных методов, которые строят 3D-сцену только из видимых поверхностей, DW-Mesh создает трехмерный замкнутый меш на основе данных о глубине сцены.

Он моделирует не только то, что видит камера, но и пытается логически завершить скрытые от нее области. По сути, система строит цельный геометрический каркас сцены, который сохраняет свою форму даже при взгляде с самых неожиданных углов. Это предотвращает появление разрывов и искажений, когда ранее невидимая часть объекта попадает в кадр.

При создании EX-4D использовали уникальную стратегию обучения, которая не требует многоракурсных видеосетов. Разработчики обошли эту проблему, заставив модель создавать обучающие данные для самой себя.

Используя построенный DW-Mesh, система генерирует маски, симулируя, какие части сцены были бы скрыты при других ракурсах. Этот подход с двумя компонентами, Rendering Mask и Tracking Mask, имитирует реальные условия съемки с разных точек и дает временную согласованность маскировки, обучая модель правильно «додумывать» геометрию.

Вся эта система работает на базе видеомодели Wan2.1 (рекомендуют версию 14B 480p), но не требует ее полной перетренировки. Геометрическая информация от DW-Mesh интегрируется с помощью LoRA-адаптера, он выступает мостом между меш-каркасом и генеративной нейросетью.

В тестах EX-4D обходит TrajectoryCrafter и ReCamMaster, особенно на больших углах. В пользовательских тестах 70 % участников отдали предпочтение видео, сгенерированным EX-4D, отметив физическую консистентность и высокое качество картинки.

⚠️ Локальный запуск потребует значительных ресурсов, особенно для видео высокого разрешения. Помимо Wan2.1, самой EX-4D, еще понадобятся пакеты nvdiffrast от NVlabs и DepthCrafter от Tencent.

В планах: оптимизация инференса, поддержка 1К и 2К разрешения и новые техники уточнения мешей.


📌Лицензирование: Apache 2.0 License.


🟡Страница проекта
🟡Модель
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #EX4D #ByteDance #Video
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
91👍54🔥35😁1