Открытый препринт книги Тарсиса Соуза (Tharsis Souza), PhD Лондонсого университета, в которой представлен критический анализ проблем и ограничений, возникающих у инженеров и руководителей технических проектов при разработке приложений на основе LLM.
Цель книги, по заявлению автора – помочь создавать надежные и безопасные системы на основе LLM, избегая распространенных ошибок.
Она ориентирована на разработчиков, технических менеджеров проектов и технических руководителей, стремящихся к углубленному пониманию и преодолению практических трудностей, связанных с внедрением LLM.
В отличие от преобладающего дискурса, акцентирующего возможности LLM, книга сосредоточена на практических сложностях и потенциальных ошибках реализации, предлагая подробное руководство по их преодолению.
В книге рассматриваются проблемы: структурной ненадежности, управления входными данными, тестирования, аспектов безопасности и элайнмента, зависимости от поставщиков и оптимизации затрат.
Книга сопровождается репозиторием с практическими примерами на Python, анализом реальных сценариев и решений.
@ai_machinelearning_big_data
#AI #ML #LLM #Book #Tutorial
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1❤35👍28🥰2😁1
Microsoft совершила прорыв в области квантовых вычислений, представив чип Majorana 1, который использует новую архитектуру Topological Core. Чип создан с применением уникального материала — топологического сверхпроводника и позволяет управлять частицами Майораны, делая кубиты более стабильными и масштабируемыми.
Основное преимущество новой технологии — её устойчивость к ошибкам на аппаратном уровне. В отличие от существующих аналогов, Majorana 1 позволяет контролировать кубиты цифровым способом, делая процесс вычислений более надёжным. Учёные Microsoft разместили 8 топологических кубитов на чипе, который в будущем сможет масштабироваться до миллиона.
news.microsoft.com
Muse — первая в мире модель, способная генерировать визуальные элементы и игровые действия. Разработанная в сотрудничестве с Xbox Game Studios и Ninja Theory, модель Muse использует данные из игры Bleeding Edge, чтобы предсказывать и создавать последовательности игрового процесса.
Muse показала впечатляющие возможности, генерируя сложные сцены, которые остаются согласованными на протяжении нескольких минут. Модель обучалась на более чем миллиарде изображений и действий ( это примерно 7 лет непрерывного игрового процесса). Уникальность Muse заключается в её способности не только воспроизводить, но и предсказывать развитие игровых событий.
Microsoft также представила WHAM Demonstrator — инструмент для взаимодействия с Muse и экспериментировать с её возможностями.
Muse и WHAM Demonstrator доступны на платформе Azure AI Foundry.
microsoft.com
Исследователи из Университета технологий Сиднея представили новый алгоритм Torque Clustering (TC), который умеет находить закономерности в данных без участия человека. Вдохновленный процессом слияния галактик, этот метод позволяет ИИ учиться самостоятельно, кратно сокращая необходимость в ручной разметке данных. Алгоритм уже показал высокие результаты, достигнув точности в 97,7% на 1 тыс. датесетах.
В отличие от традиционного ИИ, который требует огромного количества размеченных данных, TC работает по принципу естественного наблюдения, подобно тому, как животные изучают окружающий мир.
studyfinds.org
DeepSeek объявил о намерениях привлечения дополнительного внешнего финансирования, поскольку планирует трансформироваться из исследовательской лаборатории в коммерческую организацию.
Первой выразила намерение инвестировать Alibaba Group, на запрос также откликнулись китайские компании и фонды с государственным участием : China Investment Corporation, National Sovereign Wealth Fund и National Social Security Fund.
Помимо инвестиций, DeepSeek рассматривает варианты использования ЦОД в Юго-Восточной Азии для расширения ресурсов и доступа к дополнительными GPU Nvidia.
theinformation.com
"Со-ученый" на базе ИИ от Google ускоряет биомедицинские исследования, помогая исследователям находить пробелы в знаниях и предлагать новые идеи. По словам Алана Картикесалингама, старшего научного сотрудника Google, цель проекта — дать ученым "суперспособности" для более быстрого достижения научных открытий.
Инструмент уже прошел первые испытания с участием экспертов из Стэнфордского университета, Колледжа Лондона и больницы Houston Methodist. В одном из случаев ИИ смог за несколько дней прийти к тем же выводам, что и команда ученых из Лондона, которые потратили на исследование несколько лет.
Архитектура построена на нескольких ИИ-агентов, каждый из которых выполняет свою роль: один генерирует идеи, другой анализирует и оценивает их. Модель способна извлекать информацию из научных статей и специализированных баз данных, а затем предлагать исследователям ранжированный список гипотез с объяснениями и ссылками на источники.
research.google
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍63🔥23❤18👌3
InfiniteHiP - опенсорсный инструмент, разработанный сервисом deepauto.ai, который позволяет значительно расширить контекст LLM, обрабатывая до 3 миллионов токенов на одном GPU.
InfiniteHiP использует модульный иерархический алгоритм прунинга токенов, динамически отсеивая нерелевантные элементы контекста. Это позволяет ускорить обработку и обойти ограничения GPU по памяти, перенося KV-кэш в память хоста.
Прунинг-модули алгоритма избирательно отбрасывают менее важные входные токены, опираясь на разреженность шаблонов и пространственную локализацию в матрицах внимания LLM.
Алгоритм делит входную последовательность на чанки фиксированной длины и определяет аппроксимированный top-1 токен с наивысшим attention score в каждом чанке. Затем только top-K наиболее значимых чанков передаются в следующий модуль, а остальные отбрасываются.
Максимально эффективная реализация InfiniteHiP на SGLang фреймворке показывает 7.24-кратное ускорение в end-to-end декодировании на контексте в 3 млн. при использовании всего 3.34% VRAM, необходимой для Flash Attention 2.
InfiniteHiP превосходит существующие методы в задачах QA по объемным документам, обобщении и в мульти-шот ризонинге. HiP демонстрирует отличные OOL (out-of-likelihood) способности, сохраняя производительность при увеличении длины контекста, в то время как другие методы на таких задачах ощутимо деградируют.
InfiniteHiP может использоваться с любыми моделями на архитектуре Transformers.
git clone [email protected]:DeepAuto-AI/hip-attention.git
cd hip-attention
conda create --name hip python=3.11
conda activate hip
pip install -e "."
# Optional for development
pip install -e ".[dev]"
# Optional, depends on your CUDA environment
export CUDACXX=/usr/local/cuda/bin/nvcc
# Dependencies that requires --no-build-isolation
pip install -e ".[no_build_iso]" \
--no-build-isolation \
--verbose
# SGLang with OpenAI API support for serving
pip install -e ".[sglang]" \
--no-build-isolation \
--verbose \
--find-links https://flashinfer.ai/whl/cu124/torch2.4/flashinfer/
# Access the `hip` package from any project
import torch
from hip import hip_attention_12, HiPAttentionArgs12
device = 'cuda'
batch_size = 1
kv_len = 128 * 1024
q_len = 32 * 1024
num_heads = 32
num_kv_heads = 8
head_dims = 128
dtype = torch.bfloat16
q = torch.randn(
(batch_size, q_len, num_heads, head_dims),
dtype=dtype,
device=device
)
k = torch.randn(
(batch_size, kv_len, num_kv_heads, head_dims),
dtype=dtype,
device=device,
)
v = k.clone()
output, metadata = hip_attention_12(q=q, k=k, v=v, args=HiPAttentionArgs12())
print(output.shape)
# > torch.Size([1, 32768, 32, 128])
@ai_machinelearning_big_data
#AI #ML #InfiniteHiP #Framework
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥44👍23❤7🤔3🤝1
Spotify объявила о сотрудничестве с ElevenLabs, чтобы предложить авторам возможность создавать аудиокниги с цифровым озвучиванием. Технология позволяет генерировать голосовые дорожки на 29 языках, сохраняя контроль над интонацией и стилем повествования — это, по словам представителей сервиса, «снизит барьеры» для авторов, стремящихся охватить глобальную аудиторию. Все материалы с ИИ-озвучкой будут помечены в метаданных, а в описании появится уведомление: «Аудиокнига озвучена цифровым голосом».
hollywoodreporter.com
GeForce RTX 5070 Ti основана на архитектуре NVIDIA Blackwell и поддерживает DLSS 4 с функцией Multi Frame Generation. Это позволяет играть в AAA-игры на максимальных настройках с трассировкой лучей. На разрешении 2560x1440 карта выдает до 191 кадров в секунду, а в 4K — до 149 FPS. Кроме игр, 5070 Ti значительно ускоряет работу с приложениями для создания контента, увеличивая производительность в задачах, связанных с ИИ до 60%.
GeForce RTX 5070 Ti уже доступна в продаже. Модели с 16 GB VRAM, заводским разгоном и стандартной частотой предлагаются ASUS, MSI, GIGABYTE и другими. Цены, согласно GeForce RTX 5070 Ti Product Finder, начинаются от 750 $.
nvidia.com
Signs - бесплатный сервис, предназначенный для помощи в изучении американского жестового языка (ASL). Он основан на технологиях ИИ и компьютерного зрения и позволяет осваивать жесты, получая обратную связь в реальном времени. ASL, третий по распространенности язык в США, до сих пор остаётся недостаточно представленным в образовательных инструментах.
Signs предлагает пользователям доступ к библиотеке жестов, проверенных носителями ASL. С помощью машинного обучения система анализирует движения пользователя и даёт рекомендации по улучшению. Кроме того, опытные пользователи могут загружать свои видео, которые после проверки добавляются в базу данных. Компания ставит перед собой амбициозную цель — собрать 400 000 видеоклипов, представляющих 1 000 жестов.
axios.com
FigureAI представила Helix — первую в мире модель, объединяющую зрение, понимание языка и управление действиями для человекоподобных роботов. Система способна контролировать всё верхнее тело андроида, включая кисти, пальцы, торс и голову, выполняя задачи в реальном времени.
Helix построена на уникальной архитектуре, сочетающей медленное семантическое планирование (7–9 Гц) и мгновенную реакцию (200 Гц). Первая анализирует окружение через камеры и текстовые команды, вторая — преобразует данные в точные движения. Например, робот может взять игрушечный кактус по запросу «подними предмет из пустыни», корректируя хватку в процессе.
Система демонстрирует «универсальный захват»: тысячи предметов, от хрупких стаканов до смятой одежды, поднимаются без предварительного обучения. При этом модель работает на маломощных GPU, что делает её коммерческое внедрение весьма привлекательным.
figure.ai
BioEmu-1 - open-source модель от Microsoft Research, которая способна генерировать тысячи конформаций белка за час на одном GPU, превосходя классические подходы в 10 000 раз и точно воспроизводит распределения MD-симуляций и прогнозирует стабильность белков, критичную для разработки лекарств.
Обученная на данных AlphaFold, молекулярных симуляциях и экспериментах по стабильности, BioEmu-1 не просто предсказывает «кадры» структур, а воссоздает целые ансамбли. Например, для белка LapD бактерии холеры модель показала как связанные, так и свободные состояния, включая промежуточные формы, никогда не наблюдавшееся в лаборатории.
microsoft.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍44🔥14❤12🤬1
⚡️Новый Инструмент для Разработчиков
RuStore — официальный российский магазин мобильных приложений для Android, Harmony OS и ОС «Аврора», приглашает разработчиков воспользоваться новыми инструментами для продвижения.
Магазин RuStore анонсировал интеграцию с Asodesk — ведущей платформой по оптимизации мобильных приложений (ASO) в России. Разработчики смогут отслеживать позиции своих приложений в поисковой выдаче.
⚡️Повышение Эффективности Продвижения
С помощью Asodesk разработчики смогут анализировать источники трафика, а также применять автоматизированные инструменты для ASO-оптимизации, что повысит шансы на увеличение установок и привлечение пользователей.
⚡️Упрощение Управления Отзывами
Разработчики смогут отслеживать комментарии и автоматизировать ответы, что повысит качество приложений.
💬Как отметил директор по продукту RuStore Олег Афанасьев: «В нашей Консоли доступно более 16 сервисов для разработки и продвижения приложений. Интеграция с Asodesk упростит применение технологий ASO в RuStore».
RuStore — официальный российский магазин мобильных приложений для Android, Harmony OS и ОС «Аврора», приглашает разработчиков воспользоваться новыми инструментами для продвижения.
Магазин RuStore анонсировал интеграцию с Asodesk — ведущей платформой по оптимизации мобильных приложений (ASO) в России. Разработчики смогут отслеживать позиции своих приложений в поисковой выдаче.
⚡️Повышение Эффективности Продвижения
С помощью Asodesk разработчики смогут анализировать источники трафика, а также применять автоматизированные инструменты для ASO-оптимизации, что повысит шансы на увеличение установок и привлечение пользователей.
⚡️Упрощение Управления Отзывами
Разработчики смогут отслеживать комментарии и автоматизировать ответы, что повысит качество приложений.
💬Как отметил директор по продукту RuStore Олег Афанасьев: «В нашей Консоли доступно более 16 сервисов для разработки и продвижения приложений. Интеграция с Asodesk упростит применение технологий ASO в RuStore».
🤣58👍28❤7🍾6🙊5🥰2🔥1🥱1🫡1🗿1
ReasonFlux - методика, которая используется как для обучения, так и для инференса, чтобы повысить способность LLM к сложному логическому мышлению. Применение метода позволяет превосходить OpenAI o1-preview и DeepSeek V3 в задачах математического рассуждения.
При использовании в обучении ReasonFlux использует иерархическую структуру с подкреплением на последовательности высокоуровневых шаблонов мышления. Это позволяет базовой LLM научиться планировать оптимальную траекторию шаблонов для решения сложных задач. В процессе обучения ReasonFlux анализирует и обобщает информацию о решении задач, выявляя общие закономерности, и на основе этого создает шаблоны мышления.
Во время инференса ReasonFlux автоматически извлекает релевантные шаблоны мышления и масштабирует их для достижения превосходной производительности в сложных задачах рассуждения. Он динамически выбирает наиболее подходящий шаблон высокого уровня для каждой подзадачи, упрощая поиск путей рассуждений. ReasonFlux использует новую систему масштабирования во время вывода, которая адаптирует шаблоны мышления.
В экспериментальных тестах ReasonFlux-32B достиг 91,2% точности на MATH benchmark, опередив o1-preview на 6,7%. На AIME benchmark модель решила в среднем 56,7% задач, превзойдя o1-preview и DeepSeek-V3 на 27% и 45% соответственно.
Практическая реализация метода доступна в репозитории проекта, в нем cодержится необходимый код и описание для файнтюна LLM на примере SFT-датасета решений GaoKao Bench.
⚠️ Для трейна моделей на SFT-сете проект использует фреймворк LLaMA-Factory.
# Clone the repository
git clone https://github.com/ReasonFlux
cd ReasonFlux
# Create a Conda venv
conda create -n ReasonFlux python==3.9
conda activate ReasonFlux
# Install dependencies
pip install -r requirements.txt
# When you complete your first-stage training, you can try to use simple inference
from reasonflux import ReasonFlux
reasonflux = ReasonFlux(navigator_path='path-to-navigator',
template_matcher_path='jinaai/jina-embeddings-v3',
inference_path='path-to-infernece-model',
template_path='template_library.json')
problem = """Given a sequence {aₙ} satisfying a₁=3, and aₙ₊₁=2aₙ+5 (n≥1), find the general term formula aₙ"""
@ai_machinelearning_big_data
#AI #ML #LLM #ReasonFlux
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤31👍11🔥9🥰2
🌟Глава Т-Банка рассказал о компетенциях, которыми должны обладать ИТ–специалисты
В рамках совместного проекта “Ъ” и Центрального университета “Директора и люди” состоялось интервью главы Т-Банка Станислава Близнюка.
Он рассказал, что для построения успешной карьеры у ИТ-специалиста должны быть хардовые навыки, бизнес-ориентированность и софтскильность.
“Плох тот разработчик, который не понимает из чего выстраивается продукт, ИТ-структура или ИТ-ландшафт, а также тот, кто не понимает потребности клиентов и маркетинг продукта. Поэтому человеку с техническими хардами нужно раскрывать шоры на маркетинг и финансы”.
Обучать совокупности этих качеств нужно еще в вузе, а на вопрос, какие именно харды нужны, должен ответить работодатель и быть в плотной связке с университетами.
🟡Страница проекта
@ai_machinelearning_big_data
#news
В рамках совместного проекта “Ъ” и Центрального университета “Директора и люди” состоялось интервью главы Т-Банка Станислава Близнюка.
Он рассказал, что для построения успешной карьеры у ИТ-специалиста должны быть хардовые навыки, бизнес-ориентированность и софтскильность.
“Плох тот разработчик, который не понимает из чего выстраивается продукт, ИТ-структура или ИТ-ландшафт, а также тот, кто не понимает потребности клиентов и маркетинг продукта. Поэтому человеку с техническими хардами нужно раскрывать шоры на маркетинг и финансы”.
Обучать совокупности этих качеств нужно еще в вузе, а на вопрос, какие именно харды нужны, должен ответить работодатель и быть в плотной связке с университетами.
🟡Страница проекта
@ai_machinelearning_big_data
#news
🥱62👍14❤8🤬7🙈6🔥3🌭3🗿3😁2
NVIDIA в соавторстве с Arc Institute опубликовали Evo-2, самую большую ИИ-модель для биологии, обученную на 9,3 трлн. пар ДНК из геномного атласа всех форм жизни.
Можно считать, что это LLM, ориентированная на ДНК. Вместо текста Evo 2 генерирует геномные последовательности, читает и интерпретирует сложную ДНК, включая некодирующие регионы, которые обычно считаются неинформативными, генерирует целые хромосомы, новые геномы и предсказывает мутации, вызывающие заболевания, даже те, которые еще не изучены.
Тем самым, можно утверждать, что ИИ переходит от описания биологии к ее проектированию. Это позволяет создавать синтетическую жизнь с нуля, программируемые белковые последовательности, потенциальные новые генные терапии и закладывает основу для моделирования целых клеток. Evo 2 делает биологию вычислительной дисциплиной.
Evo-2 использует StripedHyena 2 - многогибридную модель, сочетающую различные типы операторов для баланса между качеством модели, эффективностью обучения и инференса. StripedHyena 2 опирается на комбинацию из 3 вариантов сверточных операторов, зависящих от входных данных, и механизма внимания. Она моделирует ДНК в нескольких масштабах, улавливая даже слабые взаимодействия, и автономно обучается таким характеристикам, как границы экзонов и интронов, сайты связывания транскрипционных факторов, без участия человека.
Модель была обучена в два этапа (претрейн с контекстом 8192 и последующее обучение с увеличенным до 1 млн.) на датасете из 9,3 триллиона пар оснований бактерий, архей, эукариот и бактериофагов. Evo 2 обрабатывает до 1 млн. пар оснований в одном контекстном окне, умеет "держать в уме" целые хромосомы и может выявлять эволюционные закономерности, ранее не замеченные человеком.
Evo-2 была протестирована на практических возможности генерации, создав синтетические дрожжевые хромосомы, митохондриальные геномы и минимальные бактериальные секвенции и продемонстрировала высокую производительность в задачах, связанных с вариациями генов, включая некодирующие и сплайсинговые варианты
Проект полностью открыт: веса моделей, код и набор данных OpenGenome 2. Представлены два вида моделей:
@ai_machinelearning_big_data
#AI #ML #Evo2 #NVIDIA
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥70❤36👍9😐5🦄3🥰1🤔1