⚡️ Релиз Python 3.13 и Git 2.47 ⚡️

Python 3.13, спустя ровно год с начала разработки, выпущен в релиз. Поддержка версии 3.13 планируется в течение 1.5 лет, и, после окончания этого срока еще 3.5 года версия будет получать критические обновления, связанные с безопасностью.

Ключевые изменения:

🟢экспериментальный компилятор JIT. Запуск в CPython –enable-experimental-jit;

🟢экспериментальный режим сборки CPython без GIL. Запуск –without-gil;

🟢интерактивный интерпретатор с многострочным редактированием, по подобию PyPy;

🟢изменена семантика locals() для функций, генераторов и сопрограмм;

🟢включена в состав модифицированная версия mimalloc от Microsoft;

🟢компилятор теперь очищает лидирующие пробелы из docstring;

🟢в модуле dbm реализован бэкенд dbm.sqlite3 по умолчанию для новых файлов;

🟢typing.TypeIs стала более интуитивной, чем typing.TypeGuard;

🟢typing.ReadOnly позволяет помечать элементы TypeDicts, доступные только для чтения;

🟢warnings.deprecated() добавлена для указания устаревших элементов в системе типов;

🟢удалены ifc, audioop, chunk, cgi, cgitb, crypt, imghdr, mailcap, msilib, nis, nntplib, ossaudiodev, pipes, sndhdr, spwd, sunau, telnetlib, uu, xdrlib и lib2to3 из стандартной библиотеки;

🟢в copy добавлена copy.replace();

🟢в os добавлены функции для работы с таймером через timerfd;

🟢random получил интерфейс CLI;

🟢macOS версий 10.9 - 10.12 больше не поддерживаются.

▶️Страница релиза 3.13 ▶️Документация 3.13


Git выпустил Git 2.47 с функциями и исправлениями ошибок от более чем 83 разработчиков, 28 из которых - новые.

В этой версии основное внимание уделяется повышению производительности и улучшению пользовательского опыта.

Основные изменения:

🟠инкрементные многопакетные индексы: экспериментальная функция, позволяющая сохранять несколько многопакетных индексов в цепочке слоев MIDX;

🟠ускорена идентификация базовой ветви : новый инструмент for-each-ref помогает определять базовую ветвь коммита, сводя к минимуму уникальные коммиты от первого родителя и упрощая идентификацию;

🟠обновлена политика поддержки: в Git 2.47 представлен новый документ, описывающий требования к поддержке для различных платформ, включая стандарты C99 или C11 и стабильные версии зависимостей;

🟠DEVELOPER=1 mode: теперь при компиляции с DEVELOPER=1 наличие неиспользуемых параметров является ошибкой времени компиляции;

🟠остальные улучшения : усовершенствования серверной части reftable, обновление платформы модульного тестирования, усовершенствование git fsck и интеграция кода Visual Studio с git mergetool.

▶️Полный список изменений


@ai_machinelearning_big_data

#AI #ML #Python #Git #Release

🌟 Arch-Function: коллекция моделей для вызова функций.

Модели Arch-Function понимают сложные сигнатуры функций, идентифицируют необходимые параметры и генерируют точные вызовы функций на основе промптов.

Семейство основано на Qwen 2.5, его модели оптимизированы для низкой задержки инференса и высокой пропускной способности. Они отлично подходят для работы в режиме реального времени в производственной среде.

▶️Функциональные возможности моделей:

🟢Single Function Calling. Вызов одной функции для каждого запроса;

🟢Parallel Function Calling. Вызов одной и той же функции несколько раз, но с разным набором параметров;

🟢Multiple Function Calling. Вызов различных функций для каждого запроса;

🟢Parallel & Multiple. Выполнение параллельного и множественного вызова функций.

▶️Семейство Arch-Function:

🟢Arch-Function-7B;
🟢Arch-Function-3B;
🟢Arch-Function-1.5B.

В репозитории на HF доступны квантованные версии всех моделей в формате GGUF:

🟠Arch-Function-7B в 4-bit разрядности;
🟠Arch-Function-3B в разрядностях от 2-bit до 6-bit;
🟠Arch-Function-1.5B в разрядностях от 2-bit до 6-bit.

Модели семейства прошли оценку на Berkeley Function-Calling Leaderboard (BFCL).
Результаты показывают, что Arch-Function-7B и Arch-Function-3B демонстрируют производительность, сопоставимую с GPT-4-turbo-2024-04-09 и xLAM-8x22b-r.

Arch-Function можно запустить с помощью библиотеки Transformers или в промпт-шлюзе Arch.

⚠️ Для достижения наилучших результатов рекомендуется использовать конфигурацию промптов, указанных в примерах одиночного или многошагового вызова функций.


📌Лицензирование : Katanemo license.


🟡Коллекция моделей
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #Katanemo #Arch-Function

🌟 Boltz-1: открытая модель для предсказания структуры биомолекулярных комплексов.

Boltz-1 - первая доступная модель с открытым исходным кодом, которая достигает точности AlphaFold3 в прогнозировании 3D-структур белков, РНК, ДНК и небольших молекул. Boltz-1 основана на архитектуре AlphaFold3, но включает ряд модификаций, повышающих точность и общую эффективность модели.

Архитектура состоит из модуля множественного выравнивания последовательностей (MSA), модуля PairFormer и диффузионной модели, работающую на двух уровнях разрешения: тяжелые атомы и токены. Токены представляют собой аминокислоты для белков, основания для РНК и ДНК, а также отдельные тяжелые атомы для других молекул.

Boltz-1 использует диффузионную модель, аналогичную AlphaFold3, но Boltz-1 использует жесткое выравнивание с помощью алгоритма Кабша после каждого шага процедуры вывода, чтобы гарантировать, что интерполированная структура более похожа на очищенную от шума выборку. Это уменьшает дисперсию потерь денойзинга и предотвращает переобучение модели.

Обучение модели проводилось на структурных данных из PDB, выпущенных до 30 сентября 2021 года, с разрешением не менее 9Å. Чтобы ускорить обучение, разработчики Boltz-1 применили алгоритм сопряжения MSA с использованием таксономической информации, унифицированный алгоритм кадрирования и алгоритм определения кармана связывания. Обучение модели заняло 68 тысяч шагов с размером пакета 128, что меньше, чем у AlphaFold3.

Оценка Boltz-1 была выполнена на датасете CASP15 и на наборе PDB, специально созданном разработчиками для тестирования.

Результаты показали, что Boltz-1 сопоставима по точности с Chai-1, закрытой репликацией AlphaFold3. Обе модели демонстрируют схожие показатели среднего LDDT и среднего TM-score.

Boltz-1 продемонстрировала преимущество в предсказании взаимодействия белок-лиганд на наборе данных CASP15.

Прикладная реализация инференса, доступная в репозитории на Github, может принимать на вход форматы:

🟢Fasta file, для большинства кейсов использования;
🟢Комплексная YAML-схема для более сложных случаев;
🟢Каталог с файлами для пакетной обработки.

Подробные инструкции для процесса прогнозирования и дообучения опубликованы в репозитории с кодом.

▶️Локальный инференс:

# Install boltz with PyPI
pip install boltz

# run inference
boltz predict input_path

📌Лицензирование: MIT License.


🟡Модель
🟡Техотчет
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Diffusion #3D #Biomolecular

🌟 MatterSim: DL-модель для предсказания свойств материалов от Microsoft.

MatterSim - усовершенствованная модель глубокого обучения в области материаловедения, предназначенная для моделирования свойств материалов в широком диапазоне элементов, температур и давлений. Она способна точно предсказывать свойства материалов по всей периодической таблице в диапазоне температур от 0 до 5000K и давления до 1000GPa.

MatterSim использует архитектуру M3GNet, которая включает в себя двух- и трехчастичные взаимодействия. Модель обучается с использованием функции потерь, учитывающей энергию на атом, вектор силы на каждом атоме и напряжение.

Особенность MatterSim - способность к активному и непрерывному обучению. Модель способна оценивать неопределенность своих прогнозов и выбирать структуры для активного обучения, что полезно для повышения точности моделирования сложных систем. MatterSim может быть настроена для моделирования на произвольном уровне теории.

Модель демонстрирует высокую точность в предсказании свободной энергии Гиббса и 10-кратное улучшение точности по сравнению с универсальными силовыми полями, обученными на траекториях релаксации на наборах данных MPF-TP и Random-TP.

Модель может быть точно настроена для атомистических симуляций на желаемом уровне теории или для прямых предсказаний "структура-свойство"с сокращением требований к данным до 97%.

▶️В релизе представлены 2 версии модели:

🟢MatterSim-v1.0.0-1M - мини-версия модели, которая работает быстрее;
🟢MatterSim-v1.0.0-5M - увеличенная версия, которая является более точной.

⚠️ Рекомендуется устанавливать MatterSim с помощью mamba или micromamba, поскольку conda может работать значительно медленнее при разрешении зависимостей в environment.yaml.

▶️ Установка и использование на примере ASE калькулятора:

# Install package with the latest version
pip install git+https://github.com/microsoft/mattersim.git

# Create env via mamba
mamba env create -f environment.yaml
mamba activate mattersim
uv pip install -e .
python setup.py build_ext --inplace

# Minimal example using ASE calculator
import torch
from ase.build import bulk
from ase.units import GPa
from mattersim.forcefield import MatterSimCalculator

device = "cuda" if torch.cuda.is_available() else "cpu"
print(f"Running MatterSim on {device}")

si = bulk("Si", "diamond", a=5.43)
si.calc = MatterSimCalculator(device=device)
print(f"Energy (eV)                 = {si.get_potential_energy()}")
print(f"Energy per atom (eV/atom)   = {si.get_potential_energy()/len(si)}")
print(f"Forces of first atom (eV/A) = {si.get_forces()[0]}")
print(f"Stress[0][0] (eV/A^3)       = {si.get_stress(voigt=False)[0][0]}")
print(f"Stress[0][0] (GPa)          = {si.get_stress(voigt=False)[0][0] / GPa}")

📌Лицензирование: MIT License.


🟡Модель
🟡Документация
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #DL #Mattersim #Microsoft

🌟 Fish Speech V1.5: модель преобразования текста в речь и клонирования голоса.

Fish Speech - модель генерации TTS обновилась до версии 1.5. Эта версия обучалась на 1 млн.часов мультиязычных аудиоданных и заняла 2 место в бенчмарке TTS-Arena (как "Anonymous Sparkle").

Заявлена задержка <150 мс с высококачественным мгновенным клонированием голоса.

▶️Языковая структура обучающего корпуса версии 1.5:

🟢Английский (en) >300 тыс. часов
🟢Китайский (zh) >300 тыс. часов
🟢Японский (ja) >100 тыс. часов
🟢Немецкий (de) ~20 тыс. часов
🟢Французский (fr) ~20 тыс. часов
🟢Испанский (es) ~20 тыс. часов
🟢Корейский (ko) ~20 тыс. часов
🟢Арабский (ar) ~20 тыс. часов
🟠Русский (ru) ~20 тыс. часов
🟢Голландский (nl) <10 тыс. часов
🟢Итальянский (it) <10 тыс. часов
🟢Польский (pl) <10 тыс. часов
🟢Португальский (pt) <10 тыс. часов

Fish Speech для локального инференса требует 4Gb GPU и 8 BG GPU для файнтюна. Запуск возможен на MacOS, Linux и Windows в режимах CLI, GUI и WebUI и Docker.

Подробные инструкции по установке, инференсу в различных режимах для каждой платформы, туториал по файнтюну и примеры доступны в документации проекта Fish Speech.

⚠️ Репозиторий на Github еще не обновлен информацией о версии 1.5, а официальное демо от разработчиков поддерживает синтез только на английском, китайском и японском.


📌Лицензирование: CC-BY-NC-SA-4.0 License.


🟡Модель
🟡Demo
🟡Документация
🟡Сообщество в Discord
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #TTS #FIshSpeech

🌟 EuroBERT: энкодеры нового поколения.

Исследовательская группа под патронажем Centrale Supélec (Университет Париж-Сакле) выпустила в открытый доступ EuroBERT — семейство мультиязычных энкодеров, обученных на 5 трлн. токенов из 15 языков, включая русский.

EuroBERT сочетает инновационную архитектуру с поддержкой контекста до 8192 токенов, что делает это семейство идеальным для анализа документов, поиска информации, классификации, регрессии последовательности, оценки качества, оценки резюме и задач, связанных с программированием, решением математических задачи.

В отличие от предшественников (XLM-RoBERTa и mGTE), EuroBERT объединил GQA, RoPE и среднеквадратичную нормализацию, чтобы достичь беспрецедентной эффективности производительности даже в сложных задачах. Второе немаловажное преимущество EuroBERT - в обучение помимо текстовых данных были включены примеры кода и решения математических задач.

Самая младшая модель EuroBERT с 210 млн. параметров показала рекордные результаты: в тесте MIRACL по многоязычному поиску её точность достигла 95%, а в классификации отзывов (AmazonReviews) — 64,5%. Особенно выделяется умение работать с кодом и математикой — в бенчмарках CodeSearchNet и MathShepherd EuroBERT опережает аналоги на 10–15%.

▶️Состав релиза:

🟢EuroBERT-210М
🟢EuroBERT-610М
🟢EuroBERT-2.1В

⚠️ EuroBERT можно использовать непосредственно с transformers, начиная с версии 4.48.0

⚠️ Для достижения максимальной эффективности, разработчики рекомендуют запускать EuroBERT с Flash Attention 2

▶️ Пример инференса:

from transformers import AutoTokenizer, AutoModelForMaskedLM

model_id = "EuroBERT/EuroBERT-210m"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForMaskedLM.from_pretrained(model_id, trust_remote_code=True)

text = "The capital of France is <|mask|>."
inputs = tokenizer(text, return_tensors="pt")
outputs = model(**inputs)

# To get predictions for the mask:
masked_index = inputs["input_ids"][0].tolist().index(tokenizer.mask_token_id)
predicted_token_id = outputs.logits[0, masked_index].argmax(axis=-1)
predicted_token = tokenizer.decode(predicted_token_id)
print("Predicted token:", predicted_token)
# Predicted token:  Paris

📌Лицензирование: Apache 2.0 License.


🟡Статья
🟡Коллекция на HF
🟡Arxiv
🖥GitHub (Скоро)


@ai_machinelearning_big_data

#AI #ML #Encoder #EuroBERT