Интересный обзор архитектур open-source LLM за 2025г The Big LLM Architecture Comparison

Забавно, как каждая из моделей по-своему комбинирует уже известные подходы, придуманные еще в прошлых года, при этом получая разнонаправленное влияние на метрики (Qwen3 почти не отличается по GPT-OSS. Тут детальнее про GPT-OSS). Например:
• Переход от ванильного Multi-Head Attention к Grouped-Query Attention (GQA), который появился ещё в 2023 году
• Attention Bias, который не использовали со времён GPT-2 и Attention Sinks обучаемый параметр для каждого блока внимания, которые применили в gpt-oss, хотя придумали его ещё в 2023 году
• NoPE (No Positional Encoding) — интересная идея, но её пока применили только в одной модели из обзора
• MoE (mixture of experts) - тоже известная больше года история

За деталями рекомендую к статье. Интересно на каких данных и как именно обучали модели. Но этой информацией зачастую делятся очень верхнеуровнево

Неплохой курс от Яндекса как делать презентации

Быстрый и емкий курс, полезен тем, кто в последний раз делал презентацию в университете и не только. В нём есть хорошие и показательные примеры того, какой тип графиков выбрать для тех или иных данных (спойлер: диаграммы Ганта, Санки и даже Венна не понадобятся, это вам не эксель и даже не…). Еще рассматривается выбор контрастности и лёгкость восприятия слайдов в зависимости от межстрочного интервала и тд и тд

P.S. Это как на той конференции, когда мне дезигнеры перерисовывали слайд, вроде и не изменилось, но читаться стало легче