#ссылка
Сайт с информацией о современных моделях ИИ. Особенно там удачные вот такие визуализации (которые многие любят вставлять в презентации) и таблицы с параметрами моделей и ссылками на них. Последние полгода сайт стал меньше обновляться.
https://lifearchitect.ai/

#задача
В августе я собеседовал довольно много абитуриентов. Вот одна из задач, которую я часто спрашивал (на собесах когда-то я её тоже использовал).

Мы играем в азартную игру, состоящую из конов, в каждом коне есть победитель и ему засчитывается очко (изначально счёт 0-0). Перед игрой мы сбросились по 100 рублей и договорились, что тот, кто первый наберёт 10 очков, забирает весь банк (200 рублей). Сейчас счёт 8-6 в Вашу пользу и мы не можем продолжить игру (например, мы играли на игровом автомате и он сломался). Как бы Вы предложили наиболее честно разделить банк?

Понятно, что в постановке присутствует нечёткость в виде "наиболее честно", но формализация этого как раз и интересна, также как и ход рассуждений (счёт при желании можно изменить для простоты вычислений).

#интересно
Есть такой Adon Joseph - бывший аэрокосмический инженер, создававший системы навигации космических кораблей в 90-е и руководивший большими проектами в оборонке. На пенсии он как-то обнаружил, что «преддверие» - часть внутреннего уха - устроено также как военные системы навигации. После этого он 6 лет изучал нейробиологию и построил свои карты головного мозга. В результате пришёл к выводу, что мозг это реально сложная инженерная система, кем-то специально спроектированная, ударился в религию и создал свой любопытный сайт.

#интересно
Многие неправильно думают, почему гребневая регрессия (Ridge Regression) так называется. В основном считают, что из-за того, что в явной формуле для весов возникает диагональная матрица - как будто "матрица с гребнем" (так даже ChatGPT объясняет). Но до появления гребневой регрессии возник гребневый анализ (Ridge Analysis) и в нём отсылка была к форме поверхности функций, с которыми работали. Не так давно вышла статья, в которой один из потомков изобретателей "всего гребневого" рассказывает о первых работах.

Hoerl R. W. Ridge regression: a historical context //Technometrics. – 2020. – Т. 62. – №. 4. – С. 420-425.

#книга
Ilias Diakonikolas, Daniel M. Kane
Algorithmic High-Dimensional Robust Statistics

Монография по современной многомерной робастной статистике. Стиль «очень математический», без лишних примеров «на пальцах», только утверждения и доказательства. Есть даже глава про «робастное машинное обучение» (но там дальше линейной регрессии не идут). Из книги, в частности, можно узнать, что SIFT это не только scale-invariant feature transform, но и Subspace Isotropic Filtering. Из плюсов: есть нетривиальные задачи в конце каждой главы.

#статьи
Есть такая замечательная коллекция лучших статей на разных DS-конференциях с 1996 года! К сожалению, с прошлого года не обновляется. Но всё рано, очень хорошая подборка.

https://jeffhuang.com/best_paper_awards/

Есть люди, которые целенаправленно читают всех нобелевских лауреатов по литературе или смотрят все фильмы из топа Кинопоиска / IMDb. Можно по аналогии читать по подобным спискам;)

#полезно
Один интересный кейс, который мне очень нравится: как догадаться до нужной деформации целевых значений.

#книга
Посмотрел книгу Введение в автоматизированное машинное обучение (AutoML). Главный недостаток - это не совсем книга, это скорее сборник статей, часть построена по принципу обзора по теме со ссылками на первоисточники. Зато попадаются интересные ссылки. Есть главы по Auto-WEKA, Hyperpopt, Auto-sklearn, TPOT (для первичного знакомства, наверное, подойдёт). Последняя глава - обзор результатов давнишних соревнований Изабель Гийон по AutoML.

К слову, создатели LightAutoML сделали курс из коротких видео по своему продукту: https://developers.sber.ru/help/lightautoml

#визуализация
Странно, что я ещё не упоминал здесь такой интересный ресурс. Можно использовать для освежения в памяти тем по ML. Полно интересных рисунков по каждой теме. Есть три блока: ML, ML-Engineering, проективная геометрия, по DL совсем чуть-чуть и ресурс не обновляется с начала года.
https://illustrated-machine-learning.github.io/

#интересно
Для тех, кто любит глянцевые журналы. Вот тут до сих пор регулярно выпускают журнал по Computer Vision. Электронные версии выложены в открытом доступе, там даже странички перелистываются со звуком шуршания журнальных;) В одном из последних номеров интервью с Яном Лекуном.
https://www.rsipvision.com/computer-vision-news/

#книга
Simon J.D. Prince "Understanding Deep Learning"
Незаслуженно малоизвестная книга. Но это самое лучшее, что в последние годы писалось по глубокому обучению. Материал очень современный (GPT3, диффузионные модели, графовые сети есть). Повествование с основ и до этических проблем, очень широкий охват. Текст и рисунки авторские. Достаточно подробная библиография. Ну разве что примеров кода нет (книга теоретическая). Настоятельно рекомендую!
https://udlbook.github.io/udlbook/

#ссылки
Один из каталогов "лучших статей в ML" https://github.com/dmarx/anthology-of-modern-ml

Из обновлений последних лет:
2022
- Chinchilla - Training Compute-Optimal Large Language Models
- Stable Diffusion - High-Resolution Image Synthesis with Latent Diffusion Models
- Instruct tuning - Training language models to follow instructions with human feedback
- Efficient diffusion sampling - Elucidating the Design Space of Diffusion-Based Generative Models
- Diffusion as a de-corruption process - Cold Diffusion: Inverting Arbitrary Image Transforms Without Noise

2023
- ToolFormer - Toolformer: Language Models Can Teach Themselves to Use Tools
- Gaussian Splatting - 3D Gaussian Splatting for Real-Time Radiance Field Rendering

#блог
Ресурс по оптимизации, я когда-то писал о курсах автора, но у него есть ещё и блог.
https://fa.bianp.net/

#забавно
У Гугла есть репозиторий проектов-экспериментов, очень интересных и залипательных.
https://experiments.withgoogle.com/
В качестве примера - проект уже почти годичной давности "океан книг": моря здесь - области знаний, острова - авторы, города на островах - книги. На рисунке остров Саттона, с одним городом, зато каким;)
https://artsexperiments.withgoogle.com/ocean-of-books

#визуализация
Лучше решить одну задачу ста способами, чем сто задач одним. Тут то же самое, но с картинками... как 6 чисел визуализировать 100 разными способами.
https://100.datavizproject.com/

#математика
Просто любопытный факт, который, как оказалось, мало кто знает. Можно ввести понятие beta-энтропии, частными случаями которой будут информационная энтропия и индекс Джини (ну, с точностью до константы).

beta-энтропию сложно гуглить:), но есть похожая энтропия Цалиса, которую в машинном обучении уже используют, но к нейросетям, вроде, пока не прикрутили;)

#знакомства
В канале вдруг круглое число подписчиков 🍾,
поэтому предлагаю сделать тред самопредставления... мы что-то подобное уже как-то делали. Если Вы подписчик, в комментарии можно рассказать:

- о себе / своих проектах (можно приглашать к знакомству или в проект),
- о своём канале (только опишите, чем он хорош),
- о своей книге, сайте, курсе, видосиках и т.п. (тоже давайте краткую аннотацию!)

Надеюсь, всем будет полезно! Но это только подписчикам и для рекламы своего и себя;) Чужих не надо:)

Всех с Новым годом!
Здоровья, смелых планов и удачи в их реализации!

#визуализация
Блог про физику и геометрию с потрясающими визуализациями
(чтобы увидеть все статьи, заходите в раздел «архив»)
https://ciechanow.ski/

Публикации выходят нечасто, обычно 3 раза в год, в 2023м была всего одна, зато какая - «объяснение движений велосипедиста»
https://ciechanow.ski/bicycle/

#интересно
Исследовательский проект по машинному обучению.
https://knowingmachines.org/
В основном, много информации по правилам "работы с данными". В частности, авторами подготовлен "критический гайд по работе с датасетами"
https://knowingmachines.org/critical-field-guide
Очень специфически оформленный, правда. Но там могут попадаться полезные ссылки.