#юмор
Извращения в латентных пространствах;)

#книга
Полистал книжку «Занимательная манга. Машинное обучение». Интересно мнение человека с нулевыми знаниями по ML, можно ли по подобным книгам что-то понять и выучить? А так, выглядит симпатично...

#видео
Теперь и «Раблз» занялись ютуб-блогерством;)
Про то, как всё устроено в X5 (я ещё не досмотрел, поэтому без комментариев):
https://youtu.be/C-pZyCAxq5E

#код
Наверное, я стал совсем старым и отсталым... так принято сейчас код оформлять на питоне? Это какой-то стандарт? С такими отступами и запятой в начале при перечислении? Гитхаб набит подобным оформлением...

#новость
Про некоторые преобразования в МГУ
https://www.facebook.com/anton.konushin/posts/3836617843089329

#курс
Качественный курс “Введение в анализ данных и машинное обучение” от читателя моего блога (кстати, если есть кому что показать - присылайте). Готовился для школьников, но, мне кажется, подходит любым начинающим в ML. Очень симпатично оформлен.
https://yangx.topseries-ru.github.io/course/README.html

#интересно
Статистика по прошлому году. Больше всего авторов (45) у статьи: Task-Oriented Dialogue as Dataflow Synthesis.
Самое длинное название статьи: Code-Switching Patterns Can Be an Effective Route to Improve Performance of Downstream NLP Applications: A Case Study of Humour, Sarcasm and Hate Speech Detection.
Самое короткое название: Ode to an ODE.
(взято отсюда: https://www.marekrei.com/blog/ml-and-nlp-publications-in-2020/)

#курс
Наконец "дошли руки" посмотреть курс NLP, ссылку на которую в чате канала кидал Юра Кашницкий. Очень классно всё сделано. И дело не только в оформлении, хорошо сделаны объяснения и ссылки на релевантные работы. Всем, кто изучает ML, обязательно к проработке...
https://lena-voita.github.io/nlp_course.html

#мгу
Для выпускников ВМК МГУ, которые хотят понастальгировать - виртуальный 3D-тур (надо поворачивать телефон/планшет):
https://youtu.be/A9zCKgWPY_E

#интересно
"Быть живым, значит сокращать разрыв между ожиданиями и чувственными данными. Словом, минимизировать свободную энергию. "
В этой статье особенно хороши комментарии...
https://vc.ru/future/52798-megatheory

#мысли
Одно из недооценённых направлений в ML (на мой взгляд) - это резервуарные вычисления. Подобные архитектуры упоминаются, например, в книге Гудфелло, но совсем мельком, занимались ими лишь несколько исследователей. С точки зрения современных архитектур, это RNN в которых специальным образом выбраны и зафиксированы веса, соответствующие рекуррентным связям, а обучаются все остальные. Это позволяет избежать проблемы взрыва и затухания градиента. Есть много (не обнародованных) хаков, как эффективно такие сети применять на практике, но вот хайпа вокруг них никогда не было. Для тех, кто хочет погрузиться в теорию резервуарных вычислений, есть, например такое видео:
https://www.youtube.com/watch?v=HfltqZa2Fco

#забавно
Вы можете нарисовать айсберг и посмотреть, как он будет плавать в воде:
https://engaging-data.com/iceberger-remixed

#блог
Новый пост в блоге:
https://dyakonov.org/2021/03/04/ml-scikit-learn/

#забавно
Есть такой известный термин ablation, который обычно используется в устойчивом словосочетании ablation study - это обоснование существенной неупрощаемости предложенного решения. Обычно в каждой новой статье придумывается много хаков для достижения SOTA-ы: предобучение на новом датасете, аугментации, другие функции активации, новые нормировки и т.п. Чтобы обосновать, что всё что придумали и описали в работе реально важно пытаются немного упростить описанное решение, отказавшись от каких-то нововведений. В идеале оказывается, что любой отказ только ухудшает качество.

Так вот, я никогда не задумывался, как этот термин сказать по-русски... Сегодня просматривая хабр наткнулся на перевод, показавшийся мне неприличным... но такое слово есть в русском языке (это я просто не знал).

#мозг
Доклады на BCI Samara 2020
https://youtube.com/playlist?list=PL31Vmt611WQZ2488pUEqPDijocJhRbl4y

#визуализация
Качественный ролик про муравьиные алгоритмы (для тех, кто не знает, что это). Когда-то они были очень популярные, последние годы как-то я о них не слышал.
https://youtu.be/8KTzAiusfPs

Не думал, что 20 комментариев сходу может набрать опрос по фрейворкам, причём с нейтральной формулировкой, а не так "Давайте выберем самый крутой..."
Для желающих что-то изменить в опросе, обратите внимание что Kaggle-опрос и любой из top-10 гугловской выдачи обладает такими же "недостатками" (разве что я JAX не указал), поэтому атакуйте сначала Kaggle-сообщество (там более 20 000 опрошенных, опрос имеет больший вес в IT-сообществе и не отражает личного любопытства автора ;)
https://www.kaggle.com/kaggle-survey-2020

П.С. Кстати, заметьте прогнозируемое, но тем не менее любопытное несоответствие популярности TF vs Pytorch на кэгле и здесь...

#жзл
Интервью у руководительницы группы исследователей в FAIR
https://meduza.io/feature/2021/03/07/v-facebook-rabotayut-ne-tolko-inzhenery-no-i-nastoyaschie-uchenye-odna-iz-nih-natalya-neverova-uchit-kompyutery-videt-i-ponimat-mir

#конференции
Научная школа по финансовой математике в Сочи
https://sochisirius.ru/obuchenie/graduates/smena874/4195