#статьи
Что было за неделю... но тут только половина самого интересного и популярного

Unsolved Problems in ML Safety
Dan Hendrycks, Nicholas Carlini, John Schulman, Jacob Steinhardt
http://arxiv.org/abs/2109.13916v1
Просто небольшой обзорчик направлений по безопасности в машинном обучении (со ссылками).

Localizing Objects with Self-Supervised Transformers and no Labels
Oriane Siméoni, Gilles Puy, Huy V. Vo, Simon Roburin, Spyros Gidaris, Andrei Bursuc, Patrick Pérez, Renaud Marlet, Jean Ponce
http://arxiv.org/abs/2109.14279v1
Модное в последнее время самообучение в этой работе позволяет локализовывать объекты не используя размеченные данные (есть код).

Reconstruction for Powerful Graph Representations
Leonardo Cotta, Christopher Morris, Bruno Ribeiro
http://arxiv.org/abs/2110.00577v1
Попытка построить хорошее представление графа, для этого используется реконструкция (сеть должна получать представление всего графа по его частям). Довольно интересно!

Be Confident! Towards Trustworthy Graph Neural Networks via Confidence Calibration
Xiao Wang, Hongrui Liu, Chuan Shi, Cheng Yang
http://arxiv.org/abs/2109.14285v1
Про калибровку графовых сетей, интересно, что они, как правило, "недоуверенны" (т.е. выдаваемая вероятность ниже, чем доля объектов с такой вероятностью).

Stochastic Contrastive Learning
Jason Ramapuram, Dan BusBridge, Xavier Suau, Russ Webb
http://arxiv.org/abs/2110.00552v1
В Contrastive Learning вносят латентные переменные.

ResNet strikes back: An improved training procedure in timm
Ross Wightman, Hugo Touvron, Hervé Jégou
https://arxiv.org/abs/2110.00476v1
Взяли ванильный резнет и попробавали натренировать со всеми хаками последних лет. Довольно полезная статья!

A Survey of Knowledge Enhanced Pre-trained Models
Jian Yang, Gang Xiao, Yulong Shen, Wei Jiang, Xinyu Hu, Ying Zhang, Jinghui Peng
http://arxiv.org/abs/2110.00269v1
Статья про KEPTM - это предтренированные модели в которые внесены ещё и некоторые дополнительные знания (что такое "знание" в работе специально поясняется). Приводится обзор подобных решений.

DualNet: Continual Learning, Fast and Slow
Quang Pham, Chenghao Liu, Steven Hoi
http://arxiv.org/abs/2110.00175v1
Ещё одна попытка сделать непрерывное обучение "как у человека" (взяли идею быстрого и медленного обучения).

Multilingual AMR Parsing with Noisy Knowledge Distillation
Deng Cai, Xin Li, Jackie Chun-Sing Ho, Lidong Bing, Wai Lam
http://arxiv.org/abs/2109.15196v1
Предложен мультиязычный AMR-парсер (по тексту получается дерево).

Fake It Till You Make It: Face analysis in the wild using synthetic data alone
Erroll Wood, Tadas Baltrušaitis, Charlie Hewitt, Sebastian Dziadzio, Matthew Johnson, Virginia Estellers, Thomas J. Cashman, Jamie Shotton
http://arxiv.org/abs/2109.15102v1
Две задачи CV решаются при помощи синтетических данных.

Fine-tuning wav2vec2 for speaker recognition
Nik Vaessen, David A. van Leeuwen
http://arxiv.org/abs/2109.15053v1
Вроде сейчас это модно: на основе wav2vec2 пытаются делать стандартные задачи со звуком и речью.

#юмор
С днём учителя! Чтобы не как в этой статье...

#новости
Закончилась раздача денег на ИИ:
https://tass.ru/ekonomika/12575781

#блог
Если Вы не знали, у ArXiv есть собственный блог:
https://blog.arxiv.org

#деньги
ВТБ раздаёт гранты для студентов:
https://vtb-grants.fut.ru/

#жзл
Есть такой интересный проект «Люди Мехмата»:
https://m.vk.com/mm_people

#экономика
За что дали Нобелевскую премию по экономике в этом году:
https://econs.online/articles/ekonomika/nobelevskaya-premiya-po-ekonomike-2021/

#курс
Курс по машинному обучению на украинском языке: https://github.com/fbeilstein/machine_learning
(видео - на украинском, в ноутбуках - английский). Некоторые темы очень неплохо преподнесены.

#ссылка
Подборка ссылок по теме "Metric Learning"

Хороший большой обзор "Deep Metric Learning":
https://hav4ik.github.io/articles/deep-metric-learning-survey

Математические аспекты классического Metric Learning:
https://arxiv.org/pdf/1812.05944.pdf

библиотека для классического Metric Learning:
http://contrib.scikit-learn.org/metric-learn/introduction.html

Большой обзор "Contrastive Representation Learning"
https://lilianweng.github.io/lil-log/2021/05/31/contrastive-representation-learning.html

Обзор "Deep Metric Learning"
https://www.mdpi.com/2073-8994/11/9/1066/htm

Сравнение Loss-функций «A Metric Learning Reality Check»
https://arxiv.org/pdf/2003.08505.pdf

Одни из наиболее свежих Loss-функций:
Circle Loss: https://arxiv.org/pdf/2002.10857.pdf
Curriculum Face: https://arxiv.org/pdf/2004.00288.pdf

#книги
Новая книга по байесовской оптимизации:
https://bayesoptbook.com

#курс
Курс «Математика и деньги на бирже», среди создателей бывшие ВМКашники и среди слушателей тоже много ВМКашников. Когда я учился, тоже посещал подобный курс - было интересно, но он тогда был не с прицелом «мы научим зарабатывать на бирже», а «мы научим ловить инсайдеров на бирже».
https://pfladvisors.com/mathmoney/

#новости
Компания DeepMind стала доходной:
https://venturebeat.com/2021/10/10/ai-lab-deepmind-becomes-profitable-and-bolsters-relationship-with-google/

#новости
В Саров активно вливают деньги, кстати, там недавно ожил филиал МГУ…
https://tass.ru/obschestvo/12687609

#курс
Интенсив по анализу данных NGS: введение в медицинскую и статистическую генетику
https://bioinf.me/education/workshops/ngs

#конференция
В МГУ скоро пройдёт такое мероприятие (с этого года всё, что хоть как-то связано с ИИ, помечают "AI"):
https://event.msu.ru/aiconference

#статьи
Вроде бы это последний (и очень неплохой) обзор по детектированию объектов:
« A Survey of Modern Deep Learning based Object Detection Models» https://arxiv.org/pdf/2104.11892v2.pdf

#длясправки
Как оказалось, не все знают. Есть такой ресурс, который позволяет читать статьи из ArXiv-a в виде HTML. Правда, он немного криво переводит (обычно страдают формулы).
https://www.arxiv-vanity.com

#книги
Когда-то я очень любил подобные справочники, вдруг, кому-нибудь пригодится: куча математических формул -

ALL IN ONE MATHEMATICS CHEAT SHEET

#полезно
Фильтр Калмана в картинках:
https://www.bzarg.com/p/how-a-kalman-filter-works-in-pictures/

#интересно
Довольно интересная игра для разработки ботов - «слепые шахматы», правда не очень популярная:
https://rbc.jhuapl.edu