#статьи
А по нейронкам вроде бы самая цитируемая свежая статья в открытом доступе в российском журнале эта - Эффективность алгоритмов машинного обучения и свёрточной нейронной сети для обнаружения патологических изменений на магнитно-резонансных томограммах головного мозга (но тут сложно перебрать все ключевые слова, которые могут быть связаны с глубоким обучением)
https://www.elibrary.ru/download/elibrary_42845903_18431680.pdf

картинка к вопросу ниже

#мысли
Понятно, когда в статье много соавторов и их долго перечислять, то выделяют основного и пишут "Хинтон и соавторы". Понятно, когда в разговоре забывается "кто ещё придумал". Но вот в научной статье так пренебрежительно... великий Хинтон и никому неизвестный чувак, имя которого даже не стоит упоминания.

Помню на одной конференции говорили VC-размерность - это размерность Вапника и его коллеги, т.к. "C" сокращение от colleague. А забытый Червоненкис, кстати, был очень скромным человеком:(

#забавно
На видео несуществующая девушка - она синтезирована с помощью технологий стартапа pantheonlab. Выглядит действительно круто.
https://youtu.be/yGUaqXnaSzk

#интересно
Ещё из чудес генеративных моделей, о которых пока не писали в других телеграм-каналах. Вот музыка, сгенерированная с помощью Permutation Invariant Language: https://youtu.be/ikmgqp3V7k8
Интересно, что результат подвергли критике из-за сходства с этой композицией: https://youtu.be/9kSf8w28Fs4
Возможно, просто использовался prompt из последней. Кроме того, отмечают, что на музыку это никак не похоже (хотя как фоновая в фильме слышится вполне неплохо).
Статью можно найти здесь: https://arxiv.org/abs/2205.05448
А код здесь: https://github.com/symphonynet/SymphonyNet

#задача
Простая задача по ML, которая заставляет людей зависнуть (проверено на нескольких экзаменах).

В задаче бинарной классификации используются следующие функционалы качества, далее идёт список, например, ROC AUC, BA (сбалансированная точность), F-мера (можно продолжать). Вопрос: какие них не зависят от того, какой класс считать позитивным?
Более формально, для каких f всегда f(y,a) = f(1-y, 1-a), где y - вектор целевых значений, a - вектор ответов алгоритма.

Предпосылка задачи понятна: Иван и Джон решают одну и ту же задачу с метками "дефолт"/"не дефолт" одним и тем же методом, у Ивана качество - 0.7, у Джона - 0.6, может ли это объясняться тем, как они представили (закодировали) целевые значения?

#конференции
Бесплатная летняя школа для выпускников, аспирантов и студентов старших курсов биотехнических специальностей.
https://cbai.endocrincentr.ru/school#reg

#статьи
Подборка статей по рекомендательным системам 2021-22 годов (в основном, обзорные, по новым трендам и гибридным подходам).

TTRS: Tinkoff Transactions Recommender System Benchmark
Начнём с рекламы отечественного: статья от ребят из Тинькова. Представлен новый датасет - доступен по запросу.

Revisiting Popularity and Demographic Biases in Recommender Evaluation and Effectiveness
Как эффективность рекомендаций зависит от таких факторов как пол, возраст.

New Hybrid Techniques for Business Recommender Systems
Применение рекомендательных систем в бизнес-консалтинге.

Popularity Bias in Collaborative Filtering-Based Multimedia Recommender Systems
Проблема популярных товаров: оказывается, что для обучения более ценны пользователи, которые не интересуются популярными товарами и они же стандартными методами получают худшие рекомендации. Эксперименты с Last.fm, MovieLens, BookCrossing, MyAnimeList.

Recency Dropout for Recurrent Recommender Systems
Предлагают технику аугментации, которая позволяет более эффективно использовать RNN в рекомендациях.

Explainability in Music Recommender Systems
Как следует из заголовка - про объяснение музыкальных рекомендаций, но статья больше про проблематику.

Learning Robust Recommender from Noisy Implicit Feedback
Предложена новая техника обучения - получается более робастное решение. Эксперименты на Adressa, Amazon-book, Yelp. Довольно любопытная работа!

A Survey of Deep Reinforcement Learning in Recommender Systems: A Systematic Review and Future Directions
Обзор по обучению с подкреплением в рекомендациях.

Blockchain-based Recommender Systems: Applications, Challenges and Future Opportunities
Вместе сошлись рекомендации и блокчейн;) Но я в этом ничего не понимаю:(

A Comprehensive Overview of Recommender System and Sentiment Analysis
Можно почитать как не очень детальный обзор методов, обозначенных в заголовке. В целом, не очень интересно.

Advances and Challenges in Conversational Recommender Systems: A Survey
Большой обзор по новому тренду - разговорные (диалоговые) рекомендательные системы. Довольно неплохой!

Graph Neural Networks in Recommender Systems: A Survey
Обзор по ещё одному новому тренду - графовые сети в рекомендациях.

Automated Machine Learning for Deep Recommender Systems: A Survey
Небольшой озор по AutoML в рекомендациях, не очень ясный и подробный.

Measuring "Why" in Recommender Systems: a Comprehensive Survey on the Evaluation of Explainable Recommendation
Небольшой, но довольно "прозрачный" обзор по объяснениям в рекомендациях.

Trust your neighbors: A comprehensive survey of neighborhood-based methods for recommender systems
Из названия можно подумать, что статья про методы соседства в рекомендациях, но в ней довольно неплохой обзор и по смежным методам (например, по случайным блужданиям).

A Survey on Accuracy-oriented Neural Recommendation: From Collaborative Filtering to Information-rich Recommendation
Довольно хороший обзор методов рекомендации, почему-то авторы решили выделить методы, которые позволяют получить неплохую точность.

Efficient Mixed Dimension Embeddings for Matrix Factorization
И закончим статьёй, про которую рассказывали на последнем Дзен-митапе - пока проходит проверку на arxive. Как только пройдёт - дам ссылку.

#книга
В книге Edward Raff «Inside Deep Learning, Math, Algorithms, Models» применяется интересный приём. Я и сам иногда формулы раскрашиваю и делаю цветную легенду с пояснениями. Но тут все центральные формулы полностью раскрашены, а в тексте идёт аналогичная подсветка описания, см. рис. В книге вообще очень хорошие рисунки и она довольно продумана для начального уровня, много примеров кода.

#конференция
Бесплатные летние образовательные проекты от научно-исследовательского института ИИ: летняя школа и конференция
https://airi.net/ru/summer-school/

#экзамены
На экзаменах по курсу ML в OzonMasters сегодня я всем задавал практически один и тот же набор вопросов (это по частям классического ML - до нейронок):

1. L2-регуляризация, говорят она борется с какой-то вырожденностью: что вырождено, по каким причинам, почему L2-регуляризация с этим справляется?
2. Назовите критерии расщепления при построении решающих деревьях в задаче классификации, можно ли их сравнить (в каких случаях один предпочтительнее остальных).
3. В задаче бинарной классификации 2 объекта имеют метку 1, 3 – метку 0, построили алгоритм с Accuracy < 1, какая максимальная F1-мера может у него быть?
4. Перечислите известные методы отбора признаков (можно начать с групп методов).
5. Есть два алгоритма кластеризации: k-means, mean shift. Приведите пример задачи, с которой первый справляется лучше. И задачи, с которой второй справляется лучше.
6. Отличия CatBoost от XGBoost и LightGBM.
7. Когда Extreme Random Trees предпочтительнее Random Forest?

#интервью
Ректор «Сколтеха» о текущем положении дел и перспективах:
https://www.kommersant.ru/doc/5357614

#конференция
Ещё одна бесплатная летняя научная школа «Сложные нейронные сети и когнитивно специализированные нейроны»:
https://brain.scientificideas.org/neuroscience-school-2022/ru

#книга
Посмотрел книжку Эйлин Магнелло «Статистика в комиксах». В целом, мне понравилась - хороший обзор для нематематиков, хотя не могу утверждать, что всё ясно изложено для неспециалистов. Несколько вещей открыл для себя: откуда взялся термин «статистика» и как появилась эта наука, чем были известны некоторые учёные до своих открытий. Не понравились сами картинки… ожидал большего.

#интервью
Интервью с Райгородским о его школе на Физтехе. Думаю, что у абитуриента, который это послушает, не будет вопросов куда поступать;) Андрей Михайлович и рассказывает зажигательно и делает очень много для образования вообще (не только в МФТИ).
https://youtu.be/eouUz_uPcBs

#канал
Добавил в описание канала "РЕКЛАМУ НЕ ПУБЛИКУЮ". Интересно, поможет ли? Слишком много писем "Опубликуйте ...". Например, письмо с предложением за плату опубликовать ссылку на ШАДовский учебник по ML через несколько часов после того, как я бесплатно уже её опубликовал.

Особо не слежу за статистикой канала, но заметил, как число подписчиков перевалило за 6 000 - хотя я его никак не пиарю - ссылку даю только студентам, да и вообще он всегда был ориентирован "на тех, кто со мною знаком". Из забавного - почти сотня отписалась, когда я скинул ссылку с описанием работы в PornHub.

Спасибо всем, кто ставит смайлики - можно проследить за интересами подписчиков. Странно, что не особо заходят объявления о разных научных школах. Если бы я был студентом, то не вылезал бы из них (столько возможностей узнать нового и пообщаться с интересными людьми, плюс подыскать себе что-то типа аспирантуры).

#интересно
Нашёл сегодня такой скатер-плот. Интересно, что тут есть противоречия с моим опытом и интуицией, но не с потолка же его взяли...

#новости
Прошли защиты бакалавров и магистров ММП. Из МГУ выпустилось ещё несколько десятков классных специалистов (что-то мы перестали выкладывать в открытый доступ выпускные работы, поэтому не могу похвастаться, насколько классных). Кстати, кафедре в этом году исполняется 25 лет! Всем выпускникам - удачной карьеры, постоянного саморазвития и реализации всех планов!

#данные
На этом ресурсе в свободном доступе выложено несколько десятков медицинских наборов данных (КТ, МРТ и т.п.):
https://mosmed.ai/datasets/