#конференции
Есть такой симпатичный ресурс с докладами DS-конференций. Совсем свежих там нет, но всё равно много всего интересного (более 21 тыс. докладов и удобный интерфейс).
https://papertalk.org/
Есть такой симпатичный ресурс с докладами DS-конференций. Совсем свежих там нет, но всё равно много всего интересного (более 21 тыс. докладов и удобный интерфейс).
https://papertalk.org/
papertalk.org
Papertalk - the platform for scientific paper presentations
Papertalk is an open-source platform where scientists share video presentations about their newest scientific results - and watch, like + discuss them
Сейчас в топ-10 SuperGLUE (https://super.gluebenchmark.com/leaderboard) есть модель DeBERTa (превзошла точность человека). С каким эффектом боролись создатели её 3й версии (термин из статьи)?
Anonymous Quiz
23%
поднятие за волосы
26%
перетягивание каната
21%
замерзание конечностей
16%
стрижка налысо
14%
пожимание рук
#образование
Начался набор на лучшую во Вселенной бесплатную программу обучения в области анализа данных, регистрация по ссылке
https://ozonmasters.ru/submission
В Ozon Masters по-прежнему два направления (Data Science и Business Intelligence) с гибким набором курсов, где часть из них являются обязательными, а другие можно взять по выбору. Информацию об этапах поступления, описание курсов и требования к поступающим смотрите на нашем сайте.
🗓 14 мая (суббота) в 13.00 будет день открытых дверей. Чтобы зарегистрироваться на мероприятие - заполните форму.
Организаторы всегда на связи и рады ответить на любые вопросы - пишите на почту [email protected] или кураторам проекта (их контакты вы можете найти в соответствующем разделе на сайте).
Начался набор на лучшую во Вселенной бесплатную программу обучения в области анализа данных, регистрация по ссылке
https://ozonmasters.ru/submission
В Ozon Masters по-прежнему два направления (Data Science и Business Intelligence) с гибким набором курсов, где часть из них являются обязательными, а другие можно взять по выбору. Информацию об этапах поступления, описание курсов и требования к поступающим смотрите на нашем сайте.
🗓 14 мая (суббота) в 13.00 будет день открытых дверей. Чтобы зарегистрироваться на мероприятие - заполните форму.
Организаторы всегда на связи и рады ответить на любые вопросы - пишите на почту [email protected] или кураторам проекта (их контакты вы можете найти в соответствующем разделе на сайте).
#статьи
Подборка самых популярных статей по банковской тематике за последние 7 лет (указано число ссылок в гугл-академии).
545 ссылок, 2021 год
Dwivedi Y. K. et al. Artificial Intelligence (AI): Multidisciplinary perspectives on emerging challenges, opportunities, and agenda for research, practice and policy //International Journal of Information Management. – 2021. – Т. 57. – С. 101994.
434 ссылки, 2017 год
Xia Y. et al. A boosted decision tree approach using Bayesian hyper-parameter optimization for credit scoring //Expert Systems with Applications. – 2017. – Т. 78. – С. 225-241.
235 ссылок, 2018 год
Alessi L., Detken C. Identifying excessive credit growth and leverage // Journal of Financial Stability. – 2018. – Т. 35. – С. 215-225.
206 ссылок, 2015 год
Iturriaga F. J. L., Sanz I. P. Bankruptcy visualization and prediction using neural networks: A study of US commercial banks // Expert Systems with applications. – 2015. – Т. 42. – №. 6. – С. 2857-2869.
183 ссылки, 2017 год
Abellán J., Castellano J. G. A comparative study on base classifiers in ensemble methods for credit scoring // Expert systems with applications. – 2017. – Т. 73. – С. 1-10.
153 ссылки, 2019 год
Kou G. et al. Machine learning methods for systemic risk analysis in financial sectors // Technological and Economic Development of Economy. – 2019. – Т. 25. – №. 5. – С. 716-742.
136 ссылок, 2017
Chakraborty C., Joseph A. Machine learning at central banks. – 2017.
Подборка самых популярных статей по банковской тематике за последние 7 лет (указано число ссылок в гугл-академии).
545 ссылок, 2021 год
Dwivedi Y. K. et al. Artificial Intelligence (AI): Multidisciplinary perspectives on emerging challenges, opportunities, and agenda for research, practice and policy //International Journal of Information Management. – 2021. – Т. 57. – С. 101994.
434 ссылки, 2017 год
Xia Y. et al. A boosted decision tree approach using Bayesian hyper-parameter optimization for credit scoring //Expert Systems with Applications. – 2017. – Т. 78. – С. 225-241.
235 ссылок, 2018 год
Alessi L., Detken C. Identifying excessive credit growth and leverage // Journal of Financial Stability. – 2018. – Т. 35. – С. 215-225.
206 ссылок, 2015 год
Iturriaga F. J. L., Sanz I. P. Bankruptcy visualization and prediction using neural networks: A study of US commercial banks // Expert Systems with applications. – 2015. – Т. 42. – №. 6. – С. 2857-2869.
183 ссылки, 2017 год
Abellán J., Castellano J. G. A comparative study on base classifiers in ensemble methods for credit scoring // Expert systems with applications. – 2017. – Т. 73. – С. 1-10.
153 ссылки, 2019 год
Kou G. et al. Machine learning methods for systemic risk analysis in financial sectors // Technological and Economic Development of Economy. – 2019. – Т. 25. – №. 5. – С. 716-742.
136 ссылок, 2017
Chakraborty C., Joseph A. Machine learning at central banks. – 2017.
#статьи
Карта центральных работ в области ИИ (какого-то ценного функционала нет, но просто познавательно и забавно):
https://60years.vizhub.ai
Карта центральных работ в области ИИ (какого-то ценного функционала нет, но просто познавательно и забавно):
https://60years.vizhub.ai
#забавно
Давайте в комментах накидаем телеграм-стикеры, связанные в DS/ML/DL? (ну или IT/MATH, если сильно хорошие)
Давайте в комментах накидаем телеграм-стикеры, связанные в DS/ML/DL? (ну или IT/MATH, если сильно хорошие)
#конференция
Дзен-митап: исследования в рекомендательных системах (мероприятие с легендой отечественного ML Евгением Соколовым не может быть неуспешным;)
https://events.yandex.ru/events/dzen-mitap-recsys-research
Дзен-митап: исследования в рекомендательных системах (мероприятие с легендой отечественного ML Евгением Соколовым не может быть неуспешным;)
https://events.yandex.ru/events/dzen-mitap-recsys-research
Дзен-митап: исследования в рекомендательных системах
19 мая приглашаем на первый в этом году офлайн-митап от Дзена.
Сначала рассмотрим алгоритмы матричной факторизации с адаптивным размером векторов, которые позволяют повысить качество ранжирования при меньшем числе параметров, после этого поговорим про то…
Сначала рассмотрим алгоритмы матричной факторизации с адаптивным размером векторов, которые позволяют повысить качество ранжирования при меньшем числе параметров, после этого поговорим про то…
#книга
Dirk P. Kroese, Zdravko I. Botev, Thomas Taimre, Radislav Vaisman
Data Science and Machine Learning Mathematical and Statistical Methods
Книга по классическому ML (про нейронки тоже есть, но ничего ценного). Довольно симпатичная и аккуратная, есть интересные теоретические задачи, есть примеры кода. Оформление прям хорошее. Уровень скорее средний, т.к. в некоторых темах копают глубже чем обычно (например, объясняют проекционную матрицу в линейной регрессии). Из минусов - нашёл некоторые неточности в описаниях методов.
Dirk P. Kroese, Zdravko I. Botev, Thomas Taimre, Radislav Vaisman
Data Science and Machine Learning Mathematical and Statistical Methods
Книга по классическому ML (про нейронки тоже есть, но ничего ценного). Довольно симпатичная и аккуратная, есть интересные теоретические задачи, есть примеры кода. Оформление прям хорошее. Уровень скорее средний, т.к. в некоторых темах копают глубже чем обычно (например, объясняют проекционную матрицу в линейной регрессии). Из минусов - нашёл некоторые неточности в описаниях методов.
#интересно
Выложены зарплаты руководителей и их замов учреждений, которые подчинены Минобрнауки (в принципе, их можно и по налоговым декларациям восстановить - они также в свободном доступе). Я сначала написал развёрнутый комментарий - что тут интересного, но потом подумал, что опять кто-то что-то посчитает некорректным, поэтому ограничусь только маленьким замечанием. Когда видите, что, например, ректор ИТМО получает больше 1 млн. в месяц, помните, что в ИТМО много внешних договоров (вместе с МФТИ они лидеры по привлечению этих средств, я давал ссылку выше). А самое интересное тут дисперсии зарплат в рамках отдельных учреждений;)
https://www.minobrnauki.gov.ru/documents/?ELEMENT_ID=51168
Выложены зарплаты руководителей и их замов учреждений, которые подчинены Минобрнауки (в принципе, их можно и по налоговым декларациям восстановить - они также в свободном доступе). Я сначала написал развёрнутый комментарий - что тут интересного, но потом подумал, что опять кто-то что-то посчитает некорректным, поэтому ограничусь только маленьким замечанием. Когда видите, что, например, ректор ИТМО получает больше 1 млн. в месяц, помните, что в ИТМО много внешних договоров (вместе с МФТИ они лидеры по привлечению этих средств, я давал ссылку выше). А самое интересное тут дисперсии зарплат в рамках отдельных учреждений;)
https://www.minobrnauki.gov.ru/documents/?ELEMENT_ID=51168
Министерство науки и высшего образования Российской Федерации
Документы
Министерство науки и высшего образования Российской Федерации осуществляет функции по выработке и реализации государственной политики и нормативно-правовому регулированию в сфере высшего образования, а также функции по нормативно-правовому регулированию и…
#статьи
Сегодня я пытался разобраться, есть ли что-то интересное в российских научных журналах про машинное обучение. Выводы я пока писать не буду, но вот результат одного эксперимента: какая самая цитируемая статья в российском журнале, написанная в последние 3 года и выложенная в открытый доступ, в которой используется бустинг? Оказалось, что «Использование алгоритмов искусственного интеллекта в криминалистическом изучении преступной деятельности (на примере серийных преступлений)» https://www.elibrary.ru/download/elibrary_45719543_43573892.pdf
Сегодня я пытался разобраться, есть ли что-то интересное в российских научных журналах про машинное обучение. Выводы я пока писать не буду, но вот результат одного эксперимента: какая самая цитируемая статья в российском журнале, написанная в последние 3 года и выложенная в открытый доступ, в которой используется бустинг? Оказалось, что «Использование алгоритмов искусственного интеллекта в криминалистическом изучении преступной деятельности (на примере серийных преступлений)» https://www.elibrary.ru/download/elibrary_45719543_43573892.pdf
#статьи
А по нейронкам вроде бы самая цитируемая свежая статья в открытом доступе в российском журнале эта - Эффективность алгоритмов машинного обучения и свёрточной нейронной сети для обнаружения патологических изменений на магнитно-резонансных томограммах головного мозга (но тут сложно перебрать все ключевые слова, которые могут быть связаны с глубоким обучением)
https://www.elibrary.ru/download/elibrary_42845903_18431680.pdf
А по нейронкам вроде бы самая цитируемая свежая статья в открытом доступе в российском журнале эта - Эффективность алгоритмов машинного обучения и свёрточной нейронной сети для обнаружения патологических изменений на магнитно-резонансных томограммах головного мозга (но тут сложно перебрать все ключевые слова, которые могут быть связаны с глубоким обучением)
https://www.elibrary.ru/download/elibrary_42845903_18431680.pdf
Каким архитектурам трансформеров соответствуют изображённые матрицы внимания?
Anonymous Quiz
23%
Longformer, Star-Transformer, BigBird, ETC
8%
Star-Transformer, Longformer, ETC, BigBird
7%
ETC, Longformer, Star-Transformer, BigBird
6%
BigBird, ETC, Star-Transformer, Longformer
56%
я не понимаю, что от меня хотят
#мысли
Понятно, когда в статье много соавторов и их долго перечислять, то выделяют основного и пишут "Хинтон и соавторы". Понятно, когда в разговоре забывается "кто ещё придумал". Но вот в научной статье так пренебрежительно... великий Хинтон и никому неизвестный чувак, имя которого даже не стоит упоминания.
Помню на одной конференции говорили VC-размерность - это размерность Вапника и его коллеги, т.к. "C" сокращение от colleague. А забытый Червоненкис, кстати, был очень скромным человеком:(
Понятно, когда в статье много соавторов и их долго перечислять, то выделяют основного и пишут "Хинтон и соавторы". Понятно, когда в разговоре забывается "кто ещё придумал". Но вот в научной статье так пренебрежительно... великий Хинтон и никому неизвестный чувак, имя которого даже не стоит упоминания.
Помню на одной конференции говорили VC-размерность - это размерность Вапника и его коллеги, т.к. "C" сокращение от colleague. А забытый Червоненкис, кстати, был очень скромным человеком:(
#забавно
На видео несуществующая девушка - она синтезирована с помощью технологий стартапа pantheonlab. Выглядит действительно круто.
https://youtu.be/yGUaqXnaSzk
На видео несуществующая девушка - она синтезирована с помощью технологий стартапа pantheonlab. Выглядит действительно круто.
https://youtu.be/yGUaqXnaSzk
YouTube
The person in this video is not a real human!
She was created by Pantheon Lab, a Start-up at Hong Kong Science Park.
They have made a lot of progress in the past 2 years to make a very natural face, voice and lipsync using AI.
This will open up so many opportunities to generate AI characters in the…
They have made a lot of progress in the past 2 years to make a very natural face, voice and lipsync using AI.
This will open up so many opportunities to generate AI characters in the…
#интересно
Ещё из чудес генеративных моделей, о которых пока не писали в других телеграм-каналах. Вот музыка, сгенерированная с помощью Permutation Invariant Language: https://youtu.be/ikmgqp3V7k8
Интересно, что результат подвергли критике из-за сходства с этой композицией: https://youtu.be/9kSf8w28Fs4
Возможно, просто использовался prompt из последней. Кроме того, отмечают, что на музыку это никак не похоже (хотя как фоновая в фильме слышится вполне неплохо).
Статью можно найти здесь: https://arxiv.org/abs/2205.05448
А код здесь: https://github.com/symphonynet/SymphonyNet
Ещё из чудес генеративных моделей, о которых пока не писали в других телеграм-каналах. Вот музыка, сгенерированная с помощью Permutation Invariant Language: https://youtu.be/ikmgqp3V7k8
Интересно, что результат подвергли критике из-за сходства с этой композицией: https://youtu.be/9kSf8w28Fs4
Возможно, просто использовался prompt из последней. Кроме того, отмечают, что на музыку это никак не похоже (хотя как фоновая в фильме слышится вполне неплохо).
Статью можно найти здесь: https://arxiv.org/abs/2205.05448
А код здесь: https://github.com/symphonynet/SymphonyNet
YouTube
SymphonyNet Video Demonstration
Symphony Generation with Permutation Invariant Language Model
#задача
Простая задача по ML, которая заставляет людей зависнуть (проверено на нескольких экзаменах).
В задаче бинарной классификации используются следующие функционалы качества, далее идёт список, например, ROC AUC, BA (сбалансированная точность), F-мера (можно продолжать). Вопрос: какие них не зависят от того, какой класс считать позитивным?
Более формально, для каких f всегда f(y,a) = f(1-y, 1-a), где y - вектор целевых значений, a - вектор ответов алгоритма.
Предпосылка задачи понятна: Иван и Джон решают одну и ту же задачу с метками "дефолт"/"не дефолт" одним и тем же методом, у Ивана качество - 0.7, у Джона - 0.6, может ли это объясняться тем, как они представили (закодировали) целевые значения?
Простая задача по ML, которая заставляет людей зависнуть (проверено на нескольких экзаменах).
В задаче бинарной классификации используются следующие функционалы качества, далее идёт список, например, ROC AUC, BA (сбалансированная точность), F-мера (можно продолжать). Вопрос: какие них не зависят от того, какой класс считать позитивным?
Более формально, для каких f всегда f(y,a) = f(1-y, 1-a), где y - вектор целевых значений, a - вектор ответов алгоритма.
Предпосылка задачи понятна: Иван и Джон решают одну и ту же задачу с метками "дефолт"/"не дефолт" одним и тем же методом, у Ивана качество - 0.7, у Джона - 0.6, может ли это объясняться тем, как они представили (закодировали) целевые значения?
#конференции
Бесплатная летняя школа для выпускников, аспирантов и студентов старших курсов биотехнических специальностей.
https://cbai.endocrincentr.ru/school#reg
Бесплатная летняя школа для выпускников, аспирантов и студентов старших курсов биотехнических специальностей.
https://cbai.endocrincentr.ru/school#reg
#статьи
Подборка статей по рекомендательным системам 2021-22 годов (в основном, обзорные, по новым трендам и гибридным подходам).
TTRS: Tinkoff Transactions Recommender System Benchmark
Начнём с рекламы отечественного: статья от ребят из Тинькова. Представлен новый датасет - доступен по запросу.
Revisiting Popularity and Demographic Biases in Recommender Evaluation and Effectiveness
Как эффективность рекомендаций зависит от таких факторов как пол, возраст.
New Hybrid Techniques for Business Recommender Systems
Применение рекомендательных систем в бизнес-консалтинге.
Popularity Bias in Collaborative Filtering-Based Multimedia Recommender Systems
Проблема популярных товаров: оказывается, что для обучения более ценны пользователи, которые не интересуются популярными товарами и они же стандартными методами получают худшие рекомендации. Эксперименты с Last.fm, MovieLens, BookCrossing, MyAnimeList.
Recency Dropout for Recurrent Recommender Systems
Предлагают технику аугментации, которая позволяет более эффективно использовать RNN в рекомендациях.
Explainability in Music Recommender Systems
Как следует из заголовка - про объяснение музыкальных рекомендаций, но статья больше про проблематику.
Learning Robust Recommender from Noisy Implicit Feedback
Предложена новая техника обучения - получается более робастное решение. Эксперименты на Adressa, Amazon-book, Yelp. Довольно любопытная работа!
A Survey of Deep Reinforcement Learning in Recommender Systems: A Systematic Review and Future Directions
Обзор по обучению с подкреплением в рекомендациях.
Blockchain-based Recommender Systems: Applications, Challenges and Future Opportunities
Вместе сошлись рекомендации и блокчейн;) Но я в этом ничего не понимаю:(
A Comprehensive Overview of Recommender System and Sentiment Analysis
Можно почитать как не очень детальный обзор методов, обозначенных в заголовке. В целом, не очень интересно.
Advances and Challenges in Conversational Recommender Systems: A Survey
Большой обзор по новому тренду - разговорные (диалоговые) рекомендательные системы. Довольно неплохой!
Graph Neural Networks in Recommender Systems: A Survey
Обзор по ещё одному новому тренду - графовые сети в рекомендациях.
Automated Machine Learning for Deep Recommender Systems: A Survey
Небольшой озор по AutoML в рекомендациях, не очень ясный и подробный.
Measuring "Why" in Recommender Systems: a Comprehensive Survey on the Evaluation of Explainable Recommendation
Небольшой, но довольно "прозрачный" обзор по объяснениям в рекомендациях.
Trust your neighbors: A comprehensive survey of neighborhood-based methods for recommender systems
Из названия можно подумать, что статья про методы соседства в рекомендациях, но в ней довольно неплохой обзор и по смежным методам (например, по случайным блужданиям).
A Survey on Accuracy-oriented Neural Recommendation: From Collaborative Filtering to Information-rich Recommendation
Довольно хороший обзор методов рекомендации, почему-то авторы решили выделить методы, которые позволяют получить неплохую точность.
Efficient Mixed Dimension Embeddings for Matrix Factorization
И закончим статьёй, про которую рассказывали на последнем Дзен-митапе - пока проходит проверку на arxive. Как только пройдёт - дам ссылку.
Подборка статей по рекомендательным системам 2021-22 годов (в основном, обзорные, по новым трендам и гибридным подходам).
TTRS: Tinkoff Transactions Recommender System Benchmark
Начнём с рекламы отечественного: статья от ребят из Тинькова. Представлен новый датасет - доступен по запросу.
Revisiting Popularity and Demographic Biases in Recommender Evaluation and Effectiveness
Как эффективность рекомендаций зависит от таких факторов как пол, возраст.
New Hybrid Techniques for Business Recommender Systems
Применение рекомендательных систем в бизнес-консалтинге.
Popularity Bias in Collaborative Filtering-Based Multimedia Recommender Systems
Проблема популярных товаров: оказывается, что для обучения более ценны пользователи, которые не интересуются популярными товарами и они же стандартными методами получают худшие рекомендации. Эксперименты с Last.fm, MovieLens, BookCrossing, MyAnimeList.
Recency Dropout for Recurrent Recommender Systems
Предлагают технику аугментации, которая позволяет более эффективно использовать RNN в рекомендациях.
Explainability in Music Recommender Systems
Как следует из заголовка - про объяснение музыкальных рекомендаций, но статья больше про проблематику.
Learning Robust Recommender from Noisy Implicit Feedback
Предложена новая техника обучения - получается более робастное решение. Эксперименты на Adressa, Amazon-book, Yelp. Довольно любопытная работа!
A Survey of Deep Reinforcement Learning in Recommender Systems: A Systematic Review and Future Directions
Обзор по обучению с подкреплением в рекомендациях.
Blockchain-based Recommender Systems: Applications, Challenges and Future Opportunities
Вместе сошлись рекомендации и блокчейн;) Но я в этом ничего не понимаю:(
A Comprehensive Overview of Recommender System and Sentiment Analysis
Можно почитать как не очень детальный обзор методов, обозначенных в заголовке. В целом, не очень интересно.
Advances and Challenges in Conversational Recommender Systems: A Survey
Большой обзор по новому тренду - разговорные (диалоговые) рекомендательные системы. Довольно неплохой!
Graph Neural Networks in Recommender Systems: A Survey
Обзор по ещё одному новому тренду - графовые сети в рекомендациях.
Automated Machine Learning for Deep Recommender Systems: A Survey
Небольшой озор по AutoML в рекомендациях, не очень ясный и подробный.
Measuring "Why" in Recommender Systems: a Comprehensive Survey on the Evaluation of Explainable Recommendation
Небольшой, но довольно "прозрачный" обзор по объяснениям в рекомендациях.
Trust your neighbors: A comprehensive survey of neighborhood-based methods for recommender systems
Из названия можно подумать, что статья про методы соседства в рекомендациях, но в ней довольно неплохой обзор и по смежным методам (например, по случайным блужданиям).
A Survey on Accuracy-oriented Neural Recommendation: From Collaborative Filtering to Information-rich Recommendation
Довольно хороший обзор методов рекомендации, почему-то авторы решили выделить методы, которые позволяют получить неплохую точность.
Efficient Mixed Dimension Embeddings for Matrix Factorization
И закончим статьёй, про которую рассказывали на последнем Дзен-митапе - пока проходит проверку на arxive. Как только пройдёт - дам ссылку.
#книга
В книге Edward Raff «Inside Deep Learning, Math, Algorithms, Models» применяется интересный приём. Я и сам иногда формулы раскрашиваю и делаю цветную легенду с пояснениями. Но тут все центральные формулы полностью раскрашены, а в тексте идёт аналогичная подсветка описания, см. рис. В книге вообще очень хорошие рисунки и она довольно продумана для начального уровня, много примеров кода.
В книге Edward Raff «Inside Deep Learning, Math, Algorithms, Models» применяется интересный приём. Я и сам иногда формулы раскрашиваю и делаю цветную легенду с пояснениями. Но тут все центральные формулы полностью раскрашены, а в тексте идёт аналогичная подсветка описания, см. рис. В книге вообще очень хорошие рисунки и она довольно продумана для начального уровня, много примеров кода.
#конференция
Бесплатные летние образовательные проекты от научно-исследовательского института ИИ: летняя школа и конференция
https://airi.net/ru/summer-school/
Бесплатные летние образовательные проекты от научно-исследовательского института ИИ: летняя школа и конференция
https://airi.net/ru/summer-school/
airi.net
Лето с AIRI
Ежегодная Школа для молодых ученых — это глубокое погружение в работу с широким спектром современных методов искусственного интеллекта и машинного обучения.