#курс
В этом году прочитал курс "Глубокое обучение" для студентов ММП ВМК МГУ. Курс экспериментальный - хотелось охватить всё-всё (пока не успели тему "атаки на сети" и обработку звуков, материалов по видео тоже нет, но они и не планировались). Видеоролики пока в общий доступ не выкладываю, а слайды можно посмотреть здесь:
https://github.com/Dyakonov/DL
В этом году прочитал курс "Глубокое обучение" для студентов ММП ВМК МГУ. Курс экспериментальный - хотелось охватить всё-всё (пока не успели тему "атаки на сети" и обработку звуков, материалов по видео тоже нет, но они и не планировались). Видеоролики пока в общий доступ не выкладываю, а слайды можно посмотреть здесь:
https://github.com/Dyakonov/DL
GitHub
GitHub - Dyakonov/DL: Курс "Глубокое обучение (Deep Learning)" (ВМК, МГУ имени М.В. Ломоносова)
Курс "Глубокое обучение (Deep Learning)" (ВМК, МГУ имени М.В. Ломоносова) - Dyakonov/DL
#забавно
От чего зависит популярность в Инстаграмме...
https://algorithmwatch.org/en/story/instagram-algorithm-nudity/
От чего зависит популярность в Инстаграмме...
https://algorithmwatch.org/en/story/instagram-algorithm-nudity/
AlgorithmWatch
Undress or fail: Instagram’s algorithm strong-arms users into showing skin - AlgorithmWatch
An exclusive investigation reveals that Instagram prioritizes photos of scantily-clad men and women, shaping the behavior of content creators and the worldview of 140 millions Europeans in what remains a blind spot of EU regulations.
#конференции
Ежегодная Летняя школа "Управление, информация и оптимизация" всё-таки пройдёт в традиционном режиме, но споки изменились: в образовательном центре "Сириус", Сочи, с 23 по 29 августа.
Зарегистрироваться и узнать подробности можно на сайте
https://ssopt.org
Ежегодная Летняя школа "Управление, информация и оптимизация" всё-таки пройдёт в традиционном режиме, но споки изменились: в образовательном центре "Сириус", Сочи, с 23 по 29 августа.
Зарегистрироваться и узнать подробности можно на сайте
https://ssopt.org
ssopt.org
Летняя школа "Управление, информация и оптимизация" им. Б. Т. Поляка
Иннополис 2025
#save
Всегда хотел написать что-то на тему "Парадоксы в ML", но останавливало то, что мало материала на эту тему. Сегодня нашёл себе в копилку "Эффект Транка":
http://37steps.com/2448/trunks-example/
Всегда хотел написать что-то на тему "Парадоксы в ML", но останавливало то, что мало материала на эту тему. Сегодня нашёл себе в копилку "Эффект Транка":
http://37steps.com/2448/trunks-example/
Pattern Recognition Tools
Trunk's example of the peaking phenomenon
In 1979 G.V. Trunk published a very clear and simple example of the peaking phenomenon. It has been cited many times to explain the existence of peaking. Here, we will summarize and discuss it for those who want to have a better idea about the peaking problem.…
#статья
Поскольку среди читателей канала много рисковиков - свежий обзор "Машинное обучение в кредитном риске"
https://www.researchgate.net/profile/Joseph_Breeden/publication/341804274_A_Survey_of_Machine_Learning_in_Credit_Risk/links/5ed56800299bf1c67d325d19/A-Survey-of-Machine-Learning-in-Credit-Risk.pdf
Поскольку среди читателей канала много рисковиков - свежий обзор "Машинное обучение в кредитном риске"
https://www.researchgate.net/profile/Joseph_Breeden/publication/341804274_A_Survey_of_Machine_Learning_in_Credit_Risk/links/5ed56800299bf1c67d325d19/A-Survey-of-Machine-Learning-in-Credit-Risk.pdf
#книга
А кстати, неплохая книга... для тех, кто хочет повторить весь-весь университетский курс математики:
https://web.evanchen.cc/napkin.html
А кстати, неплохая книга... для тех, кто хочет повторить весь-весь университетский курс математики:
https://web.evanchen.cc/napkin.html
#статья
Буду кидать сюда статьи, которые мне показались любопытные (но, по традиции этого канала, их обошли вниманием другие ML-популяризаторы):
Shortcut Learning in Deep Neural Networks
работа о т.н. Shortcut Learning, когда формально сеть что-то выучивает, но это бесполезно при практическом применении (есть хороший обзор работ):
https://arxiv.org/pdf/2004.07780.pdf
Буду кидать сюда статьи, которые мне показались любопытные (но, по традиции этого канала, их обошли вниманием другие ML-популяризаторы):
Shortcut Learning in Deep Neural Networks
работа о т.н. Shortcut Learning, когда формально сеть что-то выучивает, но это бесполезно при практическом применении (есть хороший обзор работ):
https://arxiv.org/pdf/2004.07780.pdf
#статья
Статья от Майкла Джордана и соавторов
О темпах обучения о операторах Шрёдингера
- связь между стохастическим градиентным спуском и дифференциальными уравнениями
https://arxiv.org/pdf/2004.06977.pdf
Статья от Майкла Джордана и соавторов
О темпах обучения о операторах Шрёдингера
- связь между стохастическим градиентным спуском и дифференциальными уравнениями
https://arxiv.org/pdf/2004.06977.pdf
#статья
Работа ребят из Беркли
Zitong Yang et al Rethinking Bias-Variance Trade-off for Generalization of Neural Networks
о пересмотре для нейросетей концепции разброс-смещение
https://arxiv.org/pdf/2002.11328.pdf
Работа ребят из Беркли
Zitong Yang et al Rethinking Bias-Variance Trade-off for Generalization of Neural Networks
о пересмотре для нейросетей концепции разброс-смещение
https://arxiv.org/pdf/2002.11328.pdf
...это всё было на тему теоретических работ по настройке сетей. Сегодня посмотрел около сотни новых статей. Эти зацепили больше остальных.
Что в этом списке лишнее?
Anonymous Quiz
25%
saliency maps
20%
deconvolution
5%
guided backprop
24%
batch normalization
19%
GradCAM
7%
integrated gradient
#обучение
Ещё одна магистерская программа по биоинформатике, теперь в МФТИ
https://biotech.napoleonit.com/
Ещё одна магистерская программа по биоинформатике, теперь в МФТИ
https://biotech.napoleonit.com/
#обучение
Тут нобелевские лауреаты зазывают на магистерские программы в Европу:
https://sit.timepad.ru/event/1342712/
Тут нобелевские лауреаты зазывают на магистерские программы в Европу:
https://sit.timepad.ru/event/1342712/
sit.timepad.ru
SIT Master’s Insights с Нобелевским лауреатом Константином Новосёловым / События на TimePad.ru
Вебинар пройдет специально для России и стран СНГ и все выступления спикеров будут на русском языке. Участники мероприятия смогут узнать о преимуществах новой учебной программы как от бизнес-лидеров, так и от первых студентов SIT.
#конференции
Ещё одно мероприятие в Сириусе в августе по оптимизации, управлению и теории информации:
https://sochisirius.ru/obuchenie/graduates/smena673/3258
Ещё одно мероприятие в Сириусе в августе по оптимизации, управлению и теории информации:
https://sochisirius.ru/obuchenie/graduates/smena673/3258
Что выдаст следующий код?
import torch x = torch.tensor([[1, 2], [3, 4]]) print ((3 * (x - 2) ** 2).mean())
import torch x = torch.tensor([[1, 2], [3, 4]]) print ((3 * (x - 2) ** 2).mean())
Anonymous Quiz
5%
4
16%
4.5
12%
tensor(4)
34%
tensor(4.5000)
2%
0
5%
NaN
16%
ошибку
8%
ничего не выдаст
код без переносов сделался... ну ладно, так и оставлю (редактировать опросы нельзя, можно создать новый). Будем считать, что они есть. Для тех, кто не знает, можно смотреть комментарий с объяснением правильного ответа, если кликнуть на "лампочку" в правом верхнем углу.
#книга
Посмотрел книгу Deep Learning Architectures. Думал, что она о разных архитектурах сетей, как следует из названия. Но оказалось, что она о математике, которая стоит за DL. В принципе, книжка очень неплохая, там много задачек вида «как с помощью ReLU-сети реализовать максимум от нескольких переменных».
https://www.springer.com/gp/book/9783030367206
Посмотрел книгу Deep Learning Architectures. Думал, что она о разных архитектурах сетей, как следует из названия. Но оказалось, что она о математике, которая стоит за DL. В принципе, книжка очень неплохая, там много задачек вида «как с помощью ReLU-сети реализовать максимум от нескольких переменных».
https://www.springer.com/gp/book/9783030367206
Springer
Deep Learning Architectures | SpringerLink
The book is a mixture of old classical mathematics and modern concepts of deep learning. The main focus is on the mathematical side, since in today's developing trend many mathematical aspects are kept silent and most papers underline only the computer science…