Small Data Science for Russian Adventurers
11.2K subscribers
303 photos
3 videos
13 files
705 links
БЕЗ ЧУЖОЙ РЕКЛАМЫ Авторский канал Александра Дьяконова (dyakonov.org)
машинное (machine learning) и
глубокое обучение (deep learning)
анализ данных (data mining)
наука о данных (data science)
ИИ (artificial intelligence)
математика (math)
и др.
ЕСТЬ ЧАТ;)
加入频道
#код
Какой потрясающий ресурс! Здесь примеры кода на Pytorch с разъяснением как по базовым конструкциям, так и по современным сетям.
https://nn.labml.ai/
#статья
На рис. кто откуда хантит профессоров. Из статьи Michael Gofman et al. Artificial Intelligence, Education, and Entrepreneurship // http://gofman.info/AI/AI_GofmanJin.pdf
#интересно
Где и как применяется распознавание лиц:
https://www.visualcapitalist.com/facial-recognition-world-map/
#книги
Бесплатные научно-популярные книги:
https://vsenauka.ru/knigi/besplatnyie-knigi.html
#код
В постах на этом сайте фактически дана инструкция по написанию торгующего бота.
https://conorjohanlon.com/
#статья
Формальная систематизация рекуррентных сетей.
https://arxiv.org/pdf/2004.08500v4.pdf
#юмор
Извращения в латентных пространствах;)
#книга
Полистал книжку «Занимательная манга. Машинное обучение». Интересно мнение человека с нулевыми знаниями по ML, можно ли по подобным книгам что-то понять и выучить? А так, выглядит симпатично...
#код
Наверное, я стал совсем старым и отсталым... так принято сейчас код оформлять на питоне? Это какой-то стандарт? С такими отступами и запятой в начале при перечислении? Гитхаб набит подобным оформлением...
Как сильно переобучены современные SOTA-модели... На сколько процентов у языковой модели GPT-2 ошибка на обучении меньше ошибки на тесте?
Anonymous Quiz
23%
5%
23%
10%
18%
15%
16%
20%
7%
25%
13%
30%
#курс
Качественный курс “Введение в анализ данных и машинное обучение” от читателя моего блога (кстати, если есть кому что показать - присылайте). Готовился для школьников, но, мне кажется, подходит любым начинающим в ML. Очень симпатично оформлен.
https://yangx.topseries-ru.github.io/course/README.html
#интересно
Статистика по прошлому году. Больше всего авторов (45) у статьи: Task-Oriented Dialogue as Dataflow Synthesis.
Самое длинное название статьи: Code-Switching Patterns Can Be an Effective Route to Improve Performance of Downstream NLP Applications: A Case Study of Humour, Sarcasm and Hate Speech Detection.
Самое короткое название: Ode to an ODE.
(взято отсюда: https://www.marekrei.com/blog/ml-and-nlp-publications-in-2020/)
#курс
Наконец "дошли руки" посмотреть курс NLP, ссылку на которую в чате канала кидал Юра Кашницкий. Очень классно всё сделано. И дело не только в оформлении, хорошо сделаны объяснения и ссылки на релевантные работы. Всем, кто изучает ML, обязательно к проработке...
https://lena-voita.github.io/nlp_course.html
#мысли
Одно из недооценённых направлений в ML (на мой взгляд) - это резервуарные вычисления. Подобные архитектуры упоминаются, например, в книге Гудфелло, но совсем мельком, занимались ими лишь несколько исследователей. С точки зрения современных архитектур, это RNN в которых специальным образом выбраны и зафиксированы веса, соответствующие рекуррентным связям, а обучаются все остальные. Это позволяет избежать проблемы взрыва и затухания градиента. Есть много (не обнародованных) хаков, как эффективно такие сети применять на практике, но вот хайпа вокруг них никогда не было. Для тех, кто хочет погрузиться в теорию резервуарных вычислений, есть, например такое видео:
https://www.youtube.com/watch?v=HfltqZa2Fco