Если Вы DS/аналитик/IT-шник(ца)... сколько в Вашем коллективе (окружении) представительниц прекрасного пола?
Anonymous Poll
21%
0% - 9%
20%
10% - 19%
14%
20% - 29%
7%
30% - 39%
5%
40% - 49%
6%
50% и больше
26%
просто посмотреть результаты
#поздравление
Всех читательниц канала с праздником! Весеннего настроения и удачи! 🌹
П.С. На рис. "девушка в DL" по версии генеративной нейронки;)
Всех читательниц канала с праздником! Весеннего настроения и удачи! 🌹
П.С. На рис. "девушка в DL" по версии генеративной нейронки;)
#визуализация
Немного красоты свёрток перед первым рабочим днём на неделе;)
https://animatedai.github.io/
Здесь не изображены векторы смещения (bias), но это не значит, что их нет;)
П.С. Спасибо коллеге Сергею за ссылку.
Немного красоты свёрток перед первым рабочим днём на неделе;)
https://animatedai.github.io/
Здесь не изображены векторы смещения (bias), но это не значит, что их нет;)
П.С. Спасибо коллеге Сергею за ссылку.
#книга
Наконец-то я дочитал книгу Яна Лекуна "Как учится машина: Революция в области нейронных сетей и глубокого обучения" (вышла давно, но я к ней возвращался урывками).
Что касается названия, то, на мой взгляд, в книге не раскрывается полностью и ясно "как учится машина". Есть некоторые наброски - как может быть устроен сильный ИИ, что для этого потребуется, но тут собраны довольно известные (для специалистов) мысли.
Но самое ценное в ней - автобиографичность, автор подробно рассказывает, где работал, чем занимался и как. Хотелось бы, чтобы её прочитали все "организаторы науки". Я многое узнал, например, о происхождении некоторых фото или крылатых фраз в ML.
Много чего можно процитировать из книги. Вот лишь один фрагмент...
"Если вы сталкиваетесь со стартапом, руководители которого заявляют, что они обладают какими-либо секретными результатами, относящимися к ИИ чуть ли не человеческого уровня, они или лгут вам, или обманывают сами себя. Не доверяйте им!"
Читать обязательно!
Наконец-то я дочитал книгу Яна Лекуна "Как учится машина: Революция в области нейронных сетей и глубокого обучения" (вышла давно, но я к ней возвращался урывками).
Что касается названия, то, на мой взгляд, в книге не раскрывается полностью и ясно "как учится машина". Есть некоторые наброски - как может быть устроен сильный ИИ, что для этого потребуется, но тут собраны довольно известные (для специалистов) мысли.
Но самое ценное в ней - автобиографичность, автор подробно рассказывает, где работал, чем занимался и как. Хотелось бы, чтобы её прочитали все "организаторы науки". Я многое узнал, например, о происхождении некоторых фото или крылатых фраз в ML.
Много чего можно процитировать из книги. Вот лишь один фрагмент...
"Если вы сталкиваетесь со стартапом, руководители которого заявляют, что они обладают какими-либо секретными результатами, относящимися к ИИ чуть ли не человеческого уровня, они или лгут вам, или обманывают сами себя. Не доверяйте им!"
Читать обязательно!
#конференция
Года 3 назад постил эту ссылку, но если кто-то не добавил в закладки...
Список научных школ по машинному обучению (в том числе будущих):
https://github.com/sshkhr/awesome-mlss
Года 3 назад постил эту ссылку, но если кто-то не добавил в закладки...
Список научных школ по машинному обучению (в том числе будущих):
https://github.com/sshkhr/awesome-mlss
GitHub
GitHub - awesome-mlss/awesome-mlss: 🤖 Machine Learning Summer School Guide
🤖 Machine Learning Summer School Guide. Contribute to awesome-mlss/awesome-mlss development by creating an account on GitHub.
#история (которую я часто рассказываю в своём курсе)
На одном из хакатонов, который проводила крупная нефтяная компания, в финале участники выступали с презентациями о своих решениях задачи прогнозирования дебита нефти... Почти все настраивали бустинг (различались лишь библиотеки), генерировали признаки, искали лики и т.п.
Предпоследним вышел парень из Уфы, который занял 2е место в лидерборде, и сказал: я не очень понимаю смысл всего, что тут говорилось, такие слова как "бустинг" я слышу в первый раз. Я учусь "в нефтянке", нас учили, что есть такая формула для дебита (выводит на слайд небольшую формулу), я просто в неё подставил известные значения, а неизвестные прикинул, какими они могли бы быть.
На одном из хакатонов, который проводила крупная нефтяная компания, в финале участники выступали с презентациями о своих решениях задачи прогнозирования дебита нефти... Почти все настраивали бустинг (различались лишь библиотеки), генерировали признаки, искали лики и т.п.
Предпоследним вышел парень из Уфы, который занял 2е место в лидерборде, и сказал: я не очень понимаю смысл всего, что тут говорилось, такие слова как "бустинг" я слышу в первый раз. Я учусь "в нефтянке", нас учили, что есть такая формула для дебита (выводит на слайд небольшую формулу), я просто в неё подставил известные значения, а неизвестные прикинул, какими они могли бы быть.
#к_вопросу
В одной из статей авторы добавили к названию предложенной нейронки (трансформеру) такой забавный значок. Ниже вопрос;)
В одной из статей авторы добавили к названию предложенной нейронки (трансформеру) такой забавный значок. Ниже вопрос;)
#забавно
Потестил новую отечественную генеративную модель.
Слева генерация по запросу "Сотрудница Cбера пишет ruDALL-E", справа - "Сотрудник Сбера не пишет ruGPT4".
Потестил новую отечественную генеративную модель.
Слева генерация по запросу "Сотрудница Cбера пишет ruDALL-E", справа - "Сотрудник Сбера не пишет ruGPT4".
#приёмы
На своих курсах я часто сообщаю такой приём: не выбрасывать плохие данные, а примерить их пусть не для моделирования, но для служебных задач. Например, у Вас есть кусок данных, где много неизвестных значений, а в целевых значениях много выбросов. Можно изъять его из обучения (допустим это повышает качество), но использовать, например, для mean target encoding категориальных признаков (и утечки не будет и кодирование будет вполне нормальным).
На своих курсах я часто сообщаю такой приём: не выбрасывать плохие данные, а примерить их пусть не для моделирования, но для служебных задач. Например, у Вас есть кусок данных, где много неизвестных значений, а в целевых значениях много выбросов. Можно изъять его из обучения (допустим это повышает качество), но использовать, например, для mean target encoding категориальных признаков (и утечки не будет и кодирование будет вполне нормальным).
#чужие_блоги
Есть такой не очень часто упоминаемый блог Amit Chaudhary. С 2021 года он, к сожалению, не пополняется, но там есть очень неплохие посты с качественными авторскими рисунками. Вот, например, рисунок из поста про подсчёт Average Precision (AP).
Есть такой не очень часто упоминаемый блог Amit Chaudhary. С 2021 года он, к сожалению, не пополняется, но там есть очень неплохие посты с качественными авторскими рисунками. Вот, например, рисунок из поста про подсчёт Average Precision (AP).
#опрос
Мне сейчас актуальны проблемы качества образования. Поэтому я попробую использовать аудиторию канала для опроса. Какие-то общие выводы опроса я, конечно, в канале напишу...
Нас обычно привлекают
- преподаватели (которые отличаются от других харизмой, манерой подачи и т.п.),
- курсы (которые оказываются полезными и запоминаются),
- приёмы (ну какие-то фишки, которые редко встречаются, но вызывают "вау-эффект": интересные формы контрольных, неформальные обсуждения материала и т.д.)
Если у Вас что-то такое было, напишите в форму. Там всего несколько полей, можно заполнять несколько раз, за одно заполнение можно указать что-то одно (преподавателя, курс или приём). Также желательно кратко объяснить, а что Вас зацепило... Это НЕ обязательно должно быть связано с DS или MATH образованием! Любопытно всё интересное.
Заранее всем спасибо!
Мне сейчас актуальны проблемы качества образования. Поэтому я попробую использовать аудиторию канала для опроса. Какие-то общие выводы опроса я, конечно, в канале напишу...
Нас обычно привлекают
- преподаватели (которые отличаются от других харизмой, манерой подачи и т.п.),
- курсы (которые оказываются полезными и запоминаются),
- приёмы (ну какие-то фишки, которые редко встречаются, но вызывают "вау-эффект": интересные формы контрольных, неформальные обсуждения материала и т.д.)
Если у Вас что-то такое было, напишите в форму. Там всего несколько полей, можно заполнять несколько раз, за одно заполнение можно указать что-то одно (преподавателя, курс или приём). Также желательно кратко объяснить, а что Вас зацепило... Это НЕ обязательно должно быть связано с DS или MATH образованием! Любопытно всё интересное.
Заранее всем спасибо!
Google Docs
Интересные преподаватели, курсы, приёмы
Опрос о том, что интересного Вы видели при Вашем обучении. Это может быть человек - талантливый преподаватель, это может быть педагогический приём, например командные соревнования по тематикам курса, или целый курс - аналогов которому почти нет.
Вопросы…
Вопросы…
#книга
Jakub M. Tomczak "Deep Generative Modeling"
По ощущениям это как раз книга для продвинутого ML, т.к. в стандартных программах не всегда глубокие генеративные модели подробно излагаются. Автор довольно известен, у него очень симпатичный сайт и доклады о генеративных моделях на разных научных школах. Там и блог есть, но в нём излагаются главы книги.
Минус у книги один:
- не смотря на объём, глубоко в специфику отдельных методов автор не погружается.
Зато много плюсов:
+ обзор всех популярных классов генеративных моделей;
+ для каждого класса даётся перечень приёмов/улучшений со ссылками на первоисточниками;
+ даны примеры кода.
Jakub M. Tomczak "Deep Generative Modeling"
По ощущениям это как раз книга для продвинутого ML, т.к. в стандартных программах не всегда глубокие генеративные модели подробно излагаются. Автор довольно известен, у него очень симпатичный сайт и доклады о генеративных моделях на разных научных школах. Там и блог есть, но в нём излагаются главы книги.
Минус у книги один:
- не смотря на объём, глубоко в специфику отдельных методов автор не погружается.
Зато много плюсов:
+ обзор всех популярных классов генеративных моделей;
+ для каждого класса даётся перечень приёмов/улучшений со ссылками на первоисточниками;
+ даны примеры кода.
#ссылка
Учебные материалы по теории хаоса. В полном доступе выложена авторская книга (более 1000 страниц) и материалы курсов.
https://chaosbook.org/
Учебные материалы по теории хаоса. В полном доступе выложена авторская книга (более 1000 страниц) и материалы курсов.
https://chaosbook.org/
AK_Analysis_I_14_04_23.pdf
3.4 MB
#жзл
Вчера не стало молодого талантливого математика - Александра Кулешова, но в память о нём осталась замечательная книга о математическом анализе.
Вчера не стало молодого талантливого математика - Александра Кулешова, но в память о нём осталась замечательная книга о математическом анализе.
#интересно
На ArXiv-е есть раздел статистики:
https://info.arxiv.org/help/stats/
Больше всего на него заливают препринтов в области Computer Science (в среднем сейчас более 200 в день), на втором месте - Math (более 100). И есть ещё раздел с отчётами:
https://info.arxiv.org/about/reports/index.html
Скачивают с ArXiv-а в день в среднем 1.5 млн статей (это по всем областям)!
На ArXiv-е есть раздел статистики:
https://info.arxiv.org/help/stats/
Больше всего на него заливают препринтов в области Computer Science (в среднем сейчас более 200 в день), на втором месте - Math (более 100). И есть ещё раздел с отчётами:
https://info.arxiv.org/about/reports/index.html
Скачивают с ArXiv-а в день в среднем 1.5 млн статей (это по всем областям)!
#курс
По машинному обучению может быть "стандартный" курс - в нём излагаются задачи и методы (kNN, SVM, LogReg и т.п.), "практический" - в нём больше идут от прикладных задач и библиотек (часто практическая часть интегрируется в виде семинаров в стандартный курс), а ещё "математический" (в нём учат теоремы и доказательства в ML). Интересно, что современных обучающих программах почти нет "математического ML", когда-то в ШАДе Червоненкис читал что-то похожее, но всё-таки с большим уклоном в область своих научных интересов.
Смотрел курсы MIT-а, там как раз есть "Математика в ML". Не знаю, доступно ли видео (не нашёл), но в pdf-ках темы прописаны хорошо. На картинке курса нарисована иллюстрация базового понятия в теоретическом ML (подсказка: связано с VC-размерностью).
По машинному обучению может быть "стандартный" курс - в нём излагаются задачи и методы (kNN, SVM, LogReg и т.п.), "практический" - в нём больше идут от прикладных задач и библиотек (часто практическая часть интегрируется в виде семинаров в стандартный курс), а ещё "математический" (в нём учат теоремы и доказательства в ML). Интересно, что современных обучающих программах почти нет "математического ML", когда-то в ШАДе Червоненкис читал что-то похожее, но всё-таки с большим уклоном в область своих научных интересов.
Смотрел курсы MIT-а, там как раз есть "Математика в ML". Не знаю, доступно ли видео (не нашёл), но в pdf-ках темы прописаны хорошо. На картинке курса нарисована иллюстрация базового понятия в теоретическом ML (подсказка: связано с VC-размерностью).
#термин
Как меняется значение термина со временем...
Сейчас термином cross-validation (перекрёстная проверка / скользящий контроль) называют практически любой способ "честной оценки её качества" (см. wiki). Более 20 лет назад под этим понимали, в основном, тестирование с равномерными разбиениям выборки:
- Leave-p-out cross-validation,
- Leave-one-out cross-validation,
- k-fold cross-validation.
А вот когда мы выборку делим на две части, на одной обучаемся, на другой контролируемся, называлось отложенным контролем (Holdout method) - видите, тут даже в названии нет "cross-validation".
И вот что написано на Wiki: "many sources instead classify holdout as a type of simple validation, rather than a simple or degenerate form of cross-validation".
На русской Wiki, кстати, вообще радикально отождествляют cross-validation = k-fold cross-validation (что соответствует старой терминологии).
Как меняется значение термина со временем...
Сейчас термином cross-validation (перекрёстная проверка / скользящий контроль) называют практически любой способ "честной оценки её качества" (см. wiki). Более 20 лет назад под этим понимали, в основном, тестирование с равномерными разбиениям выборки:
- Leave-p-out cross-validation,
- Leave-one-out cross-validation,
- k-fold cross-validation.
А вот когда мы выборку делим на две части, на одной обучаемся, на другой контролируемся, называлось отложенным контролем (Holdout method) - видите, тут даже в названии нет "cross-validation".
И вот что написано на Wiki: "many sources instead classify holdout as a type of simple validation, rather than a simple or degenerate form of cross-validation".
На русской Wiki, кстати, вообще радикально отождествляют cross-validation = k-fold cross-validation (что соответствует старой терминологии).
#образование
Небольшой вопрос (для желающих). Понятно, что большинство читателей канала уже закончили обучение, но можно мысленно вернуться в студенчество и задаться вопросом "Какую бы учебную программу я хотел, если бы учится на DS?"
На картинке - вариант программы (4 года обучения). Что в ней не так по Вашему? Что следует удалить / добавить? Содержание дисциплин можно считать идеальным.
Небольшой вопрос (для желающих). Понятно, что большинство читателей канала уже закончили обучение, но можно мысленно вернуться в студенчество и задаться вопросом "Какую бы учебную программу я хотел, если бы учится на DS?"
На картинке - вариант программы (4 года обучения). Что в ней не так по Вашему? Что следует удалить / добавить? Содержание дисциплин можно считать идеальным.
#образование
Запущена регистрация на БЕСПЛАТНУЮ программу AI Masters Набор 2023.
Программа готовит аналитиков и специалистов по Data Science с гибким набором курсов.
Продолжительность: 2 года,
Время занятий: по будням с 18:00 до 21:00,
Загрузка: в среднем 30 часов в неделю,
Обучение бесплатное.
Сайт программы с подробной информацией
Около 30 курсов, в том числе:
- Машинное обучение,
- Computer Vision & Video Processing,
- Вычислительная линейная алгебра,
- Математическая статистика и ее приложения,
- Big Data and Data Engineering,
- Продуктовая аналитика,
- Генеративные модели,
- Natural Language Processing,
- Reinforcement Learning,
- Вероятностные графические модели.
🗓 27 мая (суббота) в 12.00 состоится День открытых дверей в online формате.
👉 Ссылка на подключение
Любые вопросы пишите на почту [email protected] или кураторам проекта (их контакты - в соответствующем разделе на сайте).
👉 Подать заявку на поступление
Запущена регистрация на БЕСПЛАТНУЮ программу AI Masters Набор 2023.
Программа готовит аналитиков и специалистов по Data Science с гибким набором курсов.
Продолжительность: 2 года,
Время занятий: по будням с 18:00 до 21:00,
Загрузка: в среднем 30 часов в неделю,
Обучение бесплатное.
Сайт программы с подробной информацией
Около 30 курсов, в том числе:
- Машинное обучение,
- Computer Vision & Video Processing,
- Вычислительная линейная алгебра,
- Математическая статистика и ее приложения,
- Big Data and Data Engineering,
- Продуктовая аналитика,
- Генеративные модели,
- Natural Language Processing,
- Reinforcement Learning,
- Вероятностные графические модели.
🗓 27 мая (суббота) в 12.00 состоится День открытых дверей в online формате.
👉 Ссылка на подключение
Любые вопросы пишите на почту [email protected] или кураторам проекта (их контакты - в соответствующем разделе на сайте).
👉 Подать заявку на поступление