#книга
Есть такая немного старенькая (2016 года), но классная книга «Как стать современным учёным». Очень полезна, причём не важно, в какой области Вы специализируетесь. В ней кратко и по делу:
- как и где читать статьи,
- как и где их публиковать,
- как их писать, выкладывать код и данные,
- как докладывать о результатах и многое другое.
Много ссылок на конкретные инструменты, начиная с волшебного Overleaf, заканчивая платформами для личного блога (хотя некоторые инструменты уже устарели и нет учёта последних трендов типа онлайн-конференций). Всем молодым исследователям рекомендую хотя бы посмотреть;)
Есть такая немного старенькая (2016 года), но классная книга «Как стать современным учёным». Очень полезна, причём не важно, в какой области Вы специализируетесь. В ней кратко и по делу:
- как и где читать статьи,
- как и где их публиковать,
- как их писать, выкладывать код и данные,
- как докладывать о результатах и многое другое.
Много ссылок на конкретные инструменты, начиная с волшебного Overleaf, заканчивая платформами для личного блога (хотя некоторые инструменты уже устарели и нет учёта последних трендов типа онлайн-конференций). Всем молодым исследователям рекомендую хотя бы посмотреть;)
February 2, 2023
#код
Забавляет, что в библиотеках, которыми пользуется DS сообщества, при более-менее стандартных именах функций на ровном месте возникают несогласованности. Например, конкатенация матриц / датафреймов / тензоров:
в нумпае -
в пандасе -
в пайторче -
Некоторые особенности разного именования вызваны разными концепциями средств программирования (например, пометка inplace-методов с помощью аргумента inplace или с помощью знака подчёркивания).
Некоторые просто авторские (например, последний слой предобученных нейросетевых моделей: fc / classifier / head).
Но вот зачем конкатенацию по-разному называть? :)
Забавляет, что в библиотеках, которыми пользуется DS сообщества, при более-менее стандартных именах функций на ровном месте возникают несогласованности. Например, конкатенация матриц / датафреймов / тензоров:
в нумпае -
numpy.concatenate,в пандасе -
pandas.concat,в пайторче -
torch.cat.Некоторые особенности разного именования вызваны разными концепциями средств программирования (например, пометка inplace-методов с помощью аргумента inplace или с помощью знака подчёркивания).
Некоторые просто авторские (например, последний слой предобученных нейросетевых моделей: fc / classifier / head).
Но вот зачем конкатенацию по-разному называть? :)
February 6, 2023
Чему равно X? [0.485, 0.456, 0.406], [0.229, 0.224, X]
Anonymous Quiz
15%
0.22
14%
0.222
9%
0.224
19%
0.225
3%
0.23
41%
ничего не понимаю
February 7, 2023
#забавно
Заинтересовался темой - как генерировать бессмысленные входы для нейронок, которые не воспринимались бы ей бессмысленными. Отсюда родилась игра - придумать последовательность букв, которая не является словом русского языка, но переводится переводчиком в слово английского языка, это свойство сохраняется при удалении любого количества букв из последовательности.
Тут можно ещё конкретизировать:
- какие буквы допустимо удалять,
- потребовать, чтобы все слова в переводах были разными,
- потребовать, чтобы при добавлении любой буквы, это свойство уже терялось,
- найти максимальное по длине / по числу задействованных букв слово
и т.п.
Пример с гугл-переводчиком на картинке, с ним правда есть совсем вырожденная стратегия в составлении подобных слов:(
Заинтересовался темой - как генерировать бессмысленные входы для нейронок, которые не воспринимались бы ей бессмысленными. Отсюда родилась игра - придумать последовательность букв, которая не является словом русского языка, но переводится переводчиком в слово английского языка, это свойство сохраняется при удалении любого количества букв из последовательности.
Тут можно ещё конкретизировать:
- какие буквы допустимо удалять,
- потребовать, чтобы все слова в переводах были разными,
- потребовать, чтобы при добавлении любой буквы, это свойство уже терялось,
- найти максимальное по длине / по числу задействованных букв слово
и т.п.
Пример с гугл-переводчиком на картинке, с ним правда есть совсем вырожденная стратегия в составлении подобных слов:(
February 17, 2023
#термин
Есть такое интересное понятие - Цена анархии. По простому, это во сколько раз эгоистичное поведение хуже согласованного. Например, есть 3 грибника и 2 удалённых грибницы в разных сторонах, в одной ~ 300 грибов, в другой ~ 150. Согласованное поведение: двое идут к первой, третий ко второй, в результате все набирают по ~ 150 грибов. Эгоистичное поведение: все бросаются к большей грибнице и каждый набирает по ~ 100 грибов. Цена анархии = 150/100 = 1.5.
Это понятие возникает в и DS-задачах. Часто бизнес-продукты оптимизируются в рамках "идеального мира" (скажем, прогнозируем продажу N единиц товара - и столько завозим на склад), но пользователи не будут действовать согласованно, они чаще эгоистичны (приходит перекупщик и скупает все N), поэтому нужно заранее уметь оценивать, насколько меньше может быть их удовлетворённость, наши доходы и т.п.
Иногда цена анархии появляется и в совсем ML-ных статьях, например в статьях про RL.
Есть такое интересное понятие - Цена анархии. По простому, это во сколько раз эгоистичное поведение хуже согласованного. Например, есть 3 грибника и 2 удалённых грибницы в разных сторонах, в одной ~ 300 грибов, в другой ~ 150. Согласованное поведение: двое идут к первой, третий ко второй, в результате все набирают по ~ 150 грибов. Эгоистичное поведение: все бросаются к большей грибнице и каждый набирает по ~ 100 грибов. Цена анархии = 150/100 = 1.5.
Это понятие возникает в и DS-задачах. Часто бизнес-продукты оптимизируются в рамках "идеального мира" (скажем, прогнозируем продажу N единиц товара - и столько завозим на склад), но пользователи не будут действовать согласованно, они чаще эгоистичны (приходит перекупщик и скупает все N), поэтому нужно заранее уметь оценивать, насколько меньше может быть их удовлетворённость, наши доходы и т.п.
Иногда цена анархии появляется и в совсем ML-ных статьях, например в статьях про RL.
Wikipedia
Цена анархии
Цена ана́рхии (англ. Price of Anarchy, PoA) — концепция в экономике и теории игр, которая измеряет, насколько эффективность системы деградирует из-за эгоистического поведения её агентов.
February 20, 2023
#термин
Есть такой феномен "Банерная слепота" - если человек долго пользуется сайтом с рекламой, то его внимание к рекламе притупляется и она перестаёт на него эффективно действовать. Постоянно появляются исследования подтверждающие, уточняющие или опровергающие этот эффект. Например, в работе Small percentage of users is able to reliably distinguish between ads and organic results утверждается, что пользователи не особо различают рекламные и органические ссылки в поисковой выдаче, а в работе Investigating the influence of ads on user search performance, behaviour, and experience during information seeking, что наличие рекламы сильно вредит работе (притупляется внимание и т.п.)
Есть такой феномен "Банерная слепота" - если человек долго пользуется сайтом с рекламой, то его внимание к рекламе притупляется и она перестаёт на него эффективно действовать. Постоянно появляются исследования подтверждающие, уточняющие или опровергающие этот эффект. Например, в работе Small percentage of users is able to reliably distinguish between ads and organic results утверждается, что пользователи не особо различают рекламные и органические ссылки в поисковой выдаче, а в работе Investigating the influence of ads on user search performance, behaviour, and experience during information seeking, что наличие рекламы сильно вредит работе (притупляется внимание и т.п.)
February 28, 2023
#забавно
Есть такая старая картинка с колодой карт, на которой изображены математики. Интересно, что есть и другие подобные колоды в интернете, довольно качественно оформленные.
Есть такая старая картинка с колодой карт, на которой изображены математики. Интересно, что есть и другие подобные колоды в интернете, довольно качественно оформленные.
March 1, 2023
#длясправки
Есть несколько стандартных модификаций метода k-средних, наиболее известная - алгоритм Ллойда, именно он реализован в scikit-learn. А вот на R реализованы:
* Lloyd,
* Forgy,
* MacQueen,
* Hartigan and Wong.
И много чего ещё. Там отличия в инициализации и пересчёте, очень неплохо написано здесь (хотя это не прям ценные знания). Но в очередной раз поражаюсь, сколько всего в разных библиотеках языка R...
Есть несколько стандартных модификаций метода k-средних, наиболее известная - алгоритм Ллойда, именно он реализован в scikit-learn. А вот на R реализованы:
* Lloyd,
* Forgy,
* MacQueen,
* Hartigan and Wong.
И много чего ещё. Там отличия в инициализации и пересчёте, очень неплохо написано здесь (хотя это не прям ценные знания). Но в очередной раз поражаюсь, сколько всего в разных библиотеках языка R...
March 3, 2023
#соревнования
Самые популярные показатели качества, которые были использованы в соревновательных задачах на платформе Kaggle. В лидерах - площадь по ROC-кривой. [источник]
Самые популярные показатели качества, которые были использованы в соревновательных задачах на платформе Kaggle. В лидерах - площадь по ROC-кривой. [источник]
March 5, 2023
#забавно
Как в том анекдоте (хочу поехать в Новгород - в какой? - а что их несколько?). На коротком промежутке времени нескольким коллективам авторов пришло в голову назвать их метод "DEAR" (и на скриншоте далеко не все работы, остальные просто не вынесли это в заголовок). Если так подумать, то кризис свободных запоминающихся аббревиатур уже начался...
Как в том анекдоте (хочу поехать в Новгород - в какой? - а что их несколько?). На коротком промежутке времени нескольким коллективам авторов пришло в голову назвать их метод "DEAR" (и на скриншоте далеко не все работы, остальные просто не вынесли это в заголовок). Если так подумать, то кризис свободных запоминающихся аббревиатур уже начался...
March 7, 2023
Если Вы DS/аналитик/IT-шник(ца)... сколько в Вашем коллективе (окружении) представительниц прекрасного пола?
Anonymous Poll
21%
0% - 9%
20%
10% - 19%
14%
20% - 29%
7%
30% - 39%
5%
40% - 49%
6%
50% и больше
26%
просто посмотреть результаты
March 8, 2023
#поздравление
Всех читательниц канала с праздником! Весеннего настроения и удачи! 🌹
П.С. На рис. "девушка в DL" по версии генеративной нейронки;)
Всех читательниц канала с праздником! Весеннего настроения и удачи! 🌹
П.С. На рис. "девушка в DL" по версии генеративной нейронки;)
March 8, 2023
#визуализация
Немного красоты свёрток перед первым рабочим днём на неделе;)
https://animatedai.github.io/
Здесь не изображены векторы смещения (bias), но это не значит, что их нет;)
П.С. Спасибо коллеге Сергею за ссылку.
Немного красоты свёрток перед первым рабочим днём на неделе;)
https://animatedai.github.io/
Здесь не изображены векторы смещения (bias), но это не значит, что их нет;)
П.С. Спасибо коллеге Сергею за ссылку.
March 12, 2023
#книга
Наконец-то я дочитал книгу Яна Лекуна "Как учится машина: Революция в области нейронных сетей и глубокого обучения" (вышла давно, но я к ней возвращался урывками).
Что касается названия, то, на мой взгляд, в книге не раскрывается полностью и ясно "как учится машина". Есть некоторые наброски - как может быть устроен сильный ИИ, что для этого потребуется, но тут собраны довольно известные (для специалистов) мысли.
Но самое ценное в ней - автобиографичность, автор подробно рассказывает, где работал, чем занимался и как. Хотелось бы, чтобы её прочитали все "организаторы науки". Я многое узнал, например, о происхождении некоторых фото или крылатых фраз в ML.
Много чего можно процитировать из книги. Вот лишь один фрагмент...
"Если вы сталкиваетесь со стартапом, руководители которого заявляют, что они обладают какими-либо секретными результатами, относящимися к ИИ чуть ли не человеческого уровня, они или лгут вам, или обманывают сами себя. Не доверяйте им!"
Читать обязательно!
Наконец-то я дочитал книгу Яна Лекуна "Как учится машина: Революция в области нейронных сетей и глубокого обучения" (вышла давно, но я к ней возвращался урывками).
Что касается названия, то, на мой взгляд, в книге не раскрывается полностью и ясно "как учится машина". Есть некоторые наброски - как может быть устроен сильный ИИ, что для этого потребуется, но тут собраны довольно известные (для специалистов) мысли.
Но самое ценное в ней - автобиографичность, автор подробно рассказывает, где работал, чем занимался и как. Хотелось бы, чтобы её прочитали все "организаторы науки". Я многое узнал, например, о происхождении некоторых фото или крылатых фраз в ML.
Много чего можно процитировать из книги. Вот лишь один фрагмент...
"Если вы сталкиваетесь со стартапом, руководители которого заявляют, что они обладают какими-либо секретными результатами, относящимися к ИИ чуть ли не человеческого уровня, они или лгут вам, или обманывают сами себя. Не доверяйте им!"
Читать обязательно!
March 17, 2023
#конференция
Года 3 назад постил эту ссылку, но если кто-то не добавил в закладки...
Список научных школ по машинному обучению (в том числе будущих):
https://github.com/sshkhr/awesome-mlss
Года 3 назад постил эту ссылку, но если кто-то не добавил в закладки...
Список научных школ по машинному обучению (в том числе будущих):
https://github.com/sshkhr/awesome-mlss
GitHub
GitHub - awesome-mlss/awesome-mlss: 🤖 Machine Learning Summer School Guide
🤖 Machine Learning Summer School Guide. Contribute to awesome-mlss/awesome-mlss development by creating an account on GitHub.
March 17, 2023
#история (которую я часто рассказываю в своём курсе)
На одном из хакатонов, который проводила крупная нефтяная компания, в финале участники выступали с презентациями о своих решениях задачи прогнозирования дебита нефти... Почти все настраивали бустинг (различались лишь библиотеки), генерировали признаки, искали лики и т.п.
Предпоследним вышел парень из Уфы, который занял 2е место в лидерборде, и сказал: я не очень понимаю смысл всего, что тут говорилось, такие слова как "бустинг" я слышу в первый раз. Я учусь "в нефтянке", нас учили, что есть такая формула для дебита (выводит на слайд небольшую формулу), я просто в неё подставил известные значения, а неизвестные прикинул, какими они могли бы быть.
На одном из хакатонов, который проводила крупная нефтяная компания, в финале участники выступали с презентациями о своих решениях задачи прогнозирования дебита нефти... Почти все настраивали бустинг (различались лишь библиотеки), генерировали признаки, искали лики и т.п.
Предпоследним вышел парень из Уфы, который занял 2е место в лидерборде, и сказал: я не очень понимаю смысл всего, что тут говорилось, такие слова как "бустинг" я слышу в первый раз. Я учусь "в нефтянке", нас учили, что есть такая формула для дебита (выводит на слайд небольшую формулу), я просто в неё подставил известные значения, а неизвестные прикинул, какими они могли бы быть.
March 29, 2023
#к_вопросу
В одной из статей авторы добавили к названию предложенной нейронки (трансформеру) такой забавный значок. Ниже вопрос;)
В одной из статей авторы добавили к названию предложенной нейронки (трансформеру) такой забавный значок. Ниже вопрос;)
March 30, 2023
March 30, 2023
#забавно
Потестил новую отечественную генеративную модель.
Слева генерация по запросу "Сотрудница Cбера пишет ruDALL-E", справа - "Сотрудник Сбера не пишет ruGPT4".
Потестил новую отечественную генеративную модель.
Слева генерация по запросу "Сотрудница Cбера пишет ruDALL-E", справа - "Сотрудник Сбера не пишет ruGPT4".
April 4, 2023
#приёмы
На своих курсах я часто сообщаю такой приём: не выбрасывать плохие данные, а примерить их пусть не для моделирования, но для служебных задач. Например, у Вас есть кусок данных, где много неизвестных значений, а в целевых значениях много выбросов. Можно изъять его из обучения (допустим это повышает качество), но использовать, например, для mean target encoding категориальных признаков (и утечки не будет и кодирование будет вполне нормальным).
На своих курсах я часто сообщаю такой приём: не выбрасывать плохие данные, а примерить их пусть не для моделирования, но для служебных задач. Например, у Вас есть кусок данных, где много неизвестных значений, а в целевых значениях много выбросов. Можно изъять его из обучения (допустим это повышает качество), но использовать, например, для mean target encoding категориальных признаков (и утечки не будет и кодирование будет вполне нормальным).
April 5, 2023
#чужие_блоги
Есть такой не очень часто упоминаемый блог Amit Chaudhary. С 2021 года он, к сожалению, не пополняется, но там есть очень неплохие посты с качественными авторскими рисунками. Вот, например, рисунок из поста про подсчёт Average Precision (AP).
Есть такой не очень часто упоминаемый блог Amit Chaudhary. С 2021 года он, к сожалению, не пополняется, но там есть очень неплохие посты с качественными авторскими рисунками. Вот, например, рисунок из поста про подсчёт Average Precision (AP).
April 11, 2023