#визуализация
Может, многие уже видели, но всё-таки... лучшая визуальная иллюзия 2019 года:
https://www.youtube.com/watch?v=HC0GGkNZPgs
Может, многие уже видели, но всё-таки... лучшая визуальная иллюзия 2019 года:
https://www.youtube.com/watch?v=HC0GGkNZPgs
YouTube
Dual Axis Illusion
Best Illusion of the Year Contest - 2019
Title: Dual Axis Illusion
Authors: Frank Force
Country: USA
Title: Dual Axis Illusion
Authors: Frank Force
Country: USA
#NeurIPS2019
Лучшие статьи на последней крупной конференции:
https://rubikscode.net/2019/12/30/neurips-2019-outstanding-machine-learning-paper-awards/
Лучшие статьи на последней крупной конференции:
https://rubikscode.net/2019/12/30/neurips-2019-outstanding-machine-learning-paper-awards/
Rubik's Code
NeurIPS 2019 Outstanding Machine Learning Paper Awards
Well, it is not just end of the year, but end of the decade as well. So, for the last article of 2019, we decided to write about awarded research papers from Neural Information Processing Systems…
#визуализация
Новогоднее... куда пришла зима: снег и лёд по состоянию на 25 декабря
https://redd.it/egb7x2
Новогоднее... куда пришла зима: снег и лёд по состоянию на 25 декабря
https://redd.it/egb7x2
#блог
Поздравление читателям блога и немного о концепции этого канала...
https://dyakonov.org/2019/12/31/с-новым-2020-годом/
Поздравление читателям блога и немного о концепции этого канала...
https://dyakonov.org/2019/12/31/с-новым-2020-годом/
Анализ малых данных
С Новым 2020 годом!
По традиции раз в год поздравляю всех читателей блога с праздником! Немного статистики и небольшой подарок читателям.…
#книга
Мартин О. "Байесовский анализ на Python" (Bayesian Analysis with Python)
Прочитал на каникулах книгу, которая очень понравилась по оглавлению и названию, но был разочарован... написано неплохо, перевод тоже хороший, тема интересная, но вот целевой аудитории для книги нет... если Вы не знаете ничего про байесовский анализ, то из книги не узнаете, если не умеете работать со специализированными пакетами, то ничему не научитесь, если не знаете методов машинного обучения, боюсь, что и не узнаете. Получилась "солянка" (всего понемножку), которая в русском издании, к тому же, немного устарела:(
Мартин О. "Байесовский анализ на Python" (Bayesian Analysis with Python)
Прочитал на каникулах книгу, которая очень понравилась по оглавлению и названию, но был разочарован... написано неплохо, перевод тоже хороший, тема интересная, но вот целевой аудитории для книги нет... если Вы не знаете ничего про байесовский анализ, то из книги не узнаете, если не умеете работать со специализированными пакетами, то ничему не научитесь, если не знаете методов машинного обучения, боюсь, что и не узнаете. Получилась "солянка" (всего понемножку), которая в русском издании, к тому же, немного устарела:(
#курс
Чтобы хорошо изучить какую-нибудь тему, лучше это делать с помощью «узкого курса», который подготовил специалист по этой теме: там глубокое погружение и часто внимание обращают на такие тонкости, которых Вы не узнаете из «универсальных курсов». В интернете полно хороших курсов по отдельным темам, которые «не на слуху». В качестве примера даю ссылку на курс Продвинутая регрессия: обобщенная линейная и логистическая регрессии, подробно рассмотрен метод максимального правдоподобия и экспоненциальное семейство распределений, различные статистические свойства параметров и из оценок. Весь код, к сожалению или счастью, на R и SAS (курс немного древний, но актуальности совсем не потерял)
http://web.as.uky.edu/statistics/users/pbreheny/760/S13/notes.html
Чтобы хорошо изучить какую-нибудь тему, лучше это делать с помощью «узкого курса», который подготовил специалист по этой теме: там глубокое погружение и часто внимание обращают на такие тонкости, которых Вы не узнаете из «универсальных курсов». В интернете полно хороших курсов по отдельным темам, которые «не на слуху». В качестве примера даю ссылку на курс Продвинутая регрессия: обобщенная линейная и логистическая регрессии, подробно рассмотрен метод максимального правдоподобия и экспоненциальное семейство распределений, различные статистические свойства параметров и из оценок. Весь код, к сожалению или счастью, на R и SAS (курс немного древний, но актуальности совсем не потерял)
http://web.as.uky.edu/statistics/users/pbreheny/760/S13/notes.html
#поучительно
Почти детективная и поучительная история... лучшего Российского кэглера Павла Плескова навечно забанили на соревновательной платформе kaggle.com
https://www.kaggle.com/c/petfinder-adoption-prediction/discussion/125436
Все подробности есть по ссылке. Кратко, в соревновании "PetFinder.my Adoption Prediction" команда Павла использовала правильные ответы на контрольной выборке, тщательно замаскировав это в коде. Обман выявился через несколько месяцев, вызвал негативную реакцию в Kaggle-сообществе, привёл к исключению членов команды из рейтинга Kaggle (вроде, не всех). Компания, в которой работал Павел, уволила его:
https://twitter.com/h2oai/status/1215806481339056128
Сам Павел извинился в своём сообщении в Твиттере:
https://twitter.com/ppleskov/status/1215983188876709888
Это не первая подобная скандальная история на Kaggle, почти все были связаны с Российскими участниками (например, ограничение "1 человек может участвовать только в 1 команде" появилось после действий ребят из Кирова).
Почти детективная и поучительная история... лучшего Российского кэглера Павла Плескова навечно забанили на соревновательной платформе kaggle.com
https://www.kaggle.com/c/petfinder-adoption-prediction/discussion/125436
Все подробности есть по ссылке. Кратко, в соревновании "PetFinder.my Adoption Prediction" команда Павла использовала правильные ответы на контрольной выборке, тщательно замаскировав это в коде. Обман выявился через несколько месяцев, вызвал негативную реакцию в Kaggle-сообществе, привёл к исключению членов команды из рейтинга Kaggle (вроде, не всех). Компания, в которой работал Павел, уволила его:
https://twitter.com/h2oai/status/1215806481339056128
Сам Павел извинился в своём сообщении в Твиттере:
https://twitter.com/ppleskov/status/1215983188876709888
Это не первая подобная скандальная история на Kaggle, почти все были связаны с Российскими участниками (например, ограничение "1 человек может участвовать только в 1 команде" появилось после действий ребят из Кирова).
Kaggle
PetFinder.my Adoption Prediction
How cute is that doggy in the shelter?
#плагиат
Наверное, многие слышали про проект "Диссернет" - по борьбе с различными неэтическими моментами в Российской науке (плагиатом, липовыми защитами и т.п.),
например, есть анти-рейтинг Российских вузов
http://rosvuz.dissernet.org/
Наверное, многие слышали про проект "Диссернет" - по борьбе с различными неэтическими моментами в Российской науке (плагиатом, липовыми защитами и т.п.),
например, есть анти-рейтинг Российских вузов
http://rosvuz.dissernet.org/
#математика
Eсть красивая теорема, которая описывает геометрическое расположение собственных значений матрицы на комплексной плоскости - Gershgorin circle theorem (GCT)
https://en.wikipedia.org/wiki/Gershgorin_circle_theorem
Она доказана советским математиком, но русской страницы на Wiki про неё нет, а узнал я о ней листая теоретические работы по рекуррентным сетям;)
Eсть красивая теорема, которая описывает геометрическое расположение собственных значений матрицы на комплексной плоскости - Gershgorin circle theorem (GCT)
https://en.wikipedia.org/wiki/Gershgorin_circle_theorem
Она доказана советским математиком, но русской страницы на Wiki про неё нет, а узнал я о ней листая теоретические работы по рекуррентным сетям;)
Wikipedia
Gershgorin circle theorem
In mathematics, the Gershgorin circle theorem may be used to bound the spectrum of a square matrix. It was first published by the Soviet mathematician Semyon Aronovich Gershgorin in 1931. Gershgorin's name has been transliterated in several different ways…
#soft
Небольшой софт от Микрософт для визуализации и анализа данных
https://cloudblogs.microsoft.com/opensource/2019/10/10/microsoft-open-sources-sanddance-visual-data-exploration-tool/
Небольшой софт от Микрософт для визуализации и анализа данных
https://cloudblogs.microsoft.com/opensource/2019/10/10/microsoft-open-sources-sanddance-visual-data-exploration-tool/
Microsoft Open Source Blog
Microsoft open sources SandDance, a visual data exploration tool - Microsoft Open Source Blog
SandDance, the beloved data visualization tool from Microsoft Research, has been re-released as an open source project on GitHub.
#интересно
В этой работе изучали среднюю температуру человеческого тела. Если верить всему, что написано и не задумываться о представительности выборок, то в течение жизни человека она падает. У женщин она чуть выше. И самое интересное, за последние годы она снижается, причём линейно, «норма» 36.6 100 лет назад была в районе 36.9!
https://elifesciences.org/articles/49555
В этой работе изучали среднюю температуру человеческого тела. Если верить всему, что написано и не задумываться о представительности выборок, то в течение жизни человека она падает. У женщин она чуть выше. И самое интересное, за последние годы она снижается, причём линейно, «норма» 36.6 100 лет назад была в районе 36.9!
https://elifesciences.org/articles/49555
eLife
Decreasing human body temperature in the United States since the Industrial Revolution
Since the Industrial Revolution, normal body temperature in both men and women has decreased monotonically by 0.03°C per birth decade.
#CATBoost
За что я не люблю катбуст - за постоянные сюрпризы и невозможность простого использования в стандартных пайплайнах. Есть же самая популярная ML-библитека scikit-learn и многие другие библиотеки в неё нормально интегрируются (xgboost, lightgbm и т.п.). Вот сейчас, в готовый код вставил
import catboost as cb
cb.CatBoostClassifier(subsample=0.6, iterations=50, learning_rate=0.3, depth=4, silent=True, random_seed=1)
и всё вывалилось с ошибкой "CatBoostError: You can't change params of fitted model." на строке
model.set_params(**{'random_seed': t});
Что, правда? После стольких лет разработки - нельзя динамически менять параметры?!
Поковырялся в исходниках - ошибка появляется после if self.is_fitted() (т.е. обученную модель не трогают).
Любой другой современный бустинг, имеющий в python-имплементации sklearn-совместимую функуцию нормально бы отработал, только надо было бы написать
model.set_params(**{'random_state': t});
За что я не люблю катбуст - за постоянные сюрпризы и невозможность простого использования в стандартных пайплайнах. Есть же самая популярная ML-библитека scikit-learn и многие другие библиотеки в неё нормально интегрируются (xgboost, lightgbm и т.п.). Вот сейчас, в готовый код вставил
import catboost as cb
cb.CatBoostClassifier(subsample=0.6, iterations=50, learning_rate=0.3, depth=4, silent=True, random_seed=1)
и всё вывалилось с ошибкой "CatBoostError: You can't change params of fitted model." на строке
model.set_params(**{'random_seed': t});
Что, правда? После стольких лет разработки - нельзя динамически менять параметры?!
Поковырялся в исходниках - ошибка появляется после if self.is_fitted() (т.е. обученную модель не трогают).
Любой другой современный бустинг, имеющий в python-имплементации sklearn-совместимую функуцию нормально бы отработал, только надо было бы написать
model.set_params(**{'random_state': t});
#соревнование
Какой-то очередной хакатон по теме цифровизации индустрии туризма с призовым фондом ~ 1млн руб.
https://travelhack.moscow/#
Какой-то очередной хакатон по теме цифровизации индустрии туризма с призовым фондом ~ 1млн руб.
https://travelhack.moscow/#
business.russpass.ru
Moscow Travel Hack 2024
#статья
Самый типичный вопрос при изучении метрических алгоритмов - какая метрика лучше? Хотя разные метрики, в целом, некорректно сравнивать, есть такая обзорная работа. Интересно, что в журнальном варианте она вышла в прошлом году, хотя её первая версия была залита на Arxiv ещё в 2017. Эксперименты в ней можно критиковать, но лучше, чем ничего...
https://arxiv.org/abs/1708.04321
Самый типичный вопрос при изучении метрических алгоритмов - какая метрика лучше? Хотя разные метрики, в целом, некорректно сравнивать, есть такая обзорная работа. Интересно, что в журнальном варианте она вышла в прошлом году, хотя её первая версия была залита на Arxiv ещё в 2017. Эксперименты в ней можно критиковать, но лучше, чем ничего...
https://arxiv.org/abs/1708.04321
arXiv.org
Distance and Similarity Measures Effect on the Performance of...
The K-nearest neighbor (KNN) classifier is one of the simplest and most common classifiers, yet its performance competes with the most complex classifiers in the literature. The core of this...
#DL
Очень нравятся ресурсы, которые демонстрируют некоторые DL-методы, пусть и в упрощённом стиле. Например, как из этой подборки (очень удобно давать студентам, которые про DL раньше не слышали):
https://pikabu.ru/story/21_sayt_gde_mozhno_protestirovat_rabotu_neyrosetey_6697786
Очень нравятся ресурсы, которые демонстрируют некоторые DL-методы, пусть и в упрощённом стиле. Например, как из этой подборки (очень удобно давать студентам, которые про DL раньше не слышали):
https://pikabu.ru/story/21_sayt_gde_mozhno_protestirovat_rabotu_neyrosetey_6697786
Пикабу
21 сайт, где можно протестировать работу нейросетей
Убийцы свободного времени
#книга
Почти про каждую тему в ML можно сделать отдельный курс. Это часто имеет смысл, например, если делать идеальную бакалаврскую программу по анализу данных, в ней могли бы быть отдельные курсы по регрессии, кластеризации и т.п. Вот неплохой конспект лекций "A Comprehensive Guide to Machine Learning" - тут много об одном и том же - линейная регрессия во всех проявлениях (вероятностная постановка, добавление весов объектов и т.п.), но этим книжка и хороша - не везде есть подробности:
http://snasiriany.me/files/ml-book.pdf
Почти про каждую тему в ML можно сделать отдельный курс. Это часто имеет смысл, например, если делать идеальную бакалаврскую программу по анализу данных, в ней могли бы быть отдельные курсы по регрессии, кластеризации и т.п. Вот неплохой конспект лекций "A Comprehensive Guide to Machine Learning" - тут много об одном и том же - линейная регрессия во всех проявлениях (вероятностная постановка, добавление весов объектов и т.п.), но этим книжка и хороша - не везде есть подробности:
http://snasiriany.me/files/ml-book.pdf
#интересно
Известные популяризаторы решают задачи... а это, действительно, занятно;)
https://youtu.be/6WetHl8VN1I
Известные популяризаторы решают задачи... а это, действительно, занятно;)
https://youtu.be/6WetHl8VN1I
YouTube
Форт Боярд Математиков: Побединский, Wild Mathing, Савватеев, Трушин, Гарвард Оксфорд, Математик МГУ
Подписка: https://yangx.top/flesspro
Фантастическая пятёрка математиков - Алексей Савватеев, Борис Трушин, Дмитрий Побединский, Владимир Зубков (Гарвард Оксфорд) и Андрей Павликов (Математик МГУ, Хитман) - попала в замок Злого Духа (Wild Mathing). Выход из него…
Фантастическая пятёрка математиков - Алексей Савватеев, Борис Трушин, Дмитрий Побединский, Владимир Зубков (Гарвард Оксфорд) и Андрей Павликов (Математик МГУ, Хитман) - попала в замок Злого Духа (Wild Mathing). Выход из него…
#данные
Для тех, кому нужны датасеты - обновление известного поиска:
https://blog.google/products/search/discovering-millions-datasets-web/
Для тех, кому нужны датасеты - обновление известного поиска:
https://blog.google/products/search/discovering-millions-datasets-web/
Google
Discovering millions of datasets on the web
Dataset Search launches publicly with an index of 25 million datasets, helping scientists, journalists, students, data geeks to find data.