#математика
Просто любопытный факт, который, как оказалось, мало кто знает. Можно ввести понятие beta-энтропии, частными случаями которой будут информационная энтропия и индекс Джини (ну, с точностью до константы).
beta-энтропию сложно гуглить:), но есть похожая энтропия Цалиса, которую в машинном обучении уже используют, но к нейросетям, вроде, пока не прикрутили;)
Просто любопытный факт, который, как оказалось, мало кто знает. Можно ввести понятие beta-энтропии, частными случаями которой будут информационная энтропия и индекс Джини (ну, с точностью до константы).
beta-энтропию сложно гуглить:), но есть похожая энтропия Цалиса, которую в машинном обучении уже используют, но к нейросетям, вроде, пока не прикрутили;)
👍64🎉11🤔5
#математика
Лемма о малом искажении (Джонсона – Линденштрауса) утверждает, что множество точек многомерного пространства можно отобразить в пространство меньшей размерности так, что расстояния между точками почти не изменятся. Интересно, что этого можно добиться ортогональными проекциями.
Этот красивый результат упоминается даже в помощи sklearn, а доказательство можно найти в книге Roman Vershynin
«High-Dimensional Probability An Introduction with Applications in Data Science» (кстати, скоро выходит 2е издание).
П.С. Картинка к посту из материалов Джефри Гордона.
Лемма о малом искажении (Джонсона – Линденштрауса) утверждает, что множество точек многомерного пространства можно отобразить в пространство меньшей размерности так, что расстояния между точками почти не изменятся. Интересно, что этого можно добиться ортогональными проекциями.
Этот красивый результат упоминается даже в помощи sklearn, а доказательство можно найти в книге Roman Vershynin
«High-Dimensional Probability An Introduction with Applications in Data Science» (кстати, скоро выходит 2е издание).
П.С. Картинка к посту из материалов Джефри Гордона.
🔥64👍21❤3🤔3