Комментарий к предыдущему посту...

В принципе, многое прозвучало в комментариях, но не все комментарии были корректны. Давайте для простоты возьмём случайный лес (RFC).

0) это, конечно, не параметры по умолчанию. По умолчанию в лесе 100 деревьев и min_samples_split=2, например.

-) то что min_samples_leaf=1 это нормально - читайте помощь (см. также ответ в комментариях к предыдыущему посту).

+) то что n_estimators=20 - это уже странно, обычно этот параметр даже и не перебирают ("чем больше, тем не хуже"). Хотя... в этой статье в выборке было 350 объектов (обучение) + 150 (тест), причём это же твиты, их можно сколько угодно насобирать... Но зато теперь верится, что при 20 деревьев качество уже вышло на максимум.

+) нет параметра max_features - это главный аргумент! Это, по сути, единственный параметр RFC, который нужно подобрать (причём значение по умолчанию редко бывает оптимальным). И раз уже перечислили всё, включая random_state, забыть самый важный параметр это сверхстранно.

https://scikit-learn.org/stable/modules/ensemble.html#random-forest-parameters

Кстати, раз уж я тут открыл помощь... Представляете, в RF изменили значения по умолчанию для max_features, уже много лет во всех реализациях RF было sqrt(n) - для классификации и 0.3n - для регрессии. Теперь для регрессии просто n (т.е. просматриваются все признаки)!

#журнал
В линейке Nature есть специальный журнал для презентации наборов данных - "Scientific Data".
Вот, например, рисунок из статьи про новый датасет с фенотипами подсолнухов.
https://www.nature.com/sdata/

#игра
Какая симпатичная идея: загадано слово, Вы пытаетесь его угадать, сообщая свой вариант. Вам указывается, какое по счёту Ваше слово от исходного, если слова упорядочить по близости (это сделано, видимо, какой-то нейронкой). Вот мой результат с первой попытки без подсказок - за 20 слов;)
Если эту идею развить - получатся неплохие конкурсы для «промпт-инженеров»!
https://контекстно.рф

#приёмы
В старом посте я описывал приём AV: решение задачи разделения обучения и теста позволяет понять
1) какие признаки стабильны,
2) как отобрать обучающую подвыборку максимально похожую на тест.

Из того, что я тогда не сказал, но это полезно:
1) логично встроить AV в процедуру отбора признаков (чтобы отбиралось не просто подпространство с высоким качеством решения, но и стабильное),
2) когда нет теста (а его на практике часто и нет) можно разбить объекты по времени (странно, но при решении прикладных задач это делают очень редко),
3) из нестабильных признаков часто получаются хорошие стабильные, причём с помощью простых приёмов (например, доход клиента делим на медианных доход в этом месяце). Поэтому AV можно встроить и в генератор признаков;)

#новости
Объявлены победители премии за популяризацию науки. По ссылке можно посмотреть детали, а я приведу цитату из книги победителя А. Семихатова

"Парабола - траектория самого неторопливого расставания."

и скажу, что "Квантик" и правда очень хорошо оформлен!

Всех читателей канала с Новым годом!

Побольше новых знаний, интересного досуга, полезных проектов, больших доходов и крепкого здоровья!

«Новый год не был бы Новым годом, если бы не было о чём сожалеть» (Вильям Томас).

П.С. На фото - как генеративная модель видит новогодний праздник для читателей канала;)

#видео
Выложен в виде коротких нарезок самый нестандартный мини-курс на ВМК "Как уйти с тропы леммингов". Про планирование карьеры, выгорание, здоровье, конкуренцию и т.п.

Автор - Дмитрий Ватолин, известный постами на Хабре, в частности:
- К вопросу о математических способностях студентов или как учить переполненный мозг
- О русской науке замолвите слово или за что я люблю Тинькофф, часть 1

Если кто-то посмотрит, интересно услышать мнение в комментариях;)

#интересно
Шмидхубер написал очередную версию истории искусственного интеллекта.
https://people.idsia.ch/~juergen/deep-learning-history.html

#визуализация

Из лучших визуализаций прошлого года мне больше всего понравились:

* анализ крупнейшего наводнения в Австралии
https://www.smh.com.au/interactive/2022/lismore-flooding/

* яркая статистика гонок F1 (правда за 2021 год), даже со звуковыми эффектами
https://f1.obumbratta.com/

#книга
Сет Вейдман "Глубокое обучение: Лёгкая разработка проектов на питон"
По задумке книга такая, как и должна быть: сначала показывается, как сделать нейросеть «с нуля», причём отдельно по модулям, потом переходят к Pytorch. Мне только не понравилось, что предлагаемые способы реализации не имитируют высокоуровневые способы самого Pytorch. Лучше бы было просто разбираться, что внутри у nn.Linear, nn.Dropout и т.п. Потенциальна полезна для новичков, которые знают питон.

#забавно
В прошлом году на reddit-е в разделе ML cамая популярная заметка - об "ИИ", который наказывает, если человек отвлекается от работы.
В лидерах также машинный перевод speech2speech и прикреплённая картинка с типами ML-статей.
А уже потом идут Stable Diffusion, ArcaneGAN и т.п.

#интересно
Многие знают про игру "Жизнь", в которой наблюдают за поведением клеточного автомата. Есть много обобщений, например "непрерывная жизнь". В ней получаются очень красивые визуализации, можно посмотреть, например, здесь.