Библиотека задач по Data Science | тесты, код, задания
3.85K subscribers
662 photos
5 videos
375 links
Задачи и тесты по Data Science для тренировки и обучения.

По рекламе: @proglib_adv

Учиться у нас: https://proglib.io/w/fa77bf4e

Для обратной связи: @proglibrary_feeedback_bot

Наши каналы: https://yangx.top/proglibrary/9197
加入频道
Каков правильный порядок следования операторов в SQL-запросе?
Anonymous Quiz
12%
SELECT, FROM, GROUP BY, HAVING, WHERE
81%
SELECT, FROM, WHERE, GROUP BY, HAVING
8%
SELECT, FROM, HAVING, GROUP BY, WHERE
Что выведет код с картинки выше?
Anonymous Quiz
26%
True
37%
False
37%
Ошибка
✍️ Разбор сложных задач прошедшей недели

1️⃣ Чтобы ответить правильно на этот вопрос, важно было знать, что именно делает метод fillna() со значением method=‘ffill’ в Pandas. Он заполняет пропуски (NaN) последним наблюдаемым значением, то есть значением, стоящим перед пропущенным. Таким образом, ряд станет выглядеть как [5, 5, 5, 8, 10] и сумма будет 33.
2️⃣ Если во временном ряду много аномалий и выбросов, то можно применить сглаживание. Суть сглаживания и сводится к замене фактических значений ряда теми, что были получены после обработки колебаний. Самый простой способ сделать это — использовать скользящее среднее. По гладкому ряду могут быть лучше заметны тенденции.
3️⃣ В Python сравнение списков происходит поэлементно. В приведённом примере [1, 2, 3, 4] < [1, 2, 5] происходит так:
- Сначала сравниваются первые элементы обоих списков: 1 и 1. Они равны, поэтому сравнение продолжается.
- Затем сравниваются вторые элементы: 2 и 2. Они также равны.
- Далее сравниваются третьи элементы: 3 и 5. Поскольку 3 меньше 5, Python заключает, что первый список меньше второго, и возвращает True.

#разбор_задач
Какую метрику лучше не использовать при наличии несбалансированных классов в данных?
Anonymous Quiz
31%
F-мера
13%
Precision
48%
Accuracy
7%
Recall
🧑‍💻 Статьи для IT: как объяснять и распространять значимые идеи

Напоминаем, что у нас есть бесплатный курс для всех, кто хочет научиться интересно писать — о программировании и в целом.

Что: семь модулей, посвященных написанию, редактированию, иллюстрированию и распространению публикаций.

Для кого: для авторов, копирайтеров и просто программистов, которые хотят научиться интересно рассказывать о своих проектах.

👉Материалы регулярно дополняются, обновляются и корректируются. А еще мы отвечаем на все учебные вопросы в комментариях курса.
У вас есть линейная модель с двумя сильно коррелированными признаками. Эти два признака почти идентичны друг другу, но один из них содержит немного шума. Что будет с весами этих признаков, если мы используем L2-регуляризацию?
Anonymous Quiz
36%
У одного признака будет большой вес, а у другого — близкий к нулю
16%
У одного признака будет большой вес, а у другого — нулевой
49%
Оба признака будут иметь примерно равные, умеренные веса
⚡️Свершилось: канал с книгами только по Data Science

Мы создали для вас канал, куда будем публиковать самые полезные книги только для специалистов по Data Science. Подписывайтесь!

👉Книги для дата сайентистов | Data Science
Please open Telegram to view this post
VIEW IN TELEGRAM
У нас есть классификатор, который делит письма на «спам» и «не спам». Что будет с метрикой precision, если мы повысим порог классификации?
Anonymous Quiz
38%
вероятно, увеличится
29%
вероятно, уменьшится
17%
точно увеличится
15%
точно уменьшится
✍️ Разбор сложных задач недели

1️⃣ Если мы имеем дело с дисбалансом классов, то использовать метрику Accuracy — плохая идея. Эта метрика отражает долю объектов, для которых модель правильно предсказала класс. Однако представьте, что в данных 80% объектов представлены классом 0, а 20% — классом 1. Тогда верно угаданных объектов класса 0 с высокой вероятностью будет много, а верно угаданных объектов класса 1 — мало. Но Accuracy всё равно получится высокой.
2️⃣ При L2-регуляризации мы добавляем к функции потерь штрафную часть, представленную суммой квадратов весов модели, умноженных на гиперпараметр регуляризации. Природа полученной функции не даёт регуляризации занулить веса полностью. Поэтому мы отметаем второй вариант в этом квизе.
Также стоит помнить, что L2-регуляризация штрафует большие веса сильнее, чем малые. В результате, этот метод приведёт веса коррелирующих признаков примерно к равным значениям, каждое из которых будет соответствовать приблизительно половине веса, который мог бы получиться у единственного признака.
3️⃣ Python умеет работать с комплексными числами. Если добавить к цифре букву j, то ошибки не будет. Когда мы создаём две переменные a и b и присваиваем им значение 1+2j, Python создаёт два отдельных объекта. Они расположены по разным адресам в памяти, что можно проверить, применив к a и b функцию id(). В свою очередь, оператор is сравнивает идентификаторы объектов, то есть проверяет, указывают ли две переменные на один и тот же объект в памяти.
4️⃣ Метрику Precision можно интерпретировать как долю объектов, названных моделью положительными и при этом действительно являющимися положительными. По формуле количество истинно положительных объектов (TP) мы делим на сумму истинно положительных объектов (TP) и ложно положительных объектов (FP).
Precision = TP / (TP + FP)
При изменении порога классификации соотношение TP и FP меняется. Если мы поднимем этот порог, то, скорее всего, количество FP объектов уменьшится, а следовательно значение Precision увеличится. С уверенностью мы это утверждать не можем, но чаще всего бывает именно так.

#разбор_задач
🤖 Напоминаем, что у нас есть еженедельная email-рассылка, посвященная последним новостям и тенденциям в мире искусственного интеллекта.

В ней:
● Новости о прорывных исследованиях в области машинного обучения и нейросетей
● Материалы о применении ИИ в разных сферах
● Статьи об этических аспектах развития технологий
● Подборки лучших онлайн-курсов и лекций по машинному обучению
● Обзоры инструментов и библиотек для разработки нейронных сетей
● Ссылки на репозитории с открытым исходным кодом ИИ-проектов
● Фильмы, сериалы и книги

👉Подписаться👈
На каком графике отображена более высокая среднеквадратическая ошибка (MSE)?
Anonymous Quiz
38%
Левый
62%
Правый
Какой размер батча будет более эффективным при выполнении градиентного спуска для большого набора данных?
Anonymous Quiz
72%
Небольшие батчи или даже батчи, состоящие из одного объекта (SGD)
28%
Полный батч