✍️ Разбор сложных задач прошедшей недели
1️⃣ Чтобы ответить правильно на этот вопрос, важно было знать, что именно делает метод fillna() со значением method=‘ffill’ в Pandas. Он заполняет пропуски (NaN) последним наблюдаемым значением, то есть значением, стоящим перед пропущенным. Таким образом, ряд станет выглядеть как [5, 5, 5, 8, 10] и сумма будет 33.
2️⃣ Если во временном ряду много аномалий и выбросов, то можно применить сглаживание. Суть сглаживания и сводится к замене фактических значений ряда теми, что были получены после обработки колебаний. Самый простой способ сделать это — использовать скользящее среднее. По гладкому ряду могут быть лучше заметны тенденции.
3️⃣ В Python сравнение списков происходит поэлементно. В приведённом примере [1, 2, 3, 4] < [1, 2, 5] происходит так:
- Сначала сравниваются первые элементы обоих списков: 1 и 1. Они равны, поэтому сравнение продолжается.
- Затем сравниваются вторые элементы: 2 и 2. Они также равны.
- Далее сравниваются третьи элементы: 3 и 5. Поскольку 3 меньше 5, Python заключает, что первый список меньше второго, и возвращает True.
#разбор_задач
1️⃣ Чтобы ответить правильно на этот вопрос, важно было знать, что именно делает метод fillna() со значением method=‘ffill’ в Pandas. Он заполняет пропуски (NaN) последним наблюдаемым значением, то есть значением, стоящим перед пропущенным. Таким образом, ряд станет выглядеть как [5, 5, 5, 8, 10] и сумма будет 33.
2️⃣ Если во временном ряду много аномалий и выбросов, то можно применить сглаживание. Суть сглаживания и сводится к замене фактических значений ряда теми, что были получены после обработки колебаний. Самый простой способ сделать это — использовать скользящее среднее. По гладкому ряду могут быть лучше заметны тенденции.
3️⃣ В Python сравнение списков происходит поэлементно. В приведённом примере [1, 2, 3, 4] < [1, 2, 5] происходит так:
- Сначала сравниваются первые элементы обоих списков: 1 и 1. Они равны, поэтому сравнение продолжается.
- Затем сравниваются вторые элементы: 2 и 2. Они также равны.
- Далее сравниваются третьи элементы: 3 и 5. Поскольку 3 меньше 5, Python заключает, что первый список меньше второго, и возвращает True.
#разбор_задач
Какую метрику лучше не использовать при наличии несбалансированных классов в данных?
Anonymous Quiz
31%
F-мера
13%
Precision
48%
Accuracy
7%
Recall
🧑💻 Статьи для IT: как объяснять и распространять значимые идеи
Напоминаем, что у нас есть бесплатный курс для всех, кто хочет научиться интересно писать — о программировании и в целом.
Что: семь модулей, посвященных написанию, редактированию, иллюстрированию и распространению публикаций.
Для кого: для авторов, копирайтеров и просто программистов, которые хотят научиться интересно рассказывать о своих проектах.
👉Материалы регулярно дополняются, обновляются и корректируются. А еще мы отвечаем на все учебные вопросы в комментариях курса.
Напоминаем, что у нас есть бесплатный курс для всех, кто хочет научиться интересно писать — о программировании и в целом.
Что: семь модулей, посвященных написанию, редактированию, иллюстрированию и распространению публикаций.
Для кого: для авторов, копирайтеров и просто программистов, которые хотят научиться интересно рассказывать о своих проектах.
👉Материалы регулярно дополняются, обновляются и корректируются. А еще мы отвечаем на все учебные вопросы в комментариях курса.
Что в данном куске кода означает переменная degree?
Anonymous Quiz
24%
Количество генерируемых полиномиальных признаков
4%
Уровень сложности модели
65%
Максимальная степень для полиномиальных признаков
7%
Минимальная степень для полиномиальных признаков
От чего зависит размерность гиперплоскости в SVM?
Anonymous Quiz
3%
Количества объектов во входной выборке
56%
Количества признаков во входных данных
12%
Количества целевых переменных
30%
От всего вышеперечисленного
У вас есть линейная модель с двумя сильно коррелированными признаками. Эти два признака почти идентичны друг другу, но один из них содержит немного шума. Что будет с весами этих признаков, если мы используем L2-регуляризацию?
Anonymous Quiz
36%
У одного признака будет большой вес, а у другого — близкий к нулю
16%
У одного признака будет большой вес, а у другого — нулевой
49%
Оба признака будут иметь примерно равные, умеренные веса
Forwarded from Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение
⚡️Свершилось: канал с книгами только по Data Science
Мы создали для вас канал, куда будем публиковать самые полезные книги только для специалистов по Data Science. Подписывайтесь!
👉 Книги для дата сайентистов | Data Science
Мы создали для вас канал, куда будем публиковать самые полезные книги только для специалистов по Data Science. Подписывайтесь!
Please open Telegram to view this post
VIEW IN TELEGRAM
У нас есть классификатор, который делит письма на «спам» и «не спам». Что будет с метрикой precision, если мы повысим порог классификации?
Anonymous Quiz
38%
вероятно, увеличится
29%
вероятно, уменьшится
17%
точно увеличится
15%
точно уменьшится
✍️ Разбор сложных задач недели
1️⃣ Если мы имеем дело с дисбалансом классов, то использовать метрику Accuracy — плохая идея. Эта метрика отражает долю объектов, для которых модель правильно предсказала класс. Однако представьте, что в данных 80% объектов представлены классом 0, а 20% — классом 1. Тогда верно угаданных объектов класса 0 с высокой вероятностью будет много, а верно угаданных объектов класса 1 — мало. Но Accuracy всё равно получится высокой.
2️⃣ При L2-регуляризации мы добавляем к функции потерь штрафную часть, представленную суммой квадратов весов модели, умноженных на гиперпараметр регуляризации. Природа полученной функции не даёт регуляризации занулить веса полностью. Поэтому мы отметаем второй вариант в этом квизе.
Также стоит помнить, что L2-регуляризация штрафует большие веса сильнее, чем малые. В результате, этот метод приведёт веса коррелирующих признаков примерно к равным значениям, каждое из которых будет соответствовать приблизительно половине веса, который мог бы получиться у единственного признака.
3️⃣ Python умеет работать с комплексными числами. Если добавить к цифре букву j, то ошибки не будет. Когда мы создаём две переменные a и b и присваиваем им значение 1+2j, Python создаёт два отдельных объекта. Они расположены по разным адресам в памяти, что можно проверить, применив к a и b функцию id(). В свою очередь, оператор is сравнивает идентификаторы объектов, то есть проверяет, указывают ли две переменные на один и тот же объект в памяти.
4️⃣ Метрику Precision можно интерпретировать как долю объектов, названных моделью положительными и при этом действительно являющимися положительными. По формуле количество истинно положительных объектов (TP) мы делим на сумму истинно положительных объектов (TP) и ложно положительных объектов (FP).
Precision = TP / (TP + FP)
При изменении порога классификации соотношение TP и FP меняется. Если мы поднимем этот порог, то, скорее всего, количество FP объектов уменьшится, а следовательно значение Precision увеличится. С уверенностью мы это утверждать не можем, но чаще всего бывает именно так.
#разбор_задач
1️⃣ Если мы имеем дело с дисбалансом классов, то использовать метрику Accuracy — плохая идея. Эта метрика отражает долю объектов, для которых модель правильно предсказала класс. Однако представьте, что в данных 80% объектов представлены классом 0, а 20% — классом 1. Тогда верно угаданных объектов класса 0 с высокой вероятностью будет много, а верно угаданных объектов класса 1 — мало. Но Accuracy всё равно получится высокой.
2️⃣ При L2-регуляризации мы добавляем к функции потерь штрафную часть, представленную суммой квадратов весов модели, умноженных на гиперпараметр регуляризации. Природа полученной функции не даёт регуляризации занулить веса полностью. Поэтому мы отметаем второй вариант в этом квизе.
Также стоит помнить, что L2-регуляризация штрафует большие веса сильнее, чем малые. В результате, этот метод приведёт веса коррелирующих признаков примерно к равным значениям, каждое из которых будет соответствовать приблизительно половине веса, который мог бы получиться у единственного признака.
3️⃣ Python умеет работать с комплексными числами. Если добавить к цифре букву j, то ошибки не будет. Когда мы создаём две переменные a и b и присваиваем им значение 1+2j, Python создаёт два отдельных объекта. Они расположены по разным адресам в памяти, что можно проверить, применив к a и b функцию id(). В свою очередь, оператор is сравнивает идентификаторы объектов, то есть проверяет, указывают ли две переменные на один и тот же объект в памяти.
4️⃣ Метрику Precision можно интерпретировать как долю объектов, названных моделью положительными и при этом действительно являющимися положительными. По формуле количество истинно положительных объектов (TP) мы делим на сумму истинно положительных объектов (TP) и ложно положительных объектов (FP).
Precision = TP / (TP + FP)
При изменении порога классификации соотношение TP и FP меняется. Если мы поднимем этот порог, то, скорее всего, количество FP объектов уменьшится, а следовательно значение Precision увеличится. С уверенностью мы это утверждать не можем, но чаще всего бывает именно так.
#разбор_задач
🤖 Напоминаем, что у нас есть еженедельная email-рассылка, посвященная последним новостям и тенденциям в мире искусственного интеллекта.
В ней:
● Новости о прорывных исследованиях в области машинного обучения и нейросетей
● Материалы о применении ИИ в разных сферах
● Статьи об этических аспектах развития технологий
● Подборки лучших онлайн-курсов и лекций по машинному обучению
● Обзоры инструментов и библиотек для разработки нейронных сетей
● Ссылки на репозитории с открытым исходным кодом ИИ-проектов
● Фильмы, сериалы и книги
👉Подписаться👈
В ней:
● Новости о прорывных исследованиях в области машинного обучения и нейросетей
● Материалы о применении ИИ в разных сферах
● Статьи об этических аспектах развития технологий
● Подборки лучших онлайн-курсов и лекций по машинному обучению
● Обзоры инструментов и библиотек для разработки нейронных сетей
● Ссылки на репозитории с открытым исходным кодом ИИ-проектов
● Фильмы, сериалы и книги
👉Подписаться👈
На каком графике отображена более высокая среднеквадратическая ошибка (MSE)?
Anonymous Quiz
38%
Левый
62%
Правый
Какой размер батча будет более эффективным при выполнении градиентного спуска для большого набора данных?
Anonymous Quiz
72%
Небольшие батчи или даже батчи, состоящие из одного объекта (SGD)
28%
Полный батч
Каков будет результат выполнения кода выше?
Anonymous Quiz
16%
Ошибка, так как pivot_table не может обрабатывать нечисловые значения в индексах
30%
DataFrame с мультииндексами из 'A' и 'B' и значениями из 'C'
42%
DataFrame с индексами из 'A', столбцами 'X' и 'Y' и значениями из 'C'
12%
DataFrame с индексами из 'A' и одним столбцом с суммой значений 'C' для уникальных значений в 'A'
Самые полезные каналы для программистов в одной подборке!
Сохраняйте себе, чтобы не потерять 💾
🔥Для всех
Библиотека программиста — новости, статьи, досуг, фундаментальные темы
Книги для программистов
IT-мемы
Proglib Academy — тут мы рассказываем про обучение и курсы
#️⃣C#
Библиотека шарписта
Библиотека задач по C# — код, квизы и тесты
Библиотека собеса по C# — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Вакансии по C#, .NET, Unity Вакансии по PHP, Symfony, Laravel
☁️DevOps
Библиотека devops’а
Вакансии по DevOps & SRE
Библиотека задач по DevOps — код, квизы и тесты
Библиотека собеса по DevOps — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
🐘PHP
Библиотека пхпшника
Вакансии по PHP, Symfony, Laravel
Библиотека PHP для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по PHP — код, квизы и тесты
🐍Python
Библиотека питониста
Вакансии по питону, Django, Flask
Библиотека Python для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Python — код, квизы и тесты
☕Java
Библиотека джависта — полезные статьи по Java, новости и обучающие материалы
Библиотека Java для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Java — код, квизы и тесты
Вакансии для java-разработчиков
👾Data Science
Библиотека Data Science — полезные статьи, новости и обучающие материалы
Библиотека Data Science для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Data Science — код, квизы и тесты
Вакансии по Data Science, анализу данных, аналитике, искусственному интеллекту
🦫Go
Библиотека Go разработчика — полезные статьи, новости и обучающие материалы по Go
Библиотека Go для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Go — код, квизы и тесты
Вакансии по Go
🧠C++
Библиотека C/C++ разработчика — полезные статьи, новости и обучающие материалы по C++
Библиотека C++ для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по C++ — код, квизы и тесты
Вакансии по C++
💻Другие профильные каналы
Библиотека фронтендера
Библиотека мобильного разработчика
Библиотека хакера
Библиотека тестировщика
💼Каналы с вакансиями
Вакансии по фронтенду, джаваскрипт, React, Angular, Vue
Вакансии для мобильных разработчиков
Вакансии по QA тестированию
InfoSec Jobs — вакансии по информационной безопасности
📁Чтобы добавить папку с нашими каналами, нажмите 👉сюда👈
🤖Также у нас есть боты:
Бот с IT-вакансиями
Бот с мероприятиями в сфере IT
Мы в других соцсетях:
🔸VK
🔸YouTube
🔸Дзен
🔸Facebook *
🔸Instagram *
* Организация Meta запрещена на территории РФ
Сохраняйте себе, чтобы не потерять 💾
🔥Для всех
Библиотека программиста — новости, статьи, досуг, фундаментальные темы
Книги для программистов
IT-мемы
Proglib Academy — тут мы рассказываем про обучение и курсы
#️⃣C#
Библиотека шарписта
Библиотека задач по C# — код, квизы и тесты
Библиотека собеса по C# — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Вакансии по C#, .NET, Unity Вакансии по PHP, Symfony, Laravel
☁️DevOps
Библиотека devops’а
Вакансии по DevOps & SRE
Библиотека задач по DevOps — код, квизы и тесты
Библиотека собеса по DevOps — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
🐘PHP
Библиотека пхпшника
Вакансии по PHP, Symfony, Laravel
Библиотека PHP для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по PHP — код, квизы и тесты
🐍Python
Библиотека питониста
Вакансии по питону, Django, Flask
Библиотека Python для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Python — код, квизы и тесты
☕Java
Библиотека джависта — полезные статьи по Java, новости и обучающие материалы
Библиотека Java для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Java — код, квизы и тесты
Вакансии для java-разработчиков
👾Data Science
Библиотека Data Science — полезные статьи, новости и обучающие материалы
Библиотека Data Science для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Data Science — код, квизы и тесты
Вакансии по Data Science, анализу данных, аналитике, искусственному интеллекту
🦫Go
Библиотека Go разработчика — полезные статьи, новости и обучающие материалы по Go
Библиотека Go для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Go — код, квизы и тесты
Вакансии по Go
🧠C++
Библиотека C/C++ разработчика — полезные статьи, новости и обучающие материалы по C++
Библиотека C++ для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по C++ — код, квизы и тесты
Вакансии по C++
💻Другие профильные каналы
Библиотека фронтендера
Библиотека мобильного разработчика
Библиотека хакера
Библиотека тестировщика
💼Каналы с вакансиями
Вакансии по фронтенду, джаваскрипт, React, Angular, Vue
Вакансии для мобильных разработчиков
Вакансии по QA тестированию
InfoSec Jobs — вакансии по информационной безопасности
📁Чтобы добавить папку с нашими каналами, нажмите 👉сюда👈
🤖Также у нас есть боты:
Бот с IT-вакансиями
Бот с мероприятиями в сфере IT
Мы в других соцсетях:
🔸VK
🔸YouTube
🔸Дзен
🔸Facebook *
🔸Instagram *
* Организация Meta запрещена на территории РФ