✍️ Разбор задач

Сегодня разберёмся, чем стохастический градиентный спуск (SGD) отличается от мини-пакетного (mini-batch).

Оба — оптимизационные алгоритмы, которые являются вариациями классического градиентного спуска. Для начала вспомним, как он работает.

У нас есть вектор признаков и вектор весов w. Допустим, мы выбрали какую-нибудь функцию потерь. Нам необходимо минимизировать её. Выберем для весов какое-то начальное приближение и вычислим результат на основе этого. По функции потерь посчитаем градиент, то есть вектор частных производных функции потерь по каждому из весов. Именно он поможет нам скорректировать веса w в нужно направлении. Иными словами, мы будем вычитать из вектора весов градиент, домноженный на какой-то шаг обучения.

🔹 В стохастическом градиентном спуске градиент функции считается на каждом шаге не как сумма градиентов от каждого элемента выборки, а как градиент от одного, случайно выбранного элемента.

🔹 В мини-пакетном градиентном спуске (mini-batch) градиент функции считается на каждом шаге как градиент от небольшой, случайно выбранной партии элементов (мини-пакета).

#разбор_задач

🤖 Напоминаем, что у нас есть еженедельная email-рассылка, посвященная последним новостям и тенденциям в мире искусственного интеллекта.

В ней:
● Новости о прорывных исследованиях в области машинного обучения и нейросетей
● Материалы о применении ИИ в разных сферах
● Статьи об этических аспектах развития технологий
● Подборки лучших онлайн-курсов и лекций по машинному обучению
● Обзоры инструментов и библиотек для разработки нейронных сетей
● Ссылки на репозитории с открытым исходным кодом ИИ-проектов
● Фильмы, сериалы и книги

👉Подписаться👈

✍️ Разбор сложных задач недели

1️⃣ Метод numpy.bincount используется для подсчёта количества вхождений каждого значения в массив неотрицательных целых чисел. Возвращает массив, где индекс соответствует числу, а значение по этому индексу — количеству раз, которое это число встречается в исходном массиве. То есть если исходный массив был таким — [0, 1, 1, 2, 2, 2, 3], numpy.bincount вернёт [1 2 3 1]. Это означает, что число 0 встречается один раз, число 1 — два раза, число 2 — три раза, число 3 — один раз.

2️⃣ Разберём задачку про игральные карты.
В целом, при таком условии у нас могут возникнуть несколько ситуаций.

▫️Первая.
Когда мы достали первый туз, он оказался пиковым, а двойка треф нам ещё не попадалась. Тогда вероятность достать пиковый туз далее окажется равна нулю, а двойку треф — единице (ведь мы точно её рано или поздно достанем).
▫️Вторая.
На момент когда мы добрались до первого туза, он не пиковый, а двойка треф уже вышла из колоды. Соответственно, вероятность встретить её дальше равна нулю, а вероятность встретить пиковый туз — единице.
▫️Третья.
Когда мы достали первый туз, он оказался пиковым, а двойка треф вышла раньше. Поэтому вероятность встретить дальше обе карты равна нулю.
▫️Четыре.
Озвученные выше три варианта при многократном повторении эксперимента дают нам одинаковые шансы на то, что следующей картой, которую мы найдём, будет как пиковый туз, так и трефовая двойка. Поэтому нас больше всего интересует ситуация, когда первый туз не пиковый и двойка треф ещё есть в колоде.

Будем считать, что мы уже вытянули n карт, включая первого туза. Так в колоде осталось (52 − n) карт. Вероятность вытянуть пикового туза тогда составляет 1 / (52 − n). То же самое происходит с трефовой двойкой — 1 / (52 − n). В результате, вероятности равны.

#разбор_задач

🧑‍💻 Статьи для IT: как объяснять и распространять значимые идеи

Напоминаем, что у нас есть бесплатный курс для всех, кто хочет научиться интересно писать — о программировании и в целом.

Что: семь модулей, посвященных написанию, редактированию, иллюстрированию и распространению публикаций.

Для кого: для авторов, копирайтеров и просто программистов, которые хотят научиться интересно рассказывать о своих проектах.

👉Материалы регулярно дополняются, обновляются и корректируются. А еще мы отвечаем на все учебные вопросы в комментариях курса.