Какая проблема может возникнуть при использовании функции активации ReLU в нейросети прямого распространения?
Anonymous Quiz
24%
повышенная вероятность взрыва градиентов
44%
«умирание» нейронов в процессе обучения
24%
выход, не центрированный относительно нуля
8%
увеличенная вычислительная сложность
О чём говорит кривая обучения сети стохастическим градиентным спуском с картинки выше?
Anonymous Quiz
12%
Долго сползали с плато
14%
Всё нормально
74%
Находимся около локального или глобального минимума
В ходе обучения нейросети вы заметили признаки застревания в локальном минимуме. Выберите самый очевидный способ решения этой проблемы из предложенных.
Anonymous Quiz
33%
Попробовать несколько начальных точек (начальных весов) сети
8%
Нормировать входы
10%
Устроить кросс-валидацию
49%
Увеличить learning rate
✍️ Разбор задач прошедшей недели
1️⃣ В Python мы можем указывать изменяемые значения по умолчанию для функций, в том числе мы можем указать пустой список. Однако в этом случае код может повести себя неожиданным образом. Дело в том, что изменяемые значения по умолчанию сохраняются между вызовами функции.
В этой задаче когда функция func вызывается первый раз с func(1), параметр x принимает значение 1, а параметр y используется по умолчанию как пустой список []. Функция добавляет x в список y, который становится [1], и возвращает этот список. Когда функция func вызывается второй раз с func(2), параметр x принимает значение 2, а параметр y не передаётся явно, поэтому снова используется значение по умолчанию. y — это уже существующий список, содержащий [1]. Функция добавляет x в этот список, который становится [1, 2], и возвращает его.
2️⃣ Здесь стоит отметить, что изменение learning rate тоже вполне себе метод решения проблемы. Однако вопрос был о наиболее очевидном методе.
Начальные точки напрямую определяют, с какого места начнёт обучение нейросеть. Поэтому выбор различных начальных точек может привести к разным траекториям обучения, и, следовательно, увеличить шанс достижения глобального минимума.
#разбор_задач
1️⃣ В Python мы можем указывать изменяемые значения по умолчанию для функций, в том числе мы можем указать пустой список. Однако в этом случае код может повести себя неожиданным образом. Дело в том, что изменяемые значения по умолчанию сохраняются между вызовами функции.
В этой задаче когда функция func вызывается первый раз с func(1), параметр x принимает значение 1, а параметр y используется по умолчанию как пустой список []. Функция добавляет x в список y, который становится [1], и возвращает этот список. Когда функция func вызывается второй раз с func(2), параметр x принимает значение 2, а параметр y не передаётся явно, поэтому снова используется значение по умолчанию. y — это уже существующий список, содержащий [1]. Функция добавляет x в этот список, который становится [1, 2], и возвращает его.
2️⃣ Здесь стоит отметить, что изменение learning rate тоже вполне себе метод решения проблемы. Однако вопрос был о наиболее очевидном методе.
Начальные точки напрямую определяют, с какого места начнёт обучение нейросеть. Поэтому выбор различных начальных точек может привести к разным траекториям обучения, и, следовательно, увеличить шанс достижения глобального минимума.
#разбор_задач
Что произойдёт, если мы увеличим скорость обучения (learning rate) модели в 100 раз?
Anonymous Quiz
6%
Потребуется в 100 раз больше итераций градиентного спуска (ГС), чтобы достичь того же качества
9%
Модель никогда не обучится, т.к. скорость обучения зависит от задачи и её нельзя менять
9%
Потребуется в 100 раз меньше итераций ГС, чтобы достичь того же качества
54%
Невозможно предсказать поведение модели
10%
Потребуется меньше итераций ГС, чтобы достичь того же качества, но неизвестно, сколько
12%
Потребуется больше итераций ГС, чтобы достичь того же качества, но неизвестно, сколько
🧑💻 Статьи для IT: как объяснять и распространять значимые идеи
Напоминаем, что у нас есть бесплатный курс для всех, кто хочет научиться интересно писать — о программировании и в целом.
Что: семь модулей, посвященных написанию, редактированию, иллюстрированию и распространению публикаций.
Для кого: для авторов, копирайтеров и просто программистов, которые хотят научиться интересно рассказывать о своих проектах.
👉Материалы регулярно дополняются, обновляются и корректируются. А еще мы отвечаем на все учебные вопросы в комментариях курса.
Напоминаем, что у нас есть бесплатный курс для всех, кто хочет научиться интересно писать — о программировании и в целом.
Что: семь модулей, посвященных написанию, редактированию, иллюстрированию и распространению публикаций.
Для кого: для авторов, копирайтеров и просто программистов, которые хотят научиться интересно рассказывать о своих проектах.
👉Материалы регулярно дополняются, обновляются и корректируются. А еще мы отвечаем на все учебные вопросы в комментариях курса.
Что выведет код с картинки выше?
Anonymous Quiz
31%
False
21%
True
31%
False, а затем RuntimeWarning
16%
True, а затем RuntimeWarning
Представьте себе два соседних слоя свёрточной нейронной сети. Первый слой — это квадрат 6х6, второй слой — это квадрат 4х4. Причём каждый квадратик 3х3 с первого слоя отображается в один квадратик второго слоя. Сколько тут весов для обучения?
Anonymous Quiz
20%
36
19%
16
46%
144
15%
9
Forwarded from Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение
📊 Где изучать Data Science в 2024 году?
Занимаясь наукой о данных, приходится постоянно учиться. Предлагаем вашему вниманию актуальный обзор из 25 новых книг, курсов, видеолекций и блогов для оттачивания мастерства в Data Science.
🔗 Читать статью
🔗 Зеркало
Занимаясь наукой о данных, приходится постоянно учиться. Предлагаем вашему вниманию актуальный обзор из 25 новых книг, курсов, видеолекций и блогов для оттачивания мастерства в Data Science.
🔗 Читать статью
🔗 Зеркало
Какая нейронная сеть может иметь только линейную разделяющую поверхность?
Anonymous Quiz
74%
Нейронная сеть без функций активации
26%
Нейронная сеть с двумя входами и несколькими слоями
Хардкорный курс по математике для тех, кто правда любит математику!
Начать с вводных занятий можно здесь, ответив всего на 4 вопроса – https://proglib.io/w/7a0a51af
Что вас ждет:
– Вводный урок от CPO курса
– Лекции с преподавателями ВМК МГУ по темам: теория множеств, непрерывность функции, основные формулы комбинаторики, матрицы и операции над ними, градиентный спуск
– Практические задания для закрепления материала и ссылки на дополнительные материалы.
⚡️ Переходите и начинайте учиться уже сегодня – https://proglib.io/w/7a0a51af
Начать с вводных занятий можно здесь, ответив всего на 4 вопроса – https://proglib.io/w/7a0a51af
Что вас ждет:
– Вводный урок от CPO курса
– Лекции с преподавателями ВМК МГУ по темам: теория множеств, непрерывность функции, основные формулы комбинаторики, матрицы и операции над ними, градиентный спуск
– Практические задания для закрепления материала и ссылки на дополнительные материалы.
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение
💻🚀🏰 Как мы создали ИИ-стартап на хакатоне выходного дня в Германии
Инженер ПО рассказал нам о своих выходных на хакатоне в Кельне, где с командой пытался создать AI-стартап всего за два дня. Участники прошли путь от подачи идей в пятницу вечером до демонстрации работающего приложения к воскресенью.
В качестве бонуса автор привёл список основных пунктов, которые необходимо выполнить для создания стартапа.
🔗 Читать статью
🔗 Зеркало
Инженер ПО рассказал нам о своих выходных на хакатоне в Кельне, где с командой пытался создать AI-стартап всего за два дня. Участники прошли путь от подачи идей в пятницу вечером до демонстрации работающего приложения к воскресенью.
В качестве бонуса автор привёл список основных пунктов, которые необходимо выполнить для создания стартапа.
🔗 Читать статью
🔗 Зеркало
С каким распределением мы будем работать, если хотим оценить эффективность лендинга и узнать, насколько большая доля людей, просмотревших его, оставляют заявку на услугу?
Anonymous Quiz
11%
непрерывное ненормальное
29%
непрерывное нормальное
60%
биномиальное