✍️ Разбираем сложные задачи прошедшей недели

1️⃣ Автокодировщик (англ. autoencoder) — это специальная архитектура нейронных сетей, основная идея которой научиться сжимать входные данные в компактное представление и затем восстанавливать эти данные обратно к их исходному виду или как можно ближе к нему.

Автокодировщик состоит из двух частей: энкодера и декодера. Энкодер переводит входной сигнал в его представление, а декодер восстанавливает сигнал по этому представлению. При этом в центре нейронной сети создаётся узкий слой — бутылочное горлышко. Количество нейронов в нём должно быть на порядок меньше, чем у входа. Так мы заставляем нейросеть находить в объекте самую важную информацию и передавать через бутылочное горлышко только её.

2️⃣ В этой задаче сначала мы создаём numpy-массив, состоящий только из элементов-единиц. Автоматически используется тип данных numpy.float64 (если не указать иное). torch.from_numpy в свою очередь автоматически наследует тип данных массива numpy.

#разбор_задач

🤖 Напоминаем, что у нас есть еженедельная email-рассылка, посвященная последним новостям и тенденциям в мире искусственного интеллекта.

В ней:
● Новости о прорывных исследованиях в области машинного обучения и нейросетей
● Материалы о применении ИИ в разных сферах
● Статьи об этических аспектах развития технологий
● Подборки лучших онлайн-курсов и лекций по машинному обучению
● Обзоры инструментов и библиотек для разработки нейронных сетей
● Ссылки на репозитории с открытым исходным кодом ИИ-проектов
● Фильмы, сериалы и книги

👉Подписаться👈

✍️ Разбираем задачи прошедшей недели

1️⃣ По умолчанию для новых тензоров в PyTorch параметр requires_grad установлен в False. Он указывает, нужно ли вычислять градиенты для тензора во время операций обратного распространения ошибки. Чтобы добиться этого, следует явно установить requires_grad=True при создании тензора.
2️⃣ Для классической линейной регрессии действует предположение о том, что дисперсия ошибок модели остаётся постоянной на протяжении всех значений независимых переменных. Гетероскедастичность — это нарушение данного предположения. То есть наличие гетероскедастичности можно заподозрить, если отклонения наблюдений от линии выборочной регрессии (остатки) достаточно сильно различаются.
3️⃣ Здесь нужно считать так:
- Первое умножение весов и прибавление смещений: 2*1 + 1 и 2*2 — 5 —> 3 и -1.
- Первое применение Relu: relu(3) = 3 и relu(-1) = 0.
- Второе умножение весов и прибавление смещений: 3*-2 + 0*4 = —6. —6 + 10 = 4.
- Второе применение Relu: relu(4) = 4.
4️⃣ Название Adam можно расшифровать как ADAptive Momentum. Этот метод объединяет две идеи: использование момента и адаптивных скоростей обучения. Вместо того чтобы адаптировать скорость обучения параметров на основе среднего первого момента, как в RMSProp, Adam также использует среднее значение вторых моментов градиентов.
5️⃣ Хорошее объяснение для этой задачи было дано в комментариях.

#разбор_задач