​​FAIR опубликовали библиотеку для обработки 3D данных. PyTorch3d предназначен для решения задач компьютерного зрения на 3D данных. Ключевой функционал библиотеки включает в себя: структуру данных для хранения и проведения операций над 3D триангуляционными сетками, трансформации и дифференцируемый рендеринг сеток.

​​Machine Unlearning
Bourtoule et al.
arxiv.org/abs/1912.03817

Два забавных факта:
В эпоху ML ваши данные собирают все. GDPR и его аналоги пытаются контролировать эти процессы и дают вам право удалить данные. Что звучит как здравая и полезная идея.
С другой стороны, современные модели очень хорошо запоминают датасеты, что позволяет потенциально достать из этих самых моделей данные, на которых они были натренированы.

Следовательно, если юзер X запрашивает у компании G удаление его данных, в идеальном мире компания должна не только удалить его из своих БД/текстовых документов/post-it notes/умов своих сотрудников, но и перетренировать все модели, в которых эти данные участвовали. Но когда ваши модели тренируются по несколько дней на десятках GPU, это вообще себе такая идея.

А теперь о статье:
Авторы формализуют задачу разучивания данных и приводят метод SISA (Sharded, Isolated, Sliced, and Aggregated training), который позволяет убирать определённые данные из моделей без их полной перетренировки. Суть метода - шардинг данных и ансаблирование моделей.

Конкретно это решение мне кажется сложным для поддержки, некрасивым и ещё больше усложняющим жизнь разработчкам. Но направление исследований определённо интересное.

Рекуррентные нейронные сети (RNN) с Keras

Рекуррентные нейронные сети (RNN) — это класс нейронных сетей, которые хороши для моделирования последовательных данных, таких как временные ряды или естественный язык.

#gurupython_интересное