https://arxiv.org/pdf/1707.04585.pdf
The Reversible Residual Network: Backpropagation Without Storing Activations
Deep residual networks (ResNets) have significantly pushed forward the state-of-the-art on image classification, increasing in performance as networks grow both deeper and wider. However, memory consumption becomes a bottleneck, as one needs to store the activations in order to calculate gradients using backpropagation. We present the Reversible Residual Network (RevNet), a variant of ResNets where each layer's activations can be reconstructed exactly from the next layer's. Therefore, the activations for most layers need not be stored in memory during backpropagation. We demonstrate the effectiveness of RevNets on CIFAR-10, CIFAR-100, and ImageNet, establishing nearly identical classification accuracy to equally-sized ResNets, even though the activation storage requirements are independent of depth.

Ушла эпоха — на смену Матрикснету в Яндексе пришел КотоБуст
https://yandex.ru/blog/company/catboost-novyy-metod-mashinnogo-obucheniya-ot-yandeksa
https://catboost.yandex/

Гугл выпустил библиотеку для визуализации данных - https://pair-code.github.io/facets/

https://machinelearning.apple.com/ Эпл запустила свой машин ленинг блог, возможно там будет также интересно как и у нас

Давно не выходило новых фреймворков. И вот опять https://habrahabr.ru/company/intel/blog/333612/

Можно загружать для inference модели из Caffe, TensorFlow и Torch.

Молимся, что сборка OpenCV не стала из-за этого еще сложнее.

Флешку-маркер мы уже видели.
Теперь есть флешка, которую можно использовать как ускоритель сверточных сетей для мобильных, портативных и прочих носимых и не очень устройств.

https://developer.movidius.com/getting-started

Movidius, которых купил Intel, предлагают за $79 свой Myriad 2 Visual Processing Unit (VPU) в формате USB 3.0 флешки.

Myriad Development Kit (MDK) поддерживает inference caffe моделей. Спецификация железки http://uploads.movidius.com/1441734401-Myriad-2-product-brief.pdf

Можно сделать спиннер https://tctechcrunch2011.files.wordpress.com/2017/07/quad_laptop_web.png?w=475&h=360

Многие мечтают увеличить свой датасет. Сегодня (вчера) Гугл даёт возможность сделать это.

https://research.googleblog.com/2017/07/an-update-to-open-images-now-with.html

В базу Open Images добавлены 1.2M + 830k bounding boxes для 600 классов, среди которых куча животных, бытовых предметов, музыкальных инструментов, одежды, еды и, конечно же, турник.

Можно ли научить красоте? Неужели наконец появилась кнопка "сделать красиво"?

https://m.geektimes.ru/post/291251/?utm_source=vk&utm_medium=social&utm_campaign=mashinu-uchat-krasote--ili-test-tyuringa-d

http://witted.ai/YCbqB.jpg/ А может ли машина придумывать смешные фотки к картинке - нет

Не читал, но одобряю https://blog.slavv.com/37-reasons-why-your-neural-network-is-not-working-4020854bd607

Очень интересный выпуск подкаста с Сергеем Левиным о том, как он пришел к работе с роботами, особенностях RL и его разновидностях, multitask learning и будущем машоба. https://twimlai.com/twiml-talk-037-sergey-levine-deep-robotic-learning/

Джва года ждал. Deepmind и Blizzard выпускают ML API для Starcraft II! https://deepmind.com/blog/deepmind-and-blizzard-open-starcraft-ii-ai-research-environment/
http://us.battle.net/sc2/en/blog/20944009

Это настолько круто, насколько вообще что-нибудь может быть круто, какое-то нереальное количество работы.

https://github.com/Blizzard/s2client-proto
https://github.com/deepmind/pysc2

Думаю, это последний шаг на пути к AI, который наконец-то нас захватит.

Масштаб и серьезность намерений показывает то, что Blizzard сделали headless client SCII для Linux.

OpenAI сделали бота для доты 1х1 https://blog.openai.com/dota-2/

В общем, люди делом заняты

Sony подвезла новый дл фреймворк с динамическими графами и гуем под винду https://github.com/sony/nnabla

https://research.googleblog.com/2017/08/making-visible-watermarks-more-effective.html?m=1

На прошлой неделе Гугл опубликовал статью про алгоритм, позволяющий убирать ватермарки с изображений с фотохостингов.

Конечно же, ГАНами, подумал я. Но нет, никакого диплернинга, только оптимизация.

Для того, чтобы победить большинство полупрозрачных водяных знаков достаточно решить задачу разложения этого знака на "изображение" и "прозрачность". Оказывается, это легко делается для коллекции изображений, защищенных одинаковыми знаками.

Примеры тут: https://watermark-cvpr17.github.io/

Гугл также предлагает водяные знаки, устойчивые к этому алгоритму. Случайные смещения и изменения прозрачности от картинки к картинке не помогают, а вот с небольшими пространственными изменениями алгоритм уже не справляется.

Simon Kozlov (sim0nsays), активный член сообщества OpenDataScience, записал разбор интересных статей с CVPR2017

https://www.youtube.com/watch?v=PV73qhNQnA0
https://www.youtube.com/watch?v=Mljfam5zNJo

И еще из рубрики #спасибоОДС
Серёга из Ангарска (cepera_ang) очень сильно посоветовал посмотреть обзор современного состояния Object Detection https://www.youtube.com/watch?v=jHv37mKAhV4

Далее цитата https://opendatascience.slack.com/archives/C047H3N8L/p1503152010000003:
Шикарное видео, 90% того, что необходимо знать про object detection на текущий момент.
Сначала легенда мирового диплёнинга Kaiming He рассказывает в общем о сетях, традиционные архитектуры, про инициализацию на 15 мин., про резнет на 25, о разных применениях резнетов к распознаванию речи, текстам и т.д., на 30 минуте про resnext, который следующий шаг (основная мысль: как хитро посчитать несколько путей как в inception и в разы больше, но одной свёрткой), один слайдом другие архитектуры о которых стоит знать.
С 40-ой минуты рассказывает его коллега, легенда Ross Girshick, сначала о том какой фигней занимались всего 10 лет назад и какого прогресса достигли сейчас. Затем 25 минут рассказа об анатомии современных детекторных сетей:
1) про базу для извлечения фичей (и как в них шёл прогресс),
2) про инвариантность к масштабу (все пришли к одному практически — пирамиды фичей, тонкости как добиться пользы от них),
3) Region Proposal'ы
4) 58:40 Главная фишка Mask R-CNN ROIalign (наконец-то человеческими словами что это и почему важно!)
5) Специфические головы под задачу: детекция, классификация, сегментация, и неожиданно, предсказание позы людей (human keypoint prediction) просто для проверки того, что можно что угодно пихать, как я понял.

На этом про Маск RCNN заканчивается и начинается очень интересная обзорная часть, ландшафт с высоты птичьего полёта (1:12)
1) Что общего у методов, что отличается
2) One shot vs Multi-stage
3) Trade off между тяжестью базового фиче экстрактора и головой, которая делает классификацию (от R-CNN через Fast/Faster R-CNN к R-FCN)
4) Speed/Accuracy tradeoff. Ссылка на очень интересную статью от гугла, где они 150 сетей сравнивали по скорости/качеству
5) Куда дальше шагаем
https://www.youtube.com/watch?v=jHv37mKAhV4

Устали от обычной сходимости? Нейронные сети обучаются слишком медленно?
Вам поможет

С В Е Р Х С Х О Д И М О С Т Ь

Авторы показали, что на определенных датасетах с правильно подобранными гиперпараметрами резнетоподобные сети с помощью циклического изменения очень большого (до 3) learning rate обучаются в десятки раз быстрее, да еще и с более высокой точностью.

https://arxiv.org/pdf/1708.07120.pdf
Super-Convergence: Very Fast Training of Residual Networks Using Large Learning Rates
In this paper, we show a phenomenon where residual networks can be trained using an order of magnitude fewer iterations than is used with standard training methods, which we named "super-convergence". One of the key elements of super-convergence is training with cyclical learning rates and a large maximum learning rate. Furthermore, we present evidence that training with large learning rates improves performance by regularizing the network. In addition, we show that super-convergence provides a greater boost in performance relative to standard training when the amount of labeled training data is limited. We also provide an explanation for the benefits of a large learning rate using a simplification of the Hessian Free optimization method to compute an estimate of the optimal learning rate. The architectures and code to replicate the figures in this paper are available at github.com/lnsmith54/super-convergence.

Хватит это терпеть и ждать или как поклонник «Игры престолов» устал ждать, когда Джордж Мартин уже допишет свою сагу, и создал нейросеть, которая сделала это за него. Пока что можно прочитать только пять глав нового романа. Волнует вопрос: убъет ли нейросеть самого Мартина в его же лучших традициях?

https://nplus1.ru/news/2017/08/29/neural-game-of-thrones