https://arxiv.org/pdf/1708.07120.pdf
Super-Convergence: Very Fast Training of Residual Networks Using Large Learning Rates
In this paper, we show a phenomenon where residual networks can be trained using an order of magnitude fewer iterations than is used with standard training methods, which we named "super-convergence". One of the key elements of super-convergence is training with cyclical learning rates and a large maximum learning rate. Furthermore, we present evidence that training with large learning rates improves performance by regularizing the network. In addition, we show that super-convergence provides a greater boost in performance relative to standard training when the amount of labeled training data is limited. We also provide an explanation for the benefits of a large learning rate using a simplification of the Hessian Free optimization method to compute an estimate of the optimal learning rate. The architectures and code to replicate the figures in this paper are available at github.com/lnsmith54/super-convergence.

Хватит это терпеть и ждать или как поклонник «Игры престолов» устал ждать, когда Джордж Мартин уже допишет свою сагу, и создал нейросеть, которая сделала это за него. Пока что можно прочитать только пять глав нового романа. Волнует вопрос: убъет ли нейросеть самого Мартина в его же лучших традициях?

https://nplus1.ru/news/2017/08/29/neural-game-of-thrones

Видео с летней школы в Монреале (все звёзды) http://videolectures.net/deeplearning2017_montreal/

Сегодня начинается хакатон Сбербанка по робопокеру http://sberbank.ai/

саммари из лагерей беркли по изучению обучения с подкреплением http://planspace.org/20170830-berkeley_deep_rl_bootcamp/

Очередное применение ИИ в медицине.

https://m.hightech.fm/2017/09/04/Aplphabet

Конечно, каждый из нас задумывался о том, что же делать с супермощным ИИ, который без сомнений будет изобретён в скором будущем. Тут можно почитать что думают люди https://ai-ethics.com/

На реддите обсуждают слайды Andrej Karpathy на тему AGI https://www.reddit.com/r/MachineLearning/comments/6xz43l/r_where_will_agi_come_from_andrej_karpathys_yconf/

вот сами слайды https://docs.google.com/presentation/d/119VW6ueBGLQXsw-jGMboGP2-WuOnyMAOYLgd44SL6xM/edit#slide=id.g1e3df2d686_0_224

Microsoft и Facebook анонсировали формат моделей Open Neural Network Exchange (ONNX). Хорошая новость в том, что теперь можно конвертировать модели между CNTK, PyTorch и Caffe2 https://research.fb.com/facebook-and-microsoft-introduce-new-open-ecosystem-for-interchangeable-ai-frameworks/

Продолжается расследование разницы производительности PyTorch vs DyNet https://github.com/pytorch/pytorch/issues/2518#issuecomment-327835296

Интересно почитать, как глубоко копают авторы фреймворков (спойлер: даже про режимы энергосбережения процессора подумали)

Началась новая итерация открытого курса по машинному обучению от OpenDataScience. Первая лекция о Pandas https://www.youtube.com/watch?v=dEFxoyJhm3Y

вышел ещё какой-то инструмент для запуска МЛ экспериментов и визуализации. http://studio.ml . Поддерживает керас, тензорфло и пайторч

Ученые из Стэндфордского университета создали нейронную сеть для определения сексуальной ориентации человека по чертам лиц с довольно высокой точностью. Это как раз один из тех случаев, когда человек уступает ИИ.

https://www.theguardian.com/technology/2017/sep/07/new-artificial-intelligence-can-tell-whether-youre-gay-or-straight-from-a-photograph

https://naked-science.ru/article/sci/sozdana-neyroset-opredelyayushchaya

Наконец-то сравнение ГАНов без выбора самых красивых картинок. В генерации лиц победил BEGAN. https://github.com/khanrc/tf.gans-comparison

Коллекция сниппетов различной полезности для PyTorch https://www.reddit.com/r/pytorch/comments/6z0yeo/pytorch_and_pytorch_tricks_for_kaggle/

Узнал оттуда про форк Pillow, заточенный на производительность - Pillow-SIMD. Обещают, что он быстрее, чем OpenCV https://python-pillow.org/pillow-perf/ https://github.com/uploadcare/pillow-simd#pillow-simd

Рубрика "Без комментариев"

http://pornstarbyface.com/

Дед советует придумать что-то поумней, чем бэкпропогейшн https://www.axios.com/ai-pioneer-advocates-starting-over-2485537027.html

Глоссарий по машобу от Гугла https://developers.google.com/machine-learning/glossary/