Forwarded from Жалкие низкочастотники
Неделю назад Richard Socher (один из соавторов GloVe, кстати) из Salesforce объявил о публикации крупнейшей на данный момент известной языковой модели CTRL c 1.6B параметров (против 1.5B у OpenGPT-2 и 774M у OpenAI GPT-2, про которые я уже писал). Научной новизны в предлагаемой модели никакой, кажется, нет, и, в общем-то, это продолжение гонки вооружений было бы совсем скучным, но есть несколько интересных моментов:
1. Это, кажется, первая из таких публичных монстро-моделей, обученная с явным обусловливанием (conditioning).
2. Помимо стилей/жанров/сабреддитов они неплохо придумали использовать в conditioning значение URL страницы-источника (при генерации -- необязательно настоящей). Например, ссылка в духе
3. Они придумали развернуть расчёт conditioning для решения обратной задачи атрибуции источника: считают для заданного текста perplexity при различных conditioning параметрах, определяют, в каких условиях такой текст наиболее вероятен. Выглядит забавно.
Немного полезных ссылок: код и модель, статья, блогопост, инструкция по разворачиванию на Google Compute Engine (для бесплатного колаба модель слишком большая), тред с разными смешными примерами.
1. Это, кажется, первая из таких публичных монстро-моделей, обученная с явным обусловливанием (conditioning).
2. Помимо стилей/жанров/сабреддитов они неплохо придумали использовать в conditioning значение URL страницы-источника (при генерации -- необязательно настоящей). Например, ссылка в духе
https://www.cnn.com/2018/09/20/us-president-meets-british-pm позволяет сетке настроиться на стиль сайта CNN, на указанную тему и на конкретную дату (что позволяет ей правильно решить, кто в данный момент был президентом и премьером).3. Они придумали развернуть расчёт conditioning для решения обратной задачи атрибуции источника: считают для заданного текста perplexity при различных conditioning параметрах, определяют, в каких условиях такой текст наиболее вероятен. Выглядит забавно.
Немного полезных ссылок: код и модель, статья, блогопост, инструкция по разворачиванию на Google Compute Engine (для бесплатного колаба модель слишком большая), тред с разными смешными примерами.
PASS CMU DEEP LEARNING COURSE TOGETHER
https://dlcmu.datagym.ru/
https://dlcmu.datagym.ru/
Книга о том, как сгенерировать данные для машинного обучения с помощью параметрической модели, созданной с помощью Houdini и Unity, и оценить параметры этой модели с помощью keras + tenorflow
https://techbookfest.org/event/tbf07/circle/5912756913963008
https://techbookfest.org/event/tbf07/circle/5912756913963008
技術書典：技術書オンリーイベント
技術書典7：Orange Jellies 詳細
機械学習のためのデータ生成をHoudiniとUnityを利用して作ったパラメトリックモデルで行い、keras+tensorflowを使ってそのモデルのパラメーター推定を行う方法の解説本
Procedural Cities with Houdini and Python
This Houdini course covers a feature film approach to procedural city generation. It takes you from start to finish, building your knowledge of Python from the ground up, from elementary to advanced examples, and many other techniques along the way.
https://www.pluralsight.com/courses/houdini-python-procedural-cities#
This Houdini course covers a feature film approach to procedural city generation. It takes you from start to finish, building your knowledge of Python from the ground up, from elementary to advanced examples, and many other techniques along the way.
https://www.pluralsight.com/courses/houdini-python-procedural-cities#
Pluralsight
Procedural Cities with Houdini and Python
This course, Procedural Cities with Houdini and Python, will teach you how to do procedural city generation in houdini and python software. Start Building Today!
В OpenAI нейросети научились играть в прятки
OpenAI провела исследование о возможностях глубокого обучения искусственного интеллекта. Нейросети не только научились играть в прятки по заданному разработчиками сценарию, но и самосовершенствовались в ходе игры, осваивая все новые и новые методы поиска и умения скрываться.
OpenAI опубликовала данные исследования о возможностях глубокого обучения искусственного интеллекта. Играя в простую игру прятки, нейросети постепенно осваивали все новые и новые действия, которые помогали им развивать их умение скрываться от противника и более быстро и эффективно искать.
Изначально существовало две команды противников (синие и красные человечки). Начиналось исследование с хаотичного бега двух команд, которые «прятались» и «находились» буквально случайным образом. С каждой новой игрой каждая команда набиралась опыта и начинала усложнять процесс игры.
Всего было проведено 481 млн игр, за время которых искусственный интеллект самостоятельно научился использовать дополнительные объекты на поле игры — например, закрывать «коробками» проемы помещения, где они прячутся; использовать эти же коробки для того, чтобы преодолеть высокое заграждение и заглянуть за него в поисках противника; или двигать рампу в нужное место, чтобы перепрыгнуть препятствие.
Источник: OpenAI
https://www.youtube.com/watch?v=kopoLzvh5jY
OpenAI провела исследование о возможностях глубокого обучения искусственного интеллекта. Нейросети не только научились играть в прятки по заданному разработчиками сценарию, но и самосовершенствовались в ходе игры, осваивая все новые и новые методы поиска и умения скрываться.
OpenAI опубликовала данные исследования о возможностях глубокого обучения искусственного интеллекта. Играя в простую игру прятки, нейросети постепенно осваивали все новые и новые действия, которые помогали им развивать их умение скрываться от противника и более быстро и эффективно искать.
Изначально существовало две команды противников (синие и красные человечки). Начиналось исследование с хаотичного бега двух команд, которые «прятались» и «находились» буквально случайным образом. С каждой новой игрой каждая команда набиралась опыта и начинала усложнять процесс игры.
Всего было проведено 481 млн игр, за время которых искусственный интеллект самостоятельно научился использовать дополнительные объекты на поле игры — например, закрывать «коробками» проемы помещения, где они прячутся; использовать эти же коробки для того, чтобы преодолеть высокое заграждение и заглянуть за него в поисках противника; или двигать рампу в нужное место, чтобы перепрыгнуть препятствие.
Источник: OpenAI
https://www.youtube.com/watch?v=kopoLzvh5jY
YouTube
Multi-Agent Hide and Seek
We’ve observed agents discovering progressively more complex tool use while playing a simple game of hide-and-seek. Through training in our new simulated hide-and-seek environment, agents build a series of six distinct strategies and counterstrategies, some…