#метод
Если Вы захотите запихнуть в Трансформер что-то более экзотическое, чем последовательность, то потребуется придумать подходящий Positional Encoding (который бы ещё и структуру учитывал). Что-то мало статей на этот счёт, например, как лучше кодировать позицию, если подаём 2 связных текста (например, текст и его перевод). Из забавных работ по PE в нестандартных ситуациях нашёл эту - Novel positional encodings to enable tree-based transformers - скармливаем трансформеру дерево!
https://papers.nips.cc/paper/2019/file/6e0917469214d8fbd8c517dcdc6b8dcf-Paper.pdf
Если Вы захотите запихнуть в Трансформер что-то более экзотическое, чем последовательность, то потребуется придумать подходящий Positional Encoding (который бы ещё и структуру учитывал). Что-то мало статей на этот счёт, например, как лучше кодировать позицию, если подаём 2 связных текста (например, текст и его перевод). Из забавных работ по PE в нестандартных ситуациях нашёл эту - Novel positional encodings to enable tree-based transformers - скармливаем трансформеру дерево!
https://papers.nips.cc/paper/2019/file/6e0917469214d8fbd8c517dcdc6b8dcf-Paper.pdf
#реклама
13 декабря школа дизайна @bangbangeducation и проект Леkторuй проведут онлайн-фестиваль Человек: дизайн, технологии, наука, чувство.
Как мы существуем в онлайн-пространстве сегодня? Как презентовать себя в виртуальной реальности и как она способна изменить нашу идентичность? Какую роль в современных коммуникациях играют виртуальные артисты и блогеры? Как технологический прогресс влияет на наше ментальное здоровье? На эти и другие вопросы в рамках фестиваля вопросы ответят представители дизайн-индустрии, науки и искусства.
Вопросы спикерам можно будет задать в чате комьюнити Bang Bang Education Дизайн начинается с ⚫️.
Фестиваль бесплатный.
Расписание и регистрация
13 декабря школа дизайна @bangbangeducation и проект Леkторuй проведут онлайн-фестиваль Человек: дизайн, технологии, наука, чувство.
Как мы существуем в онлайн-пространстве сегодня? Как презентовать себя в виртуальной реальности и как она способна изменить нашу идентичность? Какую роль в современных коммуникациях играют виртуальные артисты и блогеры? Как технологический прогресс влияет на наше ментальное здоровье? На эти и другие вопросы в рамках фестиваля вопросы ответят представители дизайн-индустрии, науки и искусства.
Вопросы спикерам можно будет задать в чате комьюнити Bang Bang Education Дизайн начинается с ⚫️.
Фестиваль бесплатный.
Расписание и регистрация
В некотором научном сообществе на крупных конференциях вручается приз - эта статуэтка - за то, что докладчик первым среди участников упомянит это...
Anonymous Quiz
33%
имя Шмидхубера
6%
датасет
9%
первую нейросеть
6%
название своего доклада
20%
первую статью про GAN
25%
слово "F**K"
#реклама
👾❗️Уже в эту субботу в 12:00 (МСК) стартует чемпионат для Data Science Alfa Battle 2.0. Для того, чтобы погрузить участников в нюансы задач и рассказать, что интересного для дата сайентистов происходит в Альфа-Групп в формате стрима пройдет брифинг-конференция: “ОТ МОДЕЛИ К ПРОДУКТАМ” с экспертами из Альфа-Банка, X5 RG, Билайн и АльфаСтрахования.
Коротко о программе:
◾️Ошибки в А/В тестах — как не быть уволенным
◾️Кейс Action Recognition: как мы сделали +15% к Accuracy
◾️Кейс голосовых сервисов: робот Даша
◾️Редизайн Альфа-Мобайл — что изменилось?
◾️Дискуссионная панель “Будущее Data Science в Альфа-Групп”
Открывает конференцию — Владимир Верхошинский, главный управляющий директор Альфа-Банка, член Наблюдательного совета «Альфа-Групп».
😉 Участвуйте в эпической битве зимы за 1 000 000 рублей!
Подключайтесь и задавайте вопросы по задачам в прямом эфире.
Подробности и регистрация: https://link.alfabattle.ru/U5TXI
👾❗️Уже в эту субботу в 12:00 (МСК) стартует чемпионат для Data Science Alfa Battle 2.0. Для того, чтобы погрузить участников в нюансы задач и рассказать, что интересного для дата сайентистов происходит в Альфа-Групп в формате стрима пройдет брифинг-конференция: “ОТ МОДЕЛИ К ПРОДУКТАМ” с экспертами из Альфа-Банка, X5 RG, Билайн и АльфаСтрахования.
Коротко о программе:
◾️Ошибки в А/В тестах — как не быть уволенным
◾️Кейс Action Recognition: как мы сделали +15% к Accuracy
◾️Кейс голосовых сервисов: робот Даша
◾️Редизайн Альфа-Мобайл — что изменилось?
◾️Дискуссионная панель “Будущее Data Science в Альфа-Групп”
Открывает конференцию — Владимир Верхошинский, главный управляющий директор Альфа-Банка, член Наблюдательного совета «Альфа-Групп».
😉 Участвуйте в эпической битве зимы за 1 000 000 рублей!
Подключайтесь и задавайте вопросы по задачам в прямом эфире.
Подробности и регистрация: https://link.alfabattle.ru/U5TXI
alfabattle.ru
Alfa Battle
В StyleGAN2 применяли т.н. "Lazy regularization", что это такое?
Anonymous Quiz
11%
регуляризация только в генераторе
11%
регуляризация только в дискриминаторе
17%
регуляризация попеременно только в генераторе или дискриминаторе
49%
регуляризация только в каждом k-м батче
13%
регуляризацию делает отдельная меленькая сеть "Lazy network"
#обзор
Для тех, кто в чатике интересовался обзорами по Ганам. В принципе, их много хороших. Но для провокационности контента канала, скажу -
Посмотрите на Хуи Джонатана:
https://jonathan-hui.medium.com/gan-gan-series-2d279f906e7b
Для тех, кто в чатике интересовался обзорами по Ганам. В принципе, их много хороших. Но для провокационности контента канала, скажу -
Посмотрите на Хуи Джонатана:
https://jonathan-hui.medium.com/gan-gan-series-2d279f906e7b
Medium
GAN — GAN Series (from the beginning to the end)
A full listing of our articles covers the applications of GAN, the issues, and the solutions.
#забавно
Ох уж эти переводы, "ПОЕЗД" - это train;)
Ох уж эти переводы, "ПОЕЗД" - это train;)
#обзор
Поискал какое-нибудь свежее независимое и более-менее приличное сравнение разных реализация градиентного бустинга. Нашёл только за 2019 год...
Выгоднее смотрится CatBoost, но автор контактировал с его создателями, как показывает практика, это действительно улучшает качество в экспериментах (имеется в виду, что создатели подсказывают, что в данном случае надо ещё подкрутить). Жалко, что у xgb и lgb нет такой помощи онлайн (у catboost-a есть, кстати, свой телеграм-канал).
https://medium.com/riskified-technology/xgboost-lightgbm-or-catboost-which-boosting-algorithm-should-i-use-e7fda7bb36bc
Поискал какое-нибудь свежее независимое и более-менее приличное сравнение разных реализация градиентного бустинга. Нашёл только за 2019 год...
Выгоднее смотрится CatBoost, но автор контактировал с его создателями, как показывает практика, это действительно улучшает качество в экспериментах (имеется в виду, что создатели подсказывают, что в данном случае надо ещё подкрутить). Жалко, что у xgb и lgb нет такой помощи онлайн (у catboost-a есть, кстати, свой телеграм-канал).
https://medium.com/riskified-technology/xgboost-lightgbm-or-catboost-which-boosting-algorithm-should-i-use-e7fda7bb36bc
Medium
XGBoost, LightGBM or CatBoost — which boosting algorithm should I use?
Gradient boosted trees have become the go-to algorithms when it comes to training on tabular data. Over the past couple of years, we’ve…
Forwarded from Chat Small Data Science for Russian Adventurers
#жзл
Интересная статья про Александра Гротендика:
https://mel.fm/istorii/8147623-alexander_grothendieck
Интересная статья про Александра Гротендика:
https://mel.fm/istorii/8147623-alexander_grothendieck
Мел
Мальчик, не знавший границ: человек, который переписал математику ХХ века и стал пастухом
В 2014 году в небольшом городке во французских Пиренеях умер Александр Гротендик, один из самых выдающихся ученых XX века, человек, изменивший математику так, как никто до него. Ему было 86 лет, последние 25 из которых он прожил в уединении, писал, практиковал…
#образование
Попиарю-ка я Техносферу от Mail.ru для студентов МГУ, там среди преподавателей много хороших людей;)
Кликни сюда;)
Попиарю-ка я Техносферу от Mail.ru для студентов МГУ, там среди преподавателей много хороших людей;)
Кликни сюда;)
sphere.vk.company
Образовательный центр VK в МГУ
Образовательный центр VK в МГУ им. М.В. Ломоносова дает возможность освоить специальность программиста-исследователя в области больших данных.
#книга
Очень атмосферная книга Тома Лейнстера "Энтропия и разнообразие: аксиоматический подход" - прям ностальгия по аспирантуре, нас так учили: долой практику, из естественных допущений вывести какими должны быть функции, которые формализуют "количество информации" или "разнообразие" (я пока не дочитал до конца, но первая треть хороша):
https://arxiv.org/abs/2012.02113
Очень атмосферная книга Тома Лейнстера "Энтропия и разнообразие: аксиоматический подход" - прям ностальгия по аспирантуре, нас так учили: долой практику, из естественных допущений вывести какими должны быть функции, которые формализуют "количество информации" или "разнообразие" (я пока не дочитал до конца, но первая треть хороша):
https://arxiv.org/abs/2012.02113
#книга
По просьбам в чате - ссылки на книги по математике...
Не скажу, что обзоры сверхудачные, но довольно полные и, главное, они есть:
Математика в ML
Marc Peter Deisenroth, A Aldo Faisal, and Cheng Soon Ong "Mathematics for Machine Learning", 2019, https://mml-book.github.io
Одна их последних больших книг по математике в ML
Jean Gallier, Jocelyn Quaintance «Algebra, Topology, Differential Calculus, and
Optimization Theory for Computer Science and Machine Learning» // Book in Progress, 1958 pp. (2019) http://www.cis.upenn.edu/~jean/gbooks/geomath.html
По просьбам в чате - ссылки на книги по математике...
Не скажу, что обзоры сверхудачные, но довольно полные и, главное, они есть:
Математика в ML
Marc Peter Deisenroth, A Aldo Faisal, and Cheng Soon Ong "Mathematics for Machine Learning", 2019, https://mml-book.github.io
Одна их последних больших книг по математике в ML
Jean Gallier, Jocelyn Quaintance «Algebra, Topology, Differential Calculus, and
Optimization Theory for Computer Science and Machine Learning» // Book in Progress, 1958 pp. (2019) http://www.cis.upenn.edu/~jean/gbooks/geomath.html
#ии
Статья про китайский голосовой помощник или помощницу. Написано в интересном стиле, делается даже страшно за будущее;)
http://www.sixthtone.com/news/1006531
Статья про китайский голосовой помощник или помощницу. Написано в интересном стиле, делается даже страшно за будущее;)
http://www.sixthtone.com/news/1006531
SIXTH TONE
The AI Girlfriend Seducing China’s Lonely Men
In China, a sassy chat bot is stealing millions of men’s hearts. It’s also recording their most intimate desires and emotions.