Продолжаем обзор статей, представленных учёными AIRI на конференции NeurIPS 2023! Теперь — в нашем блоге на сайте 👾

Процесс генерации изображения, который производят диффузионные модели, можно представить как перемещение из одной точки в другую в некотором математическом пространстве. Чтобы модели работали быстро, это перемещение должно быть оптимальным. Его достижение формулируется как задача оптимального транспорта.

На решение этой задачи направлены усилия множества научных групп, включая исследователей из AIRI. На конференции NeurIPS 2023 они поделились тремя интересными результатами:

🔻Building the Bridge of Schrödinger: A Continuous Entropic Optimal Transport Benchmark

В этой статье рассказывается о создании бенчмарка, который способен сравнить различные методы построения энтропийного оптимального транспорта — один из подходов к проблеме, эквивалентного задаче о построении Моста Шрёдингера. Подробнее об этом читайте в блоге.

🔻Entropic Neural Optimal Transport via Diffusion Processes

Авторы этой статьи смогли представить транспортную задачу как задачу поиска седловой точки некоторого функционала. Статья получила статус "Oral" (его получают топ-3% статей) на конференции NeurIPS 2023.

Рассказали все подробности в статье по ссылке.

🔻Extremal Domain Translation with Neural Optimal Transport

Здесь рассказывается еще об одном подходе к достижению оптимального транспорта, названного экстремальным. Предложенный метод позволяет достигать большего сохранения свойств входного объекта при осуществлении переноса домена, а также предоставляет механизмы для игнорирования выбросов в обучающей выборке. Подробности — на сайте AIRI.

Сами исследователи рассказывали о своих работах на недавно прошедшей ИИшнице, по ссылке можно посмотреть запись трансляции 🖇

Продолжаем «расшумлять» наши научные результаты! ✨

В партнерском материале с N + 1 вместе с Татьяной Шавриной мы постарались простым языком рассказать про мир престижных конференций в науке и поделиться тем, как статьи исследователей AIRI прошли на NeurIPS 2023. Обсудили научные результаты, новые разработки и влияние конференции на методологию науки.

Про ученых, науку и четыре из восьми принятых статей — читайте по ссылке.

Новогодние праздники — идеальное время, чтобы прочитать статьи, вышедшие в нашем блоге на сайте 📍

На этот раз представляем две работы, выполненные исследователями из группы «Вероятностные методы машинного обучения». Статьи посвящены различным тематикам, но их объединяет любовь к звёздам! 🌟

🖇 Star-Shaped Denoising Diffusion Probabilistic Models

В этой статье представлена новая диффузионная модель, которая может применяться к различным распределениям в экспоненциальном семействе, что делает ее полезной для моделирования данных на многообразиях с ограничениями, таких как единичная сфера или положительные полуопределенные матрицы. Новизной модели стала звёздообразная архитектура, из-за чего она получила название Star-Shaped DDPM. Подробнее об этом читайте в блоге.

🖇 To Stay or Not to Stay in the Pre-train Basin: Insights on Ensembling in Transfer Learning

В данном исследовании рассматриваются вопросы улучшения ансамблей нейронных сетей с помощью техник трансферного обучения. Авторы предложили заменить последовательную тонкую настройку сетей из ансамбля на параллельную, из-за чего траектории оптимизации в пространстве весов принимают форму звёзд. Новый метод получил название StarSSE. Разбираемся в проделанной работе в блоге по ссылке.

Хороших выходных!🧠

Сегодня в рубрике #AIRIвлицах делимся интервью с научным сотрудником AIRI и руководителем исследовательской группы в Сколтехе Александром Коротиным 🧠

⚫️Почему наука?
«В детстве я принимал участие в олимпиадах и научных конференциях для школьников. В 9 классе я ездил на всероссийскую конференцию по математике и занял третье место, а в 10 и 11 классе — стал призером на всероссийской олимпиаде. Моя научная работа в школе была про геометрические свойства чевиан треугольников. Я доказывал эти свойства, используя барицентрический метод (метод масс Архимеда). Интересно, что сейчас в некоторых своих научных работах я изучаю вычисление Вассерштейн барицентов — это связанные вещи.

Поступив в университет, я сконцентрировался на учебе и закончил ШАД параллельно с бакалавриатом ВШЭ. До ШАДа я занимался фундаментальной математикой и вообще не знал про существование машинного обучения и нейронных сетей. Исследованиями в этих областях компьютерных наук я начал заниматься в магистратуре. В те года еще не было такого хайпа на искусственный интеллект».

⚫️В свободное время
«С детства часто играю в компьютерные игры, правда сейчас времени на это уже не так много. Любимые игры прошедшего года — это Skyrim и пятые «Герои». Еще я много катался на беговых лыжах и был в сборной ВШЭ, но уже пару лет не занимался».

⚫️Вдохновение
«Меня очень вдохновляет желание сделать мир лучше. Развитие технологий очень упрощает нашу жизнь. Я, например, не люблю заниматься бытовыми вещами, а технологии позволяют мне не тратить на это свое время».

⚫️На работе
«Занимаюсь разработкой новых фундаментальных методов для обучения генеративных моделей. Например, на основе алгоритмов, которые я делаю, можно стилизовать изображения».

⚫️Интересные факты
«Был на сафари в Африке в компании ученых. В детстве у меня был первый разряд по шахматам. Когда-то я сделал зомби-дополнение к компьютерной игре».

⚫️Наука — это
«Исследование неизвестного и попытка за счет этого сделать мир лучше».

Вся коллекция интервью собрана по тегу #AIRIвлицах, приятного чтения 📎

Первый #AIRIseminars 2024 года пройдет в следующую среду, делимся всеми подробностями:

⚫️Дата и время: 17 января в 17:00 офлайн на Арме и онлайн YouTube-канале AIRI

⚫️Тема: «Доверенный искусственный интеллект»

⚫️Докладчик: Олег Рогов, AIRI, Сколтех

⚫️Оппонент: Денис Турдаков, ИСП РАН

⚫️Описание: стремительное развитие технологий ИИ и их активное применение в значимых приложениях разного масштаба, включая здравоохранение, финансы, масс-медиа и ряд других, обусловливают высокую важность задачи обеспечения доверенного характера моделей и их защиты от несанкционированного доступа.

На семинаре исследователи обсудят современные тенденции, новые возможности и вызовы. В частности, рассмотрят атаки на определение принадлежности к обучающим выборкам, представляющим угрозу приватности данных и обсудят новые методы защиты от кражи моделей, которые в будущем позволят сделать облачное предоставление моделей машинного обучения более защищенным.

📍На семинар можно прийти очно, регистрация по ссылке. До встречи!

Делимся третьей частью статьей в нашем блоге про публикации, представленные учёными AIRI на конференции NeurIPS 2023 📍

Машинное обучение — отличный пример того, зачем нужно учить высшую математику. Она позволяет выявить закономерности в структуре или изменениях больших массивов данных, которые ускользают от неподготовленного обывателя. Знание этих закономерностей, в свою очередь, помогает решать конкретные практические задачи, чему и посвящены последние статьи:

⚫️Intrinsic Dimension Estimation for Robust Detection of AI-Generated Texts

Используя концепцию устойчивых гомологий, применённую к представлению текстов в виде множества точек в многомерном пространстве, команда исследователей смогла разработать быстрый и устойчивый детектор текста, сгенерированного с помощью ИИ. Подробнее об этом читайте в нашем блоге.

⚫️Neural Harmonics: Bridging Spectral Embedding and Matrix Completion in Self-Supervised Learning

Решая эту проблему теоретической обоснованности методов самообучения, авторы поняли, что их работу можно свести к хорошо известной в математике задаче о восполнении низкоранговой матрицы. Больше деталей — в свежем блоге.

⚫️PROTES: Probabilistic Optimization with Tensor Sampling

Эта статья посвящена изысканиям в области безградиентной оптимизации, то есть, поиска оптимума некоторой функции без использования градиентного спуска. Её авторы воспользовались тем фактом, что задачу можно свести к поиску минимального или максимального элемента в неявно заданном тензоре, где полезным оказывается разложение в тензорный поезд. О работе нового алгоритма рассказываем в блоге.

Первая часть статей тут, а вторая — по ссылке, приятного чтения!

PhD, руководитель группы «Технологии персонализации» AIRI, научный сотрудник лаборатории вычислительного интеллекта Сколтеха Евгений Фролов — сегодня в рубрике интервью с учеными 🧠

⚫Почему наука?

«Окончив физический факультет МГУ, я начал карьеру в IT. Рост в течение 5 лет был быстрый, но однажды я почувствовал острую нехватку интеллектуальных вызовов. Скучал по математике. Тогда я самостоятельно начал начал интересоваться сферой искусственного интеллекта. Узнав о наборе аспирантов в Сколтех, решил оставить IT и перейти к научным исследованиям. Оглядываясь назад, могу сказать, что о своем выборе не жалею ни секунды».

⚫️В свободное время

«Люблю путешествия, особенно в ЮВА и в низкий сезон. Предпочитаю путешествовать «дикарем» без четкого планирования. Спорт — тайский бокс и сноуборд».

⚫️Вдохновение

«Меня вдохновляет состояние первооткрывателя. Ощущение, что ты догадался до решения какой-то задачи, которую до тебя либо не решали, либо не могли решить. Это, конечно, очень редкое удовольствие. Крайне сложно придумать действительно что-то новое. Но оттого оно и очень ценное».

⚫️На работе

«Занимаюсь моделированием и предсказанием индивидуальных потребительских интересов с применением алгоритмов искусственного интеллекта. Рекомендательные системы, хорошо известные в бытовом контексте, персонализируют рекомендации в музыке, кино и товарах. Однако можно рассмотреть и более широкий контекст. Например, планирование обучения, освоение предметных областей, разработка лекарств и материалов — все это тоже может быть осуществлено с помощью рекомендательных систем».

⚫️Интересные факты

«Я лицензированный дайвер PADI Open Water. Под моим руководством была внедрена первая в России система цифровой телефонии в колл-центре крупной компании».

⚫️Наука — это

«С одной стороны — профессия или даже ремесло. С другой — непрекращающийся полет по бескрайним просторам неизведанного с фонариком познания в руках, с целью удовлетворить собственное любопытство».

#AIRIвлицах 😁

Делимся новыми вакансиями в AIRI! Набираем сотрудников сразу в несколько научных групп и в бэк-офис 💡

AI в медицине

📎Senior Computer Vision Engineer

Ищем опытного датасаентиста по компьютерному зрению на совместные проекты института AIRI и SberMedAI для разработки продуктов для медицины (КТ, РГ, МРТ) на основе алгоритмов компьютерного зрения.

📎Computer Vision Engineer

Основными задачами будут: разработка, тестирование и поддержка моделей медицинского AI, анализ и выбор подходов к решению поставленных задач, взаимодействие с врачами.

📎Python developer

Ищем кандидата, который будет заниматься созданием сервисов на базе разработанных алгоритмов компьютерного зрения в области медицины, также тестированием и поддержкой разработанных сервисов.

Нейросимвольная интеграция

📎Middle/Senior RL Researcher

В этом проекте предстоит заниматься исследованием на стыке больших трансформенных мультимодальных моделей и обучения с подкреплением. Задачи будут включать анализ и обзор последних статей по теме, разработку новых алгоритмов.

IT

📎Инженер-архитектор информационной безопасности, CISO

Вакансия для опытного специалиста службы информационной безопасности с практическими навыками внедрения передового инструментария по управлению рисками в облачной инфраструктуре.

Юридический отдел

📎Юрисконсульт

В обязанности будет входить: договорная работа, корпоративное право, комплаенс, консультирование работников по различным правовым вопросам.

В конце каждой вакансии на сайте есть форма для отправки резюме. Откликайтесь и делитесь постом с теми, кому наши вакансии могут быть интересны😁

Рассказываем про следующий #AIRIseminars, который пройдет в среду на следующей неделе 🔔

⚫Дата и время: 31 января в 17:00 офлайн на Арме и онлайн YouTube-канале AIRI

⚫Тема: «Гиперболические эмбеддинги в задаче предсказания следующих действий пользователя в рекомендательных системах»

⚫Докладчик: Евгений Фролов, AIRI, Сколтех

⚫Оппонент: Дмитрий Игнатов, НИУ ВШЭ

⚫Описание: в докладе будет рассмотрен особый вариант обучения модели нейросетевого внимания (self-attention) на последовательностях пользовательских действий с использованием гиперболической геометрии.

Докладчик разберет один из механизмов перевода весов модели в неевклидово пространство, связанные с этим изменения свойств результирующей модели, а также практичность применения в решении реальных задач для рекомендательных систем.

📌Регистрация, как всегда, по ссылке. До встречи!

В День студента делимся интервью с кандидатом физико-математических наук, руководителем группы «Доверенные и безопасные интеллектуальные системы» в AIRI, научным сотрудником Сколтеха — Олегом Роговым 📷

Олег Юрьевич рассказал Афише о том, как помочь студентам в начале карьерного пути, а также об индивидуальном подходе в преподавании. Прочитать можно по ссылке.

Кстати, послушать Олега Юрьевича вживую, задать интересующие вопросы и почерпнуть вдохновение для своего обучения и карьеры можно на его лекции в Кибердоме 2 февраля. Мероприятие будет полезно для тех, кто занимается ML для SaaS и применением AI в информационной безопасности 📌

Современные голосовые помощники, чат-боты и переводчики все чаще используют seq2seq-модели, улучшая качество создаваемого текста ⤵

Исследователям важно уметь выявлять ситуации, в которых эти модели неэффективны, например, при наличии большого числа опечаток или неоднозначного текста.

В новом посте на Хабре младший научный сотрудник AIRI Артём Важенцев рассказывает про то, какие существуют методы оценивания неопределенности для seq2seq-моделей, а также делится новыми результатами, полученными его группой в этом направлении.

Читайте по ссылке 🔖