Забавная дискуссия: 🎥 vk между Сергеем Марковым (руководитель исследований в проекте GigaChat, Сбер) и Иваном Тюкиным (Центр ИИ Сколтеха) — обсуждают, был ли DeepSeek прогревом. Можно не смотреть самое интересное тут:

GigaChat vs. DeepSeek
💡 Сергей ожидаемо позитивно оценивает GigaChat. Про DeepSeek, хоть и выложил все веса в open-source, в части доработки multi-token prediction (что позволяет опубликовал только половину весов. Это означает, что если повторить модель у себя, скорость инференса (работы модели) будет в 2 раза ниже

Цены на API
💰 DeepSeek на старте оказался очень дешевым — от 0.14$ до 2$ за 1M токенов, тогда как ChatGPT стоит 10–20$, а GigaChat — 10$. Но эта цена, скорее всего, субсидирована и действует только в периоды низкого спроса. Сейчас, например, API отключены ❌

PS: Забавно, но GigaChat доступен в open-source, но многие архитектурные решения основаны на DeepSeek. Структура модели здесь (см. скрин выше)

Курс про ai агентов на Hugging Face 🤗

• AI агенты — это способ добавить дополнительную функциональность или навыки чатботу. Все с использованием их либы smolagents. Очень понравилось, что не нужно прописывать логику, когда и как вызывать функции — чат-бот сам это понимает, боль что метод все равно нужно закодить, и если нет готового API, то например парсить сайты/данные сложно. Сейчас вышла только первая часть из шести, но она короткая — всего час, но можно успеть создать первого агента.

• Забавно видеть как оно рассуждает (см. картинку).

• Учебные проекты слушателей курса - мем, например, запрос погоды, но зачем - если проще узнать напрямую. Хотя это закрывает 50% полезного функционала алисы

Как ChatGPT влияют на нашу креативность?

Журнал Science (!) тоже задается этим вопросом. В статье Generative AI enhances individual creativity but reduces the collective diversity исследовали, как меняются истории, написанные людьми, если AI подбрасывает им идеи (0, 1 или 5 идей).

• Ожидаемо чем больше ai идей были доступны тем лучше получался текст. Это валидировали человеком. Особенно если навыки у человека были слабее изначально.
• Но! Чем активнее люди использовали подсказки AI, тем более похожими становились их тексты. Понравилось что тут уже не люди проверяли, а через косинусное расстояние эмбеддингов текстов

Очевидное решение - всем нужно использовать разные сетки и чаты, и температуру поднять

Топ1 AI-конфу NeurIPS посетило намного меньше людей, чем концерт Taylor Swift (вот где true hype)

Прочитал книжку "Простые правила" (авторы Дональд Сулл, Кэтлин Эйзенхардт). Там про то, что сложным правилам непросто следовать, они могут быть ошибочными – как итог, простые оказываются продуктивнее и точнее. Постулируя это, идет большой разбор множества сфер, где это действительно так (от медицины: например, для борьбы с бессонницей — ложиться спать в одно и то же время, до программы развития стартапов в Чили, где действовало правило исключения — неделовые поездки по стране). Звучит, как будто гуманитарии открыли правило "не переобучись". А так, конечно, рекомендую книжку.

Таки прочитал лучшие решения с соревнований Kaggle за 2023 год (the Best Solution Write-up Authors 🏆), все еще актуально. За статьи в сумме раздали 100 тысяч долларов.

1. Три статьи от одного автора (Chris Deotte) посвящены задачам про временные ряды:

- В одной задаче нужно было предсказать количество микробизнесов на 100 человек в каждом штате на следующие месяцы. Как всегда, важна хорошая валидация: GroupKFold по регионам + cross time series validation для увеличения объема данных и получения более робастных метрик. Так как метрика SMAPE, то и loss обычный MSE, и нужно предсказывать не саму плотность, а только прирост. Таким образом, все данные по штатам становятся ближе друг к другу. Необычно, что лучшая модель получилась с сеткой с GRU слоями. Автор признает, что такой же результат получился бы при использовании магического коэффициента 1.0045 в качестве поправочного коэффициента для соотношения в динамике прошлых месяцев. И, конечно же, LB public probing (для тех, кто знает; кто не знает – ни в коем случае не использовать).

- В следующем соревновании требовалось прогнозировать прогрессирование болезни Паркинсона. Мало кейсов (248 пациентов), много лишних и шумных показателей (1000 показателей). 99% успеха – признак, как часто человек приходит в больницу. Наверное, не для этого запускали соревнование. И понятно, что тут зашли наиболее простые модели, у автора – SVR (Support Vector Regression).

- В 3м соревновании автор перестарался с подходом из пункта а и улетел с 1-го места в предварительном этапе на 967-е. Во всем виноват как раз LB public probing (буквально переобучился). А надо было всего лишь прочитать книжку "Простые правила" из прошлого поста.

2. Распознавание предложений языков жестов: решение через адаптированный Squeezeformer, который изначально был для распознавания речи. С помощью MediaPipe ключевые точки (landmarks) трансформируются в аналогичный входной спектр. Забавно, что dropout здесь называется FingerDropout, то есть буквально зануляются пальцы. А вот в задаче распознавания букв языков жестов – обычный 1D CNN эффективнее трансформеров (by Hoyeol Sohn).

3. Задача - предсказание успеваемости студентов по информации, как студент проходит развивающие игры. Слышал, что в какой-то компании так определяют производительность сотрудников по 5-минутной игре в начале рабочего дня (aka фильм "Особое мнение", только про корпоративную эффективность). Решение – объединение бустингов, лики и использование открытого API игры, чтобы сгенерировать больше данных, погружение в данные, чтобы создать осмысленные признаки. Интересно, что под задачу удалось адаптировать подход, вдохновленный WaveNet, с использованием embedding слоев и объединив с TimeEmbedding + avg_pooling, создать решение с сетками (причем там двухшаговое обучение с претрейном для backbona), и, как они говорят, итерационное обучение ускорил pipeline обучения.

4. Две статьи про физические задачи: детекция гравитационных волн (топ-решение G2Net) и нейтрино (лучшее решение gnn, т.е. графовые сетки).

5. Задача Маммографии: YOLOX для правильного кропа изображения + EfficientNet и ConvNeXt для классификации. Примечательно, что использование label smoothing работало все-таки лучше, чем soft positive label trick (always been).

+там еще про Image Matching Challenge и распознавание пении птиц по пению

До следующей поездки нужно написать про прошлую ✈️. Еще в конце февраля мы ездили во Вьетнам (Ханой -> Фукуок), а затем в Малайзию.

Все началось с пересадки в Чэнду (Китай) – это родина панд, и нам удалось попасть в один из главных их заповедников. Кухня там тоже интересная, особенно сычуанский перец, который не столько острый, сколько дает интересное чувство онемения. А панды же там просто сидят и едят бамбук

Ханой неожиданно понравился больше всего в поездке. Очень классная кухня (не только фо бо, но и бун ча – суп с поджаренным мясом, яичный кофе, свежие роллы, которые сам заворачиваешь). Было прикольно сходить в ресторан из гида Мишлен, где суп с пивом стоил 250 рублей и где за соседним столиком сидел сам Обама. Из города удалось съездить в бухту Халонг (более 1000 островов) и в Ниньбинь, где тоже много гор

Фукуок – это уже перелет с самого севера на самый юг Вьетнама. Там много активностей: аквапарк, сафари-парк, огромная канатная дорога и т.д. По ощущениям похоже на Пхукет.

Куала-Лумпур (Малайзия) – жарко и влажно, зато какие классные джунгли в черте города. Старше лесов Амазонии (возрастом 150 млн лет), и город позиционирует себя как единственный в мире с такими древними джунглями в своих границах. Он показался очень похожим на Сингапур, но намного более живым. Башни Петронас вживую – уважение