MedMNIST-C: benchmark dataset based on the MedMNIST+ collection covering 12 2D datasets and 9 imaging modalities.

pip install medmnistc

🖥 Github: https://github.com/francescodisalvo05/medmnistc-api

📕 Paper: https://arxiv.org/abs/2406.17536v2

🔥Dataset: https://paperswithcode.com/dataset/imagenet-c

👉 @bigdata_1

💥 Ищете возможности в Data Science и ML? На курсе «Специализация Machine Learning» мы научим вас не просто работать с данными, а использовать мощные алгоритмы для бизнес-прогнозирования.

Программа подходит как новичкам, так и профессионалам: от системных аналитиков до инженеров, которые хотят научиться ML с нуля. Мы дадим вам практические знания и опыт, используя актуальные инструменты.

На курсе вы освоите Python, библиотеки pandas, sklearn, глубокое обучение и анализ временных рядов. Пройдете обучение по самым современным фреймворкам и научитесь решать реальные задачи.

➡️ Записывайтесь в группу прямо сейчас: https://vk.cc/cMqaRD

Чтобы успеть воспользоваться 🏷10% скидкой на курс «Специализация Machine Learning» и 🎁 бонусным промокодом ML5 и учиться весь год по ценам мая. Скидка на курс действует по 31.05 включительно!

Forecasting Future World Events with Neural Networks

Github: https://github.com/andyzoujm/autocast

Paper: https://arxiv.org/abs/2206.15474v1

Dataset: https://people.eecs.berkeley.edu/~hendrycks/intervalqa.tar.gz

👉 @bigdata_1

NU-Wave — Official PyTorch Implementation

Github: https://github.com/mindslab-ai/nuwave

Paper: https://arxiv.org/abs/2206.08545v1

Dataset: https://datashare.ed.ac.uk/handle/10283/3443

👉 @bigdata_1

Open R1

Разработчики с Hugging Face повторил полный цикл разработки DeepSeek - от сбора данных до обучения! 🔥

Цель этого репозитория - объяснить все части конвейера создания R1 таким образом, чтобы каждый мог повторить его или построить поверх него свой проект.

Из чего состоит проект:
- src/open_r1 содержит скрипты для обучения и оценки моделей, а также для генерации синтетических данных:
- grpo.py : обучение модели с помощью GRPO
- sft.py: простой SFT
- evaluate.py: оценка модели на основе тестов R1.
- generate.py: генерация синтетических данных с помощью Distilabel.
- Makefile содержит простую в выполнении команду для каждого шага конвейера R1.

https://github.com/huggingface/open-r1

👉 @bigdata_1

Как масштабировать машинные модели и работать с огромными объемами данных? Откройте для себя возможности Spark ML на открытом уроке от OTUS!

Spark ML — это мощный инструмент для масштабируемого машинного обучения, который позволяет обучать модели на больших данных, не переходя на специализированные ML-системы. Мы покажем, как интеграция с Spark SQL и DataFrame API упрощает ETL-подготовку данных и фичуризацию для реальных проектов.

Убедитесь, как Spark ML решает задачи отказоустойчивости и распределённых вычислений, позволяя вам легко строить промышленные ML-пайплайны.

Посетите открытый урок 11 июня в 20:00 МСК в преддверие старта курса «Spark Developer» и получите скидку на обучение: https://vk.cc/cMFGYY

Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

ИИ против Машинного Обучения, Глубокого Обучения и Генеративного ИИ — чёткое объяснение


1 — Искусственный интеллект (AI)
Это обобщающее направление, сосредоточенное на создании машин или систем, способных выполнять задачи, которые обычно требуют человеческого интеллекта: рассуждение, обучение, решение проблем, понимание языка и т.д.
AI включает в себя различные поднаправления, такие как машинное обучение (ML), обработка естественного языка (NLP), робототехника и компьютерное зрение.


2 — Машинное обучение (ML)
Это поднаправление AI, которое занимается разработкой алгоритмов, позволяющих компьютерам учиться на данных и принимать решения на их основе.

Вместо того чтобы явно программировать каждую задачу, ML-системы улучшают свои результаты по мере обработки новых данных.
Типичные применения: фильтрация спама, рекомендательные системы, предиктивная аналитика.


3 — Глубокое обучение (Deep Learning)
Это узкая область машинного обучения, использующая искусственные нейронные сети с множеством слоёв для моделирования сложных закономерностей в данных.

Нейронные сети — это вычислительные модели, вдохновлённые структурой мозга человека. Глубокие нейросети способны автоматически находить нужные представления для распознавания.
Примеры использования: распознавание изображений и речи, обработка естественного языка, автономные транспортные средства.


4 — Генеративный искусственный интеллект (Generative AI)
Это AI-системы, способные создавать новый контент — текст, изображения, музыку, код и т.п. — похожий на данные, на которых они обучались. Они работают на основе трансформерной архитектуры.

Известные модели генеративного AI: GPT (генерация текста), DALL·E (создание изображений).

👉 @bigdata_1

🎯RecSys R&D команда из Яндекса разработали рекомендательные системы нового поколения на базе больших генеративных нейросетей.

В то время как индустрия пристально следит за успехами LLM, в другой ключевой сфере — рекомендательных системах — случился важный апдейт. Исследователи Яндекса разработали и внедрили в свои сервисы новую трансформерную модель ARGUS (AutoRegressive Generative User Sequential Modeling), способную буквально «читать» поведение пользователя.

Алгоритмы учитывают сложные последовательности (включая мельчайшие фидбеки), предсказывают большое количество обезличенных действий и точнее понимают реакцию и вкусы пользователей. Особенно актуально в эпоху, когда рекомендательные системы становятся фундаментом современных сервисов, а контента становится слишком много.

На Хабре подробно описано, как команда масштабировала систему. Выделили 3 главных условия нейросетевого масштабирования: должен быть огромный массив данных, выразительная архитектура с большой емкостью модели и фундаментальная задача обучения.

В Яндекс Музыке генеративные нейросети в рекомендациях используются уже с 2023. Она же стала первым сервисом, в который интегрировали новые модели и перевели их в онлайн. В результате: пользователи стали ставить на 20% больше лайков, а разнообразие рекомендаций выросло. В Яндекс Маркете внедрение новых алгоритмов позволило учитывать в несколько раз больше обезличенного контекста о пользовательском поведении на сервисе — это эквивалентно примерно двум годам активности покупателей. Рекомендации позволяют чаще встречать интересные товары, и учитывают сезонность. Если, например, прошлым летом пользователь интересовался футболом, то в этот сезон система посоветуем ему мячи или спортивную униформу. В будущем апдейт получат и другие сервисы компании.