Forwarded from Machinelearning
Исследовательская группа под патронажем Centrale Supélec (Университет Париж-Сакле) выпустила в открытый доступ EuroBERT — семейство мультиязычных энкодеров, обученных на 5 трлн. токенов из 15 языков, включая русский.
EuroBERT сочетает инновационную архитектуру с поддержкой контекста до 8192 токенов, что делает это семейство идеальным для анализа документов, поиска информации, классификации, регрессии последовательности, оценки качества, оценки резюме и задач, связанных с программированием, решением математических задачи.
В отличие от предшественников (XLM-RoBERTa и mGTE), EuroBERT объединил GQA, RoPE и среднеквадратичную нормализацию, чтобы достичь беспрецедентной эффективности производительности даже в сложных задачах. Второе немаловажное преимущество EuroBERT - в обучение помимо текстовых данных были включены примеры кода и решения математических задач.
Самая младшая модель EuroBERT с 210 млн. параметров показала рекордные результаты: в тесте MIRACL по многоязычному поиску её точность достигла 95%, а в классификации отзывов (AmazonReviews) — 64,5%. Особенно выделяется умение работать с кодом и математикой — в бенчмарках CodeSearchNet и MathShepherd EuroBERT опережает аналоги на 10–15%.
⚠️ EuroBERT можно использовать непосредственно с
transformers
, начиная с версии 4.48.0⚠️ Для достижения максимальной эффективности, разработчики рекомендуют запускать EuroBERT с
Flash Attention 2
from transformers import AutoTokenizer, AutoModelForMaskedLM
model_id = "EuroBERT/EuroBERT-210m"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForMaskedLM.from_pretrained(model_id, trust_remote_code=True)
text = "The capital of France is <|mask|>."
inputs = tokenizer(text, return_tensors="pt")
outputs = model(**inputs)
# To get predictions for the mask:
masked_index = inputs["input_ids"][0].tolist().index(tokenizer.mask_token_id)
predicted_token_id = outputs.logits[0, masked_index].argmax(axis=-1)
predicted_token = tokenizer.decode(predicted_token_id)
print("Predicted token:", predicted_token)
# Predicted token: Paris
@ai_machinelearning_big_data
#AI #ML #Encoder #EuroBERT
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Python/ django
@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
⚡️ pandas-ai — это open-source библиотека, позволяющая интегрировать возможности искусственного интеллекта в работу с DataFrame библиотеки pandas.
▪ Интеграция ИИ с pandas: Проект позволяет задавать вопросы на естественном языке относительно ваших данных в DataFrame и получать интерпретируемые ответы, используя крупные языковые модели (LLM).
▪ Удобство анализа: С помощью pandas-ai вы можете автоматически получать анализ данных, визуализации и статистические выводы без написания сложного кода.
▪ Гибкость и расширяемость: Библиотека легко настраивается и интегрируется с различными моделями и API, что делает её полезной для быстрого прототипирования и разработки аналитических приложений.
Таким образом, pandas-ai интересен разработчикам и аналитикам, которые хотят объединить возможности ИИ с традиционным анализом данных для автоматизации и упрощения рабочих процессов.
▪Github
▪ Интеграция ИИ с pandas: Проект позволяет задавать вопросы на естественном языке относительно ваших данных в DataFrame и получать интерпретируемые ответы, используя крупные языковые модели (LLM).
▪ Удобство анализа: С помощью pandas-ai вы можете автоматически получать анализ данных, визуализации и статистические выводы без написания сложного кода.
▪ Гибкость и расширяемость: Библиотека легко настраивается и интегрируется с различными моделями и API, что делает её полезной для быстрого прототипирования и разработки аналитических приложений.
Таким образом, pandas-ai интересен разработчикам и аналитикам, которые хотят объединить возможности ИИ с традиционным анализом данных для автоматизации и упрощения рабочих процессов.
▪Github
Оно позволяет пользователям выполнять семантический поиск по видео, получать точные временные метки и извлекать информацию из часов видеоматериалов за считанные секунды.
📌 Основные функции YT Navigator:
Семантический поиск: Возможность находить релевантные сегменты видео с точными временными метками на основе естественных языковых запросов.
Интерактивное общение: Пользователи могут "общаться" с содержимым канала, получая ответы на вопросы, основанные на транскриптах видео.
Экстракция информации: Быстрое извлечение ключевой информации из большого объёма видеоконтента, что экономит время и усилия при анализе материалов.
Преимущества использования YT Navigator:
Экономия времени: Быстрый доступ к конкретной информации без необходимости просмотра длительных видеороликов.
Удобство: Интуитивно понятный интерфейс и мощные функции делают процесс поиска и анализа видеоконтента более эффективным.
YT Navigator особенно полезен для исследователей, аналитиков и всех, кто работает с большими объёмами видеоданных, предоставляя инструменты для быстрого и точного анализа контента.
📌 Github
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
Архитектура YOLO (You Only Look Once) получила своё название благодаря подходу, при котором нейронная сеть анализирует всё изображение целиком за один проход, чтобы определить присутствие и расположение объектов. Это отличается от других методов, которые сначала выделяют потенциальные области с объектами, а затем отдельно классифицируют их, что требует нескольких обработок одного изображения
YOLOE сохраняет принцип однократного взгляда на изображение для детекции объектов, но вносит архитектурные улучшения, направленные на повышение точности и эффективности модели.
▪ Ключевые отличия от классического YOLO:
- Оптимизированная архитектура: В YOLOE внедрены новые подходы для более эффективной обработки признаков, что позволяет улучшить качество детекции без значительного увеличения вычислительных затрат.
- Повышенная точность: Улучшенные модули и методы, такие как ре-параметризация отдельных блоков, способствуют более точному обнаружению объектов, включая мелкие и сложно различимые элементы.
- Скорость и эффективность: YOLOE сохраняет высокую скорость инференса, делая его пригодным для задач в реальном времени, при этом обеспечивая конкурентоспособное соотношение производительности и точности.
YOLOE представляет собой современное и улучшенное решение для задач детекции объектов, совмещающее лучшие стороны классического YOLO с новыми архитектурными подходами.
#yoloe #opensource #ml #ai #yolo #objectdetection
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Python/ django
@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
▪ Использование конструкции for/else:
Если вам нужно выполнить дополнительное действие, когда цикл завершается без принудительного выхода, можно использовать блок else. В этом случае код внутри else выполнится только если цикл завершился «естественным образом», а не с помощью break.
▪ Флаговое управление циклом:
Вместо использования break можно завести булевую переменную (флаг), которая будет сигнализировать, что условие для выхода выполнено. Это позволяет явно обозначить, когда цикл должен завершиться, делая логику более явной.
▪ Возврат из функции (return):
Если цикл находится внутри функции, можно отказаться от break, просто завершив выполнение функции через return. Такой подход сразу возвращает результат и предотвращает дальнейшее выполнение кода, что зачастую упрощает логику.
▪ Использование исключений:
В некоторых случаях, особенно когда требуется выйти из вложенных циклов, можно определить и выбросить специальное исключение. Этот метод позволяет аккуратно прервать выполнение нескольких уровней циклов, а затем обработать исключение в одном месте.
Каждая из этих альтернатив может оказаться более подходящей в зависимости от контекста задачи. Применение таких методов помогает сделать код более предсказуемым, улучшает его поддержку и повышает читаемость. Попробуйте применить один из этих подходов в своём проекте и оцените, насколько он улучшает структуру вашего кода!
📌 Читать статью
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Python/ django
@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
Курс сочетает теорию (математика, физика) и практику (код, симуляторы), помогая разработчикам научиться создавать и программировать роботов.
▪ Лекции: От основ робототехники, математики и физики до пространственных преобразований, обратной кинематике и более продвинутым концепциям .
▪ Практика: Примеры кода на Python и C++ для управления роботами.
▪Симуляторы: Интеграция с стимуляторами Gazebo и ROS ( операционная система для робото) для тестирования алгоритмов.
▪Задания: Реальные практические задачи (например, управление манипулятором робота).
▪ Начинающие робототехники: Освоить кинематику, динамику, управление.
▪ Программисты: Интегрировать алгоритмы в ROS, Gazebo, Python/C++.
▪ Инженеры: Возможность Научиться разрабатывать автономные системы и манипуляторы.
▪Технологические энтузиасты
С курсом можно пройти путь от нуля до создания рабочего прототипа.
С курсом у вас будет возможность проектировать роботов, не имея железа под рукой (через симуляторы).
P.S. Для тех, кто любит формат «сделай сам»: Курс научит вас собирать робота виртуально, а потом переносить решения на реальные устройства. 🤖💡
#course #ai #ml #robots #education #курс #робототехника
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
This media is not supported in your browser
VIEW IN TELEGRAM
Все мы любим scikit-learn за его простоту и мощь. Но что если ваши модели обучаются слишком долго на больших данных? 🤔 NVIDIA предлагает решение!
Вы берете свой обычный скрипт cо scikit-learn, добавляете всего две строки в начало, и он начинает работать в 10, 50, а то и 100+ раз быстрее на NVIDIA GPU!
✨ Как это работает?
Библиотека cuml от NVIDIA содержит супероптимизированные для GPU версии многих алгоритмов машинного обучения. С помощью простого вызова
cuml.patch.apply()
вы "патчите" установленный у вас scikit-learn прямо в памяти.Теперь, когда вы вызываете, например,
KNeighborsClassifier
или PCA
из sklearn:Ключевые преимущества:
2 строчки:import cuml.patch и cuml.patch.apply().
Топ инструмент для всех, кто работает с scikit-learn на задачах, требующих значительных вычислений, и у кого есть GPU от NVIDIA.
👇 Как использовать:
Установите RAPIDS cuml (лучше через conda, см. сайт RAPIDS):
python
conda install -c rapidsai -c conda-forge -c nvidia cuml rapids-build-backend
Добавьте в начало скрипта:
import cuml.patch
cuml.patch.apply()
Используйте scikit-learn как обычно!
Попробуйте и почувствуйте разницу! 😉
▪Блог-пост
▪Colab
▪Github
▪Ускоряем Pandas
@ai_machinelearning_big_data
#python #datascience #machinelearning #scikitlearn #rapids #cuml #gpu #nvidia #ускорение #машинноеобучение #анализданных
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥SQLGlot — это мощный парсер SQL и оптимизатор, написанный полностью на Python. Он поддерживает 24+ диалектов, включая DuckDB, Presto/Trino, Snowflake и BigQuery, позволяя конвертировать запросы между ними с сохранением смысла.
📝 Основные преимушества:
- Гибкость: парсер можно легко кастомизировать под свои нужды
- Надежность: проект имеет более 1000 тестов и активное сообщество
- Проивзодительность: несмотря на медленную скорость языка парсер работает очень быстро.
👾 Github
@pro_python_code
📝 Основные преимушества:
- Гибкость: парсер можно легко кастомизировать под свои нужды
- Надежность: проект имеет более 1000 тестов и активное сообщество
- Проивзодительность: несмотря на медленную скорость языка парсер работает очень быстро.
👾 Github
@pro_python_code
Синтаксис Python освоили, а что дальше? 🐍
Работа с БД, парсинг и идеи для пет‑проектов
В новом бесплатном курсе от Selectel собраны обучающие материалы для первых шагов в мире реального программирования. Меньше теории — больше практики. На вдумчивое ознакомление со всеми материалами уйдет около четырех часов.
После прохождения курса вы научитесь:
🔹 работать с базами данных и брокерами сообщений,
🔹 создавать приложения с графическим интерфейсом,
🔹 автоматизировать получение данных.
Переходите в Академию Selectel, чтобы начать изучение курса прямо сейчас➡️
Реклама. АО «Селектел», ИНН 7810962785, ERID: 2VtzqwJGQBa
Работа с БД, парсинг и идеи для пет‑проектов
В новом бесплатном курсе от Selectel собраны обучающие материалы для первых шагов в мире реального программирования. Меньше теории — больше практики. На вдумчивое ознакомление со всеми материалами уйдет около четырех часов.
После прохождения курса вы научитесь:
🔹 работать с базами данных и брокерами сообщений,
🔹 создавать приложения с графическим интерфейсом,
🔹 автоматизировать получение данных.
Переходите в Академию Selectel, чтобы начать изучение курса прямо сейчас
Реклама. АО «Селектел», ИНН 7810962785, ERID: 2VtzqwJGQBa
Please open Telegram to view this post
VIEW IN TELEGRAM