Python RU
13.4K subscribers
857 photos
39 videos
36 files
1.11K links
Все для python разработчиков

админ - @haarrp

@python_job_interview - Python собеседования

@ai_machinelearning_big_data - машинное обучение

@itchannels_telegram - 🔥лучшие ит-каналы

@programming_books_it - it книги

@pythonl

РКН: clck.ru/3Fmy2j
加入频道
⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:

МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data
C++ t.me/cpluspluc
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
Devops: t.me/DevOPSitsec
Data Science: t.me/data_analysis_ml
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/javatg
Базы данных: t.me/sqlhub
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Docker: t.me/DevopsDocker
Golang: t.me/Golang_google
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
Собеседования МЛ: t.me/machinelearning_interview
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc
Разработка игр: https://yangx.top/gamedev
Haskell: t.me/haskell_tg

💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: https://yangx.top/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: https://yangx.top/addlist/mzMMG3RPZhY2M2Iy

😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno

🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: https://yangx.top/addlist/BkskQciUW_FhNjEy
🐧10 малоизвестных, но мощных команд Linux, которые помогут усилить безопасность вашей системы

📌
Читать
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Python/ django
🖥 ScrapeServ — это API, который принимает URL и возвращает файл с данными веб-сайта и его скриншотами!

🌟 Он разработан для запуска в Docker-контейнере и использует браузерные технологии для обработки JavaScript на страницах. Среди возможностей ScrapeServ — прокрутка страницы с созданием скриншотов различных разделов, автоматическая обработка перенаправлений и корректная работа с ссылками на загрузку файлов. Задачи обрабатываются в очереди с настраиваемым распределением памяти, обеспечивая эффективное использование ресурсов.

🔐 Лицензия: MIT

🖥 Github

@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
Разбор задач с собеседований по статистике для Дата Саентистов

В современных собеседованиях на позицию Data Scientist кандидатов проверяют не только практические навыки программирования, но и глубокое понимание статистических методов.

В данной статье рассмотрены часто встречающиеся задач, которые могут встретиться на интервью. Разберём каждую задачу с теоретической точки зрения, а также продемонстрируем пример кода на Python.

📌 Читать

@pro_python_code
Машинное и глубокое обучение ОНЛАЙН-УЧЕБНИК Виктор Владимирович Китов

Учебник содержит выжимку основных материалов на основе читаемых автором курсов на факультете вычислительной математики и кибернетики (ВМК) в МГУ им. М.В.Ломоносова, а также в магистратуре Т-Банка для студентов МФТИ.

Этот онлайн-учебник посвящен увлекательной, перспективной и бурно развивающейся теме машинного обучения (machine learning) и глубокого обучения (deep learning), позволяющей наделять компьютерные программы возможностью принимать сложные интеллектуальные решения, автоматически настраиваемые по наблюдаемым данным. В первой части учебника (машинное обучение) рассматриваются основные задачи и понятия машинного обучения, методы их решения, оценка качества результатов и способы интерпретации моделей машинного обучения. Во второй части (глубокое обучение) изучаются нейронные сети, способы их эффективной настройки и архитектуры для решения различных задач.

Цель учебника состоит в том, чтобы предоставить образовательные материалы в открытый доступ для широкого круга читателей, как совсем не знакомых с областью, так и имеющих в ней некоторый опыт. Описание даётся как на интуитивном уровне, так и используя математические выкладки, поэтому предполагается знакомство читателя с основами математического анализа, теории вероятностей и математической статистикой. За исключением основ высшей математики, учебник полностью самодостаточный. Предварительного знакомства читателя с машинным обучения не требуется, поскольку в учебнике описывается весь цикл разработки моделей от постановки задачи и подготовки данных до оценки качества прогнозов и интерпретации результатов.

Для обратной связи по сайту, материалам и общим вопросам пишите на [email protected].

С правами использования материала учебника вы можете ознакомиться в разделе лицензия.

Разработка и систематизация материалов поддержана грантом некоммерческого фонда развития науки и образования «Интеллект».

📓 Ссылка на книгу
💼 Создание аудиокниги с Python
This media is not supported in your browser
VIEW IN TELEGRAM
Цикл While без выхода из него в реальной жизни 😅

@pro_python_code
Forwarded from Machinelearning
🌟 EuroBERT: энкодеры нового поколения.

Исследовательская группа под патронажем Centrale Supélec (Университет Париж-Сакле) выпустила в открытый доступ EuroBERT — семейство мультиязычных энкодеров, обученных на 5 трлн. токенов из 15 языков, включая русский.

EuroBERT сочетает инновационную архитектуру с поддержкой контекста до 8192 токенов, что делает это семейство идеальным для анализа документов, поиска информации, классификации, регрессии последовательности, оценки качества, оценки резюме и задач, связанных с программированием, решением математических задачи.

В отличие от предшественников (XLM-RoBERTa и mGTE), EuroBERT объединил GQA, RoPE и среднеквадратичную нормализацию, чтобы достичь беспрецедентной эффективности производительности даже в сложных задачах. Второе немаловажное преимущество EuroBERT - в обучение помимо текстовых данных были включены примеры кода и решения математических задач.

Самая младшая модель EuroBERT с 210 млн. параметров показала рекордные результаты: в тесте MIRACL по многоязычному поиску её точность достигла 95%, а в классификации отзывов (AmazonReviews) — 64,5%. Особенно выделяется умение работать с кодом и математикой — в бенчмарках CodeSearchNet и MathShepherd EuroBERT опережает аналоги на 10–15%.

▶️Состав релиза:

🟢EuroBERT-210М
🟢EuroBERT-610М
🟢EuroBERT-2.1В

⚠️ EuroBERT можно использовать непосредственно с transformers, начиная с версии 4.48.0

⚠️ Для достижения максимальной эффективности, разработчики рекомендуют запускать EuroBERT с Flash Attention 2

▶️ Пример инференса:

from transformers import AutoTokenizer, AutoModelForMaskedLM

model_id = "EuroBERT/EuroBERT-210m"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForMaskedLM.from_pretrained(model_id, trust_remote_code=True)

text = "The capital of France is <|mask|>."
inputs = tokenizer(text, return_tensors="pt")
outputs = model(**inputs)

# To get predictions for the mask:
masked_index = inputs["input_ids"][0].tolist().index(tokenizer.mask_token_id)
predicted_token_id = outputs.logits[0, masked_index].argmax(axis=-1)
predicted_token = tokenizer.decode(predicted_token_id)
print("Predicted token:", predicted_token)
# Predicted token: Paris


📌Лицензирование: Apache 2.0 License.


🟡Статья
🟡Коллекция на HF
🟡Arxiv
🖥GitHub (Скоро)


@ai_machinelearning_big_data

#AI #ML #Encoder #EuroBERT
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Python/ django
🖥 python-genai — это официальный SDK на Python от Google, предназначенный для интеграции генеративных моделей Google AI в приложения!

💡 Основные возможности включают генерацию текста, настройку моделей с помощью системных инструкций, параметры генерации (например, температуры, длины вывода), а также встроенные механизмы безопасности. SDK поддерживает удобную работу с параметрами через словари или модели Pydantic. Также предусмотрена интеграция с пользовательскими функциями для обработки результатов или вызова API.

🔐 Лицензия: Apache-2.0

🖥 Github

@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
⚡️ pandas-ai — это open-source библиотека, позволяющая интегрировать возможности искусственного интеллекта в работу с DataFrame библиотеки pandas.

Интеграция ИИ с pandas: Проект позволяет задавать вопросы на естественном языке относительно ваших данных в DataFrame и получать интерпретируемые ответы, используя крупные языковые модели (LLM).
Удобство анализа: С помощью pandas-ai вы можете автоматически получать анализ данных, визуализации и статистические выводы без написания сложного кода.
Гибкость и расширяемость: Библиотека легко настраивается и интегрируется с различными моделями и API, что делает её полезной для быстрого прототипирования и разработки аналитических приложений.

Таким образом, pandas-ai интересен разработчикам и аналитикам, которые хотят объединить возможности ИИ с традиционным анализом данных для автоматизации и упрощения рабочих процессов.

Github
🖥 YT Navigator — это приложение на основе искусственного интеллекта, предназначенное для эффективного поиска и взаимодействия с контентом YouTube-каналов.

Оно позволяет пользователям выполнять семантический поиск по видео, получать точные временные метки и извлекать информацию из часов видеоматериалов за считанные секунды.

📌 Основные функции YT Navigator:

Семантический поиск: Возможность находить релевантные сегменты видео с точными временными метками на основе естественных языковых запросов.

Интерактивное общение: Пользователи могут "общаться" с содержимым канала, получая ответы на вопросы, основанные на транскриптах видео.

Экстракция информации: Быстрое извлечение ключевой информации из большого объёма видеоконтента, что экономит время и усилия при анализе материалов.

Преимущества использования YT Navigator:

Экономия времени: Быстрый доступ к конкретной информации без необходимости просмотра длительных видеороликов.

Удобство: Интуитивно понятный интерфейс и мощные функции делают процесс поиска и анализа видеоконтента более эффективным.

YT Navigator особенно полезен для исследователей, аналитиков и всех, кто работает с большими объёмами видеоданных, предоставляя инструменты для быстрого и точного анализа контента.

📌 Github
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
🌟 YOLOE — это усовершенствованная версия алгоритма обнаружения объектов, вдохновлённая классической архитектурой YOLO и разработанная командой THU-MIG.

Архитектура YOLO (You Only Look Once) получила своё название благодаря подходу, при котором нейронная сеть анализирует всё изображение целиком за один проход, чтобы определить присутствие и расположение объектов. Это отличается от других методов, которые сначала выделяют потенциальные области с объектами, а затем отдельно классифицируют их, что требует нескольких обработок одного изображения

YOLOE сохраняет принцип однократного взгляда на изображение для детекции объектов, но вносит архитектурные улучшения, направленные на повышение точности и эффективности модели.

Ключевые отличия от классического YOLO:

- Оптимизированная архитектура: В YOLOE внедрены новые подходы для более эффективной обработки признаков, что позволяет улучшить качество детекции без значительного увеличения вычислительных затрат.
- Повышенная точность: Улучшенные модули и методы, такие как ре-параметризация отдельных блоков, способствуют более точному обнаружению объектов, включая мелкие и сложно различимые элементы.
- Скорость и эффективность: YOLOE сохраняет высокую скорость инференса, делая его пригодным для задач в реальном времени, при этом обеспечивая конкурентоспособное соотношение производительности и точности.

▶️YOLOE требует в 3 раза меньших затрат на обучение по сравнению с YOLO-Worldv2, что делает процесс обучения более экономичным

YOLOE представляет собой современное и улучшенное решение для задач детекции объектов, совмещающее лучшие стороны классического YOLO с новыми архитектурными подходами.

🖥Github
🟡Статья
🟡HF
🟡Colab

#yoloe #opensource #ml #ai #yolo #objectdetection
Please open Telegram to view this post
VIEW IN TELEGRAM
🖥 Authentik — это система управления удостоверениями (IAM) с открытым исходным кодом, предназначенная для обеспечения аутентификации и авторизации пользователей в различных приложениях!

🌟 Она поддерживает единый вход (SSO), многофакторную аутентификацию (MFA) и интеграцию с популярными протоколами, такими как OAuth2, SAML и LDAP. Authentik используется для защиты веб-приложений и управления доступом на основе ролей.

🔐 Лицензия: CC BY-SA 4.0

🖥 Github
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Python/ django
🌐 Maigret — это инструмент OSINT (разведки на основе открытых данных), который позволяет находить профили пользователей в более чем 2000 онлайн-сервисах на основе имени пользователя!

🌟 Он анализирует доступную информацию, такую как социальные сети, форумы и платформы, и создает отчет о найденных профилях.

🔐 Лицензия: MIT

🖥 Github

@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
🖥 В Python оператор break часто используется для раннего завершения цикла, но иногда его применение может привести к менее читаемому или запутанному коду. В этой статье мы рассмотрим альтернативы, которые помогут сделать ваш код чище и понятнее.

Использование конструкции for/else:
Если вам нужно выполнить дополнительное действие, когда цикл завершается без принудительного выхода, можно использовать блок else. В этом случае код внутри else выполнится только если цикл завершился «естественным образом», а не с помощью break.

Флаговое управление циклом:
Вместо использования break можно завести булевую переменную (флаг), которая будет сигнализировать, что условие для выхода выполнено. Это позволяет явно обозначить, когда цикл должен завершиться, делая логику более явной.

Возврат из функции (return):
Если цикл находится внутри функции, можно отказаться от break, просто завершив выполнение функции через return. Такой подход сразу возвращает результат и предотвращает дальнейшее выполнение кода, что зачастую упрощает логику.

Использование исключений:
В некоторых случаях, особенно когда требуется выйти из вложенных циклов, можно определить и выбросить специальное исключение. Этот метод позволяет аккуратно прервать выполнение нескольких уровней циклов, а затем обработать исключение в одном месте.

Каждая из этих альтернатив может оказаться более подходящей в зависимости от контекста задачи. Применение таких методов помогает сделать код более предсказуемым, улучшает его поддержку и повышает читаемость. Попробуйте применить один из этих подходов в своём проекте и оцените, насколько он улучшает структуру вашего кода!

📌 Читать статью
Please open Telegram to view this post
VIEW IN TELEGRAM