Python/ django
58.9K subscribers
2.07K photos
61 videos
47 files
2.79K links
по всем вопросам @haarrp

@itchannels_telegram - 🔥 все ит-каналы

@ai_machinelearning_big_data -ML

@ArtificialIntelligencedl -AI

@datascienceiot - 📚

@pythonlbooks

РКН: clck.ru/3FmxmM
加入频道
🖥 Celery — open-source распределенная очередь задач, написанная на Python

pip install -U Celery

Celery — это гибкая и надежная распределенная система для обработки огромного количества сообщений.
Ориентирована на обработку в реальном времени, а также поддерживающает планирование задач.

Для отправки и получения сообщений Celery требуется решения типо RabbitMQ и Redis.
Помимо полноценной поддержки RabbitMQ и Redis есть и поддержка множества других экспериментальных решений, включая использование SQLite для локальной разработки.

Celery может работать на одной машине, на нескольких машинах или даже в разных ЦОДах.

В дополнение к Python-версии существуют node-celery и node-celery-ts для Node.js, а также PHP-клиент.

🖥 GitHub
🟡 Доки

@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
⭐️ LM-Studio. Запускаем у себя на ПК АНАЛОГ GPT. Генерируем Flask приложение с помощью ИИ.

https://www.youtube.com/watch?v=bsbW8UoA0zA

@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
🖥 PyRIT — библиотека Python для оценивания безопасности LLM

conda create -y -n <environment-name> python=3.11
pip install pyrit


PyRIT автоматизирует задачи AI Red Team, помогает выявлять такие нарушения безопасности, как неправомерное использование LLM, нарушение конфиденциальности — в общем позволяет проактивно находить риски в ИИ-системах.

🖥 GitHub
🟡 How-to гайд для PyRIT

@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🖥 Dataherald — движок для преобразования естественного языка в запросы SQL

Позволяет создать API, чтобы получать ответы на вопросы по БД; при этом вопросы можно будет задавать на простом английском языке.

🖥 GitHub
🟡 Доки

@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🖥 Как легко вырезать фон на изображении с помощью Python

# pip install rembg pillow

from rembg import remove
from PIL import Image

input_path = "in.png"
output_path = "out.png"

input = Image.open(input_path)
output = remove(input)
output.save(output_path)


Перед началом ставим rembg и pillow, конечно же
В процессе подтянется моделька https://github.com/danielgatis/rembg/releases/download/v0.0.0/u2net.onnx

@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
🖥 Pyre — отличная библиотека для добавления статической типизации в Python (а вернее проверки типов)

sudo apt-get install python3 python3-pip python3-venv watchman
pip install pyre-check


Особенности Pyre:
— эффективно работает на больших кодовых базах с миллионами строк Python.

— может отмечать ошибки типов интерактивно в терминале или в рантайме в IDE

— следует стандартам PEPs 484, 526, 612, активно развивается и постоянно улучшается

— Pyre поставляется с Pysa, инструментом статического анализа, ориентированным на безопасность

🖥 GitHub
🟡 Доки

@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🖥 PyTorch-Ignite — библиотека Python, помогающая гибко и прозрачно обучать и оценивать нейросети в PyTorch

pip install pytorch-ignite

Особенности PyTorch-Ignite:

— позволяет запускать любые обработчики на любые встроенные или кастомные события

— даёт возможность устанавливать контрольные точки, делать раннюю остановку, выполнять профилирование, планирование параметров и многое другое

— позволяет без проблем подключать дополнительные CPU, GPU и TPU

— имеет 50+ метрик, позволяющих легко оценивать модели

— бесшовно интегрируется с Tensorboard, MLFlow, WandB, Neptune

🖥 GitHub
🟡 Доки
🟡 Google Colab для экспериментов

@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🖥 Repo2txt — утилита на Python, которая позволяет сохранить любой репозиторий в виде текстового файла

Repo2txt может пригодиться для интеллектуального анализа текстов или обучения LLM.
При написании Repo2txt автор не использовал сторонние зависимости и уместил всё в один файл. Для лучшей производительности применяется многопоточность. Кроме того, Repo2txt учитывает файлы в .gitignore, чтобы исключать их из вывода, поддерживается вывод двоичных файлов (аудио, изображений). Сам исходный файл понятен человеку и может легко токенизироваться для обучения моделей.

Кроме возможности обучать на полученных данных нейросети, разработчик приводит и другие сценарии использования Repo2txt:
— анализ данных;
— резервное копирование;
— локальное версирование.

Сперва утилиту необходимо скачать, локально клонировав исходный репозиторий. После этого для копирования репозиториев надо выполнить файл main.py с указанием пути к репозиторию и флагами:
-d, --directory — путь к каталогу (обязательно).
-t, --tree — вывод дерева репозитория (без содержимого файлов, отключен по умолчанию).
-e, --embed — включить дерево в начале вывода.
-b, --binary — ключить двоичные файлы (отключен по умолчанию).
-g, --gitignore — использовать .gitignore для исключения файлов.
-i, --ignore — можно через запятую указать дополнительный шаблон для исключения файлов.
-o, --output — имя файла на выходе.

🖥 GitHub

@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
🖥 PDM — современный менеджер пакетов и зависимостей Python, поддерживающий последние стандарты PEP

curl -sSL https://pdm-project.org/install-pdm.py | python3 -

PDM — это инструмент управления зависимостями и пакетами Python нового поколения.
Если вам не хватает чего-то в Pipenv или Poetry, вероятно, вам подойдёт PDM.

🖥 GitHub
🟡 Доки

@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM