—
pip install -U Celery
Celery — это гибкая и надежная распределенная система для обработки огромного количества сообщений.
Ориентирована на обработку в реальном времени, а также поддерживающает планирование задач.
Для отправки и получения сообщений Celery требуется решения типо RabbitMQ и Redis.
Помимо полноценной поддержки RabbitMQ и Redis есть и поддержка множества других экспериментальных решений, включая использование SQLite для локальной разработки.
Celery может работать на одной машине, на нескольких машинах или даже в разных ЦОДах.
В дополнение к Python-версии существуют node-celery и node-celery-ts для Node.js, а также PHP-клиент.
@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
https://www.youtube.com/watch?v=bsbW8UoA0zA
@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
conda create -y -n <environment-name> python=3.11
pip install pyrit
PyRIT автоматизирует задачи AI Red Team, помогает выявлять такие нарушения безопасности, как неправомерное использование LLM, нарушение конфиденциальности — в общем позволяет проактивно находить риски в ИИ-системах.
@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
# pip install rembg pillow
from rembg import remove
from PIL import Image
input_path = "in.png"
output_path = "out.png"
input = Image.open(input_path)
output = remove(input)
output.save(output_path)
Перед началом ставим
rembg
и pillow
, конечно жеВ процессе подтянется моделька
https://github.com/danielgatis/rembg/releases/download/v0.0.0/u2net.onnx
@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
sudo apt-get install python3 python3-pip python3-venv watchman
pip install pyre-check
Особенности Pyre:
— эффективно работает на больших кодовых базах с миллионами строк Python.
— может отмечать ошибки типов интерактивно в терминале или в рантайме в IDE
— следует стандартам PEPs 484, 526, 612, активно развивается и постоянно улучшается
— Pyre поставляется с Pysa, инструментом статического анализа, ориентированным на безопасность
@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
—
pip install pytorch-ignite
Особенности PyTorch-Ignite:
— позволяет запускать любые обработчики на любые встроенные или кастомные события
— даёт возможность устанавливать контрольные точки, делать раннюю остановку, выполнять профилирование, планирование параметров и многое другое
— позволяет без проблем подключать дополнительные CPU, GPU и TPU
— имеет 50+ метрик, позволяющих легко оценивать модели
— бесшовно интегрируется с Tensorboard, MLFlow, WandB, Neptune
@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Repo2txt может пригодиться для интеллектуального анализа текстов или обучения LLM.
При написании Repo2txt автор не использовал сторонние зависимости и уместил всё в один файл. Для лучшей производительности применяется многопоточность. Кроме того, Repo2txt учитывает файлы в
.gitignore
, чтобы исключать их из вывода, поддерживается вывод двоичных файлов (аудио, изображений). Сам исходный файл понятен человеку и может легко токенизироваться для обучения моделей.Кроме возможности обучать на полученных данных нейросети, разработчик приводит и другие сценарии использования Repo2txt:
— анализ данных;
— резервное копирование;
— локальное версирование.
Сперва утилиту необходимо скачать, локально клонировав исходный репозиторий. После этого для копирования репозиториев надо выполнить файл main.py с указанием пути к репозиторию и флагами:
—
-d
, --directory
— путь к каталогу (обязательно).—
-t
, --tree
— вывод дерева репозитория (без содержимого файлов, отключен по умолчанию).—
-e
, --embed
— включить дерево в начале вывода.—
-b
, --binary
— ключить двоичные файлы (отключен по умолчанию).—
-g
, --gitignore
— использовать .gitignore для исключения файлов.—
-i
, --ignore
— можно через запятую указать дополнительный шаблон для исключения файлов.—
-o
, --output
— имя файла на выходе.@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
—
curl -sSL https://pdm-project.org/install-pdm.py | python3 -
PDM — это инструмент управления зависимостями и пакетами Python нового поколения.
Если вам не хватает чего-то в Pipenv или Poetry, вероятно, вам подойдёт PDM.
@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM