🖥 Code 2 Prompt

Мощный инструмент командной строки, который генерирует качественные промпты и предназначен для упрощения взаимодействия между разработчиками и LLM для генерации и анализа кода, документирования и выполнения задач по улучшению существующего кода.

Ключевые особенности:

- Поддержка нескольких языков программирования
- Интеграция с .gitignore
- Настраиваемое форматирование вывода с помощью шаблонов Jinja2
- Автоматический обход каталогов


Code2Prompt упрощает создание информативных комментариев по коду, что делает его ценным инструментом для разработчиков, желающих улучшить документацию и совместную работу по своим проектам.

▪ Github

@machinelearning_ru

🖥 Как построить полигональную сетку по изображению с помощью Python?

— pip install numpy mediapipe supervision pillow

В целом ничего сложного, нам понадобятся библиотеки numpy, mediapipe, supervision и pillow
Пробуйте)

@pythonl

🖥 Django Unicorn добавляет функциональность реактивных компонентов в шаблоны Django без необходимости изучать новый язык или со сложные JavaScript-фреймворки

— pip install django-unicorn

Django Unicorn плавно расширяет Django за пределы его базовых возможностей, не заставляя переделывать готовое приложение.
С помощью Django Unicorn можно легко добавлять в свои шаблоны фронтенд-взаимодействия, не отказываясь от Django.

🖥 GitHub
🟡 Доки

@pythonl

🖥 Tach

Крутой и полезный инструмент: контроля вызова модулей и зависимостей для Python, напсианная на Rust.

С помощью Tach вы можете управлять тем, какие модули Python полагаются на какие другие. Чтобы избежать жесткой зависимости, модули также могут указывать общедоступный интерфейс.
В результате получается модульная, разделенная конструкция, которая упрощает разработку и обслуживание.

Любая попытка одного модуля импортировать другой, который явно не объявлен как зависимость, приведет к сообщению об ошибке от Tach. Когда для модуля установлен «строгий режим», Tach выдаст ошибку, если другой модуль попытается импортировать из него без использования его общедоступного интерфейса.

1. Он может показать что откуда кого вызывает и обращается в масштабе проекта, например (особенно, если он чужой)
2. Для CI процесса важно проверить перед деплоем, все ли ок, эта штука помогает это сделать
3. Контроль при коллективной разработке. Ставите ограничения на main например и фиг кто добавит в вызовы туда лишнее

pip install tach

▪ Github

@pythonl

🌟 ggshield — CLI-утилита, которую можно интегрировать в CI-конвейер для обнаружения 400+ типов захардкоженных секретов и не только

— brew install gitguardian/tap/ggshield

Также ggshield позволяет выявить нарушения безопасности и 70+ типов неправильно написанных конфигов в подходе IaaC.
Для сканирования репозитория достаточно просто выполнить:

ggshield secret scan repo /path/to/your/repo

🖥 GitHub
🟡 Доки

@pythonl

🖥 Crawlee-Python: Библиотека для Веб-Скрапинга.

Crawlee-Python — это мощная библиотека, разработанная для выполнения задач веб-скрапинга. Она предоставляет пользователям набор инструментов и функциональности для эффективного извлечения данных из веб-страниц.

Преимущества Crawlee-Python:
- Легкость использования: Crawlee-Python разработан с акцентом на простоту и удобство использования, что позволяет даже начинающим разработчикам быстро освоить основные принципы веб-скрапинга и кроулинга.

- Поддержка современных технологий: Библиотека поддерживает работу с современными веб-технологиями, что позволяет ей эффективно справляться с динамическими веб-страницами, используя инструменты для работы с JavaScript, такие как Puppeteer и Playwright.

- Асинхронное выполнение задач: Crawlee-Python поддерживает асинхронное выполнение задач, что значительно ускоряет процесс скрапинга и позволяет одновременно обрабатывать множество запросов.

- Расширяемость: Библиотека легко расширяется благодаря модульной архитектуре, что позволяет пользователям добавлять и настраивать функциональность под свои специфические нужды.

- Управление сессиями и прокси: Crawlee-Python предоставляет встроенные инструменты для управления сессиями и прокси-серверами, что помогает обходить блокировки и ограничения, накладываемые веб-сайтами.

- Автоматическое управление очередями: Библиотека автоматизирует процесс управления очередями задач, что упрощает организацию большого количества запросов и их выполнение.

- Гибкость конфигурации: Пользователи могут гибко настраивать параметры скрапинга, такие как частота запросов, задержки между запросами, обработка ошибок и многое другое.

Примеры использования:
- Извлечение данных для анализа: С помощью Crawlee-Python можно автоматически собирать данные с различных веб-сайтов для последующего анализа и визуализации.
- Мониторинг изменений на веб-страницах: Библиотека позволяет отслеживать изменения на веб-страницах и уведомлять пользователей о важных обновлениях.
- Сбор данных для обучения моделей машинного обучения: Crawlee-Python может быть использован для сбора большого объема данных, необходимых для обучения и тестирования моделей машинного обучения.

Crawlee-Python представляет собой мощный инструмент для веб-скрапинга и кроулинга, предоставляющий множество возможностей для автоматизации процесса извлечения данных из интернета.

Crawlee-Python предлагает два основных типа краулеров: BeautifulSoupCrawler и PlaywrightCrawler.

BeautifulSoupCrawler отлично подходит для проектов, которые требуют эффективного извлечения данных из HTML-контента без необходимости выполнения JavaScript на стороне клиента. С другой стороны,

PlaywrightCrawler использует безголовый браузер для обработки веб-страниц, которые зависят от клиентского JavaScript или требуют взаимодействия с JavaScript-контентом.

pipx run crawlee create my-crawler

🖥 Github

@pythonl

🖥 badjpg

Этот полезный скрипт на Python позволяет спрятать полезную информацию внутри JPG-изображения, применяя методы стеганографии.

▪ Github

git clone https://github.com/basicW/badjpg.git

@pythonl