👩‍💻 Пример скачивания Yotube-видео по ссылке с помощью библиотеки Pytube!

@pythonl

📌Топ Python-проектов для ML 2024 года.

Эти проекты были выбраны на основе их актуальности на 2024 год. Каждый из них - смесь практической полезности, новизны и, честно говоря, крутости, будь то смелый и инновационный подход, элегантное решение сложных проблем или просто умная реализация.

🟢BAML - предметно-ориентированный язык для работы с LLM.

BAML превращает текстовые промпты в многократно используемые функции LLM с типизированными переменными и обеспечивают конкретный тип выходных данных. BAML превосходит другие методы получения структурированных данных от LLM и поддерживает VS Code и Cursor.

🟢marimo - Python notebooks геймчейджер.

Новый подход к notebook, который превращает их в мощную, реактивную среду для создания удобных для совместного использования рабочих процессов. Marimo готов заменить Jupyter и Streamlit, устраняя проблемы скрытого состояния и ручного выполнения ячеек.

🟢OpenHands - мощный агент для разработки.

Безопасная изолированная среда, где AI-агенты могут выполнять код, взаимодействовать с веб-браузерами, управлять файлами, отлаживать проблемы, рефакторить код и даже сотрудничать с другими агентами. Среда включает в себя Docker-песочницу с доступом к bash-оболочке, веб-браузингом и IPython-сервером.

🟢Crawl4AI - интеллектуальный веб-скрапинг.

Библиотека, которая обрабатывает динамический контент, обходит механизмы защиты от ботов, извлекает структурированные данные и масштабирует задачи сбора массивов информации. Асинхронная архитектура дает высокую скорость работы даже со сложным JavaScript. На выходе - форматы JSON, markdown и очищенный HTML, готовые для импорта в LLM. Crawl4AI поддерживает Chromium, Firefox и WebKit через Playwright.

🟢LitServe - универсальный движок для развертывания моделей.

Детище LightningAI - мощный инструмент для развертывания моделей и сложных AI-конвейеров. Построен на базе FastAPI, поддерживает PyTorch, TensorFlow, JAX и работает с GenAI, СV, ASR и эмбедингами. LitServe умеет в KV-кэширование для LLM, и подходит как для легких приложений, так и для тяжелых корпоративных нагрузок.

🟢Mirascope - унифицированный интерфейс LLM.

Python-инструмент для упрощения извлечения структурированных данных из LLM. Он предлагает удобный интерфейс, основанный на декораторах и декларативных схемах. Mirascope поддерживает OpenAI, Anthropic и Cohere и имеет свой поисковый агент WebSearchAgent, который может автономно собирать информацию из интернета.

🟢Surya - OCR с высокой точностью.

OCR-система на 90 языках. Surya извлекает текст из сканированных изображений, PDF-файлов и других визуальных форматов с точностью, сравнимой с Google Cloud Vision. Помимо OCR, Surya проводит расширенный анализ документа, определяя заголовки, изображения, таблицы и порядок чтения, что идеально для оцифровки книг, форм и научных документов.

🟢DataChain - конвейер данных для ИИ.

Платформа для управления версиями мультимодальных наборов изображений, видео, текста и PDF-файлов. Библиотека преобразует разрозненные файлы в централизованные датасеты, которые легко запрашивать и манипулировать с помощью Python без использования Spark или SQL. DataChain поддерживает PyTorch, TensorFlow, AI-генерацию метаданных, сериализацию инференса LLM и выполнение пакетных процедур.

🟢Narwhals - универсальный слой совместимости для DataFrame-библиотек.

Легковесный слой, который объединяет pandas, Polars, PyArrow, Modin и cuDF в Python. Он позволяет писать код, не зависящий от используемого бэкенда, используя подмножество API Polars в качестве интерфейса. Поддерживает как eager, так и lazy execution стили, включая Dask. Narwhals не имеет зависимостей и обеспечивает статическую типизацию для автозавершения и подсказок в IDE.

🟢PydanticAI - фреймворк для разработки AI-приложений.

Фреймворк агентов, которые управляют взаимодействием с LLM и проверкой их инференса. Имеет систему внедрения зависимостей, позволяющую динамически получать контекстные данные. PydanticAI поддерживает пользовательские функции Python, вызываемые агентами для доступа к информации и выполнения вычислений.


@ai_machinelearning_big_data

👩‍💻 Typer — это библиотека Python для создания удобных и мощных приложений командной строки!

🌟 Она основана на подсказках типов Python (type hints), что делает код более понятным, лёгким в разработке и поддержке. Typer автоматически генерирует помощь (--help) и автодополнения для всех оболочек, что упрощает использование приложений конечными пользователями.

🌟 Библиотека поддерживает как простые скрипты, добавляя всего пару строк кода, так и сложные структуры с несколькими командами и аргументами. Typer — это "младший брат" FastAPI, но для CLI-приложений, обеспечивающий аналогичный подход: минимальная избыточность кода, высокая производительность и простота в использовании как для разработчиков, так и для пользователей.

🔐 Лицензия: MIT

🖥 Github

@pythonl

👩‍💻 Django Haystack — это модульная библиотека поиска для Django!

💡 Она предоставляет унифицированный API, который позволяет интегрировать различные поисковые движки, такие как Solr, Elasticsearch, Whoosh и Xapian, без необходимости изменения основного кода приложения.

🔍 Основные функции:

🌟 Поддержка "faceting" (фасетного поиска).

🌟 Возможность использования "More Like This" для рекомендаций.
Подсветка результатов поиска.

🌟 Пространственный поиск и предложения по исправлению опечаток.

🔐 Лицензия: MIT

🖥 Github

@pythonl

👩‍💻 flask-msearch — расширение для Flask, которое добавляет функциональность полнотекстового поиска с использованием различных бэкендов поиска, таких как Elasticsearch, Whoosh и других!

🌟 Это расширение упрощает интеграцию поисковых систем в Flask-приложения, позволяя легко реализовать функции поиска по базе данных и обеспечивать быстрый доступ к данным через индексированные поля.

🔐 Лицензия: BSD-3-Clause

🖥 Github

@pythonl

👩‍💻 django-robots — приложение для Django, которое управляет файлами robots.txt в соответствии с протоколом исключения ботов!

🌟 Оно помогает конфигурировать, генерировать и обслуживать robots.txt, регулируя доступ поисковых систем и различных ботов к веб-ресурсам. Библиотека интегрируется с Django, обеспечивая простоту настройки и поддержку различных версий Python и Django.

🔐 Лицензия: BSD-3-Clause

🖥 Github

@pythonl

👩‍💻 validr — это библиотека для Python, предназначенная для быстрой и расширяемой валидации данных!

🌟 Она предлагает простую схему для определения моделей и валидации данных, поддерживает создание пользовательских валидаторов и предоставляет подробные сообщения об ошибках. Validr значительно быстрее аналогичных решений, таких как jsonschema и schematics.

🖥 Github

@pythonl

👩‍💻 questionary — библиотека для Python, которая предоставляет простой и удобный способ создавать интерактивные текстовые интерфейсы в командной строке! Эта библиотека подходит для создания диалогов с пользователем, например, для выбора из списка, ввода текста или подтверждения.

🔍 Основные возможности Questionary:

🌟 Разнообразие типов вопросов: Ввод текста, Выбор одного варианта из списка, Выбор нескольких вариантов, Подтверждение, Ввод пароля, Слайдер!

🌟 Поддержка настроек: Можно кастомизировать внешний вид и поведение вопросов, есть возможность задать предустановленные значения по умолчанию.

🌟 Интуитивный и минималистичный API.

🌟 Поддержка ANSI-цветов: Возможность стилизовать вопросы для более выразительного отображения.

🔐 Лицензия: MIT

🖥 Github

@python_job_interview

🌟 Кто-то проверял?.. Работает?

@pythonl

👩‍💻 pytune — инструмент для постэксплуатации, предназначенный для специалистов красных команд!

🌟 Он позволяет внедрять фальшивые устройства в системы Microsoft Intune и Entra ID. С помощью этого инструмента злоумышленники могут украсть настройки устройств, такие как конфигурации VPN и Wi-Fi, извлечь учетные данные доменных компьютеров (если настроен Hybrid Autopilot), скачивать приложения и PowerShell-скрипты, а также обходить проверки на соответствие безопасности.

🔐 Лицензия: Apache-2.0

🖥 Github

@pythonl

👩‍💻 docopt-ng — это форк оригинальной библиотеки docopt, используемой для создания удобных и понятных интерфейсов командной строки!

🌟 Библиотека автоматически генерирует парсер аргументов на основе документации (docstring), написанной в модуле Python. docopt-ng улучшает оригинал, добавляя поддержку аннотаций типов, полное покрытие тестами и активное обслуживание.

🌟 С помощью docopt-ng разработчики могут определять команды, опции и аргументы прямо в документации, что упрощает написание и поддержку кода. Библиотека парсит шаблон вызова из раздела "Usage" в docstring и обеспечивает проверку аргументов, возвращая результаты в удобном формате. Подходит для Python 3.7 и выше.

🔐 Лицензия: MIT

🖥 Github

@pythonl

👩‍💻 Эта статья объясняет основы численного анализа и его применение в реальных задачах с использованием Python!

🌟 Она охватывает методы приближённого решения сложных математических задач, когда точные решения невозможны или слишком ресурсоёмки. Рассматриваются такие темы, как частичные дифференциальные уравнения (PDE), оптимизация, и решение задач с помощью библиотек Python, таких как SciPy.

🔗 Ссылка: *клик*

@pythonl

👩‍💻 Model Context Protocol (MCP) Python SDK — официальный SDK для создания серверов и клиентов, которые работают с MCP — протоколом, упрощающим взаимодействие приложений с LLM!

🌟 MCP стандартизирует предоставление контекста для LLM, отделяя управление данными от взаимодействия с самой моделью.

🌟 С помощью этого SDK можно создавать MCP-серверы, которые предоставляют ресурсы, инструменты и шаблоны взаимодействия с моделями, а также клиенты, подключающиеся к любым MCP-серверам. Поддерживаются стандартные методы передачи данных, такие как stdio и Server-Sent Events (SSE).

🔐 Лицензия: MIT

🖥 Github

@pythonl