👩‍💻 Пример скачивания Yotube-видео по ссылке с помощью библиотеки Pytube!

@pythonl

📌Топ Python-проектов для ML 2024 года.

Эти проекты были выбраны на основе их актуальности на 2024 год. Каждый из них - смесь практической полезности, новизны и, честно говоря, крутости, будь то смелый и инновационный подход, элегантное решение сложных проблем или просто умная реализация.

🟢BAML - предметно-ориентированный язык для работы с LLM.

BAML превращает текстовые промпты в многократно используемые функции LLM с типизированными переменными и обеспечивают конкретный тип выходных данных. BAML превосходит другие методы получения структурированных данных от LLM и поддерживает VS Code и Cursor.

🟢marimo - Python notebooks геймчейджер.

Новый подход к notebook, который превращает их в мощную, реактивную среду для создания удобных для совместного использования рабочих процессов. Marimo готов заменить Jupyter и Streamlit, устраняя проблемы скрытого состояния и ручного выполнения ячеек.

🟢OpenHands - мощный агент для разработки.

Безопасная изолированная среда, где AI-агенты могут выполнять код, взаимодействовать с веб-браузерами, управлять файлами, отлаживать проблемы, рефакторить код и даже сотрудничать с другими агентами. Среда включает в себя Docker-песочницу с доступом к bash-оболочке, веб-браузингом и IPython-сервером.

🟢Crawl4AI - интеллектуальный веб-скрапинг.

Библиотека, которая обрабатывает динамический контент, обходит механизмы защиты от ботов, извлекает структурированные данные и масштабирует задачи сбора массивов информации. Асинхронная архитектура дает высокую скорость работы даже со сложным JavaScript. На выходе - форматы JSON, markdown и очищенный HTML, готовые для импорта в LLM. Crawl4AI поддерживает Chromium, Firefox и WebKit через Playwright.

🟢LitServe - универсальный движок для развертывания моделей.

Детище LightningAI - мощный инструмент для развертывания моделей и сложных AI-конвейеров. Построен на базе FastAPI, поддерживает PyTorch, TensorFlow, JAX и работает с GenAI, СV, ASR и эмбедингами. LitServe умеет в KV-кэширование для LLM, и подходит как для легких приложений, так и для тяжелых корпоративных нагрузок.

🟢Mirascope - унифицированный интерфейс LLM.

Python-инструмент для упрощения извлечения структурированных данных из LLM. Он предлагает удобный интерфейс, основанный на декораторах и декларативных схемах. Mirascope поддерживает OpenAI, Anthropic и Cohere и имеет свой поисковый агент WebSearchAgent, который может автономно собирать информацию из интернета.

🟢Surya - OCR с высокой точностью.

OCR-система на 90 языках. Surya извлекает текст из сканированных изображений, PDF-файлов и других визуальных форматов с точностью, сравнимой с Google Cloud Vision. Помимо OCR, Surya проводит расширенный анализ документа, определяя заголовки, изображения, таблицы и порядок чтения, что идеально для оцифровки книг, форм и научных документов.

🟢DataChain - конвейер данных для ИИ.

Платформа для управления версиями мультимодальных наборов изображений, видео, текста и PDF-файлов. Библиотека преобразует разрозненные файлы в централизованные датасеты, которые легко запрашивать и манипулировать с помощью Python без использования Spark или SQL. DataChain поддерживает PyTorch, TensorFlow, AI-генерацию метаданных, сериализацию инференса LLM и выполнение пакетных процедур.

🟢Narwhals - универсальный слой совместимости для DataFrame-библиотек.

Легковесный слой, который объединяет pandas, Polars, PyArrow, Modin и cuDF в Python. Он позволяет писать код, не зависящий от используемого бэкенда, используя подмножество API Polars в качестве интерфейса. Поддерживает как eager, так и lazy execution стили, включая Dask. Narwhals не имеет зависимостей и обеспечивает статическую типизацию для автозавершения и подсказок в IDE.

🟢PydanticAI - фреймворк для разработки AI-приложений.

Фреймворк агентов, которые управляют взаимодействием с LLM и проверкой их инференса. Имеет систему внедрения зависимостей, позволяющую динамически получать контекстные данные. PydanticAI поддерживает пользовательские функции Python, вызываемые агентами для доступа к информации и выполнения вычислений.


@ai_machinelearning_big_data

👩‍💻 Typer — это библиотека Python для создания удобных и мощных приложений командной строки!

🌟 Она основана на подсказках типов Python (type hints), что делает код более понятным, лёгким в разработке и поддержке. Typer автоматически генерирует помощь (--help) и автодополнения для всех оболочек, что упрощает использование приложений конечными пользователями.

🌟 Библиотека поддерживает как простые скрипты, добавляя всего пару строк кода, так и сложные структуры с несколькими командами и аргументами. Typer — это "младший брат" FastAPI, но для CLI-приложений, обеспечивающий аналогичный подход: минимальная избыточность кода, высокая производительность и простота в использовании как для разработчиков, так и для пользователей.

🔐 Лицензия: MIT

🖥 Github

@pythonl

👩‍💻 Django Haystack — это модульная библиотека поиска для Django!

💡 Она предоставляет унифицированный API, который позволяет интегрировать различные поисковые движки, такие как Solr, Elasticsearch, Whoosh и Xapian, без необходимости изменения основного кода приложения.

🔍 Основные функции:

🌟 Поддержка "faceting" (фасетного поиска).

🌟 Возможность использования "More Like This" для рекомендаций.
Подсветка результатов поиска.

🌟 Пространственный поиск и предложения по исправлению опечаток.

🔐 Лицензия: MIT

🖥 Github

@pythonl

👩‍💻 flask-msearch — расширение для Flask, которое добавляет функциональность полнотекстового поиска с использованием различных бэкендов поиска, таких как Elasticsearch, Whoosh и других!

🌟 Это расширение упрощает интеграцию поисковых систем в Flask-приложения, позволяя легко реализовать функции поиска по базе данных и обеспечивать быстрый доступ к данным через индексированные поля.

🔐 Лицензия: BSD-3-Clause

🖥 Github

@pythonl

👩‍💻 django-robots — приложение для Django, которое управляет файлами robots.txt в соответствии с протоколом исключения ботов!

🌟 Оно помогает конфигурировать, генерировать и обслуживать robots.txt, регулируя доступ поисковых систем и различных ботов к веб-ресурсам. Библиотека интегрируется с Django, обеспечивая простоту настройки и поддержку различных версий Python и Django.

🔐 Лицензия: BSD-3-Clause

🖥 Github

@pythonl

👩‍💻 validr — это библиотека для Python, предназначенная для быстрой и расширяемой валидации данных!

🌟 Она предлагает простую схему для определения моделей и валидации данных, поддерживает создание пользовательских валидаторов и предоставляет подробные сообщения об ошибках. Validr значительно быстрее аналогичных решений, таких как jsonschema и schematics.

🖥 Github

@pythonl

👩‍💻 questionary — библиотека для Python, которая предоставляет простой и удобный способ создавать интерактивные текстовые интерфейсы в командной строке! Эта библиотека подходит для создания диалогов с пользователем, например, для выбора из списка, ввода текста или подтверждения.

🔍 Основные возможности Questionary:

🌟 Разнообразие типов вопросов: Ввод текста, Выбор одного варианта из списка, Выбор нескольких вариантов, Подтверждение, Ввод пароля, Слайдер!

🌟 Поддержка настроек: Можно кастомизировать внешний вид и поведение вопросов, есть возможность задать предустановленные значения по умолчанию.

🌟 Интуитивный и минималистичный API.

🌟 Поддержка ANSI-цветов: Возможность стилизовать вопросы для более выразительного отображения.

🔐 Лицензия: MIT

🖥 Github

@python_job_interview

🌟 Кто-то проверял?.. Работает?

@pythonl

👩‍💻 pytune — инструмент для постэксплуатации, предназначенный для специалистов красных команд!

🌟 Он позволяет внедрять фальшивые устройства в системы Microsoft Intune и Entra ID. С помощью этого инструмента злоумышленники могут украсть настройки устройств, такие как конфигурации VPN и Wi-Fi, извлечь учетные данные доменных компьютеров (если настроен Hybrid Autopilot), скачивать приложения и PowerShell-скрипты, а также обходить проверки на соответствие безопасности.

🔐 Лицензия: Apache-2.0

🖥 Github

@pythonl

👩‍💻 docopt-ng — это форк оригинальной библиотеки docopt, используемой для создания удобных и понятных интерфейсов командной строки!

🌟 Библиотека автоматически генерирует парсер аргументов на основе документации (docstring), написанной в модуле Python. docopt-ng улучшает оригинал, добавляя поддержку аннотаций типов, полное покрытие тестами и активное обслуживание.

🌟 С помощью docopt-ng разработчики могут определять команды, опции и аргументы прямо в документации, что упрощает написание и поддержку кода. Библиотека парсит шаблон вызова из раздела "Usage" в docstring и обеспечивает проверку аргументов, возвращая результаты в удобном формате. Подходит для Python 3.7 и выше.

🔐 Лицензия: MIT

🖥 Github

@pythonl

👩‍💻 Эта статья объясняет основы численного анализа и его применение в реальных задачах с использованием Python!

🌟 Она охватывает методы приближённого решения сложных математических задач, когда точные решения невозможны или слишком ресурсоёмки. Рассматриваются такие темы, как частичные дифференциальные уравнения (PDE), оптимизация, и решение задач с помощью библиотек Python, таких как SciPy.

🔗 Ссылка: *клик*

@pythonl

👩‍💻 Model Context Protocol (MCP) Python SDK — официальный SDK для создания серверов и клиентов, которые работают с MCP — протоколом, упрощающим взаимодействие приложений с LLM!

🌟 MCP стандартизирует предоставление контекста для LLM, отделяя управление данными от взаимодействия с самой моделью.

🌟 С помощью этого SDK можно создавать MCP-серверы, которые предоставляют ресурсы, инструменты и шаблоны взаимодействия с моделями, а также клиенты, подключающиеся к любым MCP-серверам. Поддерживаются стандартные методы передачи данных, такие как stdio и Server-Sent Events (SSE).

🔐 Лицензия: MIT

🖥 Github

@pythonl

👩‍💻 traitlets — библиотека Python, которая используется для создания конфигурационных объектов с поддержкой типов и значений!

🌟 Она предоставляет удобные способы управления аттрибутами объектов, их типами и значениями, включая события и обработку ошибок. Эта библиотека широко используется в проектах, связанных с IPython, Jupyter и другими инструментами для научных вычислений.

🔐 Лицензия: BSD-3-Clause

🖥 Github

@pythonl

👩‍💻 CuPy — библиотека Python для вычислений с использованием GPU, полностью совместимая с NumPy и SciPy!

🌟 CuPy позволяет переносить существующий код на базе NumPy/Scipy для работы с платформами NVIDIA CUDA или AMD ROCm, минимизируя изменения в приложении.

🌟 CuPy поддерживает как высокоуровневые операции над массивами, так и низкоуровневые возможности, такие как вызовы CUDA API, использование потоков и интеграция с программами на C/C++.

🔐 Лицензия: MIT

🖥 Github

@pythonl

🖥 Интерпретатор Python, написанный на Python в 500 строк кода

Byterun - это интерпретатор Python. Работая над Byterun, автор обнаружил, что фундаментальная структура интерпретатора Python легко укладывается в ограничение на размер в 500 строк. В этой статье рассмотрена структура интерпретатора и дан контекст для его дальнейшего изучения.

 Цель не в том, чтобы объяснить все, что нужно знать об интерпретаторах, - как и во многих других интересных областях программирования и информатики, - вы можете посвятить годы глубокому пониманию этой темы.

Byterun был написан Недом Батчелдером, опираясь на работу Пола Шварца. Его структура похожа на основную реализацию Python, CPython, поэтому понимание Byterun поможет вам понять интерпретаторы в целом и интерпретатор CPython в частности. (Если вы не знаете, какой Python вы используете, то, скорее всего, это CPython). 

Статья: https://aosabook.org/en/500L/a-python-interpreter-written-in-python.html
Github: https://github.com/nedbat/byterun

@pythonl