📌Топ Python-проектов для ML 2024 года.

Эти проекты были выбраны на основе их актуальности на 2024 год. Каждый из них - смесь практической полезности, новизны и, честно говоря, крутости, будь то смелый и инновационный подход, элегантное решение сложных проблем или просто умная реализация.

🟢BAML - предметно-ориентированный язык для работы с LLM.

BAML превращает текстовые промпты в многократно используемые функции LLM с типизированными переменными и обеспечивают конкретный тип выходных данных. BAML превосходит другие методы получения структурированных данных от LLM и поддерживает VS Code и Cursor.

🟢marimo - Python notebooks геймчейджер.

Новый подход к notebook, который превращает их в мощную, реактивную среду для создания удобных для совместного использования рабочих процессов. Marimo готов заменить Jupyter и Streamlit, устраняя проблемы скрытого состояния и ручного выполнения ячеек.

🟢OpenHands - мощный агент для разработки.

Безопасная изолированная среда, где AI-агенты могут выполнять код, взаимодействовать с веб-браузерами, управлять файлами, отлаживать проблемы, рефакторить код и даже сотрудничать с другими агентами. Среда включает в себя Docker-песочницу с доступом к bash-оболочке, веб-браузингом и IPython-сервером.

🟢Crawl4AI - интеллектуальный веб-скрапинг.

Библиотека, которая обрабатывает динамический контент, обходит механизмы защиты от ботов, извлекает структурированные данные и масштабирует задачи сбора массивов информации. Асинхронная архитектура дает высокую скорость работы даже со сложным JavaScript. На выходе - форматы JSON, markdown и очищенный HTML, готовые для импорта в LLM. Crawl4AI поддерживает Chromium, Firefox и WebKit через Playwright.

🟢LitServe - универсальный движок для развертывания моделей.

Детище LightningAI - мощный инструмент для развертывания моделей и сложных AI-конвейеров. Построен на базе FastAPI, поддерживает PyTorch, TensorFlow, JAX и работает с GenAI, СV, ASR и эмбедингами. LitServe умеет в KV-кэширование для LLM, и подходит как для легких приложений, так и для тяжелых корпоративных нагрузок.

🟢Mirascope - унифицированный интерфейс LLM.

Python-инструмент для упрощения извлечения структурированных данных из LLM. Он предлагает удобный интерфейс, основанный на декораторах и декларативных схемах. Mirascope поддерживает OpenAI, Anthropic и Cohere и имеет свой поисковый агент WebSearchAgent, который может автономно собирать информацию из интернета.

🟢Surya - OCR с высокой точностью.

OCR-система на 90 языках. Surya извлекает текст из сканированных изображений, PDF-файлов и других визуальных форматов с точностью, сравнимой с Google Cloud Vision. Помимо OCR, Surya проводит расширенный анализ документа, определяя заголовки, изображения, таблицы и порядок чтения, что идеально для оцифровки книг, форм и научных документов.

🟢DataChain - конвейер данных для ИИ.

Платформа для управления версиями мультимодальных наборов изображений, видео, текста и PDF-файлов. Библиотека преобразует разрозненные файлы в централизованные датасеты, которые легко запрашивать и манипулировать с помощью Python без использования Spark или SQL. DataChain поддерживает PyTorch, TensorFlow, AI-генерацию метаданных, сериализацию инференса LLM и выполнение пакетных процедур.

🟢Narwhals - универсальный слой совместимости для DataFrame-библиотек.

Легковесный слой, который объединяет pandas, Polars, PyArrow, Modin и cuDF в Python. Он позволяет писать код, не зависящий от используемого бэкенда, используя подмножество API Polars в качестве интерфейса. Поддерживает как eager, так и lazy execution стили, включая Dask. Narwhals не имеет зависимостей и обеспечивает статическую типизацию для автозавершения и подсказок в IDE.

🟢PydanticAI - фреймворк для разработки AI-приложений.

Фреймворк агентов, которые управляют взаимодействием с LLM и проверкой их инференса. Имеет систему внедрения зависимостей, позволяющую динамически получать контекстные данные. PydanticAI поддерживает пользовательские функции Python, вызываемые агентами для доступа к информации и выполнения вычислений.


@ai_machinelearning_big_data

👩‍💻 pywebview — это легковесная кроссплатформенная библиотека на Python, которая позволяет создавать графический интерфейс для приложений с использованием веб-технологий, таких как HTML, CSS и JavaScript!

🌟 Она отображает веб-контент в родных окнах GUI на различных операционных системах (Windows, macOS, Linux, Android) с минимальными зависимостями, сохраняя малый размер исполнимого файла. Pywebview поддерживает двустороннюю связь между Python и DOM, что позволяет интегрировать веб-технологии с Python-программами.

🔐 Лицензия: BSD-3-Clause

🖥 Github

@python_job_interview

👩‍💻 algorithms — полезный репозиторий с коллекцией алгоритмов, реализованных на языке Python!

🌟 Он охватывает широкий спектр алгоритмических тем, включая сортировку, поиск, работу с графами, структуры данных, динамическое программирование, криптографию и многое другое. Основной целью репозитория является предоставление образовательного ресурса для изучения алгоритмов и улучшения навыков программирования.

🔐 Лицензия: MIT

🖥 Github

@python_job_interview

👩‍💻 questionary — библиотека для Python, которая предоставляет простой и удобный способ создавать интерактивные текстовые интерфейсы в командной строке! Эта библиотека подходит для создания диалогов с пользователем, например, для выбора из списка, ввода текста или подтверждения.

🔍 Основные возможности Questionary:

🌟 Разнообразие типов вопросов: Ввод текста, Выбор одного варианта из списка, Выбор нескольких вариантов, Подтверждение, Ввод пароля, Слайдер!

🌟 Поддержка настроек: Можно кастомизировать внешний вид и поведение вопросов, есть возможность задать предустановленные значения по умолчанию.

🌟 Интуитивный и минималистичный API.

🌟 Поддержка ANSI-цветов: Возможность стилизовать вопросы для более выразительного отображения.

🔐 Лицензия: MIT

🖥 Github

@python_job_interview

👩‍💻 xarray — это библиотека на Python, предназначенная для работы с многомерными массивами данных (например, временные ряды или геопространственные данные) с использованием метаданных!

🌟 Она расширяет функциональность библиотек NumPy и Pandas, добавляя поддержку метаданных, таких как имена измерений, координаты и атрибуты, что упрощает анализ научных и инженерных данных.

💡 Xarray активно используется в научных исследованиях, особенно для обработки климатических, океанографических и спутниковых данных. Библиотека поддерживает интеграцию с другими инструментами для распределённых вычислений, такими как Dask, позволяя обрабатывать большие наборы данных на основе кластеров. NASA также поддерживает развитие xarray для анализа данных, связанных с их миссиями!

🔐 Лицензия: Apache-2.0

🖥 Github

@python_job_interview

👩‍💻 Простой совет для улучшения вашего Python кода!

@python_job_interview

👩‍💻 Flexx — это фреймворк для создания графических интерфейсов на чистом Python с использованием веб-технологий!

💡 Он позволяет разработчикам создавать приложения, которые работают как на настольных компьютерах, так и в браузерах. Основная идея Flexx — это использование Python для описания логики интерфейса, при этом взаимодействие с пользователем реализуется через HTML, CSS и JavaScript, сгенерированные автоматически.

🌟 Ключевая особенность фреймворка — возможность создавать приложения с использованием декларативного подхода. Flexx поддерживает функционально-реактивное программирование (FRP) и предоставляет инструменты для управления состоянием и событийной моделью. Это делает его подходящим выбором для приложений, где требуется динамическое взаимодействие и высокая интерактивность.

🔐 Лицензия: BSD-2-Clause

🖥 Github

@python_job_interview

👩‍💻 Простое объяснение работы с list в Python!

@python_job_interview

👩‍💻 category_encoders — набор инструментов для кодирования категориальных признаков, совместимых с библиотекой scikit-learn!

🌟 Это полезно для подготовки данных перед их обработкой моделями машинного обучения, которые работают только с числовыми значениями.

🌟 Библиотека включает различные методы кодирования, такие как One-Hot Encoding, Ordinal Encoding, Target Encoding и другие. Она подходит для работы с категориальными данными в задачах классификации и регрессии, обеспечивая гибкость и простоту интеграции с пайплайнами scikit-learn.

🔐 Лицензия: BSD-3-Clause

🖥 Github

@python_job_interview

🔍 Таблица, отображающая скорость выполнения рзных методов сортировки при различных сценариях!

@python_job_interview

👩‍💻 django-storages — Python-библиотека для интеграции различных облачных и внешних хранилищ с Django!

🌟 Она предоставляет простой и универсальный интерфейс для работы с файлами, позволяя сохранять и извлекать их из различных хранилищ, таких как Amazon S3, Google Cloud Storage, Azure Blob Storage и других. Эта библиотека полезна для разработки приложений, которые требуют надежного и масштабируемого хранения файлов.

🔐 Лицензия: BSD-3-Clause

🖥 Github

@python_job_interview

👩‍💻 Python Fire — библиотека для автоматической генерации интерфейсов командной строки (CLI) из любых объектов Python!

🌟 Это упрощает создание и использование CLI для функций, классов и других объектов, позволяя легко интегрировать Python-код с командной строкой. Python Fire также облегчает разработку, отладку и взаимодействие с Python-программами через терминал, предоставляя простой способ выполнения команд и работы с различными типами данных через командную строку.

🔐 Лицензия: Apache-2.0

🖥 Github

@python_job_interview