Python/ django
58.9K subscribers
2.07K photos
61 videos
47 files
2.79K links
по всем вопросам @haarrp

@itchannels_telegram - 🔥 все ит-каналы

@ai_machinelearning_big_data -ML

@ArtificialIntelligencedl -AI

@datascienceiot - 📚

@pythonlbooks

РКН: clck.ru/3FmxmM
加入频道
This media is not supported in your browser
VIEW IN TELEGRAM
⭐️ Сравниваем DBSCAN и OPTICS

Поговорим сегодня о 2 популярных алгоритмах кластеризации — DBSCAN и OPTICS, посмотрим их особенности и сравним
Поехали!

https://habr.com/ru/articles/818889/

@pythonl
🖥 Marker — Python-утилита для быстрого и точного преобразования PDF в MD

pip install marker-pdf

Процесс преобразования PDF при помощи Marker состоит из таких шагов:
— извлечение текста, при необходимости использование OCR (эвристические методы, Surya, Tesseract)
— определение макета страницы и порядка чтения (Surya)
— подготовка и форматирование каждого блока (эвристика, Texify)
— объединение блоков и постобработка полного текста (Heuristics, Pdf_postprocessor)

Marker использует ML-модели только там, где это необходимо, что повышает скорость и точность

Пример использования:
marker_single /path/to/file.pdf /path/to/output/folder --batch_multiplier 2 --max_pages 10 --langs English

🖥 GitHub
🟡 Пример использования

@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
🖥 Distilabel — фреймворк Python для создания синтетических данных для AI и не только для этого

pip install distilabel --upgrade

Помимо создания синтетических данных, Distilabel помогает организовать сложные конвейеры обработки данных;
эти конвейеры могут содержать любое количество разных шагов.

🖥 GitHub
🟡 Доки

@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🖥 Instructor — получение структурированного вывода от LLM

pip install -U instructor

Instructor позволяет легко получать структурированные данные (например, в формате JSON) от таких LLM, как GPT-3.5, GPT-4, GPT-4-Vision, и моделей с открытым исходным кодом, включая Mistral/Mixtral, Anyscale, Ollama и llama-cpp-python.

Instructor отличается простотой и ориентированным на пользователя дизайном, построенным на базе Pydantic.

🖥 GitHub
🟡 Примеры использования instructor

@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
🖥 draw_scatter — позволяет нарисовать нужное распределение в Python

Если нужны кластеры нужной формы (например, хочется сравнить разные алгоритмы кластеризации) — не проблема, для этого есть библиотека drawdata и функция draw_scatter()

# ячейка 1
import pandas as pd
import seaborn as sns
from drawdata import draw_scatter
draw_scatter()


# ячейка 2
df = pd.read_clipboard(sep=',')
sns.scatterplot(data=df, x='x', y='y', hue='z')


🟡 Notebook

@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
🖥 Freeway — инструмент на Python для тестирования и аудита Wi-Fi

pip install 3way

Используется Freeway интуитивно понятным способом, как видно на скринах

🖥 GitHub

@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🖥 GPT Computer Assistant — альтернативный мультиплатформенный клиент ChatGPT на Python

pip3 install gpt-computer-assistant
computerassistant


Можно установить и использовать как библиотеку Python, или можно скачать .exe

🖥 GitHub

@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🖥 tinygrad — фреймворк Python для Deep Learning

pip install tinygrad

tinygrad имеет встроенную библиотеку для работы с нейросетями, используя разные классы, оптимизаторы и инструменты для управления состоянием нейросетей.

В tinygrad есть JIT, чтобы всё работало быстро.
Также tinygrad имеет отличную поддержку нескольких GPU, что позволяет удобно параллелить операции над тензорами с помощью Tensor.shard.

🖥 GitHub
🟡 Доки
🟡 Примеры использования tinygrad

@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM