⚡️ ScrapeGraphAI — Python библиотека для парсинга веб-страниц с помощью искусственного интеллекта.

Предоставляет подробную документацию и примеры использования с Ollama, Docker, OpenAI, Groq, Azure и Gemini.

💬 Поддержка LLM-моделей: OpenAI, LLama, Azure и др.
💬 Визуализация пайплайнов и результата.
💬 Обработка HTML, PDF, таблиц и API.
💬 Интеграция с LangChain, FastAPI и Pandas.
💬 Работает с cookie, заголовками и пользовательскими агентами.

👨‍💻 Подходит для:
➡️ Парсинга новостных сайтов.
➡️ Мониторинга цен.
➡️ Сбора данных с форумов, блогов и маркетплейсов.
➡️ Бэкендеров, аналитиков, ресерчеров, осинтеров.

⚙️ GitHub/Инструкция на русском
📄 Документация
⌨️ Демо

#python #soft #github

🔥 Полезные библиотеки Python

📥 Скачай любое видео из соцсетей — за пару секунд!

Vidzilla — это Telegram-бот, который превращает любую ссылку в видеофайл.

Больше никаких сайтов с рекламой и ожидания — просто кинул ссылку, получил видео. Всё.

Поддержка самых популярных платформ:
➡️ Instagram* — Reels, посты
➡️ TikTok — любые видео
➡️ YouTube — и видео, и Shorts
➡️ Facebook* — ролики и трансляции
➡️ X/Twitter — видео и гифки
➡️ Pinterest — видео-пины
➡️ ...и ещё десятки других (см. /help)

*принаджелат Meta, признана экстремистской в РФ и запрещена.

✨ Что умеет бот:
🔗 Мгновенная загрузка по ссылке.
📦 Два формата — как сообщение и как файл.
📊 Админ-панель: статистика, рассылки, купоны.
🧠 И всё это работает без лишних настроек и заморочек.

⚠️ Только для образовательных целей. Авторы софта не несут никакой ответственности за ваши действия.

*принаджелат Meta, признана экстремистской в РФ и запрещена.

♎️ GitHub/Инструкция

#python #soft #github

📂 Pillow Doc — документация по самой популярной библиотеке для работы с изображениями в Python.

Всё, от установки, до подробного описания методов с примерами кода.

Сохраняем, пригодится! 👍

#doc #python #cheatsheet

🔥 Готовый скрипт для обнаружения лица и глаз в режиме реального времени.

Этот скрипт превращает твою вебку в систему распознавания лиц и глаз.

📸 Использует каскады Хаара от OpenCV — лёгкие, быстрые, работают оффлайн.

Установи OpenCV:

bash
$ pip install opencv-python

⬇️ Скачай XML-файлы классификаторов:

haarcascade_frontalface_default.xml
haarcascade_eye.xml

Код:

python
import cv2 as cv


def detect_faces_and_eyes():
    """
    Detects faces and eyes in real-time using the webcam.

    Press 'q' to exit the program.
    """
    # Load the pre-trained classifiers for face and eye detection
    face_cascade = cv.CascadeClassifier(r"..\libs\haarcascade_frontalface_default.xml")
    eye_cascade = cv.CascadeClassifier(r"..\libs\haarcascade_eye.xml")

    # Open the webcam
    cap = cv.VideoCapture(0)

    while cap.isOpened():
        # Read a frame from the webcam
        flag, img = cap.read()

        # Convert the frame to grayscale for better performance
        gray = cv.cvtColor(img, cv.COLOR_BGR2GRAY)

        # Detect faces in the frame
        faces = face_cascade.detectMultiScale(gray, scaleFactor=1.1, minNeighbors=7)

        # Detect eyes in the frame
        eyes = eye_cascade.detectMultiScale(gray, scaleFactor=1.1, minNeighbors=7)

        # Draw rectangles around faces and eyes
        for x, y, w, h in faces:
            cv.rectangle(img, (x, y), (x + w, y + h), (0, 255, 0), 1)

        for a, b, c, d in eyes:
            cv.rectangle(img, (a, b), (a + c, b + d), (255, 0, 0), 1)

        # Display the resulting frame
        cv.imshow("Face and Eye Detection", img)

        # Check for the 'q' key to exit the program
        key = cv.waitKey(1)
        if key == ord("q"):
            break

    # Release the webcam and close all windows
    cap.release()
    cv.destroyAllWindows()


if __name__ == "__main__":
    # Call the main function
    detect_faces_and_eyes()

✅ Реагирует на движение, показывает всё в терминале;
✅ Работает на любом ноуте;
✅ Идеально для проектов по компьютерному зрению.

Сохрани — пригодится! 👍

#python #soft #code

👨‍💻 52 проекта на Python, которые прокачают твои навыки на практике!

Хватит учить синтаксис всухую — пора писать реальные проекты, от простых до мощных.

📦 В подборке:
✔️ 52 идеи.
✔️ Исходный код.
✔️ Пояснения к каждому проекту.

📈 Идеально, чтобы:
— собрать портфолио
— пройти собес
— прокачаться в Python и выйти на фриланс

Забирай, сохраняй, делись! 👍

#python #doc #code

🔥 Программирование на Python

Хочешь освоить Python и научиться решать алгоритмические задачи — без воды и теории ради теории? Лови настоящий практикум!

Это полноценный лабораторный тренажёр по программированию на Python, в котором:

🟢Объясняется, как писать код с нуля
🟢Разбираются алгоритмы пошагово
🟢Есть задачи на ветвления, циклы, списки, работу с файлами и даже графику (Pillow)
🟢Даются примеры оформления лабораторных и готовые шаблоны решений

📌 Отлично подходит для новичков, тех, кто только начал изучать Python — или хочет системно подтянуть базу.

💡 Материал охватывает:
— переменные и типы данных
— условия и циклы
— списки, функции и модули
— ввод/вывод, работа с файлами
— простые проекты и визуализация

Внутри есть:
✅ теория без перегруза
✅ примеры кода
✅ задачи разной сложности
✅ пошаговые разборы
✅ методические рекомендации для отчётов и преподавателей

👍 Хочешь уверенно чувствовать себя на собеседованиях или фрилансе?

Начни с этого практикума.

Год: 2025

#books #python

✍️ От подписчика. Некоторые вопросы и ответы с собеседования на позицию Junior Python разработчика на русском

Артем, спасибо 👍

#python #job

🔥 Полезные библиотеки Python

Парсим Ozon

👨‍💻 Ozon-parser — инструмент, который автоматизирует сбор данных с Ozon — прямо у тебя под рукой!

📦 Что умеет Ozon Parser:
💬 Забирает до 10 000 товаров из любой категории.
💬 Получает артикулы, названия, цены.
💬 Извлекает инфу о продавцах: ИНН, рейтинг, заказы.
💬 Работает через удобный GUI или Telegram-бота.
💬 Поддерживает многопоточность (в разы быстрее!).
💬 Делает экспорт в Excel/JSON и шлёт всё тебе в телегу.

⌨️ Управление на максималках:
— /start, /status, /settings — бот принимает команды
— Настраиваешь, парсишь, смотришь результат в Excel
— Всё логируется, всё под контролем

💬 Подходит для:
— E-commerce аналитиков
— Поставщиков
— Реселлеров
— Исследователей маркетплейсов
— И просто фанатов автоматизации

🚀 Запуск в несколько кликов

⚙️ Установка:

git clone https://github.com/NurjahonErgashevMe/ozon-parser
cd ozon-parser
pip install -r requirements.txt

▶️ Запуск:
GUI интерфейс:

python main.py

Только Telegram бот:

python bot.py

Парсинг из командной строки:

python app.py

♎️ GitHub/Инструкция

📲 Бот, GUI, CLI — выбирай как тебе удобно.
📊 Парси, анализируй, зарабатывай.

#python #github #soft

🚀 MegaParse — твой универсальный парсер для всех типов документов

Забудь про боль с вытаскиванием текста из PDF, Word и PowerPoint. MegaParse сделает всё за тебя. И без потерь данных.

📄 Что умеет:
🟢Парсит PDF, Word, Excel, PowerPoint, CSV и даже таблицы с изображениями.
🟢Извлекает заголовки, подзаголовки, колонтитулы, таблицы и картинки.
🟢Работает с мультимоделями: GPT-4o, Claude 3.5/4.
🟢Поддержка API — запускай на сервере как полноценный сервис.
🟢Открытый код — бесплатно и без ограничений.

📦 Установка:

pip install megaparse

Поддерживаются Vision-модели: GPT-4o, Claude — идеально для обработки сканов, презентаций и изображений с текстом.

🧠 Для работы нужен ключ OpenAI или Anthropic и установка tesseract + poppler (для работы с PDF и OCR).

📊 Подходит для:
* Data science
* Финтеха
* Личного архива
* Автоматизации офиса
* Создания дата-сеток из презентаций и документов

💻 Пример использования:

from megaparse import MegaParse
parser = MegaParse()
data = parser.load("your_doc.pdf")
print(data)

♎️ GitHub/Инструкция

#python #github #soft

😰 Бомбовую шпаргалка по Python в PDF с примерами кода — не просто «как писать код», а пошаговое погружение в программирование, алгоритмы и структуры данных.

Что внутри?
🟢Базовый Python — переменные, коллекции, условия, циклы, модули.
🟢ООП — классы, наследование, duck typing, композиция.
🟢Юнит-тесты и TDD.
🟢Анализ времени выполнения и Big-O.
🟢Алгоритмы и структуры данных:
🖱 Стеки, очереди, списки.
🖱 Деревья, BST, AVL, графы и поиск.
🖱 Сортировки: quicksort, mergesort, heapsort.
🟢Рекурсия и динамическое программирование.
🟢Алгоритмы на графах: DFS, BFS, Dijkstra, Prim.
🟢Словари, множества, хеш-таблицы.
🟢Приоритетные очереди, кучи и heapsort.
🟢Неразделимые множества и Kruskal’s Algorithm.

Кому пригодится?
✅ Студентам;
✅ Тем, кто учит Python с нуля;
✅ Разработчикам, желающим подтянуть CS;
✅ Тем, кто готовится к собеседованиям в топ-компании.

💡 Подходит для подготовки к алгоритмическим интервью, олимпиадам и просто чтобы не выглядеть чайником на ревью.

🧠 Это не просто «учим Python», это как устроено программирование изнутри — на Python!

#cheatsheet #doc #python

🧨 Готовая настраиваемая мультиагентная AI-система на Python

🔥 evi-run — мощный фреймворк с продвинутой архитектурой на OpenAI Agents SDK для создания AI-ботов в Telegram с enterprise-возможностями. Deploy за 5 минут через Docker, а дальше — безграничная кастомизация!

🧠 Что умеет из коробки:
💬 Управление памятью и обработка контекста
💬 Обработка документов (PDF, images, text, Markdown, Word, PowerPoint, Python files)
💬 Генерация VHQ изображений
💬 Веб-аналитика и интеллектуальный поиск
💬 Глубокое исследование
💬 DEX-аналитика и автоматизированная торговля криптой
💬 Кастомные агенты для любых задач
💬 Три режима: private (для себя), free (для сообщества), pay (для монетизации)

👊 Установка — проще некуда:

git clone https://github.com/pipedude/evi-run.git
cd evi-run
cp .env.example .env  # добавляешь API ключи
./docker_setup_en.sh
docker compose up --build -d

⚡️ Идеально для:
— создания AI-помощников и виртуальных персонажей
— автоматизация саппорта
— построения торговых ботов для DeFi
— кастомные мультиагентные системы

⚙️ Архитектура: Python • OpenAI Agents SDK • Solana RPC • MCP • Telegram Bot API • PostgreSQL • Redis • Docker

♎️ GitHub/Инструкция

🖥 Demo-бот

👍 Сохраняй, точно пригодится — это готовое решение для серьёзных AI-проектов!

#python #soft #nn #github

🎙 Создаём собственный голосовой рекордер на Python в несколько строк

Python + пара библиотек — и ты уже можешь записывать звук с микрофона прямо в .wav файл. Всё просто:

➡️ Вводишь количество секунд;
➡️ Нажимаешь Enter — и идёт запись;
➡️ На выходе — готовый аудиофайл, который можно использовать в проектах, видео или подкастах.

📦 Используем библиотеки:

🟢sounddevice — захват аудио
🟢scipy — для сохранения .wav файлов

⌨️ Готовый код:

python
import sounddevice as sd
from scipy.io.wavfile import write


def record_voice(duration: int, filename: str = "recording.wav", sample_rate: int = 44100) -> None:
    """
    Записывает звук с микрофона и сохраняет его в .wav файл.

    :param duration: Время записи в секундах
    :param filename: Название выходного файла
    :param sample_rate: Частота дискретизации (по умолчанию 44100 Гц)
    """
    print(f"🎙 Запись началась на {duration} секунд...")
    audio_data = sd.rec(int(duration * sample_rate), samplerate=sample_rate, channels=2)
    sd.wait()
    write(filename, sample_rate, audio_data)
    print(f"✅ Запись завершена. Файл сохранён как: {filename}")


if __name__ == "__main__":
    try:
        seconds = int(input("⏱️ Введите длительность записи в секундах: "))
        record_voice(seconds)
    except Exception as e:
        print(f"❌ Ошибка: {e}")

Такой скрипт отлично подойдёт для проектов по обработке аудио, голосовым ассистентам или даже создания простого диктофона.

🔥 Сохрани себе — пригодится!

#python #code #soft

👨‍💻 Простейшая нейронная сеть на Python для начинающих!

Если давно хотел понять, как работает искусственный интеллект, но пугался сложной математики и тонны кода — держи простейший и понятный гайд.

Пошаговая инструкция, как написать с нуля обучающуюся нейросеть. Всё на Python, без фреймворков — чистая база, чтобы прочувствовать механику.

📌 Подойдёт:
💬 тем, кто только начинает изучать ИИ;
💬 любителям практики;
💬 и просто тем, кто хочет «потрогать нейросеть руками».

Хороший старт, чтобы потом перейти к большим моделям и фреймворкам вроде PyTorch или TensorFlow.

В PDF, на русском, с примерами кода 👍

#doc #article #python

😰 Python Developer Stack — лучший арсенал для разработчика в одном месте!

Хочешь разобраться в технологиях, которые реально нужны Python-разработчику? Вот универсальная шпаргалка по лучшим инструментам, библиотекам и фреймворкам — всё, что пригодится от новичка до синьора.

📦 Package Management
→ pip, conda, poetry — ставим и управляем библиотеками без боли.

🧠 AI & ML
→ TensorFlow, PyTorch, Scikit-learn — топовые фреймворки для машинного обучения.
→ NumPy, Pandas, Matplotlib, Seaborn — для анализа и визуализации данных.

⚙️ Автоматизация и AI-агенты
→ LangGraph, CrewAI — построение умных агентов.
→ Airflow, Celery, Luigi — для таск-менеджмента и ETL.

🌐 Веб-фреймворки
→ Django, Flask, FastAPI — на любой вкус: от монолита до микросервисов.
→ Tornado, Pyramid — для продвинутых задач.

📊 Базы данных
→ PostgreSQL, MySQL, MongoDB, SQLite, Redis, Cassandra — SQL и NoSQL на выбор.

✍️ Тестирование
→ Pytest, Unittest, nose2 — делаем стабильный и покрытый тестами код.

🔍 Web Scraping
→ BeautifulSoup, Scrapy, Selenium, Playwright — качай данные отовсюду, даже если они не хотят 😎

🤓 DevOps/Deploy
→ Docker, Kubernetes, AWS, Heroku, Azure, GCP — всё, чтобы задеплоить как профи.

⌨️ Редакторы и IDE
→ VS Code, PyCharm, Jupyter Notebook, Spyder — кто во что горазд, но с удобством и подсказками.

💡 Version Control и CI/CD
→ Git, GitHub, GitLab, Bitbucket — контроль версий и коллаборация без хаоса.

🔥 Это не просто список — это твой навигатор по миру Python.

Сохрани и возвращайся, когда выбираешь стек под проект или хочешь прокачать себя 👍

#doc #python #cheatsheet

🔥 Полезные библиотеки Python

🔐 Depix — хак пикселей: восстанавливаем текст из замыленных скриншотов

Замылил пароль на скриншоте? Думаешь, теперь его никто не прочитает? А вот и нет — знакомься с Depix 🕵️‍♂️

💡 Что это такое:

Depix — это инструмент, который может восстановить текст, скрытый под пикселизацией. Работает он с изображениями, замыленными линейным блочным фильтром — таким, каким часто «защищают» пароли на скриншотах.

💻 Как установить:

git clone https://github.com/spipm/Depixelization_poc.git
cd Depixelization_poc

⌨️ Как пользоваться:

Запусти скрипт и укажи путь к своему пикселизированному изображению:

python3 depix.py -p [ПУТЬ_К_ИЗОБРАЖЕНИЮ] -s images/searchimages/[ТВОЕ_ИЗОБРАЖЕНИЕ].png

Хочешь визуально убедиться, как Depix определяет пиксельные блоки? Воспользуйся вспомогательным инструментом:

python3 tool_show_boxes.py -p [ПУТЬ_К_ИЗОБРАЖЕНИЮ] -s images/searchimages/[ТВОЕ_ИЗОБРАЖЕНИЕ].png

💻 Хочешь по-настоящему скрыть текст?
Используй размытие или заштриховывай вручную — иначе Depix придёт за тобой 😎

♎️ GitHub/Инструкция

#soft #github #python

🔥 Рисовые братья выкатили нейросетевую магию — оживляет фото так, что не отличить от видео!

Omni Avatar — Загружаешь фотку и голос, а через минуту получаешь говорящего, двигающегося, моргающего и жестикулирующего аватара, будто сняли на камеру.

😎 Бесплатная альтернатива HeyGen и Hedra.
⚡️ Подходит для YouTube, TikTok, презентаций и просто фана.

Пробуем:
✅ Онлайн (иногда падает от нагрузки)
✅ GitHub/Инструкция, если хочешь развернуть у себя

Скоро такие штуки будут делать сторисы и курсы!

Сохраняй 👍

#soft #nn #python #github

👨‍💻 Как работать с JSON в Python: сохраняем, читаем и автоматизируем!

JSON — это лёгкий формат обмена данными, который читается человеком и отлично понимается компьютером. Несмотря на название (JavaScript Object Notation), он полностью независим от языка — и в Python работать с ним проще простого.

😰 В Python всё делает встроенный модуль json — никаких дополнительных библиотек не нужно.

Что к чему

* json.dump(obj, fp, ...) — сериализует obj сразу в файл/поток (fp), возвращает None.
* json.dumps(obj, ...) — сериализует в строку (удобно отправлять по сети/логировать).
* json.load(fp, ...) — читает из файла/потока и возвращает Python‑объект.
* json.loads(s, ...) — парсит из строки и возвращает Python‑объект.

Сохранение JSON (и разница dump/dumps)

import json

data = {
    "name": "John",
    "salary": 1499.9,
    "is_real": False,
    "titles": ["The Unknown", "Anonymous"]
}

# dump: сразу в файл
with open("data1.json", "w", encoding="utf-8") as f:
    json.dump(data, f, indent=2)  # возвращает None

# dumps: получаем строку (например, чтобы отправить в API)
payload = json.dumps(data, indent=2)
print(type(payload))  # <class 'str'>

# ensure_ascii: как сохранить не-ASCII символы без \uXXXX

По умолчанию JSON экранирует всё не-ASCII:

ru = {"first_name": "Алиса", "city": "München"}

print(json.dumps(ru))                 
# {"first_name": "\u0410\u043b\u0438\u0441\u0430", "city": "M\u00fcnchen"}

print(json.dumps(ru, ensure_ascii=False))
# {"first_name": "Алиса", "city": "München"}

В файл — обязательно с кодировкой:

with open("ru.json", "w", encoding="utf-8") as f:
    json.dump(ru, f, ensure_ascii=False, indent=2)

> ensure_ascii работает и в dump, и в dumps. Для чтения (load/loads) не нужен.

Полезные опции:

* indent=2 — красиво форматирует.
* separators=(",", ":") — компактный вывод (без пробелов).
* sort_keys=True — ключи по алфавиту (удобно для диффов).

Загрузка JSON (и разница load/loads)

import json

# load: из файла
with open("data1.json", "r", encoding="utf-8") as f:
    obj = json.load(f)

# loads: из строки
s = '{"ok": true, "n": 3}'
obj2 = json.loads(s)

Мини‑обработка ошибок:

try:
    json.loads('{"broken": }')
except json.JSONDecodeError as e:
    print(f"Ошибка в строке {e.lineno}, столбце {e.colno}: {e.msg}")

Маленькая практика: забрали данные и сохранили красиво

import json, requests

users = requests.get("https://jsonplaceholder.typicode.com/users").json()

# всё в один файл
with open("users.json", "w", encoding="utf-8") as f:
    json.dump(users, f, indent=2, ensure_ascii=False)

# каждый пользователь — в отдельный файл
for u in users:
    with open(f"user_{u['id']}.json", "w", encoding="utf-8") as f:
        json.dump(u, f, indent=2, ensure_ascii=False)

Важно помнить

* datetime, Decimal, свои классы — не сериализуются “из коробки”. Нужен default= или предварительная конвертация.
* Числа с плавающей точкой — это float (осторожно с точностью, если нужны деньги — храните как строки/копейки).

JSON — это must-have навык для любого Python-разработчика: от парсинга и API-запросов до конфигураций и хранения данных.

👍 Сохраняй шпаргалку, пригодится!

#doc #python #cheatsheet