Интенсив по очередям: Kafka & NATS

Асинхронное взаимодействие и очереди — невероятно широкая тема, и абсолютно обязательная к изучению всем, кто интересуется архитектурой. Разработчику важно понимать архитектурные особенности, сильные и слабые стороны компонент, на базе которых строится архитектура.

🌐 В программе курса:

▪️Асинхронное взаимодействие с помощью очередей: подходы, свойства, гарантии
▪️Какие бывают очереди, основные системы очередей, на какие свойства и требования смотреть при выборе
▪️Как конфигурировать и управлять системами очередей
▪️Архитектура Apache Kafka, streams, topics, конфигурации от минимального single instance до production grade кластера с отказоустойчивостью
▪️Архитектуры NATS, pub/sub, req/res, streaming, кластер, суперкластер, федерация, edge.

Всё в формате «живых» онлайн-сессий (лекции, брейнштормы, демо).

🥸 Кто мы: R&D-центр Devhands.io, наш канал (https://yangx.top/rybakalexey). Автор курса — Владимир Перепелица, эксперт по большим проектам, очередям и Tarantool, Solution Architect в Exness, создатель S3 в VK Cloud, регулярный спикер и член ПК конференций Highload. 

🗓 Старт курса 8 апреля. Изучить программу и записаться можно здесь. 

Ждём вас!

Реклама. ИП Рыбак А.А. ИНН 771407709607 Erid: 2VtzqxjWnNk

🖥 "Think Python" - баспланая книга от O'Reilly

Одна из лучших книг для изучения Python.

❤️‍🔥Как вам обложка?

❯ 3 издание
❯ 2 издание

@pythonl

🖥 Как отлаживать Python-код, не выходя из редактора — с помощью встроенного модуля pdb.

🔍 Пример быстрой отладки с помощью pdb

Часто, когда код не работает как надо, мы начинаем закидывать print()-ами. Но это неудобно, медленно и мусорит код. Вместо этого вставь в нужное место строчку:

import pdb; pdb.set_trace()

Когда выполнение дойдет до этой строки, ты попадешь в интерактивную консоль отладчика прямо в терминале. Дальше можно:

- n (next) — перейти к следующей строке;
- s (step) — зайти внутрь функции;
- c (continue) — продолжить выполнение;
- l (list) — показать текущий контекст;
- p var — вывести значение переменной var.

💡 Пример

def calc(a, b):
    import pdb; pdb.set_trace()
    result = a + b
    return result

calc(2, 3)

На строке с pdb.set_trace() ты остановишься и сможешь изучить, что происходит внутри.

Зачем это нужно?

- Понять, почему что-то идет не так.
- Посмотреть, какие значения у переменных прямо в момент ошибки.
- Быстро отладить без запуска IDE — удобно в Docker, SSH или при работе с cron.

Попробуй — один раз освоишь, и уже не захочешь возвращаться к print().


@pythonl

📞 SSHClick — это инструмент для управления SSH-конфигурациями, разработанный на Python с использованием фреймворков Click, Rich и Textual!

🌟 Он предоставляет удобный интерфейс для работы с файлами ssh_config, позволяя визуализировать, фильтровать и редактировать записи. Это упрощает управление большими и сложными конфигурациями SSH, особенно для системных администраторов, работающих с множеством серверов.

🌟 Основные функции SSHClick включают парсинг существующих SSH-конфигураций, добавление метаданных для группировки и фильтрации хостов, а также удобный текстовый интерфейс (TUI) для работы прямо в терминале. Инструмент помогает быстро находить и редактировать записи, сокращая время, затрачиваемое на ручное управление конфигурациями.

🔐 Лицензия: MIT

🖥 Github

@linuxacademiya

🖥 FastOpenAPI

FastOpenAPI – это библиотека для генерации и интеграции OpenAPI схем с использованием Pydantic v2 и различных фреймворков, таких как Falcon, Flask, Quart, Sanic, Starlette и Tornado.

▪ Проект вдохновлён FastAPI и предоставляет аналогичный удобный для разработчика опыт создания API с автоматической генерацией документации.
▪ С помощью FastOpenAPI вы можете легко определять маршруты, проводить валидацию данных и генерировать документацию в формате Swagger UI и ReDoc, что упрощает процесс разработки и поддержки API.
▪ Быстрая интеграция с поддержкой строгой типизации через модели Pydantic делает библиотеку надёжным инструментом для построения современных веб-приложений.
▪ FastOpenAPI распространяется под лицензией MIT, что делает его свободным для использования и модификации в коммерческих и некоммерческих проектах.

▪ Github

@pythol

🖥 pre-commit — ваш автоматический код-ревьюер.

Эта библиотека превращает Git-хуки в мощную систему контроля качества кода.

Вместо ручного запуска линтеров перед каждым комитом, pre-commit автоматически проверяет изменения на качество — будь то синтаксические ошибки в Python или форматирование SCSS-файлов.

🔗 GitHub
🔗 Документация

@python_job_interview

🖥 Radon — инструмент, помогающий разработчикам находить проблемы в коде с помощью метрик.

В отличие от других линтеров, Radon дает количественную оценку: сколько тестов нужно для функции и насколько она переусложнена.

Проект работает с Python 2.7–3.12 без внешних зависимостей. Результаты можно получить через командную строку или интегрировать в CI/CD-пайплайны.

📌 GitHub

@pythonl

🔎 ClatScope — это мощный инструмент для проведения разведки с использованием открытых источников (OSINT), разработанный для сбора разнообразной информации об IP-адресах, доменах, электронных почтах, номерах телефонов и многом другом!

🔐 Лицензия: Apache-2.0

🖥 Github

@pythonl

🖥 FinMind — проект, предлагающий более 50 автоматически обновляемых датасетов, охватывающих рынки Тайваня, США и мировые активы.

Причем это не просто архив исторических котировок. Здесь собраны:
▪️Технические данные (от тиковых данных до индикаторов PER/PBR)
▪️Отчётность, дивиденды, выручка
▪️Фьючерсы, опционы
▪️Ставки ЦБ, сырьё, облигации

💯 При этом проект полностью открыт и ориентирован на образовательные цели. Данные доступны через простой Python-клиент, что делает FinMind удобной альтернативой платным Bloomberg Terminal или Quandl для учебных проектов и прототипирования.

🤖 GitHub

@pythonl

🖥 ​Textcase — это библиотека на Python, предназначенная для преобразования строк между различными стилями написания (кейсов).

Библиотека поддерживает такие форматы, как snake_case, kebab-case, camelCase, PascalCase, CONSTANT_CASE, а также преобразование в нижний, верхний и титульный регистры. ​

Основные особенности Textcase:
- Обработка акронимов: корректно распознает и форматирует акронимы в строках, например, HTTPRequest.​
GitHub

- Поддержка символов вне ASCII: правильно работает с символами, выходящими за пределы ASCII. Однако библиотека не делает выводов о языке ввода; например, диграф 'ij' в голландском не будет капитализирован как единый символ. ​

- Высокая производительность: эффективная реализация без использования регулярных выражений.​

- Отсутствие внешних зависимостей: библиотека не имеет внешних зависимостей, что делает ее легковесной и простой для интеграции. ​

Установка:
pip install textcase

Пример использования:


from textcase import case, convert

print(convert("example string", case.SNAKE)) # example_string
print(convert("ExampleString", case.KEBAB)) # example-string
print(convert("example-string", case.CAMEL)) # exampleString
print(convert("Example String", case.PASCAL)) # ExampleString

🖥 Github
📌 Документация

Highload буткемп: Системный дизайн, Производительность и Масштабирование

Приглашаем на курсы для прокачки навыков архитектора и проектировщика на весеннем highload-потоке от DevHands.

🌐 Приходите на уникальный образовательный трек без отрыва от работы (занятия вечером), в рамках которого вы:

🤩 изучите ключевые хайлоад-паттерны и получите навыки проектирования систем с миллионной аудиторией (балансировка, масштабирование, высокая доступность, шардинг, CAP/PACELS, транзакционные очереди и многое другое)
🤩 поупражняетесь в системном дизайне и проектировании, и получите живую обратную связь на реальных задачах: магазин/маркетплейс, объявления, соцсети, такси/доставка и тд.
🤩 погрузитесь в highload максимально, при желании в первый же день получите в управление свою инфраструктуру, попробуете “выжать” 100K RPS из своих сервисов, получите уникальный опыт работы с кластерными решениями - Redis, SPQR, CockroachDB
🤩 научитесь планировать нагрузку и связывать бизнес-показатели с нефункциональными требованиями к системе
🤩 попрактикуетесь в проведении и прохождения секций системного дизайна на интервью

Только «живые» онлайн-сессии: лекции, брейнштормы, презентации домашних проектов.

🗓 Старт потока 22 апреля, изучайте программу и записывайтесь:

🤩 Буткэмп “Производительность и масштабируемость” для тех, кто хочет поработать с собственной инфрой

🤩 Курс “Системный дизайн высоконагруженных проектов” для тех, кто хочет только практику проектирования “у доски”

🥸 Кто мы: R&D-центр Devhands, основатель школы и автор курса Алексей Рыбак, ex-СТО Badoo и Yum! Brands, с многолетним опытом высоконагруженных проектов и управления глобальными технологическими организациями, член программного комитета Highload.

Реклама. ИП Рыбак А.А. ИНН 771407709607 Erid: 2Vtzqv8dwE1

🖥 Вот 17 топовых GitHub-репозиториев для изучения Python с ссылками:

1. 30-Days-Of-Python — 30-дневный челлендж по основам Python.
2. Python Basics — азы Python для новичков, просто и с примерами.
3. Learn Python — справочник с кодом, пояснениями и практикой.
4. Python Guide — гайд по практикам, инструментам и сложным темам.
5. Learn Python 3 — руководство по Python 3 с практикой для начинающих.
6. Python Programming Exercises — 100+ задач по Python.
7. Coding Problems — алгоритмы и структуры данных для собесов.
8. Project-Based-Learning — Python через реальные проекты.
9. Projects — идеи проектов для прокачки навыков.
10. 100-Days-Of-ML-Code — ML на Python шаг за шагом.
11. TheAlgorithms/Python — алгоритмы и структуры данных на Python.
12. Amazing-Python-Scripts — полезные скрипты: от утилит до автоматизации.
13. Geekcomputers/Python — скрипты для сети, файлов и задач.
14. Materials — код и проекты от Real Python.
15. Awesome Python — топ фреймворков, библиотек и ресурсов.
16. 30-Seconds-of-Python — короткие сниппеты для быстрых решений.
17. Python Reference — скрипты, туториалы и лайфхаки.

#python #github #learning

@pythonl

🖥 Watchdog — это библиотека, специализирующаяся на отслеживании изменений в файловой системе, но в стильном дизайне.

Инструмент даёт возможность фиксировать любые операции с файлами и директориями (создание, удаление, модификация, перемещение) и поддерживает работу в средах Linux, macOS и Windows

Библиотека будет особенно полезна в таких случаях, как:
▪ автоматический перезапуск серверов при обновлениях файлов
▪ обработка вновь загружаемых файлов в заданную директорию
▪ синхронизация содержимого папок
▪ создание механизмов резервного копирования, оперативно реагирующих на изменения

🔗 Watchdog
🔗 Документация

@pythonl

🖥 DeepGit: Repo Discovery — это открытый AI-инструмент, который помогает находить полезные репозитории на GitHub с помощью семантического поиска.

Он основан на системе LangGraph, использует анализ кода, документации и сигналов из сообщества, чтобы отфильтровывать малоизвестные, но перспективные проекты.

Ключевые возможности:
▪ Семантическая проверка: ищет не просто по ключевым словам, а «понимает» содержание.
▪ Многогранный анализ: учитывает не только код, но и документацию, активность и отзывы сообщества.
▪ GitHub-интеграция: фокусируется на данном экосистемном источнике, упрощая отбор качественных проектов.

🖥 GitHub

@pythonl