🖥 Universal Checker Bot

United-Checker-Bot – бот на Python для получения информации о различных хостах с нескольких нод

Позволяет осуществлять ping, проверку по http, проверять порты и другое

Работает это таким образом:
- На удаленные сервера устанавливается API-сервер
- На ещё один сервер(или рядом) устанавливается бот
- В настройках бота (в файле nodes.py) указываются адреса серверов API
- В зависимости от команды бот получает информацию с указанных нод
- Архитектура не отменяет того, что в боте есть команды, которые выполняются на хосте где установлен бот.

🔩 Ссылка на проект

@pro_python_code

🖥 Распределение памяти в Python: сколько и в каких случаях занимают типы данных

Идея статьи возникла после просмотра одного видео, где автор разбирает различные способы создания списка из одинаковых элементов. Меня заинтересовала эта тема, и я начал углубляться в нее. В частности, почему в том или ином случае объем занимаемой памяти отличается.

В этом материале разберем, как устроено выделение памяти под объекты в Python. Потом кратко о том, как работает очистка памяти от неиспользуемых объектов. И, наконец, о разнице в занимаемой памяти на примере типов list, dict и tuple.

➡️ Читать дальше

@pro_python_code

🖥 ImageScraper

Парсим изображения веб-страниц c Python, просто введя URL-адрес.

🔩 GitHub

@pro_python_code

🖥 Pandas для одноразового кодирования данных, предотвращающего высокую мощность

В этой статье мы раскроем тему простого метода однократного кодирования переменных с использованием Pandas

Будем полагать, что большинство согласится с тем, что для начала необходима очистка данных. Проект обычно начинается с некоторого исследования и очистки, прежде чем мы сможем перейти к части моделирования.

Действительно, большая часть работы специалиста по обработке данных выполняется между очисткой и преобразованием набора данных.

Проблема, которую необходимо решить в этом кратком руководстве, заключается в том, что мы должны иметь дело с кодировкой переменных. Большинство алгоритмов машинного обучения ожидают, что для оценки чего-либо используются цифры, а не текст. В конце концов, компьютеры - это логические машины, которые полагаются на числа в качестве своего основного языка.

С учетом сказанного, когда мы получим набор данных, содержащий категориальные переменные, нам, вероятно, потребуется преобразовать его в числа, чтобы мы могли представить преобразованные данные для работы алгоритма с ними.

Обычно используется преобразование One Hot Encoding [OHE], которое берет категории и делает их двоичными значениями. Посмотрите на следующий рисунок. Первая строка — это категория A, поэтому после OHE она становится тремя столбцами, где A — положительное значение (1), а B/C — отрицательное. Следующая строка — это строка для категории B. Поскольку B сейчас положительна, она получает 1, а остальные получают 0. И это относится ко всем категориям, которые у нас есть.

➡️ Читать дальше
➡️ Код

@pro_python_code

🖥 Bandit – инструмент, предназначенный для поиска и обнаружения распространенных проблем безопасности в коде Python

Для запуска досточно просто указать файл со скриптом который хотите проверить. Как только Bandit завершит сканирование всех файлов, вы получите подробный анализ кода + список потенциально проблемных строк

🖥 Github
🗒 Documentation

@pro_python_code

🖥 Обработка данных и визуализация временных рядов с использованием Python

В этой статье я извлеку и визуализирую значимую статистику из данных временных рядов. Чтобы понять основные концепции, связанные с анализом временных рядов, я буду работать с временными рядами Open Power System Data (OPSD) для Германии. Набор данных состоит из ежедневного потребления электроэнергии и производства солнечной и ветровой энергии в период с 2006 по 2017 год.

➡️ Читать дальше
💨 Код

@pro_python_code

🖥 Numpy (числовой python)

Numpy - это библиотека Python, используемая для работы с массивами.

Numpy расшифровывается как числовой python, он используется для выполнения широкого спектра математических операций с массивами. Он также имеет функции для работы в области линейной алгебры, преобразования Фурье и матриц. В python есть list, который может работать как numpy, но list обрабатывается медленно, поэтому numpy помогает в решении проблемы, поскольку массивы NumPy хранятся в одном непрерывном месте в памяти в отличие от списков, поэтому процессы могут получать к ним доступ и манипулировать ими очень эффективно.

➡️ Читать дальше

@pro_python_code

⭐️ Django Argon Theme поддерживает все Django.contrib.AUTH ссылки

Django Argon Theme, популярный проект с открытым исходным кодом, была обновлена, чтобы полностью охватить ссылки аутентификации Django по умолчанию (включая регистрацию). Продукт выпущен по лицензии MIT на GitHub, и исходные тексты могут быть использованы в коммерческих проектах или в электронном обучении без каких-либо ограничений.

➡️ Читать дальше
🖥 Github

@pro_python_code

🖥 7 лучших библиотек веб-скрейпинга Python

Есть пословица «Не нужно изобретать велосипед». Библиотеки - лучший пример этого. Это поможет вам легко писать сложные и отнимающие много времени функциональные возможности. В хорошем проекте разработчики используют одни из лучших доступных библиотек

Известный Python не нуждается в каком-либо представлении. Это один из наиболее часто используемых языков программирования практически для любых целей. Здесь собраны 7 полезных библиотек Python для Web Scraping, которые помогут вам в вашем путешествии по разработке.

➡️ Читать дальше

@pro_python_code

🖥 Ускорение Python на графических процессорах с помощью nvc++ и Cython

Стандартная библиотека C++ содержит богатую коллекцию контейнеров, итераторов и алгоритмов, которые можно составить для получения элегантных решений сложных проблем. Что наиболее важно, они быстрые, что делает C++ привлекательным выбором для написания высокопроизводительного кода.

NVIDIA недавно представила stdpar: способ автоматического ускорения выполнения алгоритмов стандартной библиотеки C++ на графических процессорах с помощью компилятора nvc++. Это означает, что программы на C++, использующие стандартные библиотечные контейнеры и алгоритмы, теперь могут работать еще быстрее.

В этом посте я исследую способ внедрения алгоритмов C++ с ускорением на GPU в экосистему Python. Я использую Cython как способ вызвать C++ из Python и показать вам, как создавать код Cython с помощью nvc++. Я представляю два примера: простую задачу по сортировке последовательности чисел и более сложное реальное приложение, метод Якоби. В обоих случаях вы увидите впечатляющий прирост производительности по сравнению с традиционным подходом к использованию NumPy. Наконец, я обсуждаю некоторые текущие ограничения и следующие шаги.

Читать дальше

@pro_python_code

🖥 Топ-10 магических команд в Python, которые повысят вашу продуктивность

Магические команды — это улучшения, добавляемые поверх обычного кода на Python, их предоставляет ядро IPython.

Эти команды обычно начинаются с символа “%”

Магические команды были преимущественно добавлены для решения распространенных проблем, с которыми сталкиваются пользователи. Также в командной оболочке IPython есть несколько сочетаний горячих клавиш, которые значительно облегчат вам работу.

Существует 2 типа магических команд: строчные, обозначенные одним символом %, и ячеечные, обозначенные двойным символом % %.

Префикс % означает, что команда работает на одной строке кода, в то время как префикс %% позволяет команде работать над всей ячейкой.

Ниже приведен список магических команд и примеры их использования в блокнотах Jupyter.

➡️ Читать дальше

@pro_python_code

🖥 File Injector

File Injector - Python скрипт, который позволяет вам скрывать от посторонних глаз и записывать любой файл (.zip, .png, .txt, .gba...) в изображении или аудио файле, используя стеганографию.

Вы также можете зашифровать входной файл перед его сохранением.

🖥 GitHub

@pro_python_code

⭐️ Преимущество в производительности операций с DataFrame без копирования

Массив NumPy - это объект Python, который хранит данные в непрерывном буфере C-массива. Превосходная производительность этих массивов обусловлена не только этим компактным представлением, но и способностью массивов совместно использовать «представления» этого буфера среди многих массивов. NumPy часто использует операции с массивами «без копирования», создавая производные массивы без копирования подчиненных буферов данных. Используя все преимущества эффективности NumPy, библиотека DataFrame StaticFrame обеспечивает на порядок лучшую производительность, чем Pandas, для многих распространенных операций.

➡️ Читать дальше

@pro_python_code