🖥 Python анализ данных с Pandas. Join, merge, concat в Pandas

• Видео
• Код из видео
• Часть 1
• Часть 2

@pro_python_code

🖥 Python+SQL часть2 создание таблиц.

▪Видео
▪Часть 1

@pro_python_code

🐍 Как сделать снимок экрана с помощью Python

Мы рассмотрим, как сделать снимок экрана с помощью python в рабочем столе с помощью пакета pyautogui, который используется для автоматизации графического интерфейса.

🟢Сначала установим пакет, выполнив команду

pip install pyautogui

🟢Создание снимков экрана с помощью python

Чтобы сделать снимок экрана с помощью python в рабочем столе, импортируйте модуль pyautogui, который имеет множество функций, но в данном случае мы будем использовать метод снимка экрана.

import pyautogui

screen = pyautogui.screenshot()
screen.save("my_image.png")

При этом будет сделан скриншот всего экрана и сохранен в текущем рабочем каталоге, для сохранения изображения в другом каталоге измените путь в функции save.

🟢 Сохранение снимков экрана в папке

import pyautogui

screen = pyautogui.screenshot()
screen.save("test/image/my_image.png")

• Github

@pro_python_code

🧡Создание приложения для потоковой передачи видео с физическими элементами управления

Как создать на Python приложение для потокового видео, которым можно управлять с помощью физических кнопок?

Мы будем использовать микроконтроллер (например, Arduino или Raspberry Pi) для взаимодействия с физическими кнопками и обмена данными с нашей программой на Python. Цель – запускать и останавливать потоковое видео нажатием физических кнопок.

Необходимые условия:
Прежде чем мы начнем, вам потребуется следующее:

1. Компьютер с установленным Python.
2. Веб-камера, подключенная к компьютеру.
3. Микроконтроллер (например, Arduino, Raspberry Pi) с подключенными к нему кнопками.
4. Базовые знания по программированию на языке Python.

Настройка оборудования
✔️ Сначала настройте аппаратные компоненты:

• Подключите физические кнопки к микроконтроллеру.
• Убедитесь, что у вас есть необходимые резисторы и провода для подключения кнопок.
• Напишите простую микропрограмму для микроконтроллера, которая будет распознавать нажатие и отпускание кнопок.

Установление связи
✔️ Далее следует установить канал связи между программой на языке Python и микроконтроллером. Для этого можно использовать последовательный интерфейс USB или другие интерфейсы в зависимости от выбора аппаратного обеспечения.

В данном примере мы будем использовать последовательный интерфейс USB.

Написание кода на языке Python
✔️ Теперь напишем код на языке Python для управления видеопотоком с помощью физических кнопок. Мы будем использовать OpenCV для захвата видео с веб-камеры и вывода его на экран. Кнопки, подключенные к микроконтроллеру, будут передавать команды на запуск и остановку видеопотока.

import cv2

# Initialize the webcams
cap_self = cv2.VideoCapture(0)
cap_other = cv2.VideoCapture(1) # Change the index to the appropriate camera for the other user

# Check if the webcams are opened successfully
if not cap_self.isOpened() or not cap_other.isOpened():
print("Error: Could not open one or both of the webcams.")
exit()

# Create a window to display both video feeds side by side
cv2.namedWindow("Video Chat App", cv2.WINDOW_NORMAL)
cv2.resizeWindow("Video Chat App", 640, 480) # Adjust the window size as needed

while True:
# Read frames from both webcams
ret_self, frame_self = cap_self.read()
ret_other, frame_other = cap_other.read()

if not ret_self or not ret_other:
print("Error: Could not read frames from one or both of the webcams.")
break

# Resize frames to have the same dimensions (optional)
frame_self = cv2.resize(frame_self, (320, 240))
frame_other = cv2.resize(frame_other, (320, 240))

# Concatenate frames horizontally to display side by side
display_frame = cv2.hconcat([frame_self, frame_other])

# Display the concatenated frame in the window
cv2.imshow("Video Chat App", display_frame)

# Break the loop when the 'q' key is pressed
if cv2.waitKey(1) & 0xFF == ord('q'):
break

# Release the webcams and destroy the window
cap_self.release()
cap_other.release()
cv2.destroyAllWindows()

Тестирование установки
Загрузите в микроконтроллер микропрограмму для обнаружения нажатия кнопок. Убедитесь, что она посылает команду “START” (s – ‘старт’ в моем коде) при нажатии одной кнопки и команду “STOP” (q – ‘стоп’ в моем коде) при нажатии другой кнопки.
Запустите программу на Python на своем компьютере.
При нажатии соответствующей кнопки на микроконтроллере вы
должны увидеть в окне OpenCV запуск и остановку видеопотока.

⬅️ Мы создали приложение для потоковой передачи видео с физическими кнопками запуска и остановки с помощью Python и микроконтроллера.

⬅️ Этот проект демонстрирует, как интегрировать аппаратные элементы управления с программой на Python для расширения функциональности и улучшения взаимодействия с пользователем.

⬅️ Вы можете расширить этот проект, добавив дополнительные функции или интегрировав его с другими аппаратными компонентами.

@pro_python_code

👨‍💻 7 шагов по контейнеризации Python-приложений

Контейнеризация Python-приложений с помощью Docker – это отличный способ сделать их более переносимыми, масштабируемыми и безопасными. В этой статье мы рассмотрим 7 простых шагов по контейнеризации Python-приложения с помощью Docker

Шаг 1: Установка базового образа
Первым шагом является выбор базового образа для контейнера. Мы рекомендуем использовать минимальный базовый образ, например python:3.11-slim. Это позволит уменьшить размер контейнера и повысить его безопасность.
FROM python:3.11-slim

Шаг 2: Создание непривилегированного пользователя
Официальный образ контейнера Python не содержит предустановленного непривилегированного пользователя. Поэтому нам необходимо его создать. Мы создадим пользователя с UID 1000 и GID 1000.
RUN groupadd -g 1000 python && \
useradd -r -u 1000 -g python python

Шаг 3: Копирование и установка зависимостей
Если ваше приложение имеет какие-либо зависимости, то их необходимо скопировать в контейнер и установить. Это можно сделать с помощью инструкций COPY и RUN.
COPY requirements.txt .
RUN pip install -r requirements.txt

Шаг 4: Настройка рабочего каталога
Далее необходимо создать внутри контейнера каталог, в котором будет храниться исходный код нашего приложения. Мы создадим каталог /app и убедимся, что он принадлежит непривилегированному пользователю, которого мы создали на шаге 2.
RUN mkdir /app && chown python:python /app
WORKDIR /app

Шаг 5: Скопируйте код приложения
Теперь необходимо скопировать исходный код нашего приложения в рабочий каталог.
COPY app.py .

Шаг 6: Запуск от имени непривилегированного пользователя
Нам необходимо убедиться, что процессы, запущенные в нашем контейнере, будут выполняться в непривилегированном режиме.

Это можно сделать с помощью инструкции USER.
USER 1000

Шаг 7: Задание команды входа
Наконец, необходимо указать, какая команда должна быть выполнена при запуске контейнера. Мы хотим выполнить исходный код нашего приложения, поэтому используем инструкцию CMD.
CMD ["python", "app.py"]

После выполнения этих шагов можно собрать образ Docker с помощью следующей команды:
docker build -t my-python-app .

Для запуска контейнера можно воспользоваться следующей командой:
docker run -p 8080:80 my-python-app

Это приведет к запуску контейнера и открытию порта 8080 на хост-машине. Теперь вы можете получить доступ к своему приложению по адресу http://localhost:8080.

Ниже приведен пример Dockerfile для простого Python-приложения:
FROM python:3.11-slim
RUN groupadd -g 1000 python && \
useradd -r -u 1000 -g python python
COPY requirements.txt .
RUN pip install -r requirements.txt
RUN mkdir /app && chown python:python /app
WORKDIR /app
COPY app.py .
USER 1000
CMD ["python", "app.py"]

Для создания образа Docker необходимо выполнить следующую команду:
docker build -t my-python-app .

Для запуска контейнера необходимо выполнить следующую команду:
docker run -p 8080:80 my-python-app

Это приведет к запуску контейнера и открытию порта 8080 на хост-машине. После этого вы сможете получить доступ к своему приложению по адресу http://localhost:8080.

Вот несколько дополнительных советов по контейнеризации Python-приложений:

⬅️ Используйте многоступенчатую сборку, чтобы отделить процесс сборки от среды выполнения. Это позволит сделать образ Docker меньше и эффективнее.
⬅️ Используйте тома для монтирования каталогов с хост-машины в контейнер. Это позволит разрабатывать и отлаживать приложение внутри контейнера без необходимости пересобирать образ при каждом изменении.
⬅️ Использовать реестр Docker для хранения и совместного использования образов Docker.

🖥 Универсальный алгоритм расчета потерь рабочего времени на Python

1. Постановка задачи, частные решения и их проблемы

2. Описание алгоритма

Разберём пошагово наш алгоритм.

Шаг 1:

Представим наш график как список словарей по временным отсечкам для каждого дня недели в следующем виде:

[{time: время, flag: цвет флага, start_finish: ‘’}]

◾️ время согласно графику работы: часы, минуты;
◾️ цвет флага: зелёный – после него время нужно учитывать, красный – после него время учитывать не нужно;
◾️ ‘’ – этому элементу позже будет присвоено значение «старт» или «финиш», в зависимости от того точка А или точка В расположена левее данной временной отсечки.

Для удобства восприятия покажем только values, но подразумеваем, что keys и фигурные скобки тоже присутствуют. В нашем случае получится следующий результат:

Понедельник:
[{time: 10:00, flag: зелёный, start_finish: ‘’},
{time: 19:00, flag: красный, start_finish: ‘’},
{time: 13:00, flag: красный, start_finish: ‘’},
{time: 14:00, flag: зелёный, start_finish: ‘’}]
И так для каждого дня.

Таким образом, на этом этапе нужно составить словарь, включающий режим работы по дням недели с учетом обеденного перерыва. Мы сознательно не приводим код для этой части работы, поскольку, по сути, это подготовка данных, а не сам алгоритм расчета потерь времени. Эта часть зависит от формата представления исходных данных.

Шаг 2:

Схожим образом представим точки A и B:
[{time: дата + время, flag: ‘’, start_finish: старт/финиш}]
▪️дата + время: год, месяц, день, часы, минуты;
▪️‘’ – на место этого элемента в дальнейшем будет подставлен красный или зелёный флаг, (по цвету флага ближайшего соседа слева на временной шкале);
▪️старт/финиш: старт – это точка А, финиш – В.

A: {time: 01.03.2023 11:00, flag: ‘’, start_finish: ‘старт’}
B: {time: 02.03.2023 11:00, flag: ‘’, start_finish: ‘финиш’}

Шаг 3:

Определим все дни между точками A и B включительно и подтянем из графика работы по этим дням все флаги, а также сами точки А и В. Данные из нашего примера превратятся в список. Теперь ключевой момент, на котором, собственно, и строится весь алгоритм: отсортируем список по возрастанию даты и времени. Это важно, т.к. позволит нам идти в цикле от отсечки к отсечке, проверяя, нужно ли включать следующий за ней отрезок в расчет.

[{time: 01.03.2023 10:00, flag: ‘зелёный’, start_finish: ‘’}
{time: 01.03.2023 11:00, flag: ‘’, start_finish: ‘старт’}
{time: 01.03.2023 13:00, flag: ‘красный’, start_finish: ‘’}
{time: 01.03.2023 14:00, flag: ‘зелёный’, start_finish: ‘’}
{time: 01.03.2023 19:00, flag: ‘красный’, start_finish: ‘’}
{time: 02.03.2023 10:00, flag: ‘зелёный’, start_finish: ‘’}
{time: 02.03.2023 13:00, flag: ‘красный’, start_finish: ‘’}
{time: 02.03.2023 13:30, flag: ‘’, start_finish: ‘финиш’}]

Код для шагов 2 и 3:

Подробнее

📱 Как защитить телеграм бота от атак и перегрузок.

Данный урок раскроет способы обеспечения безопасности телеграм-бота на Python.

• Видео

@pro_python_code

🖥 Асинхронный парсер Хабра на Python

• Видео
• Код парсера

@pro_python_code

⚡️ Развертывание приложений Python в Azure

Будучи инженером облачных технологий, который увлекается разработкой приложений, я недавно задумался над тем, как превращать локальные прототипы/приложения в ценные инструменты, доступные другим членам организации и особенно полезные в корпоративных средах.
Покажу, как легко можно запустить такие инструменты в облаке!

Зачем это нужно?
Часто бывает так, что талантливый программист или инженер натыкается на полезную библиотеку, фреймворк или инструмент, создает очень эффектную демо-версию, показывает ее своей команде — и на этом все заканчивается. Почему? Это может быть связано с целым рядом факторов, включая:

▪️неопределенность в отношении затрат;
▪️отсутствие идей по запуску инструмента в работу;
▪️неуверенность в учете всех ключевых моментов.

Цель этой статьи — доказать, что выбрать фреймворк, создать с ним приложение и доставить его конечным пользователям можно довольно легко. В данном случае нашим выбором будет Streamlit — популярный фреймворк, помогающий создавать веб-приложения для визуализации данных.

Смысл статьи заключается в том, чтобы предложить отличный способ создания приложений, который недостаточно используется. На самом деле большинство SaaS/PaaS-инструментов, таких как Power BI и Dynamics, подойдут вам в ряде случаев — будь то создание дашбордов, разработка приложения типа CRUD или чего-то еще. Однако если вы хотите использовать действительно крутые приложения (и при этом легко их создавать) и делать их доступными для других людей, читайте дальше!

Что такое Streamlit и почему его стоит использовать?
Лучшее описание этого инструмента дано на сайте Streamlit: это фантастическая библиотека для разработки веб-приложений, предназначенных для взаимодействия с данными.

Лично мне Streamlit нравится по двум причинам.

• Streamlit проще в использовании, чем многие другие инструменты. Это очень простая библиотека по созданию приложений для работы с данными. В нее можно очень легко включать компоненты, созданные в других библиотеках, таких как Seaborn и Altair.
• Streamlit имеет презентабельный вид. Большинство пользователей библиотеки считают, что в ней есть je ne sais quoi (фр. — нечто, невыразимое словами, но моментально покоряющее, убеждающее в качестве). Streamlit легко использовать благодаря высокому качеству доступной документации.

Следует подчеркнуть, что ни один инструмент, библиотека или фреймворк не является панацеей для решения всех проблем. Какую библиотеку выбрать и когда — это отдельный разговор, и мы не будем заострять на нем внимание. То, что будет продемонстрировано здесь, применимо и к другим фреймворкам на других языках.

Как запустить приложение?

📌 Читать

🖥 Django начало работы

▪ Video

@pro_python_code

❤️ Парсер телеграм каналов на Python. Гайд по написанию мощного бота.

▪Видео

@pro_python_code

🖥 Django создание модели. Вывод даных на страницу

https://www.youtube.com/watch?v=hjoh29epXXA

@pro_python_code