🔥 Полезные библиотеки Python
Requests-HTML — максимально простая и интуитивно понятная библиотека для парсинга html включая асинхронный парсинг.
Установка:
Пример использования:
1️⃣
2️⃣
Из коробки поддерживает сохранение cookie файлов, имитирует user-agent, асинхронные запросы, JavaScript и д.р. плюшки.
⚙️ GitHub/Инструкция
#python #github #soft
Requests-HTML — максимально простая и интуитивно понятная библиотека для парсинга html включая асинхронный парсинг.
Установка:
$ pip install requests-html
Пример использования:
1️⃣
from requests_html import HTMLSession
session = HTMLSession()
r = session.get('https://python.org/')
2️⃣
from requests_html import AsyncHTMLSession
asession = AsyncHTMLSession()
async def get_pythonorg():
r = await asession.get('https://python.org/')
return r
async def get_reddit():
r = await asession.get('https://reddit.com/')
return r
async def get_google():
r = await asession.get('https://google.com/')
return r
results = asession.run(get_pythonorg, get_reddit, get_google)
results # check the requests all returned a 200 (success) code
[<Response [200]>, <Response [200]>, <Response [200]>]
for result in results:
print(result.html.url)
Из коробки поддерживает сохранение cookie файлов, имитирует user-agent, асинхронные запросы, JavaScript и д.р. плюшки.
⚙️ GitHub/Инструкция
#python #github #soft
🔥 Полезные библиотеки Python
MusicBot — интересный проект музыкального бота для Discord. Воспроизводит запрошенные песни с YouTube и других сервисов на сервере или нескольких серверах Discord. Кроме того, если очередь становится пустой, MusicBot проиграет список существующих песен с конфига.
Бот также позволяет конфигурировать права доступа для назначения ограничений различным пользователям.
⚙️GitHub/Инструкция
#python
MusicBot — интересный проект музыкального бота для Discord. Воспроизводит запрошенные песни с YouTube и других сервисов на сервере или нескольких серверах Discord. Кроме того, если очередь становится пустой, MusicBot проиграет список существующих песен с конфига.
Бот также позволяет конфигурировать права доступа для назначения ограничений различным пользователям.
⚙️GitHub/Инструкция
#python
Time it
Библиотека
Очень полезно сравнивать небольшие фрагменты кода и различные функции, но с большим кодом это может быть медленно.
Посмотрите пример на картинке, демонстрирующий разницу во времени выполнения двух очень похожих методов работы со списками.
Библиотека
timeit
отлично подходит для определения времени выполнения программ на Python. Просто передайте функцию в строковом формате методу timeit.timeit()
, и он сделает миллион выполнений, чтобы узнать минимальное время выполнения кода.Очень полезно сравнивать небольшие фрагменты кода и различные функции, но с большим кодом это может быть медленно.
Посмотрите пример на картинке, демонстрирующий разницу во времени выполнения двух очень похожих методов работы со списками.
Воспроизведение аудио
Собственная библиотека ОС Python также способна воспроизводить аудиофайлы. Если у вас есть проигрыватель по умолчанию, такой как VLC, он автоматически воспроизводит звук в этой программе.
Это можно легко использовать для создания сценариев, таких как супер крутой персональный будильник, предупреждение о сидячем положении, напоминание, программы мотивации и т.д.
Собственная библиотека ОС Python также способна воспроизводить аудиофайлы. Если у вас есть проигрыватель по умолчанию, такой как VLC, он автоматически воспроизводит звук в этой программе.
Это можно легко использовать для создания сценариев, таких как супер крутой персональный будильник, предупреждение о сидячем положении, напоминание, программы мотивации и т.д.
Делаем аналитику для бота с нуля
Подключение аналитики к боту является неотъемлемой частью развития и совершенствования чат-ботов. Оно позволяет превратить бота из простого инструмента коммуникации в мощный инструмент анализа данных. В этой статье рассмотрим все преимущества и возможности, которые открывает перед нами подключение аналитики к боту.
#python
Подключение аналитики к боту является неотъемлемой частью развития и совершенствования чат-ботов. Оно позволяет превратить бота из простого инструмента коммуникации в мощный инструмент анализа данных. В этой статье рассмотрим все преимущества и возможности, которые открывает перед нами подключение аналитики к боту.
#python
⚙️ secrets для генерации случайных чисел и символов
ℹ️ Хотя реализовать свои собственные функции кодирования сообщений может быть очень весело, они, вероятно, не будут соответствовать тем же стандартам, что и проверенные в боевых условиях функции в библиотеке secrets.
🗣️ Там вы найдёте всё необходимое для генерации случайных чисел и символов для самых сложных паролей, токенов безопасности и связанных с ними секретов.
🔗 Ссылка на док
ℹ️ Хотя реализовать свои собственные функции кодирования сообщений может быть очень весело, они, вероятно, не будут соответствовать тем же стандартам, что и проверенные в боевых условиях функции в библиотеке secrets.
🗣️ Там вы найдёте всё необходимое для генерации случайных чисел и символов для самых сложных паролей, токенов безопасности и связанных с ними секретов.
🔗 Ссылка на док
Media is too big
VIEW IN TELEGRAM
Нейронная сеть на Python с нуля
В этом ролике автор подробно и наглядно разбирает процесс создания нейронной сети на Python, без использования специальных нейросетевых фреймворков. Вы рассмотрите, как работает инференс в полносвязных слоях в терминах линейной алгебры, научитесь имплементировать его на Python и решите простую задачу классификации.
Смотреть это видео на youtube: youtu.be/xMz7XSaqdRA
В этом ролике автор подробно и наглядно разбирает процесс создания нейронной сети на Python, без использования специальных нейросетевых фреймворков. Вы рассмотрите, как работает инференс в полносвязных слоях в терминах линейной алгебры, научитесь имплементировать его на Python и решите простую задачу классификации.
Смотреть это видео на youtube: youtu.be/xMz7XSaqdRA
Сортировка выборкой
Этот алгоритм сегментирует список на две части: отсортированную и неотсортированную. Наименьший элемент удаляется из второго списка и добавляется в первый.
На практике не нужно создавать новый список для отсортированных элементов. В качестве него используется крайняя левая часть списка. Находится наименьший элемент и меняется с первым местами.
Теперь, когда нам известно, что первый элемент списка отсортирован, находим наименьший элемент из оставшихся и меняем местами со вторым. Повторяем это до тех пор, пока не останется последний элемент в списке.
По мере увеличения значения i нужно проверять меньше элементов.
Время сортировки
Затраты времени на сортировку выборкой в среднем составляют O(n²), где n — количество элементов списка.
Этот алгоритм сегментирует список на две части: отсортированную и неотсортированную. Наименьший элемент удаляется из второго списка и добавляется в первый.
На практике не нужно создавать новый список для отсортированных элементов. В качестве него используется крайняя левая часть списка. Находится наименьший элемент и меняется с первым местами.
Теперь, когда нам известно, что первый элемент списка отсортирован, находим наименьший элемент из оставшихся и меняем местами со вторым. Повторяем это до тех пор, пока не останется последний элемент в списке.
По мере увеличения значения i нужно проверять меньше элементов.
Время сортировки
Затраты времени на сортировку выборкой в среднем составляют O(n²), где n — количество элементов списка.
📣 Шпаргалка по регулярным выражениям
В данной шпаргалке собрано большое количество информации от специальных символов до объектов и флагов
В данной шпаргалке собрано большое количество информации от специальных символов до объектов и флагов
Media is too big
VIEW IN TELEGRAM
▶️ Импорт стандартных модулей | Команды import и from
В видео познакомимся с порядком импорта стандартных модулей языка Python с помощью команд
👀 Смотреть на YouTube
В видео познакомимся с порядком импорта стандартных модулей языка Python с помощью команд
import
и from
👀 Смотреть на YouTube
Media is too big
VIEW IN TELEGRAM
▶️ Замыкания в Python
В видео разберем что такое замыкания, как они работают и примеры их использования в практике программирования.
🖥 Смотреть на YouTube
В видео разберем что такое замыкания, как они работают и примеры их использования в практике программирования.
🖥 Смотреть на YouTube
📣 Реализация сверточной нейронной сети при помощи Keras
Keras – это простая в использовании, но мощная библиотека глубокого обучения для Python.
В этом посте мы построим простую сверточную нейронную сеть (CNN) и обучим ее решению реальной задачи с помощью Keras
🖥 Читать подробнее
Keras – это простая в использовании, но мощная библиотека глубокого обучения для Python.
В этом посте мы построим простую сверточную нейронную сеть (CNN) и обучим ее решению реальной задачи с помощью Keras
🖥 Читать подробнее
Настраиваемый логгер-декоратор
Начнем с примера использования. Так мы не перегружаем внимание внутренней сложностью и повышаем шансы создать удачный интерфейс модуля. На этом принципе основана разработка через тестирование — test-driven development (TTD).
У класса
Начнем с примера использования. Так мы не перегружаем внимание внутренней сложностью и повышаем шансы создать удачный интерфейс модуля. На этом принципе основана разработка через тестирование — test-driven development (TTD).
У класса
Logger
есть метод log_msg()
, который можно использовать напрямую внутри функций.Explicit Conversion Flag
Флаг явного преобразования используется для преобразования значения поля
Это поле можно использовать для переопределения поведения
В примере, в случае с флагом
#repr #str #format
Флаг явного преобразования используется для преобразования значения поля
format
перед его непосредственным форматированием.Это поле можно использовать для переопределения поведения
format
для какого либо конкретного типа и форматирования значения. В настоящее время распространены два явных флага преобразования:!r
– преобразует значение в строку, используя функцию repr()
!s
– преобразует значение в строку, используя функцию str()
В примере, в случае с флагом
!r
строка 'Hello'
будет напечатана с кавычками в поле шириной не менее 20 символов, а в случае с флагом !s
– без кавычек (в более удобном для чтения виде).#repr #str #format
Media is too big
VIEW IN TELEGRAM
Скачивание файлов при парсинге сайтов на Python
В этом видеоуроке автор подробно и наглядно разбирает, как парсить каталоги и страницы всего сайта,
после чего скачивать все найденные картинки на компьютер.
Вы научитесь находить необходимые элементы
на странице, рассмотрите модули requests, bs4 (BeautifulSoup), fake-useragent, multiprocessing, структуру requests запросов и процесс передачи заголовков и данных на сайт.
Смотреть это видео на youtube: youtu.be/r61fuLk3LNM
В этом видеоуроке автор подробно и наглядно разбирает, как парсить каталоги и страницы всего сайта,
после чего скачивать все найденные картинки на компьютер.
Вы научитесь находить необходимые элементы
на странице, рассмотрите модули requests, bs4 (BeautifulSoup), fake-useragent, multiprocessing, структуру requests запросов и процесс передачи заголовков и данных на сайт.
Смотреть это видео на youtube: youtu.be/r61fuLk3LNM