Настраиваем паука для сбора данных: как работает фреймворк Scrapy

В Tproger разобрали основные компоненты этого популярного скрейпера — пауки, пайплайны и middleware на примерах. Если продукт действительно хорош, то для него не жалко и на разных ЯП клиенты писать.

#инструмент

@zen_of_python

Positron | IDE для «поклонников данных»

Это перспективная среда разработки, которая предлагает:
— удобную среду для обращения с ноутбуками локально;
— поддержку тысяч плагинов, включая ИИ-копайлоты;
— темную тему;
— фокус на Python и R и многое другое.

Несмотря на некоторые ограничения, она активно развивается и может стать отличной альтернативой существующим решениям.​

Самое оно побаловаться, когда PyCharm выбесил, в очередной раз «заморозился».

#инструмент
@zen_of_python

py.checkio.org | Игра для освоения языка

При поддержке JetBrains сделали годную игру про Python. Там вы познакомитесь с основными концепциями языка на примерах и закрепите знания с помощью небольших задачек. Можно даже отнести игру к жанру RPG. Пожалуй, самый нескучный способ учиться.

На сайт игры
#обучение
@zen_of_python

В PyPI нашли библиотеку для MEXC, которая помогала… красть крипту у установивших

Вредоносный пакет ccxt-mexc-futures маскировался под легитимное расширение для автоматизации торговли криптовалютами. Пакет крал API-ключи пользователей и управлял их ордерами, перенаправляя запросы на поддельный сервер. 

Воистину, в эпоху «Девятого вала контента» пропустить такой зловред при установке инструментария легче легкого.

#безопасность

@zen_of_python

Вопросы подписчиков

Zen of Python поддерживает новоприбывших (и не только) в особой рубрике. Как это работает:

— Спрашивайте что угодно (в комментариях под этим постом), связанное с Python. Здесь нет плохих вопросов!
— Сообщество вас поддержит. Самые интересные вопросы мы разберём в отдельном посте;

#вопросы_новичков

@zen_of_python

Сегодня можно и spam, и eggs — и не только в коде!

С Пасхой, питонист!

@zen_of_python

Боюсь спросить, как выглядит Pascal Pascal

#кек
@zen_of_python

Second-Me | Самый солипсисткий пет-проект

Если о биологическом бессмертии пока рассуждают футуристы, то цифровое уже вполне реально, если вы можете позволить себе содержать свою LLM. Проект позволяет натренировать на любых данных о вас (переписки в мессенджерах, личный дневник и любые другие данные в любом формате). Такой цифровой двойник сможет общаться за вас в случае чего.

Репозиторий проекта
#инструмент
@zen_of_python

«Книги изменившие мир писатели объединившие поколения»

@ithumor

help(): что вы о ней не знали

Это несправедливо забытый инструмент для глубокого понимания не только встроенных объектов ЯП, но и вашего проекта. Она позволяет получать информацию о функциях, модулях, объектах, символах, ключевых словах и темах. В посте вас ждут небанальные примеры ее использования.


— Передача класса или его экземпляра в help() отображает документацию класса и его методов. Даже если класс самописный.

— Ключевые слова: чтобы освежить свои познания про тот или иной оператор, тоже подойдет help():

>>> help('for')

The "for" statement
*******************

The "for" statement is used to iterate over the elements of a sequence
(such as a string, tuple or list) or other iterable object:

   for_stmt ::= "for" target_list "in" starred_list ":" suite
                ["else" ":" suite]

— Ключевые слова:

>>> help('keywords')

Here is a list of the Python keywords.  Enter any keyword to get more help.

False        class        from         or
...

— Спецсимволы:

>>> help('symbols')

Here is a list of the punctuation symbols which Python assigns special meaning
to. Enter any symbol to get more help.

!=            +             <<=         _
...

python-docx | Обращаемся с MS Word

Если вам не избежать Microsoft Word, то этот инструмент позволяет создавать, изменять и извлекать данные из документов (то есть все вариации CRUD — create, read, update, delete) с форматом .docx. Любая деталь вплоть до форматирования.

Цена: бесплатно
Репозиторий проекта

picows | WebSocket-клиенты

Если вам хочется развеяться в рамках Python и «переключиться на железо», эта библиотека как раз позволяет создавать WebSocket-клиенты.

Это такая программа или компонент, который устанавливает постоянное двустороннее соединение, позволяя обмениваться данными в реальном времени без необходимости повторных запросов.​

Репозиторий проекта
#инструмент
@zen_of_python

Как создать надёжный софт, который будет работать в любых условиях?

29 апреля в 20:00 МСК на открытом вебинаре вы узнаете, как защитить свой код от проблем, которые могут возникнуть в реальной эксплуатации. А ещё:

— Как гарантировать отказоустойчивость приложений.
— Подходы к снижению влияния сбоев и ошибок в связанных сервисах.
— Основные приемы и инструменты для создания надежных систем.

Полезно для разработчиков, QA-инженеров и архитекторов.

Открытый урок пройдет в преддверие старта курса «Python Developer. Professional». Все участники получат скидку на обучение.

Регистрируйтесь прямо сейчас!

Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

try-except «укоротят»

Недавно приняли PEP 758, и там решили убрать скобочки при перечислении типов ошибок в try-except:


except (ExceptionA, ExceptionB, ExceptionC):

try:
    ...
except ExceptionA, ExceptionB, ExceptionC:
    ...

#факт
@zen_of_python

Pattern Matching в Python 3.13

Помимо No GIL и билдов для iOS-приложений, в новой версии были внесены улучшения в структурное сопоставление с образцом (Pattern Matching). Одним из ключевых нововведений стало более интуитивное сопоставление по атрибутам объектов.

Ранее для сопоставления объектов по их атрибутам требовалось использовать дополнительные методы или свойства, что усложняло код. С введением новой функциональности в Python 3.13 стало возможным напрямую сопоставлять объекты по их атрибутам в конструкции match-case.

match user:
    case User(name="Admin", role=AdminRole()) as admin:
        return admin.get_permissions()
    case User(name=name, role="editor") if is_senior(name):
        return editor_permissions()
    case _:
        return default_permissions()

- Если объект user является экземпляром класса User с атрибутом name, равным "Admin", и атрибутом role, являющимся экземпляром AdminRole, то он присваивается переменной admin, и вызывается метод get_permissions();
- Если user — это User с ролью "editor" и именем, удовлетворяющим условию is_senior(name), то возвращаются разрешения редактора.
- Во всех остальных случаях возвращаются разрешения по умолчанию.

Под капотом сопоставление по атрибутам работает следующим образом:

- Проверяется, является ли объект экземпляром указанного класса;
- Затем происходит попытка сопоставления указанных атрибутов объекта с заданными значениями или шаблонами;
- Если все условия выполняются, сопоставление считается успешным, и можно использовать переменные, полученные в результате сопоставления.

CUDA Python

CUDA — платформа параллельных вычислений, с ней мы можем запускать свой код на графических процессорах.

NVIDIA очнулась, и теперь предоставляет нативную поддержку Python для этой экосистемы. Ранее для запуска использовались C / C++ или сторонние обёртки.

Теперь Python — так называемый язык первого класса в CUDA. Для специалистов в области машинного обучения это означает ускорение вычислений на GPU.

#факт
@zen_of_python