🖥 Awesome-Web-Scraping

Список куртых инструментов, библиотек и веб-сервисов, используемых при парсинге и обработке данных.

▪Github

@pythonl

🖥 5 полезных расширений VScode для работы с документацией Python и не только 🌟

⏩Draw.io Integration
Хорошо подходит для работы со сложными диаграммами: сперва можно создать диаграмму в десктопной версии Draw.io, а потом доработать ее в VScode с помощью расширения Draw.io Integration.

⏩Quarto
Quarto — крутая штука для работы с документацией под R, Python, Julia и Observable. Расширение Quarto для VScode поможет редактировать и рендерить QMD-файлы. В нем есть режим предварительного просмотра, который позволяет менять код документа и одновременно просматривать результат.

⏩Jupyter
Jupyter — один из самых популярных фреймворков для создания заметок, особенно в Python. Кстати, Jupyter классно работает вместе с документацией Quarto для Python. Расширение VScode Jupyter интегрирует заметки Jupyter в редактор VScode и поддерживает ipynb-файлы.

⏩Markdown All in One
С расширением Markdown All in One удобно редактировать документацию в формате Markdown. Оно располагает два окна рядом: редактор кода и тут же результат.

⏩Mermaid
Mermaid особенно полезен, если вам нужно создать структуру кодовой базы или динамическую диаграмму. В VScode есть два расширения для работы с файлами Mermaid — Mermaid Preview и Markdown Preview Mermaid Support.

@pythonl

🖥 Развивающийся интерпретатор RustPython

🔥 Относительно недавно стал доступен выпуск проекта RustPython 0.3, развивающего интерпретатор языка программирования Python, написанный на языке Rust. RustPython нацелен на обеспечение совместимости с CPython 3.11 и более новыми выпусками.

Проект основал Shing Lyu, один из разработчиков движка Servo и участник перевода CSS-движка Firefox на компоненты, написанные на языке Rust. Для оценки текущего состояния разработки можно использовать web-интерфейс с интерпретатором RustPython, скомпилированным в WebAssembly. Код распространяется под лицензией MIT.

RustPython состоит из парсера кода на Python в абстрактное синтаксическое дерево (AST), компилятора AST в байткод и виртуальной машины для выполнения байткода. Для ускорения выполнения предоставляется начальная реализация JIT-компилятора, преобразующего python-функции в машинный код. Поддерживается компиляция RustPython в форму универсального WASI-модуля на WebAssembly, который может запускаться в различных операционных системах.

Проектом также предоставляются средства для интеграции кода на языке Python в проекты на языке Rust, без применения биндингов на основе CPython - RustPython позволяет встраивать Python-конструкции непосредственно в код на языке Rust и использовать Python в качестве языка скриптинга в приложениях.

▶️Из проектов, уже использующих RustPython, отмечаются СУБД GreptimeDB, игровой движок pyckitup, игра Robot Rumble и linter Ruff.

🖥 GitHub

@pythonl

🖥 Полезная статья по классам и объектам в Python

⏩В этой статье очень подробно описывается работа с объектами и классами в Python, рассказывается о таких вещах как:
— конструкторы
— атрибуты объекта
— методы классов
— деструкторы

В целом, очень полезно, рекомендую)

📎 Статья

@pythonl

🖥 Полезное руководство о #! в Python

🟡Когда вы читаете чужой Python код, то часто видите загадочную строку, которая всегда появляется вверху файла и начинается с характерной последовательности shebang #!.

🟡Короче говоря, shebang — это комментарий особого типа, который вы можете включать в исходный код, чтобы указать оболочке операционной системы, где найти интерпретатор для остальной части файла:

#!/usr/bin/python3

print("Hello, World!")

🟡Если вы используете shebang, он должен размещаться в первой строке вашего скрипта и должен начинаться со знака решётки #, за которым следует восклицательный знак !, известный как bang, отсюда и название shebang.

🟡Shebang имеет отношение только к исполняемым сценариям, которые вы хотите выполнять без явного указания программы для их запуска. Обычно вы не помещаете shebang в модуль Python, который содержит только определении функций и классов, предназначенные для импорта из других модулей. Поэтому используйте shebang, если вы не хотите ставить перед командой, которая запускает ваш скрипт Python, префикс python или python3.

📎 Читать подробнее

@pythonl

💻 Уязвимость в библиотеке aiohttp уже привлекла внимание хакеров

🗄Исследователи предупреждают, что недавно исправленная уязвимость в Python-библиотеке aiohttp (CVE-2024-23334) уже взята на вооружение хакерами, включая вымогательские группировки, такие как ShadowSyndicate.

🗄aiohttp — это опенсорсная библиотека, построенная на основе I/O фреймворка Asyncio и предназначенная для обработки большого количества одновременных HTTP-запросов без традиционного потокового нетворкинга. aiohttp часто используется технологическими компаниями, веб-разработчиками, бэкенд-инженерами и специалистами по анализу данных для создания высокопроизводительных веб-приложений и сервисов, объединяющих данные из множества внешних API.

🗄В конце января 2024 года aiohttp обновилась до версии 3.9.2, в которой устранили уязвимость CVE-2024-23334. Это path traversal баг, затрагивающий все версии aiohttp (начиная с 3.9.1) и старше, который позволяет удаленным злоумышленникам без авторизации получить доступ к файлам на уязвимых серверах.

🗄Проблема связана с недостаточной проверкой при установке follow_symlinks в значение True для статичных маршрутов, что позволяет получить несанкционированный доступ к файлам за пределами статичного корневого каталога сервера.

🗄В конце февраля текущего года на GitHub появился PoC-эксплоит для CVE-2024-23334, а в начале марта на YouTube было опубликовано подробное видеоруководство по эксплуатации бага.

🗄Как теперь сообщают аналитики компании Cyble, их сканеры обнаруживают попытки эксплуатации CVE-2024-23334 начиная с 29 февраля, и атаки лишь усилились в марте. В основном попытки сканирования исходят с пяти IP-адресов, один из которых ранее был отмечен в отчете Group-IB и связан с вымогательской группировкой ShadowSyndicate.

@linuxkalii

🖥 Python Mini Projects: a collection of projects to help you improve your programming skills.


Мини-проекты на Python.

Коллекция простых небольших проектов на Python, которые помогут вам улучшить свои навыки программирования.

🖥 Github

@pythonl