👣 Code Mining исходного кода c Python

В настоящее время все больше и больше развиваются технологии анализа программного кода. Разработано большое количество различных библиотек, методов и подходов для выявления уязвимостей и «узких» мест в коде.

С целью «прокачки» технологии Code Mining мы приняли участие в соревновании DataScienceChallenge. Участникам данного соревнования предстояло провести анализ 3 риск-стратегий (кредитного потенциала кредитных карт; кредитного потенциала потребительских кредитов; стратегии принятия решения по участникам, объектам недвижимости и контрагентам ипотечной заявки) и выявить их уязвимости (возможные ошибки в логике кода, неисполняемые части, и др.), а также определить чувствительность и взаимосвязи переменных.

Для поиска отклонений были использованы следующие подходы:

Динамический и статический анализ кода (анализ кода, производимый без реального выполнения исследуемых программ).
Анализ схожести (clone detection) и заимствований.
Оценка качества исходного кода.
Анализ код-артефактов (комментарии, пул-реквесты, код-ревью, объем рефакторинга и т.д.).

➡️ Читать дальше

@pro_python_code

🔥 Полезнейшая Подборка каналов

🖥 Python

@pythonl
@pro_python_code – погружение в python
@python_job_interview – подготовка к Python собеседованию
@python_testit тесты на python
@pythonlbooks - книги Python
@Django_pythonl django
@python_djangojobs - работа Python

🖥 Machine learning
@ai_machinelearning_big_data – все о машинном обучении
@data_analysis_ml – все о анализе данных.
@machinelearning_ru – машинное обучении на русском от новичка до профессионала.
@machinelearning_interview – подготовка к собеседования Data Science
@datascienceiot – бесплатные книги Machine learning
@ArtificialIntelligencedl – канал о искусственном интеллекте
@neural – все о нейронных сетях
@machinee_learning – чат о машинном обучении
@datascienceml_jobs - работа ds, ml

🖥 Java
@javatg - Java для програмистов
@javachats Java чат
@java_library - книги Java
@android_its Android разработка
@java_quizes - тесты Java
@Java_workit - работа Java
@progersit - шпаргалки ит

🖥 Javascript / front
@javascriptv - javascript изучение
@about_javascript - javascript продвинутый
@JavaScript_testit -тесты JS
@htmlcssjavas - web
@hashdev - web разработка

👣 Golang
@golang_interview - вопросы и ответы с собеседований по Go. Для всех уровней разработчиков.
@Golang_google - go для разработчиков
@golangtests - тесты и задачи GO
@golangl - чат Golang
@GolangJobsit - вакансии и работа GO
@golang_jobsgo - чат вакансий
@golang_books - книги Golang
@golang_speak - обсуждение задач Go

🖥 Linux
@linux_kal - чат kali linux
@linuxkalii - linux kali
@linux_read - книги linux

👷‍♂️ IT работа

@hr_itwork - ит-ваканнсии

🖥 SQL
@sqlhub - базы данных
@chat_sql - базы данных чат

🤡It memes
@memes_prog - ит-мемы

⚙️ Rust
@rust_code - язык программирования rust
@rust_chats - чат rust

#️⃣ c# c++
@csharp_ci - c# c++кодинг
@csharp_cplus чат

📓 Книги

@programming_books_it
@datascienceiot
@pythonlbooks
@golang_books
@frontendbooksit
@progersit
@linux_read
@java_library
@frontendbooksit

📢 English for coders

@english_forprogrammers - Английский для программистов

🖥 Github
@github_code

🖥 Создание API с помощью Django и Django Rest Framework

➡️ Создание проекта
➡️ Настройка базы данных
➡️ Создание моделей
➡️ Активация моделей
➡️ Простой API с чистым Django
➡️ Сериализация и десериализация данных
➡️ Создание пользователя
➡️ Настройка схемы аутентификации
➡️ Тестирование и непрерывная интеграция и много чего интересного

📖 Скачать

@pro_python_code

🖥 Web-разработка на Python.Что проще Flask?

В моей работе часто встречаются задачи обработки большого количества данных. Хорошей практикой является визуализировать работу программы. Вместо всем наскучивших консольных приложений можно быстро создать статичное веб-приложение.

В моей работе часто встречаются задачи обработки большого количества данных. Хорошей практикой является визуализировать работу программы. Вместо всем наскучивших консольных приложений можно быстро создать статичное веб-приложение.

Для этого подходит микрофреймворк Flask, написанный на Python.

Этот фреймворк позволят быстро создавать простые сайты, подключать к ним базы данных, использовать все возможности Python для удобной разработки. С его помощью можно писать не только маленькие сайты, но и крупные масштабируемые веб-приложения, используя все возможные расширения.

Покажу простоту использования Flask на примере разработки сайта, определяющего регион и оператор телефонной связи по номеру телефона.

↪️ Читать дальше
📓 Учебник по Flask

@pro_python_code

🖥 Inline SQL

Простой встроенный модуль для запуска встроенного SQL для Python.

pip install inline-sql

➡️ Github

@pro_python_code

💻 Извлечение таблиц из pdf с помощью camelot

На сайте Newtechaudit.ru описывались различные способы извлечения таблиц с данными из pdf-файлов в excel. В частности, с помощью python-библиотеки camelot (как здесь).

Рассмотрим расширенные возможности camelot, позволяющие распознать большую таблицу со сложной структурой. А также покажем, как использовать библиотеку PyMuPDF в качестве бэкэнда для конвертации pdf в png.

Следует учесть, что сamelot может распознавать только так называемые text-based pdf файлы. То есть те, внутри которых можно выделять текст. Если pdf является сканом, то camelot не сработает.

➡️ Читать дальше
➡️ Github

@pro_python_code

✔️ Цветной Pythоn

Бывает, во время работы на Pythоn требуется вывести большое количество информации в терминал. Среди всего объема текста нас интересует конкретное выражение или даже символ. Как выделить интересующую нас сущность в тексте, не отделяя от контекста? Сейчас расскажу.

Самым лучшим инструментом выделения конечно же является цвет. И в Pythоn есть возможность разнообразить вывод добавив краски.

Нативный вариант раскраски вывода в Pythоn – добавление ANSI подстроки формата ‘\033[__m’ в функцию print, где XX- код цвета/ стиля.

➡️ Читать дальше
➡️ Github

@pro_python_code

🖥 Лайфхаки Python: сэкономить память и ускорить выполнение программы

Python часто ругают за то, что он медленный. Однако в нем существует несколько подходов, которые позволяют писать достаточно быстрый код. Сегодня поговорим про обработку списков.

TL;DR Используйте списковые включения (list comprehensions), генераторные выражения (generator expressions) и генераторы везде, где только можно. Это поможет сэкономить память и время выполнения программы.

➡️ Читать дальше

@pro_python_code

🖥 3 приема для определения функций в Python

Основа любого приложения — данные. Если вы создаете социальную сеть, то данными являются пользователи и их друзья. При разработке игры в качестве данных выступают графика и пользовательские операции. А в случае с интернет-магазином данными становятся информация о товаре и клиенте. И это лишь несколько примеров из повседневной жизни.

В необработанном виде данные не имеют особого значения. Прежде чем их представить, необходимо определить специальные операции для их обработки. Как правило, такие операции принимают форму функции, некого блока кода, который принимает входные данные, выполняет операции и на выходе выдает результат. Можно сказать, что функции — это главная движущая сила любого проекта.

В статье мы рассмотрим 3 полезных приема, которые пригодятся Python-программистам при написании функций.

Обратите внимание, что данный материал не содержит общепринятые лучшие практики определения функций, такие как продуманные имена, конкретно предусмотренные цели (а не смешанные задачи) и грамотные строки документации docstrings. Статья рассматривает вопрос с более технической точки зрения.

Прервем потоки слов и приступим сразу к делу!

➡️ Читать дальше

@pro_python_code

🖥 Сорок семь передовых методов рефакторинга для улучшения кода Python

Мы рассмотрим методы и фрагменты кода для документации Python, кодирования, тестирования, проверки и непрерывной интеграции.

Есть примеры кода Python до и после, в которых применяется каждый метод.

➡️ Читать дальше

@pro_python_code

🖥 ​​Mercury

Поделитесь своим Python Notebook в качестве веб-приложения

Mercury — это идеальный инструмент для преобразования Python Notebook в интерактивное веб-приложение и совместного использования с непрограммистами. Благодаря ему даже простые пользователи смогут взаимодействовать с данными, используя привычный и понятный интерфейс.

pip install mljar-mercury

➡️ Github
📄 Документация

@pro_python_code

🖥 Понимание lambda-функций в Python с примерами

Как известно, мы используем функции для автоматизации процессов в программном обеспечении.

Lambda-функции на самом деле просто известны как анонимные функции. Таким образом, принимая любое количество аргументов, мы получаем в результате выражение.

По сути, lambda-функция, которая принимает параметр x и возвращает его, выглядит так:

func = lambda x : x
Обратите внимание, как мы используем здесь ключевое слово lambda. И это по сути та же самая ситуация, когда функция, определенная в python, просто возвращает себя:

def func(x):
return x
А теперь давайте приведем еще один пример того, какие другие варианты использования lambda могут быть в одной и той же строке в быстрой последовательности:

print((lambda x: x + 10)(90))
output:
100

➡️ Читать дальше

@pro_python_code