🔍 Анализ данных для задач НЛП

• Для успешного NLP-проекта одним из важнейших этапов является предварительная обработка данных. В этой статье мы рассмотрим все шаги, связанные с анализом данных для любой задачи НЛП.

• Для анализа данных мы можем использовать статистические методы, вычислительные алгоритмы, чтобы обработать данные и повысить производительность модели. Шаги, описанные в этом посте, могут быть использованы для анализа данных для любой задачи НЛП.

Настройка среды
▪Первым шагом любого проекта является настройка среды, т.е. установка важных пакетов и импорт важных библиотек.
!pip install nltk
!pip install pandas

import pandas as pd
import nltk
from nltk.tokenize import sent_tokenize,word_tokenize
from nltk.stem import PorterStemmer
from nltk.corpus import stopwords
import re

Обзор данных
▪Следующим этапом проекта будет загрузка датасета. В данном случае мы будем использовать набор данных твитов о катастрофах из Kaggle.
▪Мы можем загрузить наш датасет с помощью библиотеки pandas.

df = pd.read_csv("/train.csv")

▪Для того чтобы получить общее представление о данных, мы можем просмотреть верхние строки набора данных с помощью функции head в pandas:

df.head(10)

Для анализа столбца ключевых слов мы используем библиотеку seaborn, которая позволяет визуализировать распределение ключевых слов и их корреляцию с целью.

plt.figure(figsize=(10,70))
sns.countplot(data=df,y="keyword",hue="target",saturation=0.50)
plt.legend(bbox_to_anchor=(1.02, 1), loc='upper left', borderaxespad=0)
plt.show()

📌 Продолжение

@pro_python_code

🐍 Python 3.13.0a0 Что нового?

Захватывающие возможности

В настоящее время Python 3.13.0a0 находится в стадии разработки и содержит ряд новых возможностей и улучшений. В этой статье мы рассмотрим некоторые из новых возможностей Python 3.13.0a0 и приведем несколько примеров кода для начала работы.

Самой последней версией является 3.11.4, а 3.12 находится в стадии раннего предварительного просмотра. Вы можете лучше понять Python 3.13.0a0, прочитав эти статьи о Python 3.11.4 и Python 3.12.

Новые возможности
Новых модулей пока нет, но есть несколько улучшенных модулей: array, io, pathlib, traceback, typing.

• массив: Код типа ‘w’ можно использовать для строк Unicode.
• io: метод close() финализатора theio.IOBase теперь регистрирует ошибки с помощью sys.unraisablehook.
• pathlib: Добавлены изменения в pathlib.PurePath.match(), pathlib.Path.glob() и rglob().
• tracebackВ traceback.TracebackException.format_exception_only() добавлен параметр show_group.
• typing: typing.get_protocol_members() был добавлен набор членов, определяющих typing.Protocol. typing.is_protocol() был добавлен для проверки того, является ли класс typing.Protocol.

Оптимизация производительности
Из программы PEP 594:

Утраченные функции:
1. Утрата методов wave.Wave_read и wave.Wave_write
2. Устранение аргументов ключевых слов при создании классов typing.NamedTuple
3. Устранение использования функционального синтаксиса при создании классов typing.NamedTuple и typing.TypedDict
4. Утрата кода формата массива ‘u’.
5. Утрата функций ctypes.SetPointerType() и ctypes.ARRAY()

Удаленные функции
1. Удаление модуля telnetlib.
2. Удаление программы 2to3 и модуля lib2to3.
3. Удаление пространств имен typing.io и typing.re.
4. Удаление класса webbrowser MacOSX
5. Удаление поддержки использования объекта pathlib.Path в качестве менеджера контекста
6. Удаление класса configparser.LegacyINterpolation.
7. Удаление метода turtle.RowTurtle.settiltangle().
8. Удаление некоторых функций unittest
9. Удаление модулей cgi и cgitb
10. Удалены различные модули и пакеты, такие как sndhdr, pipes, ossaudiodev, mailcap, spwd, nntplib, nis, xdrlib, msilib, crypt, uu, aifc, audioop, chunk, imghdr, unittest.TestProgram.usageExit(), tkinter. tix, макросы trashcan, locale.resetlocale(), logging.Logger.warn(), параметры urllib.request.urlopen(), атрибут webbrowser.MacOSXOSAScript._name, функция re.template и флаг re.TEMPLATE

Изменения в API на языке C
Утратил актуальность:
Утратили свою актуальность старые функции инициализации Python, такие как

PySys_ResetWarnOptions()
PY_NAME_GetExecPrefix()
Py_GetPath()
Py_GetPrefix()
Py_GetProgramFullPath()
Py_GetProgramName()
Py_GetPythonHome()
Утратила актуальность функция Py_ImportModuleNoBlock(), удаление которой запланировано в Python 3.15. Удалены:

Удалено:
Удалены функции, устаревшие в Python 3.9, такие как PyEval_CallObject(), PyEval_CallObjectWithKeywords(), PyEval_CallFunction(), PyEval_CallMethod() иPyEval_CFunction_Call().

Следующие старые функции для настройки инициализации Python, устаревшие в Python 3.11, были удалены:
• PySys_AddWarnOptionUnicode(): Вместо этого используйте PyConfig.warnoptions.
• PySys_AddWarnOption(): Вместо этого используйте PyConfig.warnoptions.
• PySys_AddXOption(): Использовать PyConfig.xoptions.
• PySys_HasWarnOptions(): Вместо этого используйте PyConfig.xoptions.
• PySys_SetArgvEx(): Вместо этого установите PyConfig.argv.
• PySys_SetArgv(): Установить вместо PyConfig.argv.
• PySys_SetPath(): Установить вместо PyConfig.module_search_paths.
• Py_SetPath(): Вместо этого установить PyConfig.module_search_paths.
• Py_SetProgramName(): Вместо этого установить PyConfig.program_name.
• Py_SetPythonHome(): Вместо этого установить PyConfig.home.
• Py_SetStandardStreamEncoding(): Установить вместо PyConfig.stdio_encoding.
• _Py_SetProgramFullPath(): Установить вместо PyConfig.executable.

@pro_python_code

⚡Легкий способ получать свежие обновлении и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:


Машинное обучение: @ai_machinelearning_big_data
Go: @Golang_google
C#: @csharp_ci
Базы данных: @sqlhub
Python: @pythonl
C/C++/: @cpluspluc
Data Science: @data_analysis_ml
Devops: @devOPSitsec
Rust: @rust_code
Javascript: @javascriptv
React: @react_tg
PHP: @phpshka
Docker: @docker
Android: @android_its
Мобильная разработка: @mobdevelop
Linux: linuxacademy
Big Data: t.me/bigdatai
Хакинг: @linuxkalii
Java:@javatg
Собеседования: @machinelearning_interview


💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy

🔥ИТ-Мемы: t.me/memes_prog

🇬🇧Английский: @english_forprogrammers

🟡 Дайджест полезных материалов из мира :python за неделю

Почитать:
— Стейты, БД и логи — разбираем шаблон диалогового Телеграм бота
— Python 3.13.0 Что нового?
— Как я научил искусственный интеллект создавать барабанные партии
— Расширение возможностей веб-приложений с помощью
WebAssembly и Python
— Советы и рекомендации по работе с Python
— Проектирование и добавление функционала в концепт ForTeаToo (42)
— Простая нейронная сеть без библиотек и матриц. Эволюционный алгоритм
— Прикладное использование теории построения информационно-исторических систем
— Простая нейронная сеть без библиотек и матриц. Обучение с учителем
— Гиперпараметрический поиск и оптимизация моделей
— Теория разработки информационно-исторических систем с реализацией концепта
— Как дообучить LLaMA бесплатно и без программирования: как создать тупого друга
— Introduction to Sets in Python
— How to Add Color to Old Black and White Movies and Images | using DeOldify
— A way to (actually) run Python code in ChatGPT
— What is Machine Learning?
— Webhook and Ansible
— Navigating Databases with Python: A Beginner-Friendly Guide
— Send Automated Emails (smtplib & Python) Through Lambda
— Benefits of hybrid search
— How to change desktop wallpaper in Python
— Generate Html code using python

Посмотреть:
🌐 Универсальный рецепт по написанию и аннотированию декораторов Python.

Хорошего дня!

@pro_python_code

🐍 Советы и рекомендации по работе с Python

• Упрощенный оператор if
m = 3

# don't use this
if m == 1 or m == 2 or m == 3 or m == 4:
print("if statement 1")

# use this
if m in [1, 2, 3, 4]:
print("if statement 1")

• Обмен двумя переменными
Python предоставляет возможность делать назначения и менять их местами в одной строке.
x, y = 5, 10
print(x, y) # 5 10

x, y = y, x
print(x, y) # 10 5

• Использование тернарного оператора для условного присваивания
Тернарные операторы – это краткое обозначение операторов if-else в одной строке.
# if_true if expression else if_false

condition = True
print("Condition is True" if condition else "Condition is False")

• Перечисление встроенных функций
С помощью перечислителей можно работать как с индексом, так и со значением, когда вы находитесь в цикле.
my_list = [10, 20, 30, 40]
for i, value in enumerate(my_list):
print(i, value)

# 0 10
# 1 20
# 2 30
# 3 40

• Функция Zip
Функция zip объединяет элементы из нескольких итерируемых объектов в кортежи.
list1 = [1, 2, 3, 4, 5]
list2 = [5, 4, 3, 2, 1]

print(zip(list1, list2))
# [(1, 5), (2, 4), (3, 3), (4, 2), (5, 1)]

• Создание словарей с помощью функции Zip
tuple1 = (1, 2, 3)
tuple2 = (4, 5, 6)

# {1:4, 2:5, 3:6}
print(dict(zip(tuple1, tuple2)))

Подборка полезных фишек с кодом.

Проверка наличия элемента в множестве
Мы можем проверить, находится ли тот или иной элемент в списке с помощью оператора in:

large_list = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]

if 5 in large_list:
print("5 найден в списке.")
else:
print("5 не найден в списке.")

То же применимо и для множеств (set):

large_set = set(large_list)

if 5 in large_set:
print("5 найден в множестве.")
else:
print("5 не найден в множестве.")

Автоматическое добавление ключа словарю
Если создать словарь средствами collections.defaultdict, добавить хотя бы один элемент, а затем обратиться к несуществующему ключу:

from collections import defaultdict

my_dict = defaultdict(int)

my_dict['apple'] = 3
my_dict ['banana' ] = 2
print(my_dict['orange'])
print(my_dict)

то интерпретатор самостоятельно добавит новый элемент:

... 0
... defaultdict(<class 'int'>, {'apple': 3, 'banana': 2, 'orange': 0})

try / except + else + finally
Мастхэв для начинающих питонистов — пара try / except, обработчик исключений. Шикарным дополнением к такому блоку является, на мой взгляд, else: он опишет поведение программы на случай других ошибок, которых может быть немало!

Более того, добавив finally, вы выполните завершающие работы, например, скомандуете выслать уведомление:

try:
>>> result = 10 / 2
>>> except ZeroDivisionError:
>>> print( "Ошибка: деление на ноль невозможно.")
>>> else:
>>> print("Результат:", result)
>>> finally:
>>> print( "Программа выполнена.")
... Результат: 5.0
... Программа выполнена.

Проверка существования переменной с помощью «моржового» оператора
Если мы объявили две переменные, но не задали любой из них значение, то с помощью оператора := (Walrus Operator) можно спасти программу от падения и добавить обрабатывающую логику. В первом случае, в переменные name1, name2 мы ничего не записали, значит, программа зайдет в блок else:

>>> if name == '__main__':
>>> name1, name2 = '', ''
>>>
>>> if name := name1 or name2:
>>> print(name1)
>>> print('Успешно!')
>>> else:
>>> print('Имя не найдено...')... Имя не найдено...

Во втором случае заполнена только одна из переменных, но программа отработает без ошибки:

>>> if name == '__main__':
>>> name1, name2 = 'Сергей', ''
>>>
>>> if name := name1 or name2:
>>> print(name1)
>>> print('Успешно!')
>>> else:
>>> print('Имя не найдено...')
... Сергей
... Успешно!

Оператор match для проверки типа
Теперь освоение новых библиотек у вас точно ускорится.


Порой, трудно понять, какой тип данных возвращает функция или метод. В таких случаях помогают match и встроенные функции приведения к тому или иному типу данных:

>>> var = 1
>>>
>>> match var:
>>> case str():
>>> print('Строковый тип')
>>> case bool():
>>> print('Булевый тип')
>>> case float():
>>> print('Число с плавающей запятой')
>>> case int():
>>> print('Целочисленный тип')
>>> case list():
>>> print('Список')
>>> case None:
>>> print("None")
>>> case _:
>>> print('Другой тип данных')... Целочисленный тип

Встроенные функции попытаются привести к своему значению переменную. Но если положить в var единицу, как примере выше, то мы минуем float().

Чтобы программа не упала, стоит заложить дальнейшую обработку var только в подходящие функции-наследнице кейсы.
Включение генераторов, сетов
В предыдущей статье с фишками я рассказывала, что есть эффективный способ генерировать списки — «списковое включение» (List Comprehension):

names = ['Данил','Михаил', 'Оля']
[x for x in names if"a"in x]] # Выберет имена, где есть "а"... ['Данил', 'Михаил']

Оказывается, этому поддаются и другие составные типы — генераторы и сеты.

>>> s = {s*2 for s in range(10)} # Перемножит числа 1-10 на два
>>> print(s)
... {0, 2, 4, 6, 8, 10, 12, 14, 16, 18}

@pro_python_code

🛡 VineShield

Средство обфускации всех исполняемых файлов и скриптов, написанных на python 3.

▪Github

@pro_python_code

🔥 Дайджест полезных материалов из мира: Python за неделю

Почитать:
— Чтобы ускорить работу
Numba и кода NumPy, нужно понять, как работают процессоры
— Python Ice Cream: Лучший способ отладки кода
— Метаданные как обезбол при миграции
— Полное руководство по использованию нескольких баз данных в Django
— Пятифакторный тест личности — бот в Телеграм
— Как правильно дифференцировать дискретные функции (Часть 2. Все-таки, МКЭ?)
— Строим пайплайн в sсikit-learn — пошаговое руководство
— Архитектурные нюансы OpenStack. Принципы работы компонентов Nova
— Я скачал 1400+ пакетов, чтобы улучшить 1
— Структура тестового фреймворка
— Разработка RESTful API на Python с помощью HappyX
— BI-аналитика на коленке: делаем веб-аналитику в DataLens
— Курс проложит аналитик: проверьте, какими SQL-скилами вы экипированы
— SRP: Refactoring the Data Science Beyond Classes
— NumPy Tutorial #9: Array Join
— Web3.py: Desenvolvendo app clientes para Ethereum com Python
— MY NEW WEBSITE [Free AI image creator]
— Android Operating System
— Elastic D&D - Week 1 - Project Introduction
— How to use Kaggle for Climate Change studies
— Programmers need to learn "not to be the frog in the warm water"
— scraping all airconditioned from the free market sales site
— How To Install Private Git Hosted Dependencies Inside Docker Image Using SSH

Посмотреть:
🌐 Практика парсинга Python (⏱ 05:27)
🌐 Уроки Парсинга на Python Сравниваем Scrappy и bs4 (⏱ 10:06)
🌐 Большой гайд по парсингу на Python. Часть 3 Работаем с selenium (⏱ 06:14)
🌐 Уроки Golang с нуля /#24 - Тесты (⏱ 09:50)
🌐 Полный Гайд по парсингу на Python: от азов до продвинутых техниик,. Часть 1 (⏱ 07:04)
🌐 Полный Гайд по парсингу на Python: Практика. Часть 2 (⏱ 05:59)
🌐 Python для начинающих. Урок 9 | Работа со строками (⏱ 15:13)
🌐 Задание 2 | ЕГЭ по информатике | ДЕМО-2024 (⏱ 03:46)
🌐 Задание 1 | ЕГЭ по информатике | ДЕМО-2024 (⏱ 02:50)
🌐 Полный разбор демоверсии | ОГЭ-2024 по информатике (⏱ 00:00)
🌐 Новый оператор в Python для объединения словарей в один символ #shorts #python (⏱ 01:00)

Хорошего дня!

@pro_python_code

📚7 лучших CLI-библиотек Python в 2023 году

1. Typer
Это одна из самых популярных библиотек на GitHub с более чем 10,5 тыс. звезд. Она поможет легко разрабатывать CLI-приложения, которые понравятся пользователям. Typer предоставляет простой способ создания CLI-приложений на Python благодаря автоматической справке, автоматическому заполнению и преобразованию входных и выходных данных. Эта библиотека поддерживает различные типы и стили команд и аргументов.

2. Click
Эта библиотека помогает создавать интерфейсы командной строки компонуемым способом с минимальным количеством кода. Название “Click” расшифровывается как “command line interface creation kit” (набор для создания интерфейса командной строки).

Click отличается гибкой конфигурацией и поставляется с хорошими настройками по умолчанию. Этот модуль способен сделать процесс написания инструментов командной строки быстрым и увлекательным, а также предотвратить разочарование, вызванное невозможностью реализовать задуманный API CLI.

3. Fire
Эта библиотека от Google предназначена для автоматической генерации интерфейсов командной строки из абсолютно любого объекта Python. Она предоставляет много возможностей, таких как инструмент для разработки и отладки кода Python, изучение существующего кода и превращение чужого кода в CLI, облегчение перехода между Bash и Python и многое другое.

4. Tqdm
Отображение индикатора выполнения при загрузке данных — один из распространенных способов создания хорошего пользовательского опыта. Эта библиотека предоставляет быстрый, расширяемый индикатор выполнения для Python и CLI. Tqdm использует умные алгоритмы для предсказания оставшегося времени и пропуска ненужных показов итераций, что позволяет в большинстве случаев снизить накладные расходы.

5. Plumbum
Вы когда-нибудь мечтали о том, чтобы компактность скриптов оболочки была воплощена в реальном языке программирования? Эта библиотека поможет осуществить вашу мечту. Помимо оболочкоподобного синтаксиса и удобных шорткатов, библиотека обеспечивает локальное и удаленное выполнение команд (через SSH), локальные и удаленные пути к файловой системе, упрощенное управление рабочим каталогом и средой, а также набор инструментов для программирования CLI.

6. Argcomplete
Кажется, все предпочитают автозаполнение. Это упрощает жизнь. Библиотека Argcomplete предоставляет возможность добавить заполнение вкладок в приложения CLI с автоматической генерацией скриптов завершения и хуков для различных оболочек. Она поддерживает различные режимы и конфигурации. Это особенно полезно, если программа обладает множеством опций или подпарсеров и может динамически предлагать завершения для значений аргументов/опций (например, когда пользователь просматривает ресурсы в сети).

7. Termgraph
Если нужно создавать ASCII-графику и диаграммы в CLI-приложении, то Termgraph — подходящий для этого ресурс. Как вы уже догадались, он предоставляет возможность создания ASCII-графов и диаграмм с различными типами и стилями графики и форматами данных. Termgraph поддерживает гистограммы, цветные диаграммы, эмодзи и другие типы графики.

@pro_python_code

Полезная шпаргалка состояний HTTP-запросов для тех, кто любит requests, и не только.

#http