Заманчивый хакатон)
Если вижу «предиктив» и «данные о товарах» сразу цепляет (отголоски моего DS опыта в ритейле)

https://hack.markirovka.ru/

🥲Давно не собирала список актуальных хакатонов, возьму за правило раз в месяц публиковать интересные хаки/соревнования 🎯

P. S. А еще, я недавно узнала как включить в настройках реакции к публикациям в тг канале🤪, давайте протестируем 😁

Всем привет!🤍

Я учусь быть it блогером😁(что самое важное для меня - полезным блогером ‼️)

Так вот, уже есть идеи какие рубрики вести здесь на регулярной основе, но хотелось бы послушать/почитать что интересно вам и чего не хватает?

Буду рада обратной связи, давайте сделаем из этого канала кладезь полезной информации 📚!

Python и работа с файлами

🔘Первое, что необходимо узнать:
С помощью модуля os можно получить список файлов заданной директории, создавать новые папки и т. д. (всё, что вы привыкли делать/видеть в папках)

🔘Второе: можно работать почти с любым форматом файлов и максимально устранять рутинные действия

Самые популярные библиотеки для работы с Word, PDF, Excel:
Word: python-docx
PDF: PyMuPDF
Excel: openpyxl, XlsxWriter, xlwings 

Функционал +- похож, вот основное, что можно делать с файлами:
• Открывать, редактировать, добавлять страницы, объединять
• Доставать данные, текст, добавлять и редактировать его
• Работать с изображениями: получать их из файла, добавлять в файл, а также переводить в другие форматы

👩🏼‍💻Например, мне приходилось сталкиваться с такой задачей (снова про мои активности, которые делала для мужа, как хорошо, когда жена кодит, правда платит в основном едой):
Есть тест на профориентацию, результаты приходят в файле excel и есть N файлов world, которые необходимо склеить между собой в зависимости от ответов в excel

Полезные статьи:
Автоматизация Excel с помощью Python
Работа с файлами XLSX при помощи модуля openpyxl
Проверяем сведения о недостоверности в выписках из ЕГРЮЛ. Склеиваем pdf на python

Перехожу на подкасты🎧. Книги читать в моем положении всё тяжелее, а вот подкасты под часовые прогулки с сыном 👍🏼.

https://music.yandex.ru/album/13299622?utm_medium=copy_link

Делюсь ссылкой на YaTalks 2022. IT - марафон Яндекса, который был в декабре. Полезно не только разработчикам, но и всем, кто хоть как-то причастен/интересуется it сферой, важно понимать что происходит и держать руку на пульсе 😜

Что же еще делать в сб вечером? - читать habr🙈😂

Мне понравилась идея с ИИ - президентом.
Я уже давно про это думала))
И чтобы с открытым кодом обязательно)
https://habr.com/ru/post/721644/

💻Возникла необходимость работать с большим датасетом (около 300 млн строк).
Привыкла я конечно же к рабочей инфраструктуре, но пришло время что-то придумать для ML без рабочей инф-ры

И так, 2 проблемы, с которыми я столкнулась:
🆘У меня макбук air и надо придумать где делать ML штуки и не потратить много денег

Google Colab - вообще фигня (бесплатный лимит очень низкий)
Kaggle - более менее тянет, но иногда падает
Яндекс еще не пробовала, пока держусь за бесплатный Kaggle

Делитесь в комментариях где вы юзаете ML/DL?

🆘Оптимизация работы
Нашла крутую бибилиотеку polars, которая работает в разы быстрее pandas
Статья на хабре про нее: https://habr.com/ru/post/710240/
И на towardsdatascience: https://towardsdatascience.com/pandas-vs-polars-a-syntax-and-speed-comparison-5aa54e27497e

Вдруг вы не знаете чем заняться 1 апреля😁 (уже следующая суббота)

https://techtrain.ru/

Курс будет полезен практикующим менторам и руководителям 💪🏼.
Много ожидать не стоит, т. к. он бесплатный, но мне понравился👌🏼

https://practicum.yandex.ru/it-mentor/

И еще одна интересная конференция этой весны🤓

Data Fusion 2023 — это точка сближения науки и бизнеса. Конференция будет полезна разработчикам и специалистам в области Data Science, CDO, бизнес-заказчикам DS-продуктов и сервисов, представителям государства и науки.

Первый день конференции будет посвящен аспектам управления данными, практикам перехода на доверенные технологии, доступности дата-сетов для ИИ и другим темам, актуальным для CDO и руководителей бизнес-подразделений.

Программа 14 апреля адресована data science специалистам и исследователям. Темы докладов и сессий распределены по трем стримам. «ML+» для тех, кто мыслит за рамками ML, тут представлены темы ML+Physics, диффузионные модели, мультимодальный ML. В стриме «AI Classic» темы от NLP до рекомендательных систем, третий стрим — «ML Environment» — объединит такие темы как MLops, инструменты open source, новые технологии передачи данных.

Участие в конференции бесплатное. Необходима регистрация.
https://data-fusion.ru/conference

Недавно я спрашивала у вас какой контент интересует больше всего + по своему менторскому опыту заметила, что многим не хватает хорошей базы скриптов - примеров (я про python, sql)

Надеюсь, что однажды смогу собрать свой сундучок на гитхабе, но есть ведь Kaggle!!!!! 🤍

Я почему-то была уверена, что про него все знают с самого первого дня, когда начинают интересоваться сферой data science. Но нет!)

Рассказываю:
Kaggle - это платформа, на которой размещают ML/DL соревнования. И не просто платформа, а комьюнити DS специалистов со всего мира. Там есть система рейтинга (самый высокий уровень - grand master), вы запросто сможете найти крутых спецов и посмотреть их открытые решения.

Чтобы найти скрипт - перейдите в раздел “Code”. Можно пройтись по рейтинговым публикациям или найти что-то точечно (например: конкретная задача, пайплайны и т. д.)

Там же можно найти классные датасеты для ваших pet-projects!)

https://www.kaggle.com/notebooks

Там, кстати, есть и бесплатные курсы! 🔥 (раздел Learn)

Не люблю начинать неделю с чего-то сложного 😁👌🏼. Поэтому, планирую сегодня досмотреть/дослушать выступления спикеров, которые не удалось в субботу (там есть в записи + презентация). Если совсем нет времени, то хотя бы скачайте презентации, темы стоящие 🔥

Где решать задачи на Python 🐍?

И так, основы Python пройдены, а может и не только основы 👀. Значит, пора тренироваться!)

Вот где это можно сделать:
📌Питонтьютор
📌 Школа программиста
📌 Wiki: Volumes - CodeAbbey
📌 py.CheckiO - Python coding challenges and exercises with solutions for beginners and advanced
📌 HackerRank - Online Coding Tests and Technical Interviews
📌 Codewars - Achieve mastery through coding practice and developer mentorship

Небольшое пояснение для новичков:
Решение задач НЕ равно алгоритмической секции на собеседовании (для неё есть отдельные ресурсы для практики, хотя на некоторых из тех, которые я перечислила алгоритмы тоже есть)

Решение задач в первую очередь нужно для:
✔️практики на python
✔️практики основ программирования
✔️подготовки к собеседованиям (задачи могут давать аналитикам данных, DS-ам в том числе, всегда уточняйте у hr что будет на собеседовании, чтобы подготовиться. Всё зависит от требований: где-то дают и на python, и на sql, где-то по желанию, где-то только sql/python)

Под вечерний борщ или что там у вас на ужин сегодня😁:
https://www.youtube.com/live/h6W1jEPOcm8?feature=share