Немножко блога: вот так готовимся к эфиру✌️💚

UPD: запись тут

#полезный_ии@data_easy

Good morning!🌅
Если готовитесь к интервью (или просто хотите освежить знания и поупражняться в английском), держите небольшую шпаргалку по популярным разделам ML (список тем на первой страничке). Довольно легко читается + в конце интересный бонус про часть soft-skills собеседований.

Хорошего дня и с последним днём осени!☃️🎄

#карьера@data_easy

Работая над DS-проектом, мы, конечно, хотим добиться высоких метрик: много времени уделяем анализу, EDA, очистке данных, подбираем нужную модель и гиперпараметры к ней...
А как часто вы задумываетесь о самих данных? Во время работы над учебными кейсами проблем обычно не возникает, т.к. они даются нам в самом задании. Но в реальных проектах (а иногда в тестовых заданиях и на хакатонах), когда мы имеем только постановку задачи, данные приходится искать самим...
И от них, на самом деле, многое зависит: не все датасеты обладают ранжирующей способностью, т.е. признаки могут быть никак не связаны с целевой переменной. Отсюда метрики будут всегда получаться низкими, как бы мы не предобрабатывали данные и не старались обучить модель☹️
К счастью, в Интернете можно найти множество открытых датасетов для задач на любой вкус (и комментарии/статистику использования к ним😊).
Наиболее известные и проверенные ресурсы:
📁 Kaggle: здесь можно найти соревнования (с данными) и просто датасеты. Обращайте внимание на комментарии и число голосов на соответствующих страницах (никем не опробованные данные могут оказаться бесполезными).
📁 Google dataset search: работает как обычный поисковик гугл, только для поиска данных. В целом, он охватывает и датасеты с Kaggle, и из государственных источников, научных экспериментов и т.д. При выборе ориентироваться можно на число ссылок в статьях, ну, или смотреть уже в самом источнике:)
📁 UCI Machine Learning Repository: а это подборка от Калифорнийского университета. Удобно, что данные здесь разделены по типу ML-задач: для временных рядов, классификации, регрессии или рекомендательных систем. Можно даже найти датасеты, которые уже очищены и готовы к использованию😎

Удачи в дата-исканиях!✌️

#cv@data_easy
#nlp@data_easy
#аудио@data_easy
#classic_ml@data_easy

Поздравляю всех программистов! Нейросети добрались и до нас 🚀
Наверняка, многие уже пробовали попросить ChatGPT написать какой-то код? Мне он выдавал действительно рабочие варианты далеко не всегда:)
Теперь есть полноценная онлайн-среда разработки Replit (правда, она была ей и до этого), но недавно в неё добавилась функция "Code with AI" - генерация кода по запросу. От обычного ChatGPT она отличается тем, что эта модель обучена конкретно под кодинг - соответственно, работает она гораздо лучше (смогла решить задачу с leetcode medium верно с первой попытки✨)

Так что, у StackOverflow появился конкурент🙃 Инструкцию по первому запуску как всегда держите в pdf🤖

Приятной работы🤗

#полезный_ии@data_easy

Наверное, многие слышали выражение в духе "модель в вакууме бесполезна". Имеется в виду, что как бы ни была хорошо обучена модель, пока её не внедрят "в production", обычный пользователь не сможет ею воспользоваться - а значит, и никакого смысла в её создании пока нет🥲
В этот момент может показаться, что обязательно должна найтись какая-то компания, которая возьмёт вашу модель и начнёт её использовать на реальных пользователях. Но вообще говоря, это не совсем так😉 Под выражением "этап вывода в production" (особенно в учебной практике) подразумевается просто обёртка в какое-нибудь простое приложение, развёрнутое на локальном сервере (т.е. на вашем компьютере). Пример можно увидеть на скрине - это полноценная веб-страница, на которой можно интерактивно получить предсказание вида ириса по его характеристикам (да-да, это модель, обученная на датасете iris.csv🌸). 
Смысл такой "локальной" демонстрации в том, что можно как минимум наглядно показать людям, далёким от программирования (например, это могут быть те же заказчики ваших ml-решений на работе) возможности и принцип работы модели. А если ещё заморочиться с дизайном покрасивее и развернуть приложение на удалённом сервере (это, кстати, можно сделать бесплатно, но, как правило, с ограниченным числом запросов к нему) - то получится настоящая демо-версия проекта👑
Такую вещь, на самом деле, легко реализовать при помощи библиотеки Flask на Python буквально в 20 строчек кода, ловите шаблон этого мини-проекта в архиве☄️
🚀 запускать из папки flask_example командой python app.py
🚀 после этого приложение запустится и будет доступно по локальному адресу http://localhost:5000 - можно открыть его в браузере и протестировать
🚀 в файле index.html хранится html-шаблон веб-страницы: по надписям, которые мы видим на ней в браузере, можно определить, какие места в коде за них отвечают, и изменить их:)

Из альтернативных способов «вывода в production», которые можно реализовать в домашних условиях - телеграмм-бот или приложение streamlit, про них расскажем в следующих выпусках🤗

#mlops@data_easy

Доброго вечера, друзья!
Отгремели новогодние праздники, и, возможно, для некоторых это повод найти новую работу🤑

В дополнение к предыдущим постам со ссылками на каналы и чаты с вакансиями, держите новую подборку:

🏅t.me/odsjobs - возрождение чата с вакансиями от ОДС в телеграмм
🏅 t.me/datasciencejobs - большой канал с вакансияи по всем data-профессиям
🏅 t.me/phystechcareerchannel - канал, рождённый в МФТИ
🏅 t.me/vacancy_cs - канал, рождённый в ВШЭ
🏅t.me/sberlogajobs2 - канал, рождённый в Сбере
🏅t.me/not_boring_ds_jobs - канал, рождённый в Альфа-банке

А где вы ищете работу? Делитесь в комментариях😊

Успехов в поисках и интересных задач!🖖

#карьера@data_easy

Доброго вечера всем любителям Jupyter-ноутбуков и не только!
Приходилось ли вам писать отдельный py-модуль, а функциями из него пользоваться в ноутбуке?
Проблема в том, что при каждом обновлении py-файла, чтобы оно активировалось внутри Jupyter-ноутбука, необходимо перезагружать ядро☄️
Это не только трата времени, но и потеря всех локальных переменных текущей сессии:(

Эту проблему исправит метод importlib из библиотеки reload🌟Предположим, наш модуль называется my_module, тогда нам понадобится следующий код:

from importlib import reload
import my_module

my_module = reload(my_module)

Запустив эти строки после обновления файла с модулем, все последние изменения станут доступны в Jupyter-ноутбуке😊

Хорошего вечера!🌆

#python@data_easy
#лайфхаки@data_easy

Всем привет!
Февраль вступил в свои права, а это значит, что пора составить новый список мероприятий на ближайший месяц🕺
Кроме конференций также начинаются наборы на новые потоки открытых курсов🙃

🌱 6 февраля в 19:00 пройдёт день открытых дверей Академии Data Science от Тинькофф.
Формат участия: онлайн и офлайн В Москве.
Регистрация: по ссылке.

🌱 До 10 февраля можно записаться на новый поток Deep Learning School. В весеннем семестре можно пройти курс по CV или по NLP.
Регистрация: по ссылке.

🌱 15 февраля состоится митап по Greenplum от Яндекса. На нём расскажут об эффективных приёмах разработки и управления этой СУБД.
Формат участия: онлайн и офлайн в Москве.
Регистрация: по ссылке.

🌱 17 февраля запланирован Субботник по инфраструктуре, тоже от Яндекса.
Формат участия: онлайн и офлайн в Москве.
Регистрация: по ссылке.

🌱 20 февраля в 18:00 начнётся празднование Дня Рождения Python в Сбере.
Формат участия: офлайн в Москве (((шанс побывать в их красивом офисе)))
Регистрация: по ссылке.

🌱 6-7 марта пройдёт международная конференция OpenTalks.AI. This is an international independent Open conference on Artificial intelligence:)
Формат участия: офлайн в Тбилиси, онлайн-трансляция, думается, тоже будет.
Регистрация: here.

🌱 16-17 марта пройдёт IT Purple Conf, организованная МФТИ. Планируются интересные научные доклады, про индустриальный IT, soft skills и трудоустройство.
Формат участия: онлайн и офлайн в Москве.
Регистрация: по ссылке.

Хорошего дня!🌺