Forwarded from Python Jobs
DevOps Engineer
Вакансия: В PREDICTO открыта вакансия
О компании:
Predicto с 2018 г. занимается анализом и сегментацией данных для крупных российских и иностранных клиентов. В этом году мы поставили себе амбициозную задачу разработки CDP и рекомендательной системы.
В нашей команде уже 13 сильных и классных ребят, но задач столько, что очень хотим еще!
📍Senior+ (важно)
📍в классном офисе в Москве/гибрид;
📍250-400+ руб., белая ЗП или ИП;
📍большой датасет, интересные задачи, возможность влиять на продукт.
✅Что нужно делать:
- Участие в построение платформы данных Predicto на всех этапах, включая проектирование, разработку и эксплуатацию;
- Ведущая роль в выстраивании экспертизы в области DevOps и SRE внутри компании и создании сильной команды;
- Автоматизация процессов сборки, тестирования и доставки компонентов платформы;
- Выстраивание DataOps и MLOps практик для обеспечения высокого качества данных и эксплуатации ML моделей в production’е.
✅Требования:
- Опыт работы и эксплуатации решений с одним из крупных публичных облаков (Яндекс Облако, AWS, GCP, Azure, Alibaba);
- Опыт работы с технологиями big data стека (в первую очередь Apache Spark) и экосистемой Python’а для data science;
- Понимание принципов контейнеризации, опыт эксплуатации решений с Docker’ом и кластерами Kubernetes;
- Опыт построения CI/CD пайплайнов;
- Понимание IaC подхода к управлению инфраструктурой, опыт работы с Terraform’ом;
- Понимание и использование принципов безопасности для облачных окружений.
✅Будет плюсом:
- Опыт работы с Яндекс.Облаком;
- Опыт развития команды и выстраивания DevOps и SRE практик;
- Опыт работы с реляционными и нереляционными базами данных, знание SQL;
- Опыт разработки и поддержки высоконагруженных сервисов;
- Знание инструментов и методов MLOps, опыт эксплуатации ML-intensive приложений в production.
Присылайте CV в telegram: @fedosovaAS
@python_djangojobs
Вакансия: В PREDICTO открыта вакансия
О компании:
Predicto с 2018 г. занимается анализом и сегментацией данных для крупных российских и иностранных клиентов. В этом году мы поставили себе амбициозную задачу разработки CDP и рекомендательной системы.
В нашей команде уже 13 сильных и классных ребят, но задач столько, что очень хотим еще!
📍Senior+ (важно)
📍в классном офисе в Москве/гибрид;
📍250-400+ руб., белая ЗП или ИП;
📍большой датасет, интересные задачи, возможность влиять на продукт.
✅Что нужно делать:
- Участие в построение платформы данных Predicto на всех этапах, включая проектирование, разработку и эксплуатацию;
- Ведущая роль в выстраивании экспертизы в области DevOps и SRE внутри компании и создании сильной команды;
- Автоматизация процессов сборки, тестирования и доставки компонентов платформы;
- Выстраивание DataOps и MLOps практик для обеспечения высокого качества данных и эксплуатации ML моделей в production’е.
✅Требования:
- Опыт работы и эксплуатации решений с одним из крупных публичных облаков (Яндекс Облако, AWS, GCP, Azure, Alibaba);
- Опыт работы с технологиями big data стека (в первую очередь Apache Spark) и экосистемой Python’а для data science;
- Понимание принципов контейнеризации, опыт эксплуатации решений с Docker’ом и кластерами Kubernetes;
- Опыт построения CI/CD пайплайнов;
- Понимание IaC подхода к управлению инфраструктурой, опыт работы с Terraform’ом;
- Понимание и использование принципов безопасности для облачных окружений.
✅Будет плюсом:
- Опыт работы с Яндекс.Облаком;
- Опыт развития команды и выстраивания DevOps и SRE практик;
- Опыт работы с реляционными и нереляционными базами данных, знание SQL;
- Опыт разработки и поддержки высоконагруженных сервисов;
- Знание инструментов и методов MLOps, опыт эксплуатации ML-intensive приложений в production.
Присылайте CV в telegram: @fedosovaAS
@python_djangojobs
Forwarded from Анализ данных (Data analysis)
This media is not supported in your browser
VIEW IN TELEGRAM
🎇 Продвинутый уровень визуализации данных для Data Science на Python
Как сделать крутые, полностью интерактивные графики с помощью одной строки Python.
Когнитивное искажение о невозвратных затратах (sunk cost fallacy) является одним из многих вредных когнитивных предубеждений, жертвой которых становятся люди. Это относится к нашей тенденции продолжать посвящать время и ресурсы проигранному делу, потому что мы уже потратили — утонули — так много времени в погоне. Заблуждение о заниженной стоимости применимо к тому, чтобы оставаться на плохой работе дольше, чем мы должны, рабски работать над проектом, даже когда ясно, что он не будет работать, и да, продолжать использовать утомительную, устаревшую библиотеку построения графиков — matplotlib — когда существуют более эффективные, интерактивные и более привлекательные альтернативы.
Читать дальше
@data_analysis_ml
Как сделать крутые, полностью интерактивные графики с помощью одной строки Python.
Когнитивное искажение о невозвратных затратах (sunk cost fallacy) является одним из многих вредных когнитивных предубеждений, жертвой которых становятся люди. Это относится к нашей тенденции продолжать посвящать время и ресурсы проигранному делу, потому что мы уже потратили — утонули — так много времени в погоне. Заблуждение о заниженной стоимости применимо к тому, чтобы оставаться на плохой работе дольше, чем мы должны, рабски работать над проектом, даже когда ясно, что он не будет работать, и да, продолжать использовать утомительную, устаревшую библиотеку построения графиков — matplotlib — когда существуют более эффективные, интерактивные и более привлекательные альтернативы.
Читать дальше
@data_analysis_ml
DeepFaceDrawing — нейросеть, которая позволяет создавать реалистичные изображения лиц из набросков от руки
Метод отрисовки по существу использует входные эскизы в качестве «мягких» ограничений и, таким образом, способен создавать высококачественные изображения лиц даже из грубых и/или неполных эскизов. Данный инструмент прост в использовании даже для тех кто не рисует, сохраняя при этом тонкое управление деталями формы
#GitHub | #Python #Interesting
@pro_python_code
Метод отрисовки по существу использует входные эскизы в качестве «мягких» ограничений и, таким образом, способен создавать высококачественные изображения лиц даже из грубых и/или неполных эскизов. Данный инструмент прост в использовании даже для тех кто не рисует, сохраняя при этом тонкое управление деталями формы
#GitHub | #Python #Interesting
@pro_python_code
Каким будет результат выполнения кода?
Anonymous Quiz
5%
0
6%
1
15%
2
13%
3
3%
4
11%
5
11%
7
3%
None
10%
Error
22%
Узнать ответ
Простое руководство по форматированию строк в Python с помощью f-строк
Если вы изучаете Python уже некоторое время, то, вероятно, используете " " для создания строк. В этом нет ничего плохого. В конце концов, для многих первой строкой кода Python была просто print(“Hello World”). Однако тому, кто хочет повысить уровень работы на Python, следует использовать f-строки.
Читать дальше
шпаргалка с большим количеством символов, которые применяются для форматирования переменных даты в Python.
@pro_python_code
Если вы изучаете Python уже некоторое время, то, вероятно, используете " " для создания строк. В этом нет ничего плохого. В конце концов, для многих первой строкой кода Python была просто print(“Hello World”). Однако тому, кто хочет повысить уровень работы на Python, следует использовать f-строки.
Читать дальше
шпаргалка с большим количеством символов, которые применяются для форматирования переменных даты в Python.
@pro_python_code
🔥 Как автоматизировать операции Kubernetes посредством Python
В последние годы Kubernetes (К8s) прочно закрепился в повседневной деятельности многих разработчиков и DevOps-инженеров. Однако большинство задач, которые приходится выполнять, однообразны, монотонны и легко поддаются автоматизации.
Зачастую довольно просто набросать быстрый shell-скрипт с командами kubectl. Но для более сложных задач автоматизации требуется что-то более мощное, чем bash, например возможности языка программирования Python.
В данной статье научимся работать с клиентской библиотекой Python для Kubernetes (kubernetes-client/python) и автоматизировать любые скучные задачи K8s, стоящие перед нами!
Читать дальше
@pro_python_code
В последние годы Kubernetes (К8s) прочно закрепился в повседневной деятельности многих разработчиков и DevOps-инженеров. Однако большинство задач, которые приходится выполнять, однообразны, монотонны и легко поддаются автоматизации.
Зачастую довольно просто набросать быстрый shell-скрипт с командами kubectl. Но для более сложных задач автоматизации требуется что-то более мощное, чем bash, например возможности языка программирования Python.
В данной статье научимся работать с клиентской библиотекой Python для Kubernetes (kubernetes-client/python) и автоматизировать любые скучные задачи K8s, стоящие перед нами!
Читать дальше
@pro_python_code
💻 Управление данными с помощью Python, SQLite и SQLAlchemy
Читать статью
#sqlite #python
@pro_python_code
Читать статью
#sqlite #python
@pro_python_code
Библиотека программиста
🐍🗄️ Управление данными с помощью Python, SQLite и SQLAlchemy
На одном примере сравниваются три модели управления данными: csv-файлы, SQL-запросы к простой базе данных на SQLite и контроль информации в виде объектов Python с SQLAlchemy. В конце пример веб-приложения на Flask с использованием SQLAlchemy.
Rich — библиотека Python для форматированного текста и красивого форматирования в терминале.
Rich содержит ряд встроенных средств рендеринга, которые можно использовать для создания элегантного вывода в интерфейсе командной строки и помощи в отладке кода.
Rich API упрощает добавление цвета и стиля к выходным данным терминала.
Rich также может отображать красивые таблицы, индикаторы выполнения, уценку, исходный код с подсветкой синтаксиса, трассировку и многое другое — прямо из коробки.
Rich, кстати, работает с Linux, OSX и Windows. True color / emoji работает с новым терминалом Windows, классический терминал ограничен 16 цветами. Rich требует Python 3.6.3 или более новую версию :3
Github
Docs
@pro_python_code
Rich содержит ряд встроенных средств рендеринга, которые можно использовать для создания элегантного вывода в интерфейсе командной строки и помощи в отладке кода.
Rich API упрощает добавление цвета и стиля к выходным данным терминала.
Rich также может отображать красивые таблицы, индикаторы выполнения, уценку, исходный код с подсветкой синтаксиса, трассировку и многое другое — прямо из коробки.
Rich, кстати, работает с Linux, OSX и Windows. True color / emoji работает с новым терминалом Windows, классический терминал ограничен 16 цветами. Rich требует Python 3.6.3 или более новую версию :3
⚙
pip install rich
Github
Docs
@pro_python_code
Выясним, насколько высокопроизводительна написанная на Rust pypolars. Сравним её с pandas на алгоритме сортировке и при конкатенации данных с 25 миллионами записей, а также объединении двух CSV-файлов.
https://nuancesprog.ru/p/11219
#статьи #Python #Pandas #DataScience
@pro_python_code
https://nuancesprog.ru/p/11219
#статьи #Python #Pandas #DataScience
@pro_python_code
🗺 Набор функций Python для рисования красивых карт из данных OpenStreetMap. Основан на библиотеках osmnx, matplotlib и shapely.
Github
Docs
Colab
@pro_python_code
Github
Docs
Colab
@pro_python_code
3 пакета Python для генерации синтетических данных
В процессе решения задачи при работе с данными нередко возникает ситуация, когда получение реальных данных сложно, к примеру, если речь идет о конфиденциальной информации, либо сбор данных занимает большое количество времени, либо просто необходимо протестировать проект с данными, которые соответствуют определенным критериям. Для решения ситуации мы можем искусственно сгенерировать данные с помощью языка программирования.
Существует множество пакетов для генерации данных, таких как DataSynthesizer, pydbgen, Mimesis, SDV, plaitpy, TimeSeriesGenerator, Gretel Synthetics, Scikit-learn, Mesa и др. Рассмотрим три самых интересных, в плане функциональности и простоты использования, способа генерации синтетических данных с помощью пакетов Python.
Читать дальше
@pro_python_code
В процессе решения задачи при работе с данными нередко возникает ситуация, когда получение реальных данных сложно, к примеру, если речь идет о конфиденциальной информации, либо сбор данных занимает большое количество времени, либо просто необходимо протестировать проект с данными, которые соответствуют определенным критериям. Для решения ситуации мы можем искусственно сгенерировать данные с помощью языка программирования.
Существует множество пакетов для генерации данных, таких как DataSynthesizer, pydbgen, Mimesis, SDV, plaitpy, TimeSeriesGenerator, Gretel Synthetics, Scikit-learn, Mesa и др. Рассмотрим три самых интересных, в плане функциональности и простоты использования, способа генерации синтетических данных с помощью пакетов Python.
Читать дальше
@pro_python_code
Что такое хэш-функция, как работает алгоритм хэширования в Python, и как это применяется в повседневной жизни.
Известно, что хэш-функция создает уникальный цифровой отпечаток из исходной информации. Итоговое хэширования информации называют хэш-суммой или просто хэшам.
Как же это работает? Хэш-функция берет определенную информацию, например, часть текста или пароль от вашего аккаунта, это может быть даже отдельный файл и преобразует эту информацию в строку определенной длины. Эта строка всегда будет иметь одинаковую длину вне зависимости от того, какого размера была входная информация. Существует достаточно много различных хеш- алгоритмов. Например, слово bitcoin, пропущенное через хэш алгоритм sha-256 будет выглядеть вот так.
Читать Дальше
@pro_python_code
Известно, что хэш-функция создает уникальный цифровой отпечаток из исходной информации. Итоговое хэширования информации называют хэш-суммой или просто хэшам.
Как же это работает? Хэш-функция берет определенную информацию, например, часть текста или пароль от вашего аккаунта, это может быть даже отдельный файл и преобразует эту информацию в строку определенной длины. Эта строка всегда будет иметь одинаковую длину вне зависимости от того, какого размера была входная информация. Существует достаточно много различных хеш- алгоритмов. Например, слово bitcoin, пропущенное через хэш алгоритм sha-256 будет выглядеть вот так.
Читать Дальше
@pro_python_code
Forwarded from Анализ данных (Data analysis)
📏 Как измерить опоссумов линейной регрессией
А что если использовать свои навыки регрессии, чтобы предсказать длину головы опоссума по остальным метриками его тела?
Для тех, кто подзабыл: линейная регрессия— это регрессионная модель, которая позволяет описать зависимость одной переменной от одной или нескольких других переменных с линейной функцией зависимости.
В открытом доступе есть датасет про опоссумов. Для расчёта нужно взять csv-файл, который содержит информацию из девяти метрик каждого из 104 горных кистехвостых опоссумов, отловленных в семи местах от Южной Виктории до центрального Квинсленда.
➡️ Читать
🎯Датасет
🔗Код
@data_analysis_ml
А что если использовать свои навыки регрессии, чтобы предсказать длину головы опоссума по остальным метриками его тела?
Для тех, кто подзабыл: линейная регрессия— это регрессионная модель, которая позволяет описать зависимость одной переменной от одной или нескольких других переменных с линейной функцией зависимости.
В открытом доступе есть датасет про опоссумов. Для расчёта нужно взять csv-файл, который содержит информацию из девяти метрик каждого из 104 горных кистехвостых опоссумов, отловленных в семи местах от Южной Виктории до центрального Квинсленда.
➡️ Читать
🎯Датасет
🔗Код
@data_analysis_ml
Как быстро создать и развернуть веб-приложение на Python
В этой статье речь пойдет о разработке и развертывании простейшего дашборда по COVID-19 с помощью Streamlit. Streamlit — фреймворк, предназначенный для быстрого создания приложений по обработке данных путем развертывания организованного на Python пользовательского интерфейса. Streamlit не требует от разработчика предшествующего опыта (хотя практические навыки, конечно, не помешают).
Начнем с создания виртуальной среды для проекта. Затем напишем код на Python, который будет служить движком приложения. Потом воспользуемся библиотекой Streamlit, чтобы создать пользовательский интерфейс для кода на Python, и, наконец, развернем приложение. Надеюсь, это пошаговое руководство даст вам полное представление о процессе веб-разработки на Python.
Читать дальше
@pro_python_code
В этой статье речь пойдет о разработке и развертывании простейшего дашборда по COVID-19 с помощью Streamlit. Streamlit — фреймворк, предназначенный для быстрого создания приложений по обработке данных путем развертывания организованного на Python пользовательского интерфейса. Streamlit не требует от разработчика предшествующего опыта (хотя практические навыки, конечно, не помешают).
Начнем с создания виртуальной среды для проекта. Затем напишем код на Python, который будет служить движком приложения. Потом воспользуемся библиотекой Streamlit, чтобы создать пользовательский интерфейс для кода на Python, и, наконец, развернем приложение. Надеюсь, это пошаговое руководство даст вам полное представление о процессе веб-разработки на Python.
Читать дальше
@pro_python_code
🚀 @machinelearning_interview - в Канале собраны все возможные вопросы и ответы с собеседований по Аналитике данных и Машинному обучению на Pyhon. Для всех уровней разработчиков от авторов популярного канала Machine learning.
Материалы канала реально помогут подготовиться к data science собеседованию.
👉Перейти
Материалы канала реально помогут подготовиться к data science собеседованию.
👉Перейти