#вакансия #удаленно #dataengineer #de #spark #databricks #kafka #
Ищем Data Engineer на проектную занятость в Dodo Engineering (возможен неполный рабочий день)
Компания: Dodo Engineering
Локация: Remote
Должность: Data Engineer (middle+/senior/lead)
Занятость: проектная, на 3-6 месяцев, возможен вариант на неполный рабочий день (4 часа).
Вилка: 350 000 - 500 000 р
Формат: ГПХ\ИП
О команде
Мы разрабатываем платформу данных для it команд в Dodo. На данный момент перед нами стоит амбициозная задача по оптимизации затрат на дата платформу, поэтому в усиление нашей команде ищем на проектную занятость data engineer. Срок проекта - 3-6 месяцев.
Мы ищем коллегу с бэкграундом в разработке, уверенным знанием Spark, Spark SQL. Если работали с databricks — будет большой плюс.
Наш стек технологий:
У нас современная платформа, которая базируется на облачных сервисах Azure Databricks. Данные загружаем с помощью debezium или принимаем события в Event Hub (Kafka). Храним в Delta Lake, всё раскладываем по слоям и Data Vault. Витрины храним в Kusto, а визуализация в Superset. Основной язык — python.
Чем предстоит заниматься:
- Оптимизация витрин, помощь другим командам в работе с данными и нашим инструментом
- Оптимизация процессов в databricks для снижения затрат на compute и storage
- Развертывание и обслуживание data сервисов
Требования:
- Уверенное владение одним из языков программирования: Python, Scala, Java.
- Построение пайплайнов данных с мониторингом и логированием; опыт в оптимизации/изменении существующих пайплайнов.
- Spark, Spark Streaming (у нас Structured Streaming)
- Желателен опыт оптимизации аналитического кода
Отправить резюме и задать вопросы можно тут: @AKoronnova
👉 Не забудьте уточнить, что вы из @datasciencejobs
Ищем Data Engineer на проектную занятость в Dodo Engineering (возможен неполный рабочий день)
Компания: Dodo Engineering
Локация: Remote
Должность: Data Engineer (middle+/senior/lead)
Занятость: проектная, на 3-6 месяцев, возможен вариант на неполный рабочий день (4 часа).
Вилка: 350 000 - 500 000 р
Формат: ГПХ\ИП
О команде
Мы разрабатываем платформу данных для it команд в Dodo. На данный момент перед нами стоит амбициозная задача по оптимизации затрат на дата платформу, поэтому в усиление нашей команде ищем на проектную занятость data engineer. Срок проекта - 3-6 месяцев.
Мы ищем коллегу с бэкграундом в разработке, уверенным знанием Spark, Spark SQL. Если работали с databricks — будет большой плюс.
Наш стек технологий:
У нас современная платформа, которая базируется на облачных сервисах Azure Databricks. Данные загружаем с помощью debezium или принимаем события в Event Hub (Kafka). Храним в Delta Lake, всё раскладываем по слоям и Data Vault. Витрины храним в Kusto, а визуализация в Superset. Основной язык — python.
Чем предстоит заниматься:
- Оптимизация витрин, помощь другим командам в работе с данными и нашим инструментом
- Оптимизация процессов в databricks для снижения затрат на compute и storage
- Развертывание и обслуживание data сервисов
Требования:
- Уверенное владение одним из языков программирования: Python, Scala, Java.
- Построение пайплайнов данных с мониторингом и логированием; опыт в оптимизации/изменении существующих пайплайнов.
- Spark, Spark Streaming (у нас Structured Streaming)
- Желателен опыт оптимизации аналитического кода
Отправить резюме и задать вопросы можно тут: @AKoronnova
👉 Не забудьте уточнить, что вы из @datasciencejobs
April 15, 2024
Ищем Data Engineer (Middle/Middle+/Senior) в аутстафф-компанию Top Selection для работы над зарубежным ритейл-проектом.
Грейд: Senior
Название компании: Top Selection
Локация: Не важно
Часовой пояс: МСК
Предметные области: ритейл
Формат работы: Удалёнка
Мы ищем Data Platform Engineer с опытом работы в Microsoft Fabric или Databricks для построения и оптимизации дата-платформы в ритейле.
Основная задача – разработка облачной платформы обработки данных, интеграция с различными источниками и аналитика в реальном времени.
Работа в ритейле требует глубокого понимания данных о продажах, цепочке поставок, потребительском поведении и управлении товарными запасами.
Обязанности:
Ключевые обязанности (MS Fabric):
- Проектирование архитектуры данных на Microsoft Fabric (OneLake, Lakehouses, Synapse Data Warehouse, Power BI).
- Разработка и внедрение ETL/ELT-конвейеров данных (Fabric Data Pipelines, Azure Data Factory).
- Оптимизация хранения и обработки данных в OneLake и Lakehouses.
- Настройка Real-Time Analytics (анализ транзакций, логистика, продажи в режиме реального времени).
- Интеграция с Power BI и построение семантических моделей.
- Оптимизация SQL-запросов для больших объемов данных в Synapse Data Warehouse.
- Автоматизация CI/CD-конвейеров (Azure GitOps).
- Обеспечение безопасности данных и соответствие стандартам работы с персональными и коммерческими данными.
Технологии, с которыми предстоит работать:
- Microsoft Fabric:
- OneLake (облачное lakehouse-хранилище данных)
- Lakehouses (совмещение Data Lake и традиционных DWH)
- Data Pipelines (аналог Azure Data Factory)
- Synapse Data Warehouse (облачный аналитический движок)
- Real-Time Analytics (потоковая обработка данных)
- Power BI & Semantic Models (бизнес-аналитика)
- KQL (Kusto Query Language) для анализа событий и логов
- DevOps & CI/CD:
- Azure GitOps, YAML-пайплайны
- Автоматизированное развертывание и управление инфраструктурой данных
Требования:
- Практический опыт работы с Microsoft Fabric или Databricks (или другим релевантным облачным стеком).
- От 2 лет опыта в data engineering и облачных хранилищах данных.
- Глубокие знания SQL, Python, Spark/PySpark, T-SQL.
- Опыт оптимизации SQL-запросов и работы с большими объемами данных.
- Понимание архитектуры баз данных и lakehouse-концепции.
- Опыт работы с ETL/ELT-процессами, DataOps, CI/CD для данных.
Пожелания:
Будет плюсом:
- Опыт работы с потоковыми данными (Kafka, Event Hubs, Stream Analytics).
- Знание ритейл-данных (ценообразование, товарные запасы, программы лояльности).
- Опыт работы с Delta Lake, Databricks ML.
- Оптимизация SQL-запросов и настройка кластера Spark.
Сертификации (желательно):
- Microsoft Certified: Fabric Analytics Engineer Associate
- Microsoft Certified: Azure Data Engineer Associate
- Databricks Certified Data Engineer Associate/Professional
Контактные данные: @mherchopurian / @datasciencejobs
#вакансия #DataEngineer #Middle #MSFabric #Databricks #Удаленно
Грейд: Senior
Название компании: Top Selection
Локация: Не важно
Часовой пояс: МСК
Предметные области: ритейл
Формат работы: Удалёнка
Мы ищем Data Platform Engineer с опытом работы в Microsoft Fabric или Databricks для построения и оптимизации дата-платформы в ритейле.
Основная задача – разработка облачной платформы обработки данных, интеграция с различными источниками и аналитика в реальном времени.
Работа в ритейле требует глубокого понимания данных о продажах, цепочке поставок, потребительском поведении и управлении товарными запасами.
Обязанности:
Ключевые обязанности (MS Fabric):
- Проектирование архитектуры данных на Microsoft Fabric (OneLake, Lakehouses, Synapse Data Warehouse, Power BI).
- Разработка и внедрение ETL/ELT-конвейеров данных (Fabric Data Pipelines, Azure Data Factory).
- Оптимизация хранения и обработки данных в OneLake и Lakehouses.
- Настройка Real-Time Analytics (анализ транзакций, логистика, продажи в режиме реального времени).
- Интеграция с Power BI и построение семантических моделей.
- Оптимизация SQL-запросов для больших объемов данных в Synapse Data Warehouse.
- Автоматизация CI/CD-конвейеров (Azure GitOps).
- Обеспечение безопасности данных и соответствие стандартам работы с персональными и коммерческими данными.
Технологии, с которыми предстоит работать:
- Microsoft Fabric:
- OneLake (облачное lakehouse-хранилище данных)
- Lakehouses (совмещение Data Lake и традиционных DWH)
- Data Pipelines (аналог Azure Data Factory)
- Synapse Data Warehouse (облачный аналитический движок)
- Real-Time Analytics (потоковая обработка данных)
- Power BI & Semantic Models (бизнес-аналитика)
- KQL (Kusto Query Language) для анализа событий и логов
- DevOps & CI/CD:
- Azure GitOps, YAML-пайплайны
- Автоматизированное развертывание и управление инфраструктурой данных
Требования:
- Практический опыт работы с Microsoft Fabric или Databricks (или другим релевантным облачным стеком).
- От 2 лет опыта в data engineering и облачных хранилищах данных.
- Глубокие знания SQL, Python, Spark/PySpark, T-SQL.
- Опыт оптимизации SQL-запросов и работы с большими объемами данных.
- Понимание архитектуры баз данных и lakehouse-концепции.
- Опыт работы с ETL/ELT-процессами, DataOps, CI/CD для данных.
Пожелания:
Будет плюсом:
- Опыт работы с потоковыми данными (Kafka, Event Hubs, Stream Analytics).
- Знание ритейл-данных (ценообразование, товарные запасы, программы лояльности).
- Опыт работы с Delta Lake, Databricks ML.
- Оптимизация SQL-запросов и настройка кластера Spark.
Сертификации (желательно):
- Microsoft Certified: Fabric Analytics Engineer Associate
- Microsoft Certified: Azure Data Engineer Associate
- Databricks Certified Data Engineer Associate/Professional
Контактные данные: @mherchopurian / @datasciencejobs
#вакансия #DataEngineer #Middle #MSFabric #Databricks #Удаленно
March 2