#вакансия #удаленка #DataEngineer #middle #senior #fulltime #фултайм
Data инженер
🌏Локация и гражданство: Россия 🇷🇺
📄Оформление: ИП, ГПД
💼Занятость: полная
💻Формат работы: удаленка
💰ЗП вилка: от 80 т.р до 270т.р.
✅Опыт: от 3 лет
🔵Компания: SkyWeb Pro
Требования:
- Знания в области технологий сбора, хранения и обработки данных (например, Hadoop, Spark, Kafka);
- Опыт проектирования и реализации высокодоступных и масштабируемых систем для работы с большими данными;
- Знакомство с принципами и практиками Data Governance, Quality, Lineage;
- Навыки программирования (например, Python, Java, Scala) и опыт работы с SQL и NoSQL базами данных;
- Понимание архитектурных паттернов и фреймворков проектирования (например: Data Fabric, Data Mesh).
Для отклика пишите: @Skywebpro_hr
Data инженер
🌏Локация и гражданство: Россия 🇷🇺
📄Оформление: ИП, ГПД
💼Занятость: полная
💻Формат работы: удаленка
💰ЗП вилка: от 80 т.р до 270т.р.
✅Опыт: от 3 лет
🔵Компания: SkyWeb Pro
Требования:
- Знания в области технологий сбора, хранения и обработки данных (например, Hadoop, Spark, Kafka);
- Опыт проектирования и реализации высокодоступных и масштабируемых систем для работы с большими данными;
- Знакомство с принципами и практиками Data Governance, Quality, Lineage;
- Навыки программирования (например, Python, Java, Scala) и опыт работы с SQL и NoSQL базами данных;
- Понимание архитектурных паттернов и фреймворков проектирования (например: Data Fabric, Data Mesh).
Для отклика пишите: @Skywebpro_hr
#вакансия #lead #DataEngineer #DWH #hadoop #spark #airflow #clickhouse #SODA #remote
Ищу к себе в команду DWH в AliExpress Lead Data Engineer
Стек: Hadoop, Spark, Airflow, ClickHouse, SODA (DQ).
Удаленка, возможность оформления вне РФ.
Зона ответственности команды DWH - качественные и своевременные данные в удобном для аналитики виде. За платформу данных и подключение источников к озеру данных отвечает отдельная платформенная команда. Объемы данных в компании исчисляются петабайтами.
Чем предстоит заниматься:
- Оптимизация производительности сложных процессов загрузки данных (Spark);
- Развитие используемых в команде практик и подходов (доработки CI/CD, мониторингов, внутренних библиотек)
- Разработка NRT пайплайнов (Kafka, Spark Structured Streaming, CH);
- Разработка витрин данных (Spark);
- Менторинг разработчиков и контроль за соблюдением стандартов.
Мы ожидаем от Вас:
- Опыт работы со Spark и глубокое понимание его устройства;
- Опыт работы с Python или Java от 3-х лет;
- Опыт работы c ClickHouse;
- Опыт написания дата пайплайнов, опыт работы с Airflow;
- Понимание подходов к организации разработки (CI/CD, DevOps).
Будет плюсом:
- Опыт разработки потоковой обработки данных;
- Опыт работы с форматом iceberg;
- Опыт управления небольшой командой.
По вопросам и с резюме: @shh1_01
Ищу к себе в команду DWH в AliExpress Lead Data Engineer
Стек: Hadoop, Spark, Airflow, ClickHouse, SODA (DQ).
Удаленка, возможность оформления вне РФ.
Зона ответственности команды DWH - качественные и своевременные данные в удобном для аналитики виде. За платформу данных и подключение источников к озеру данных отвечает отдельная платформенная команда. Объемы данных в компании исчисляются петабайтами.
Чем предстоит заниматься:
- Оптимизация производительности сложных процессов загрузки данных (Spark);
- Развитие используемых в команде практик и подходов (доработки CI/CD, мониторингов, внутренних библиотек)
- Разработка NRT пайплайнов (Kafka, Spark Structured Streaming, CH);
- Разработка витрин данных (Spark);
- Менторинг разработчиков и контроль за соблюдением стандартов.
Мы ожидаем от Вас:
- Опыт работы со Spark и глубокое понимание его устройства;
- Опыт работы с Python или Java от 3-х лет;
- Опыт работы c ClickHouse;
- Опыт написания дата пайплайнов, опыт работы с Airflow;
- Понимание подходов к организации разработки (CI/CD, DevOps).
Будет плюсом:
- Опыт разработки потоковой обработки данных;
- Опыт работы с форматом iceberg;
- Опыт управления небольшой командой.
По вопросам и с резюме: @shh1_01
#Вакансия #DataEngineer #Senior #УдаленнаяРабота
Senior Data Engineer в Welltory
Welltory — приложение для здоровья с 10 млн пользователей и 180 тыс. оценок ★★★★★. Создаём новую команду Data Engineering: будем строить Data Lakehouse со всеми данными в компании и доставлять данные для фичей нашего мобильного приложения.
Требования:
— Опыт работы 5+ лет в Data Engineering.
— Владение: Python, Apache Spark, AWS, SQL и NoSQL базами данных.
— Понимание теории Data Engineering и трендов в отрасли.
— Большим плюсом будет продакшен опыт с Apache Iceberg.
— Умение адаптироваться к новым инструментам, включая последние AI-решения.
Задачи:
— Построение и поддержка внутреннего Data Lakehouse на AWS.
— Разработка пайплайнов для обработки данных.
— Участие в создании архитектуры и настройке процессов в новой команде.
Условия:
— Удаленная работа с гибким графиком.
— Бонусы: субсидии на технику (50%), корпоративный психолог, опционная программа.
— Возможность влиять на здоровье и благополучие миллионов пользователей.
Контакты для связи:
• Костя, руководитель команды: @tyapochkinks
• Или пишите нам в HR: @welltoryhr
Senior Data Engineer в Welltory
Welltory — приложение для здоровья с 10 млн пользователей и 180 тыс. оценок ★★★★★. Создаём новую команду Data Engineering: будем строить Data Lakehouse со всеми данными в компании и доставлять данные для фичей нашего мобильного приложения.
Требования:
— Опыт работы 5+ лет в Data Engineering.
— Владение: Python, Apache Spark, AWS, SQL и NoSQL базами данных.
— Понимание теории Data Engineering и трендов в отрасли.
— Большим плюсом будет продакшен опыт с Apache Iceberg.
— Умение адаптироваться к новым инструментам, включая последние AI-решения.
Задачи:
— Построение и поддержка внутреннего Data Lakehouse на AWS.
— Разработка пайплайнов для обработки данных.
— Участие в создании архитектуры и настройке процессов в новой команде.
Условия:
— Удаленная работа с гибким графиком.
— Бонусы: субсидии на технику (50%), корпоративный психолог, опционная программа.
— Возможность влиять на здоровье и благополучие миллионов пользователей.
Контакты для связи:
• Костя, руководитель команды: @tyapochkinks
• Или пишите нам в HR: @welltoryhr
#vacancy #dataengineer #de #python
Вакансия: Senior Data Engineer
Формат: офис/гибрид (Ереван), удалённый
Локация: любая
Занятость: полная
Оплата: до 350 000 рублей
Обязанности:
- Проектирование и реализация систем для сбора и обработки данных.
- Трансформация бизнес-требований в модели данных.
- Обеспечение поддержки бизнес-требований через архитектуру данных.
- Обеспечение безопасности данных.
Требования:
- 4+ лет опыта работы в области инженерии данных, ETL-процессов и управления сложными решениями по хранению данных
- Подтвержденный коммерческий опыт создания и развертывания приложений с использованием Python и Apache Airflow
- Практический опыт работы с облачной инфраструктурой AWS и управлением решениями для хранения и передачи данных в облачной среде
- Продвинутое владение SQL (особенно PostgreSQL) и глубокое понимание различных решений по хранению данных, включая структурированные и неструктурированные данные
- Желание изучать и экспериментировать с агентами ИИ совместно с командой Data Science, интегрировать ИИ-логику в архитектуру конвейеров данных
- Отличные навыки решения проблем, способность справляться с неопределенностью и предлагать решения в сложных ситуациях
- Уровень английского B2 или выше
Технологии и языки:
- Python
- SQL
- Облачная платформа AWS
- Git
- Pandas
- Airflow
- CI/CD, Jenkins
Предпочтительно:
- Опыт работы с векторными хранилищами и графовыми базами данных
- Опыт работы с облачными платформами машинного обучения
- Знание эффективных форматов данных (например, Parquet, Avro) для пакетной обработки в озерах данных или хранилищах данных, опыт работы с Apache Spark
- Snowflake Data Warehouse
- Docker
- Linux + bash, ssh
- Jupyter
- Параллельные вычисления
Будет плюсом:
- Опыт работы с командами Data Science
- Сертификация AWS
Мы предлагаем:
- Работу в динамичной международной команде
- Возможность сотрудничества через ИП/самозанятость для коллег, находящихся за пределами РФ
- Участие в иностранных и российских проектах
- Оформление по ТК РФ, 100% оплата больничного и отпуска
- ДМС со стоматологией
- Необходимую для работы технику
- Корпоративные обучающие программы
- Широкие возможности для самореализации, профессионального и карьерного роста
- Демократичный подход к процессам и плавающее начало рабочего дня
- Опцию перемещения между нашими зарубежными офисами
По всем вопросам и с резюме: @ananyancat
Вакансия: Senior Data Engineer
Формат: офис/гибрид (Ереван), удалённый
Локация: любая
Занятость: полная
Оплата: до 350 000 рублей
Обязанности:
- Проектирование и реализация систем для сбора и обработки данных.
- Трансформация бизнес-требований в модели данных.
- Обеспечение поддержки бизнес-требований через архитектуру данных.
- Обеспечение безопасности данных.
Требования:
- 4+ лет опыта работы в области инженерии данных, ETL-процессов и управления сложными решениями по хранению данных
- Подтвержденный коммерческий опыт создания и развертывания приложений с использованием Python и Apache Airflow
- Практический опыт работы с облачной инфраструктурой AWS и управлением решениями для хранения и передачи данных в облачной среде
- Продвинутое владение SQL (особенно PostgreSQL) и глубокое понимание различных решений по хранению данных, включая структурированные и неструктурированные данные
- Желание изучать и экспериментировать с агентами ИИ совместно с командой Data Science, интегрировать ИИ-логику в архитектуру конвейеров данных
- Отличные навыки решения проблем, способность справляться с неопределенностью и предлагать решения в сложных ситуациях
- Уровень английского B2 или выше
Технологии и языки:
- Python
- SQL
- Облачная платформа AWS
- Git
- Pandas
- Airflow
- CI/CD, Jenkins
Предпочтительно:
- Опыт работы с векторными хранилищами и графовыми базами данных
- Опыт работы с облачными платформами машинного обучения
- Знание эффективных форматов данных (например, Parquet, Avro) для пакетной обработки в озерах данных или хранилищах данных, опыт работы с Apache Spark
- Snowflake Data Warehouse
- Docker
- Linux + bash, ssh
- Jupyter
- Параллельные вычисления
Будет плюсом:
- Опыт работы с командами Data Science
- Сертификация AWS
Мы предлагаем:
- Работу в динамичной международной команде
- Возможность сотрудничества через ИП/самозанятость для коллег, находящихся за пределами РФ
- Участие в иностранных и российских проектах
- Оформление по ТК РФ, 100% оплата больничного и отпуска
- ДМС со стоматологией
- Необходимую для работы технику
- Корпоративные обучающие программы
- Широкие возможности для самореализации, профессионального и карьерного роста
- Демократичный подход к процессам и плавающее начало рабочего дня
- Опцию перемещения между нашими зарубежными офисами
По всем вопросам и с резюме: @ananyancat
#Вакансия #DataEngineer #Senior #УдаленнаяРабота
Senior Data Engineer в Welltory
Welltory — приложение для здоровья с 10 млн пользователей и 180 тыс. оценок ★★★★★. Создаём новую команду Data Engineering: будем строить Data Lakehouse со всеми данными в компании и доставлять данные для фичей нашего мобильного приложения.
Требования:
— Опыт работы 5+ лет в Data Engineering.
— Владение: Python, Apache Spark, AWS, SQL и NoSQL базами данных.
— Понимание теории Data Engineering и трендов в отрасли.
— Большим плюсом будет продакшен опыт с Apache Iceberg.
— Умение адаптироваться к новым инструментам, включая последние AI-решения.
Задачи:
— Построение и поддержка внутреннего Data Lakehouse на AWS.
— Разработка пайплайнов для обработки данных.
— Участие в создании архитектуры и настройке процессов в новой команде.
Условия:
— Удаленная работа с гибким графиком.
— Бонусы: субсидии на технику (50%), корпоративный психолог, опционная программа.
— Возможность влиять на здоровье и благополучие миллионов пользователей.
Контакты для связи: @welltoryhr
Senior Data Engineer в Welltory
Welltory — приложение для здоровья с 10 млн пользователей и 180 тыс. оценок ★★★★★. Создаём новую команду Data Engineering: будем строить Data Lakehouse со всеми данными в компании и доставлять данные для фичей нашего мобильного приложения.
Требования:
— Опыт работы 5+ лет в Data Engineering.
— Владение: Python, Apache Spark, AWS, SQL и NoSQL базами данных.
— Понимание теории Data Engineering и трендов в отрасли.
— Большим плюсом будет продакшен опыт с Apache Iceberg.
— Умение адаптироваться к новым инструментам, включая последние AI-решения.
Задачи:
— Построение и поддержка внутреннего Data Lakehouse на AWS.
— Разработка пайплайнов для обработки данных.
— Участие в создании архитектуры и настройке процессов в новой команде.
Условия:
— Удаленная работа с гибким графиком.
— Бонусы: субсидии на технику (50%), корпоративный психолог, опционная программа.
— Возможность влиять на здоровье и благополучие миллионов пользователей.
Контакты для связи: @welltoryhr
#вакансии #dataengineer #Spark #Scala3 #Jenkins #Senior
Друзья, всем привет!
Ищем авторов уроков и задач на практический курс по разработке на Spark для продвинутых Data Engineer.
О нас:
Standard Data – проектируем и реализуем образовательные решения под заказ крупных компаний в сфере ИИ, дата инжиниринга и веб-разработки.
Кого ищем:
Авторов уроков и задач, которым интересно сделать качественный образовательный продукт, решающий задачи нашей аудитории!
Мы ожидаем от вас опыт работы со Spark для решения рабочих задач от 5 лет. Кроме того, важна готовность работать в команде, быть на связи и регулярно уделять 10+ часов в неделю.
Что нужно делать:
• Разработка материалов: лекции, семинары, ДЗ, проекты.
• Проводить занятия, обычно по выбранным (2-4) темам из всего курса. Занятия в формате вебинаров 2 раза в неделю по 2 часа.
• Прямо сейчас мы на стадии старта разработки курса, поэтому наиболее актуальна именно разработка материалов. Далее, примерно через 3 месяца уже проведение занятий (и далее продолжаем развивать этот курс).
Что мы ждем от кандидата:
• более 5 лет в роли DE, опыт оптимизации высоконагруженных приложений/ETL процессов;
• Опыт работы со Scala 3; Spark; Kafka + Spark Structured Streaming; Hadoop; Oozie; Yarn.
Будет большим плюсом:
Опыт в DevOps (Jenkins) и знание пакета MLib в Spark.
Что мы предлагаем:
• За разработку комплекта материалов к одной теме: лекция, семинар, тест, ДЗ – 30т.р.-50т.р.
• Сумма оплаты возможна и больше, всё зависит от опыта, публикаций и результатов собеседования.
• За проведение одного двухчасового занятия – 10т.р.-20т.р. в зависимости от вашего опыта.
Ждем тебя в нашей команде, пишите в тг, или сразу кидайте резюме: t.me/KaterinkaGl
Друзья, всем привет!
Ищем авторов уроков и задач на практический курс по разработке на Spark для продвинутых Data Engineer.
О нас:
Standard Data – проектируем и реализуем образовательные решения под заказ крупных компаний в сфере ИИ, дата инжиниринга и веб-разработки.
Кого ищем:
Авторов уроков и задач, которым интересно сделать качественный образовательный продукт, решающий задачи нашей аудитории!
Мы ожидаем от вас опыт работы со Spark для решения рабочих задач от 5 лет. Кроме того, важна готовность работать в команде, быть на связи и регулярно уделять 10+ часов в неделю.
Что нужно делать:
• Разработка материалов: лекции, семинары, ДЗ, проекты.
• Проводить занятия, обычно по выбранным (2-4) темам из всего курса. Занятия в формате вебинаров 2 раза в неделю по 2 часа.
• Прямо сейчас мы на стадии старта разработки курса, поэтому наиболее актуальна именно разработка материалов. Далее, примерно через 3 месяца уже проведение занятий (и далее продолжаем развивать этот курс).
Что мы ждем от кандидата:
• более 5 лет в роли DE, опыт оптимизации высоконагруженных приложений/ETL процессов;
• Опыт работы со Scala 3; Spark; Kafka + Spark Structured Streaming; Hadoop; Oozie; Yarn.
Будет большим плюсом:
Опыт в DevOps (Jenkins) и знание пакета MLib в Spark.
Что мы предлагаем:
• За разработку комплекта материалов к одной теме: лекция, семинар, тест, ДЗ – 30т.р.-50т.р.
• Сумма оплаты возможна и больше, всё зависит от опыта, публикаций и результатов собеседования.
• За проведение одного двухчасового занятия – 10т.р.-20т.р. в зависимости от вашего опыта.
Ждем тебя в нашей команде, пишите в тг, или сразу кидайте резюме: t.me/KaterinkaGl
Ищем Data Engineer (Middle/Middle+/Senior) в аутстафф-компанию Top Selection для работы над зарубежным ритейл-проектом.
Грейд: Senior
Название компании: Top Selection
Локация: Не важно
Часовой пояс: МСК
Предметные области: ритейл
Формат работы: Удалёнка
Мы ищем Data Platform Engineer с опытом работы в Microsoft Fabric или Databricks для построения и оптимизации дата-платформы в ритейле.
Основная задача – разработка облачной платформы обработки данных, интеграция с различными источниками и аналитика в реальном времени.
Работа в ритейле требует глубокого понимания данных о продажах, цепочке поставок, потребительском поведении и управлении товарными запасами.
Обязанности:
Ключевые обязанности (MS Fabric):
- Проектирование архитектуры данных на Microsoft Fabric (OneLake, Lakehouses, Synapse Data Warehouse, Power BI).
- Разработка и внедрение ETL/ELT-конвейеров данных (Fabric Data Pipelines, Azure Data Factory).
- Оптимизация хранения и обработки данных в OneLake и Lakehouses.
- Настройка Real-Time Analytics (анализ транзакций, логистика, продажи в режиме реального времени).
- Интеграция с Power BI и построение семантических моделей.
- Оптимизация SQL-запросов для больших объемов данных в Synapse Data Warehouse.
- Автоматизация CI/CD-конвейеров (Azure GitOps).
- Обеспечение безопасности данных и соответствие стандартам работы с персональными и коммерческими данными.
Технологии, с которыми предстоит работать:
- Microsoft Fabric:
- OneLake (облачное lakehouse-хранилище данных)
- Lakehouses (совмещение Data Lake и традиционных DWH)
- Data Pipelines (аналог Azure Data Factory)
- Synapse Data Warehouse (облачный аналитический движок)
- Real-Time Analytics (потоковая обработка данных)
- Power BI & Semantic Models (бизнес-аналитика)
- KQL (Kusto Query Language) для анализа событий и логов
- DevOps & CI/CD:
- Azure GitOps, YAML-пайплайны
- Автоматизированное развертывание и управление инфраструктурой данных
Требования:
- Практический опыт работы с Microsoft Fabric или Databricks (или другим релевантным облачным стеком).
- От 2 лет опыта в data engineering и облачных хранилищах данных.
- Глубокие знания SQL, Python, Spark/PySpark, T-SQL.
- Опыт оптимизации SQL-запросов и работы с большими объемами данных.
- Понимание архитектуры баз данных и lakehouse-концепции.
- Опыт работы с ETL/ELT-процессами, DataOps, CI/CD для данных.
Пожелания:
Будет плюсом:
- Опыт работы с потоковыми данными (Kafka, Event Hubs, Stream Analytics).
- Знание ритейл-данных (ценообразование, товарные запасы, программы лояльности).
- Опыт работы с Delta Lake, Databricks ML.
- Оптимизация SQL-запросов и настройка кластера Spark.
Сертификации (желательно):
- Microsoft Certified: Fabric Analytics Engineer Associate
- Microsoft Certified: Azure Data Engineer Associate
- Databricks Certified Data Engineer Associate/Professional
Контактные данные: @mherchopurian / @datasciencejobs
#вакансия #DataEngineer #Middle #MSFabric #Databricks #Удаленно
Грейд: Senior
Название компании: Top Selection
Локация: Не важно
Часовой пояс: МСК
Предметные области: ритейл
Формат работы: Удалёнка
Мы ищем Data Platform Engineer с опытом работы в Microsoft Fabric или Databricks для построения и оптимизации дата-платформы в ритейле.
Основная задача – разработка облачной платформы обработки данных, интеграция с различными источниками и аналитика в реальном времени.
Работа в ритейле требует глубокого понимания данных о продажах, цепочке поставок, потребительском поведении и управлении товарными запасами.
Обязанности:
Ключевые обязанности (MS Fabric):
- Проектирование архитектуры данных на Microsoft Fabric (OneLake, Lakehouses, Synapse Data Warehouse, Power BI).
- Разработка и внедрение ETL/ELT-конвейеров данных (Fabric Data Pipelines, Azure Data Factory).
- Оптимизация хранения и обработки данных в OneLake и Lakehouses.
- Настройка Real-Time Analytics (анализ транзакций, логистика, продажи в режиме реального времени).
- Интеграция с Power BI и построение семантических моделей.
- Оптимизация SQL-запросов для больших объемов данных в Synapse Data Warehouse.
- Автоматизация CI/CD-конвейеров (Azure GitOps).
- Обеспечение безопасности данных и соответствие стандартам работы с персональными и коммерческими данными.
Технологии, с которыми предстоит работать:
- Microsoft Fabric:
- OneLake (облачное lakehouse-хранилище данных)
- Lakehouses (совмещение Data Lake и традиционных DWH)
- Data Pipelines (аналог Azure Data Factory)
- Synapse Data Warehouse (облачный аналитический движок)
- Real-Time Analytics (потоковая обработка данных)
- Power BI & Semantic Models (бизнес-аналитика)
- KQL (Kusto Query Language) для анализа событий и логов
- DevOps & CI/CD:
- Azure GitOps, YAML-пайплайны
- Автоматизированное развертывание и управление инфраструктурой данных
Требования:
- Практический опыт работы с Microsoft Fabric или Databricks (или другим релевантным облачным стеком).
- От 2 лет опыта в data engineering и облачных хранилищах данных.
- Глубокие знания SQL, Python, Spark/PySpark, T-SQL.
- Опыт оптимизации SQL-запросов и работы с большими объемами данных.
- Понимание архитектуры баз данных и lakehouse-концепции.
- Опыт работы с ETL/ELT-процессами, DataOps, CI/CD для данных.
Пожелания:
Будет плюсом:
- Опыт работы с потоковыми данными (Kafka, Event Hubs, Stream Analytics).
- Знание ритейл-данных (ценообразование, товарные запасы, программы лояльности).
- Опыт работы с Delta Lake, Databricks ML.
- Оптимизация SQL-запросов и настройка кластера Spark.
Сертификации (желательно):
- Microsoft Certified: Fabric Analytics Engineer Associate
- Microsoft Certified: Azure Data Engineer Associate
- Databricks Certified Data Engineer Associate/Professional
Контактные данные: @mherchopurian / @datasciencejobs
#вакансия #DataEngineer #Middle #MSFabric #Databricks #Удаленно
#вакансия #DE #dataengineer #DWH #pandas #clickhouse #SQL #BigQuery #AirFlow #DBT #parttime #fulltime #remote
Всем привет!
Ищу к себе в команду middle/senior-специалиста по data-инжинирингу.
Я аналитик, строю аналитические DWH для бизнеса, внедряю сквозную аналитику и создаю дашборды (подробнее в лс).
У меня небольшая команда - один специалист на full-time и несколько на фри-лансе.
Объем работы по клиентам растет, поэтому ищу еще одного специалиста на part/full-time (от 20 ч в неделю).
Необходимый стек:
- минимум Python (ООП, Pandas), AirFlow
- желательный Python (ООП, Pandas), SQL (ClickHouse/Google BigQuery), AirFlow, DBT
Оплата сдельная - от 80 тыс. руб.
Формат работы: удаленно
Для связи: @isrustam
Всем привет!
Ищу к себе в команду middle/senior-специалиста по data-инжинирингу.
Я аналитик, строю аналитические DWH для бизнеса, внедряю сквозную аналитику и создаю дашборды (подробнее в лс).
У меня небольшая команда - один специалист на full-time и несколько на фри-лансе.
Объем работы по клиентам растет, поэтому ищу еще одного специалиста на part/full-time (от 20 ч в неделю).
Необходимый стек:
- минимум Python (ООП, Pandas), AirFlow
- желательный Python (ООП, Pandas), SQL (ClickHouse/Google BigQuery), AirFlow, DBT
Оплата сдельная - от 80 тыс. руб.
Формат работы: удаленно
Для связи: @isrustam
#работа #удаленнаяработа #вакансия #DataEngineer #middle #датаинженер
Ищем Data Engineer
Опыт работы: 2–3 года
Полная занятость
График: 5/2
Формат работы: удалённо
Компания: 7RedLines
Оформление: ТК РФ
Оклад на руки: 120 000 – 140 000к
Обязанности:
• Разработка хранилищ данных, витрин данных;
• Проектирование, разработка и поддержка ETL-процессов;
• Контроль качества загружаемых данных (ручные и автоматические тесты DQ);
• Интеграция новых источников;
• Работа в команде с системными аналитиками.
Требования:
Обязательно:
• Опыт в языках программирования: SQL, Python;
• Опыт работы с одним или несколькими СУБД: PostgreSQL, Clickhouse, Greenplum, MS SQL Server;
• Опыт использования ETL инструментов: Apache NiFi, Apache Airflow;
Будет плюсом:
• Опыт работы с Hadoop, PySpark;
• Опыт работы с Apache Kafka;
• Опыт работы с Arenadata.
Контактная информация:
Тг: @HR7RedLines
Эл.почта: [email protected]
Ищем Data Engineer
Опыт работы: 2–3 года
Полная занятость
График: 5/2
Формат работы: удалённо
Компания: 7RedLines
Оформление: ТК РФ
Оклад на руки: 120 000 – 140 000к
Обязанности:
• Разработка хранилищ данных, витрин данных;
• Проектирование, разработка и поддержка ETL-процессов;
• Контроль качества загружаемых данных (ручные и автоматические тесты DQ);
• Интеграция новых источников;
• Работа в команде с системными аналитиками.
Требования:
Обязательно:
• Опыт в языках программирования: SQL, Python;
• Опыт работы с одним или несколькими СУБД: PostgreSQL, Clickhouse, Greenplum, MS SQL Server;
• Опыт использования ETL инструментов: Apache NiFi, Apache Airflow;
Будет плюсом:
• Опыт работы с Hadoop, PySpark;
• Опыт работы с Apache Kafka;
• Опыт работы с Arenadata.
Контактная информация:
Тг: @HR7RedLines
Эл.почта: [email protected]
#работа #удаленнаяработа #вакансия #DataEngineer #middle #датаинженер
Позиция: Data Engineer
Опыт работы: 2–3 года
Полная занятость
График: 5/2
Формат работы: удалённо
Компания: 7RedLines
Оформление: ТК РФ
Оклад на руки: 140 000 – 200 000 р.
Мы ищем Data Engineer для разработки и поддержки ETL-процессов, обеспечивающих загрузку, обработку и хранение данных. Вам предстоит работать с Airflow, Hadoop (PySpark), S3 (minio) и PostgreSQL, чтобы создавать надежные и масштабируемые пайплайны данных.
Обязанности:
• Разработка и поддержка ETL-пайплайнов в Apache Airflow
• Загрузка данных из различных источников (API, базы данных, файлы) и их сохранение в S3
• Обработка больших данных с помощью PySpark в Hadoop-кластере
• Оптимизация производительности Spark-задач (партиционирование, кэширование, настройка ресурсов)
• Выгрузка результатов обработки в PostgreSQL
• Мониторинг и обеспечение надежности пайплайнов
• Взаимодействие с аналитиками и разработчиками для уточнения требований
Требования:
• Опыт работы с Apache Airflow версии 2.0 и выше (написание DAG, сенсоры, операторы), от 3х лет
• Знание PySpark и опыт работы с Hadoop (HDFS, YARN), от 2х лет
• Умение работать с облачными хранилищами (S3 или аналоги)
• Опыт работы с PostgreSQL (оптимизация запросов, партиционирование), от 2х лет
• Понимание принципов распределенных вычислений
• Уверенные знания Python и SQL (оптимизация запросов), от 3х лет
• Желателен опыт с Docker, Kubernetes (для оркестрации)
Контактная информация:
Тг: @HR7RedLines
Эл.почта: [email protected]
Позиция: Data Engineer
Опыт работы: 2–3 года
Полная занятость
График: 5/2
Формат работы: удалённо
Компания: 7RedLines
Оформление: ТК РФ
Оклад на руки: 140 000 – 200 000 р.
Мы ищем Data Engineer для разработки и поддержки ETL-процессов, обеспечивающих загрузку, обработку и хранение данных. Вам предстоит работать с Airflow, Hadoop (PySpark), S3 (minio) и PostgreSQL, чтобы создавать надежные и масштабируемые пайплайны данных.
Обязанности:
• Разработка и поддержка ETL-пайплайнов в Apache Airflow
• Загрузка данных из различных источников (API, базы данных, файлы) и их сохранение в S3
• Обработка больших данных с помощью PySpark в Hadoop-кластере
• Оптимизация производительности Spark-задач (партиционирование, кэширование, настройка ресурсов)
• Выгрузка результатов обработки в PostgreSQL
• Мониторинг и обеспечение надежности пайплайнов
• Взаимодействие с аналитиками и разработчиками для уточнения требований
Требования:
• Опыт работы с Apache Airflow версии 2.0 и выше (написание DAG, сенсоры, операторы), от 3х лет
• Знание PySpark и опыт работы с Hadoop (HDFS, YARN), от 2х лет
• Умение работать с облачными хранилищами (S3 или аналоги)
• Опыт работы с PostgreSQL (оптимизация запросов, партиционирование), от 2х лет
• Понимание принципов распределенных вычислений
• Уверенные знания Python и SQL (оптимизация запросов), от 3х лет
• Желателен опыт с Docker, Kubernetes (для оркестрации)
Контактная информация:
Тг: @HR7RedLines
Эл.почта: [email protected]
#job #вакансия #DataEngineer #Greenplum #MPP #фултайм #remote
Вакансия: Data Engineer
Формат работы: офис, гибрид, удаленка (можно вне РФ)
Занятость: full-time с гибким началом рабочего дня
Офис: г. Москва, м. Тульская, Варшавское шоссе, 9с1Б, БЦ “Даниловская Мануфактура”
Зарплатная вилка: 300 - 390 тыс руб gross + ДМС + курсы англ языка и разговорная практика с европейским офисом + ежегодно повышаем ЗП + техника (Macbook или PC Dell) + отсрочка от призыва и мобилизации (аккредитованная ИТ компания)
Оформление: ТК, ИП
Гражданство: РФ
Mokka — международная fintech компания, лидер сегмента BNPL в России и Восточной Европе (Buy Now Pay Later – покупай сейчас, плати потом). Сервисы Мокка представлены в более 7 тыс. торговых точек наших партнеров, таких как Lamoda, OneTwoTrip, OZON, М.Видео, Эльдорадо, Детский мир и др, а количество пользователей уже 15+ млн. Сервис работает в РФ, Польше, Румынии, Болгарии.
Команда аналитической платформы:
— Head of Data and Analytics;
— Data Engineer - 3;
— BI Analyst - 3;
— ML Engineer - 4.
Стек DE: Greenplum, S3, Apache NiFi, Apache Kafka, Apache Airflow, Python, DBT, CI\CD - Gitlab, REST API, Docker, Soda core.
Проекты DE на 1 полугодие 2025:
— разработка процессов обмена данных с внешними системами;
— подключение двух новых источников, help desk и app metrica;
— оптимизация платформы данных.
Смежные команды: 7 продуктовых команд, в РФ и Европе, команда DevOps, команда саппорта и др.
Зона ответственности:
— проектирование, разработка и оптимизация архитектуры DWH (Greenplum, Data Vault);
— разработка и поддержка ETL-процессов с использованием Nifi и Airflow, подключение новых источников данных;
— написание трансформаций и моделирование данных с использованием DBT;
— мониторинг и контроль работы регламентных процессов обновления данных;
— решение инцидентов с качеством данных;
— создание витрин данных;
— поддержка CI/CD процессов для обработчиков и загрузчиков данных;
— документация обработчиков данных и витрин, которые часто используются;
— рефакторинг имеющихся обработчиков с целью оптимизации;
— создавать решения (например, для заливки моделей / фичей) оптимизированные под запись;
— наполнение базы знаний;
Пожелания к опыту:
— знание методологий проектирования DWH;
— опыт в разработке и поддержке DWH и ETL от 3 лет;
— знание SQL на хорошем уровне: оконные функции, иерархические запросы, оптимизация производительности запросов;
— опыт работы с DBT;
— хорошее знание Python: знать что такое virtualenv, уметь remote-development, уметь оформлять тесты и настраивать линтеры;
— хорошее знание Airflow: уметь писать собственные hooks и operators, умение пользоваться внутренними возможностями airflow по хранению параметров соединений, создание и поддержание документации по дагам;
— Linux: знание основных команд, умение писать bash-скрипты, умение работать с pipe;
— умение работать с docker контейнерами;
— опыт работы с git, настройка пайплайнов в gitlab-ci;
— опыт настройки и использования Apache Kafka, знание Avro формата;
— хорошее знание REST API;
Nice to have:
— опыт работы с S3;
— опыт работы с колоночными СУБД (Greenplum, Vertica, Teradata, Clickhouse): уметь разворачивать, проектировать схемы для витрин в зависимости от назначения, настраивать мониторинг и бэкапы, анализ и оптимизация запросов;
— Apache NiFi: хотя бы уверенные теоретические знания;
— Soda Core;
— знание Cloud concepts (Yandex Cloud, AWS);
Условия:
— формат работы: на выбор - офис, гибрид, удаленка (можно вне РФ);
— оформление: ТК РФ, ИП;
— оклад: 300-390К руб gross + ежегодное повышение ЗП;
— ДМС со стоматологией;
— отсрочка от призыва и мобилизации (аккредитованная ИТ компания);
— гибкое начало рабочего дня (с 08:00 до 11:00 мск);
— техника на выбор: MacBook Pro или PC Dell;
— открытая простая коммуникация в команде;
Процесс найма:
Видео-звонок с HR → Техническое вью → Финальное вью → Оффер.
Контакты для связи: @Shvedova1
Вакансия: Data Engineer
Формат работы: офис, гибрид, удаленка (можно вне РФ)
Занятость: full-time с гибким началом рабочего дня
Офис: г. Москва, м. Тульская, Варшавское шоссе, 9с1Б, БЦ “Даниловская Мануфактура”
Зарплатная вилка: 300 - 390 тыс руб gross + ДМС + курсы англ языка и разговорная практика с европейским офисом + ежегодно повышаем ЗП + техника (Macbook или PC Dell) + отсрочка от призыва и мобилизации (аккредитованная ИТ компания)
Оформление: ТК, ИП
Гражданство: РФ
Mokka — международная fintech компания, лидер сегмента BNPL в России и Восточной Европе (Buy Now Pay Later – покупай сейчас, плати потом). Сервисы Мокка представлены в более 7 тыс. торговых точек наших партнеров, таких как Lamoda, OneTwoTrip, OZON, М.Видео, Эльдорадо, Детский мир и др, а количество пользователей уже 15+ млн. Сервис работает в РФ, Польше, Румынии, Болгарии.
Команда аналитической платформы:
— Head of Data and Analytics;
— Data Engineer - 3;
— BI Analyst - 3;
— ML Engineer - 4.
Стек DE: Greenplum, S3, Apache NiFi, Apache Kafka, Apache Airflow, Python, DBT, CI\CD - Gitlab, REST API, Docker, Soda core.
Проекты DE на 1 полугодие 2025:
— разработка процессов обмена данных с внешними системами;
— подключение двух новых источников, help desk и app metrica;
— оптимизация платформы данных.
Смежные команды: 7 продуктовых команд, в РФ и Европе, команда DevOps, команда саппорта и др.
Зона ответственности:
— проектирование, разработка и оптимизация архитектуры DWH (Greenplum, Data Vault);
— разработка и поддержка ETL-процессов с использованием Nifi и Airflow, подключение новых источников данных;
— написание трансформаций и моделирование данных с использованием DBT;
— мониторинг и контроль работы регламентных процессов обновления данных;
— решение инцидентов с качеством данных;
— создание витрин данных;
— поддержка CI/CD процессов для обработчиков и загрузчиков данных;
— документация обработчиков данных и витрин, которые часто используются;
— рефакторинг имеющихся обработчиков с целью оптимизации;
— создавать решения (например, для заливки моделей / фичей) оптимизированные под запись;
— наполнение базы знаний;
Пожелания к опыту:
— знание методологий проектирования DWH;
— опыт в разработке и поддержке DWH и ETL от 3 лет;
— знание SQL на хорошем уровне: оконные функции, иерархические запросы, оптимизация производительности запросов;
— опыт работы с DBT;
— хорошее знание Python: знать что такое virtualenv, уметь remote-development, уметь оформлять тесты и настраивать линтеры;
— хорошее знание Airflow: уметь писать собственные hooks и operators, умение пользоваться внутренними возможностями airflow по хранению параметров соединений, создание и поддержание документации по дагам;
— Linux: знание основных команд, умение писать bash-скрипты, умение работать с pipe;
— умение работать с docker контейнерами;
— опыт работы с git, настройка пайплайнов в gitlab-ci;
— опыт настройки и использования Apache Kafka, знание Avro формата;
— хорошее знание REST API;
Nice to have:
— опыт работы с S3;
— опыт работы с колоночными СУБД (Greenplum, Vertica, Teradata, Clickhouse): уметь разворачивать, проектировать схемы для витрин в зависимости от назначения, настраивать мониторинг и бэкапы, анализ и оптимизация запросов;
— Apache NiFi: хотя бы уверенные теоретические знания;
— Soda Core;
— знание Cloud concepts (Yandex Cloud, AWS);
Условия:
— формат работы: на выбор - офис, гибрид, удаленка (можно вне РФ);
— оформление: ТК РФ, ИП;
— оклад: 300-390К руб gross + ежегодное повышение ЗП;
— ДМС со стоматологией;
— отсрочка от призыва и мобилизации (аккредитованная ИТ компания);
— гибкое начало рабочего дня (с 08:00 до 11:00 мск);
— техника на выбор: MacBook Pro или PC Dell;
— открытая простая коммуникация в команде;
Процесс найма:
Видео-звонок с HR → Техническое вью → Финальное вью → Оффер.
Контакты для связи: @Shvedova1
#вакансии #dataengineer #Spark #Scala3 #Jenkins #Senior
Друзья, всем привет!
Ищем авторов уроков и задач на практический курс по разработке на Spark для продвинутых Data Engineer.
О нас:
Standard Data – проектируем и реализуем образовательные решения под заказ крупных компаний в сфере ИИ, дата инжиниринга и веб-разработки.
Кого ищем:
Авторов уроков и задач, которым интересно сделать качественный образовательный продукт, решающий задачи нашей аудитории)
Мы ожидаем от вас опыт работы со Spark для решения рабочих задач от 5 лет.
Что нужно делать:
• Разработка материалов: лекции, семинары, ДЗ, проекты по следующим темам:
- Structured Streaming
- Чтение потоков данных (Kafka, сокеты),
- Реализация операций: трансформация потоков, фильтрация, агрегация и использование оконных функций.
- Запись обработанных данных в разные целевые хранилища (файлы, базы данных).
- Оптимизации: Checkpoints. Caching. Performance tuning.
• Проводить занятия, по выбранным темам. Занятия в формате онлайн вебинаров 2 раза в неделю по 2 часа.
Что мы ждем от кандидата:
• более 5 лет в роли DE, опыт оптимизации высоконагруженных приложений/ETL процессов;
• Опыт работы со Scala 3; Spark; Kafka + Spark Structured Streaming; Hadoop; Oozie; Yarn.
Будет большим плюсом:
Опыт в DevOps (Jenkins) и знание пакета MLib в Spark.
Что мы предлагаем:
• За разработку комплекта материалов к одной теме: лекция, семинар, тест, ДЗ – 30т.р.-50т.р.
• Сумма оплаты возможна и больше, всё зависит от опыта, публикаций и результатов собеседования.
• За проведение одного двухчасового занятия – 10т.р.-20т.р. в зависимости от вашего опыта.
Ждем тебя в нашей команде, пишите в тг, или сразу кидайте резюме: t.me/KaterinkaGl
Друзья, всем привет!
Ищем авторов уроков и задач на практический курс по разработке на Spark для продвинутых Data Engineer.
О нас:
Standard Data – проектируем и реализуем образовательные решения под заказ крупных компаний в сфере ИИ, дата инжиниринга и веб-разработки.
Кого ищем:
Авторов уроков и задач, которым интересно сделать качественный образовательный продукт, решающий задачи нашей аудитории)
Мы ожидаем от вас опыт работы со Spark для решения рабочих задач от 5 лет.
Что нужно делать:
• Разработка материалов: лекции, семинары, ДЗ, проекты по следующим темам:
- Structured Streaming
- Чтение потоков данных (Kafka, сокеты),
- Реализация операций: трансформация потоков, фильтрация, агрегация и использование оконных функций.
- Запись обработанных данных в разные целевые хранилища (файлы, базы данных).
- Оптимизации: Checkpoints. Caching. Performance tuning.
• Проводить занятия, по выбранным темам. Занятия в формате онлайн вебинаров 2 раза в неделю по 2 часа.
Что мы ждем от кандидата:
• более 5 лет в роли DE, опыт оптимизации высоконагруженных приложений/ETL процессов;
• Опыт работы со Scala 3; Spark; Kafka + Spark Structured Streaming; Hadoop; Oozie; Yarn.
Будет большим плюсом:
Опыт в DevOps (Jenkins) и знание пакета MLib в Spark.
Что мы предлагаем:
• За разработку комплекта материалов к одной теме: лекция, семинар, тест, ДЗ – 30т.р.-50т.р.
• Сумма оплаты возможна и больше, всё зависит от опыта, публикаций и результатов собеседования.
• За проведение одного двухчасового занятия – 10т.р.-20т.р. в зависимости от вашего опыта.
Ждем тебя в нашей команде, пишите в тг, или сразу кидайте резюме: t.me/KaterinkaGl
Telegram
Kate
Standard Data
#вакансии #dataengineer #Spark #Scala3 #Jenkins #Senior
Друзья, всем привет!
Ищем Преподавателя уроков и задач на практический курс по разработке на Spark для действующих Data Engineer.
О нас:
Standard Data – проектируем и реализуем образовательные решения под заказ крупных компаний в сфере ИИ, дата инжиниринга и веб-разработки.
Кого ищем:
Преподавателя, которому интересно поучаствовать в качественном образовательном проекте.
Что нужно делать:
• Проводить занятия, обычно по выбранным (2-4) темам из всего курса. Занятия в формате вебинаров 2 раза в неделю по 2 часа.
• Общаться в чате и отвечать на вопросы слушателей курса.
Что мы ждем от кандидата:
• более 5 лет в роли DE, опыт оптимизации высоконагруженных приложений/ETL процессов;
• Опыт работы со Scala 3; Spark; Kafka + Spark Structured Streaming; Hadoop; Oozie; Yarn.
Что мы предлагаем:
• Сумма оплаты возможна и больше, всё зависит от опыта, публикаций и результатов собеседования.
• За проведение одного двухчасового занятия – 10т.р.-20т.р. в зависимости от вашего опыта.
Если у Вас классный кандидат с большим опытом, то пишите в ЛС, согласуем другой бонус!
Ждем тебя в нашей команде, пишите в тг, или сразу кидайте резюме: t.me/KaterinkaGl
Друзья, всем привет!
Ищем Преподавателя уроков и задач на практический курс по разработке на Spark для действующих Data Engineer.
О нас:
Standard Data – проектируем и реализуем образовательные решения под заказ крупных компаний в сфере ИИ, дата инжиниринга и веб-разработки.
Кого ищем:
Преподавателя, которому интересно поучаствовать в качественном образовательном проекте.
Что нужно делать:
• Проводить занятия, обычно по выбранным (2-4) темам из всего курса. Занятия в формате вебинаров 2 раза в неделю по 2 часа.
• Общаться в чате и отвечать на вопросы слушателей курса.
Что мы ждем от кандидата:
• более 5 лет в роли DE, опыт оптимизации высоконагруженных приложений/ETL процессов;
• Опыт работы со Scala 3; Spark; Kafka + Spark Structured Streaming; Hadoop; Oozie; Yarn.
Что мы предлагаем:
• Сумма оплаты возможна и больше, всё зависит от опыта, публикаций и результатов собеседования.
• За проведение одного двухчасового занятия – 10т.р.-20т.р. в зависимости от вашего опыта.
Если у Вас классный кандидат с большим опытом, то пишите в ЛС, согласуем другой бонус!
Ждем тебя в нашей команде, пишите в тг, или сразу кидайте резюме: t.me/KaterinkaGl