#вакансия
Data Engineer в VK Adtech, Москва
Департамент создаёт рекламные продукты и инструменты для бизнеса. Это myTarget, рекламный кабинет ВКонтакте и платформа VK Реклама. Наши разработки также интегрированы в другие продукты VK: Одноклассники, Портал и Почту Mail․ru. Всё это открывает бизнесу доступ к 95% мобильной аудитории рунета. В команде минимум бюрократии и максимум возможностей влиять на продукт — воплощение фич от идеи до релиза может занимать всего пару недель.
Ищем опытного и самостоятельного дата-инженера, который будет участвовать в создании ML-инструментов. Предстоит разрабатывать и поддерживать код на Scala/Spark (UDF/UDAF, Spark ML Transformers, etc.) и Python (платформа ML/ETL). А ещё помогать команде следить за качеством генерируемых данных.
У нас вы будете работать с данными популярных соцсетей (ВК, ОК, Дзен) и других проектов экосистемы VK. Также надеемся, что вам понравится наш кластер Hadoop на примерно 100 петабайтов.
Задачи:
• Проектировать, разрабатывать и поддерживать инструменты для создания надёжных пайплайнов обработки данных;
• участвовать в развитии системы для создания и использования ML-моделей;
• исследовать и интегрировать в продукт новые источники данных;
• создавать витрины признаков для ML-моделей.
Требования:
• Знание алгоритмов и структур данных;
• умение писать качественный, поддерживаемый код на Scala, Python, SQL;
• опыт использования Hadoop, знание механизмов распределённого хранения и обработки данных (HDFS, Spark, Hive);
• знакомство с Bash, Git, Linux, Docker;
• опыт работы с терминалом по SSH.
Будет плюсом:
• Умение использовать Luigi, Airflow, Kafka;
• опыт написания Spark UDF/UDAF на Catalyst API и трансформеров spark.ml;
• знание Java и нюансов JVM;
• понимание классических ML-моделей, задач и методов DS.
✍️ Отправить CV и по всем вопросам: https://yangx.top/olkony
#de #ml #engineer #mailru #adtech #spark #python #hadoop #kafka #гибрид #remote #middle #senior
Data Engineer в VK Adtech, Москва
Департамент создаёт рекламные продукты и инструменты для бизнеса. Это myTarget, рекламный кабинет ВКонтакте и платформа VK Реклама. Наши разработки также интегрированы в другие продукты VK: Одноклассники, Портал и Почту Mail․ru. Всё это открывает бизнесу доступ к 95% мобильной аудитории рунета. В команде минимум бюрократии и максимум возможностей влиять на продукт — воплощение фич от идеи до релиза может занимать всего пару недель.
Ищем опытного и самостоятельного дата-инженера, который будет участвовать в создании ML-инструментов. Предстоит разрабатывать и поддерживать код на Scala/Spark (UDF/UDAF, Spark ML Transformers, etc.) и Python (платформа ML/ETL). А ещё помогать команде следить за качеством генерируемых данных.
У нас вы будете работать с данными популярных соцсетей (ВК, ОК, Дзен) и других проектов экосистемы VK. Также надеемся, что вам понравится наш кластер Hadoop на примерно 100 петабайтов.
Задачи:
• Проектировать, разрабатывать и поддерживать инструменты для создания надёжных пайплайнов обработки данных;
• участвовать в развитии системы для создания и использования ML-моделей;
• исследовать и интегрировать в продукт новые источники данных;
• создавать витрины признаков для ML-моделей.
Требования:
• Знание алгоритмов и структур данных;
• умение писать качественный, поддерживаемый код на Scala, Python, SQL;
• опыт использования Hadoop, знание механизмов распределённого хранения и обработки данных (HDFS, Spark, Hive);
• знакомство с Bash, Git, Linux, Docker;
• опыт работы с терминалом по SSH.
Будет плюсом:
• Умение использовать Luigi, Airflow, Kafka;
• опыт написания Spark UDF/UDAF на Catalyst API и трансформеров spark.ml;
• знание Java и нюансов JVM;
• понимание классических ML-моделей, задач и методов DS.
✍️ Отправить CV и по всем вопросам: https://yangx.top/olkony
#de #ml #engineer #mailru #adtech #spark #python #hadoop #kafka #гибрид #remote #middle #senior
#вакансия #de #fintech #remote
Привет! Мы в поиске Data Engineer (middle+)
Компания: Vsemirsoft
Проект: банковский проект (входит в ТОП-50 банков РФ).
Стек проекта:
- #Hadoop, #GreenPlum, #S3;
- #Airflow, #Spark, #Kafka, #Debezium;
- #ClickHouse, #Superset
Часовой пояс: Москва (UTC+03:00, Europe/Moscow)
Формат работы: удаленный
Зп: 285 тыс. руб.
📌Ключевые компетенции:
- АБС
- ЦФТ
- DWH
📌 Требования:
- ОПЫТ РАБОТЫ ОТ 3х ЛЕТ;
- опыт работы с хранилищами данных и с отчетностью в АБС Банка;
- понимание жизненного цикла разработки программного обеспечения
📌 Как преимущество:
- понимание процессов формирования обязательной отчетности (ЦБ)
📌 Задачи в рамках проекта:
- анализ новых требований от заказчиков по задачам обязательной отчетности (ЦБ);
- реализация изменений и тестирование на стороне DWH;
- взаимодействие с внутренними заказчиками, системными аналитиками-экспертами других подразделений;
- написание технических задач для развития детального и витринного уровней DWH;
- анализ и контроль качества загрузки данных в DWH;
- описание логической и физической модели DWH и сопровождение документации в части хранилища данных
По всем вопросам обращаться: @odu_v_an
Привет! Мы в поиске Data Engineer (middle+)
Компания: Vsemirsoft
Проект: банковский проект (входит в ТОП-50 банков РФ).
Стек проекта:
- #Hadoop, #GreenPlum, #S3;
- #Airflow, #Spark, #Kafka, #Debezium;
- #ClickHouse, #Superset
Часовой пояс: Москва (UTC+03:00, Europe/Moscow)
Формат работы: удаленный
Зп: 285 тыс. руб.
📌Ключевые компетенции:
- АБС
- ЦФТ
- DWH
📌 Требования:
- ОПЫТ РАБОТЫ ОТ 3х ЛЕТ;
- опыт работы с хранилищами данных и с отчетностью в АБС Банка;
- понимание жизненного цикла разработки программного обеспечения
📌 Как преимущество:
- понимание процессов формирования обязательной отчетности (ЦБ)
📌 Задачи в рамках проекта:
- анализ новых требований от заказчиков по задачам обязательной отчетности (ЦБ);
- реализация изменений и тестирование на стороне DWH;
- взаимодействие с внутренними заказчиками, системными аналитиками-экспертами других подразделений;
- написание технических задач для развития детального и витринного уровней DWH;
- анализ и контроль качества загрузки данных в DWH;
- описание логической и физической модели DWH и сопровождение документации в части хранилища данных
По всем вопросам обращаться: @odu_v_an
#вакансия #hadoop #sql #java #hive #spark #python #scrum #agile
🚀 Вакансия: Старший разработчик Hadoop 🚀
Локация: Санкт-Петербург/Москва (гибридный формат)
Вилка: 250 - 350К
✈️ Готовы обсудить релокационный пакет для кандидата не из Санкт-Петербурга и Москвы.
О нас:
Мы — ведущий банк России, активно развивающий свои цифровые продукты и услуги. Сейчас мы ищем опытного и амбициозного Старшего разработчика Hadoop, который присоединится к нашей команде для работы над инновационными проектами в области данных и аналитики.
Что вам предстоит делать:
- 🤝 Взаимодействовать с бизнес-заказчиками, понимать и структурировать их требования.
- ✍️ Разрабатывать функциональные требования для построения витрин данных.
- 🛠 Создавать прототипы витрин с использованием SQL, Java, Python, Spark.
- 🧪 Разрабатывать алгоритмы тестирования.
- 📑 Документировать разрабатываемые компоненты ПО.
- 🔧 Устранять дефекты, анализировать и исправлять инциденты в рамках 3-й линии поддержки.
- 🏃♂️ Работать в SCRUM спринтах.
Наши ожидания:
- ✅ Знание SQL (подтверждается прохождением теста).
- 📈 Опыт в бизнес и системном анализе не менее 2 лет: выявление, фиксация, согласование требований, постановка задач разработке, разработка проектной и сопроводительной системной документации.
- 👥 Опыт командной разработки с использованием Jira и Confluence; знание BitBucket будет плюсом.
- 🧩 Умение формализовывать задачи в виде четких и понятных алгоритмов.
- 🎓 Высшее образование.
- 💬 Отличные коммуникативные навыки, самостоятельность, внимательность к деталям, обязательность, ответственность.
Будет преимуществом:
- 📚 Опыт работы с Hadoop и знания его архитектуры.
- 🖥 Знание Hive, Java, Python, Spark.
- 🏃 Опыт работы в Agile.
- 📜 Знание и умение работы с wiki-системой Confluence и трекинговыми системами (Jira, Redmine и т.д.).
- 🏦 Знание банковской предметной области.
Мы предлагаем:
- 📄 Официальное оформление и стабильный, прозрачный доход.
- 🏆 Все льготы и преимущества работы в аккредитованной ИТ-компании.
- 🎁 Партнерские программы и скидки для сотрудников.
- 🏢 Гибридный формат работы.
Если вы хотите развиваться в динамичной компании и работать над интересными проектами в сфере больших данных, мы будем рады видеть вас в нашей команде!
🙋🏼♀️По всем вопросам к @BekhterevaElena
🚀 Вакансия: Старший разработчик Hadoop 🚀
Локация: Санкт-Петербург/Москва (гибридный формат)
Вилка: 250 - 350К
✈️ Готовы обсудить релокационный пакет для кандидата не из Санкт-Петербурга и Москвы.
О нас:
Мы — ведущий банк России, активно развивающий свои цифровые продукты и услуги. Сейчас мы ищем опытного и амбициозного Старшего разработчика Hadoop, который присоединится к нашей команде для работы над инновационными проектами в области данных и аналитики.
Что вам предстоит делать:
- 🤝 Взаимодействовать с бизнес-заказчиками, понимать и структурировать их требования.
- ✍️ Разрабатывать функциональные требования для построения витрин данных.
- 🛠 Создавать прототипы витрин с использованием SQL, Java, Python, Spark.
- 🧪 Разрабатывать алгоритмы тестирования.
- 📑 Документировать разрабатываемые компоненты ПО.
- 🔧 Устранять дефекты, анализировать и исправлять инциденты в рамках 3-й линии поддержки.
- 🏃♂️ Работать в SCRUM спринтах.
Наши ожидания:
- ✅ Знание SQL (подтверждается прохождением теста).
- 📈 Опыт в бизнес и системном анализе не менее 2 лет: выявление, фиксация, согласование требований, постановка задач разработке, разработка проектной и сопроводительной системной документации.
- 👥 Опыт командной разработки с использованием Jira и Confluence; знание BitBucket будет плюсом.
- 🧩 Умение формализовывать задачи в виде четких и понятных алгоритмов.
- 🎓 Высшее образование.
- 💬 Отличные коммуникативные навыки, самостоятельность, внимательность к деталям, обязательность, ответственность.
Будет преимуществом:
- 📚 Опыт работы с Hadoop и знания его архитектуры.
- 🖥 Знание Hive, Java, Python, Spark.
- 🏃 Опыт работы в Agile.
- 📜 Знание и умение работы с wiki-системой Confluence и трекинговыми системами (Jira, Redmine и т.д.).
- 🏦 Знание банковской предметной области.
Мы предлагаем:
- 📄 Официальное оформление и стабильный, прозрачный доход.
- 🏆 Все льготы и преимущества работы в аккредитованной ИТ-компании.
- 🎁 Партнерские программы и скидки для сотрудников.
- 🏢 Гибридный формат работы.
Если вы хотите развиваться в динамичной компании и работать над интересными проектами в сфере больших данных, мы будем рады видеть вас в нашей команде!
🙋🏼♀️По всем вопросам к @BekhterevaElena
#вакансия #de #dataengineer #etl #sql #hadoop #spark
Data Engineer для агротехнологических проектов
При отклике на вакансию сразу присылайте резюме @echeveria_woman
Отклики без резюме рассматриваться не будут!
Ключевые обязанности:
- Разработка и поддержка ETL-процессов
- Управление базами и хранилищами данных
- Интеграция данных из разных источников (сенсоры, спутниковые снимки,
IoT устройства, и тд, и тп)
- Оптимизация систем обработки данных
Ключевые требования:
- 3+ лет опыта в Data Engineering
- Уверенное владение SQL и базами данных (PostgreSQL, MySQL, NoSQL)
- Опыт работы с ETL-инструментами (Apache Airflow, Talend, Informatica, и тд)
- Знание облачных платформ (AWS, GCP, Azure)
- Навыки программирования (Python/Java)
- Опыт с big data (Hadoop, Spark)
- Понимание DevOps и CI/CD
Будет преимуществом:
- Опыт в агросфере
- Знание GIS-технологий
- Опыт с Docker и Kubernetes
Мы предлагаем:
- Вилку 3.5-5 тысяч долларов в месяц
- Гибкий график
- Работу в команде профессионалов
- Возможности для роста
- Участие в значимых агропроектах
Data Engineer для агротехнологических проектов
При отклике на вакансию сразу присылайте резюме @echeveria_woman
Отклики без резюме рассматриваться не будут!
Ключевые обязанности:
- Разработка и поддержка ETL-процессов
- Управление базами и хранилищами данных
- Интеграция данных из разных источников (сенсоры, спутниковые снимки,
IoT устройства, и тд, и тп)
- Оптимизация систем обработки данных
Ключевые требования:
- 3+ лет опыта в Data Engineering
- Уверенное владение SQL и базами данных (PostgreSQL, MySQL, NoSQL)
- Опыт работы с ETL-инструментами (Apache Airflow, Talend, Informatica, и тд)
- Знание облачных платформ (AWS, GCP, Azure)
- Навыки программирования (Python/Java)
- Опыт с big data (Hadoop, Spark)
- Понимание DevOps и CI/CD
Будет преимуществом:
- Опыт в агросфере
- Знание GIS-технологий
- Опыт с Docker и Kubernetes
Мы предлагаем:
- Вилку 3.5-5 тысяч долларов в месяц
- Гибкий график
- Работу в команде профессионалов
- Возможности для роста
- Участие в значимых агропроектах
#вакансия #удалённо #parttime #преподаватель #Kafka #spark #ML #MLOps
Время делиться знаниями!
OTUS – образовательная платформа. У нас авторские курсы разной степени сложности, вступительное тестирование для студентов и преподаватели-практики из крупнейших компаний. 7 лет мы учимся друг у друга, советуемся, помогаем, делимся опытом и обсуждаем новости как в преподавании, так и в IT.
Вакансия преподаватель на онлайн-курсы:
- Machine Learning Advanced
- Apache Kafka
- Data Engineer
- Spark developer
- MLOps
Требуется практический опыт по темам курса. Можно без опыта преподавания, мы поможем вам освоить практики преподавания.
Преподаватель раскрывает тему с помощью теории и примеров из практики. Занятия проводятся c 20:00 до 21:30. Можно выбирать комфортную нагрузку и темы из программы курса. Материалы к занятиям есть.
С нами вы сможете ✅
- структурировать свой опыт и знания;
- прокачать софт-скиллы;
- получать от 4000 до 6000 руб. за один вебинар (полтора часа) + от 300 до 400 руб. за одно проверенное домашнее задание.
Бонусы 🎁
- наши курсы со скидкой/бесплатно;
- можно приглашать лучших выпускников к себе на работу;
- воркшопы и конференции для наших преподавателей.
Обсудить подробнее: @HR_Nikita
Время делиться знаниями!
OTUS – образовательная платформа. У нас авторские курсы разной степени сложности, вступительное тестирование для студентов и преподаватели-практики из крупнейших компаний. 7 лет мы учимся друг у друга, советуемся, помогаем, делимся опытом и обсуждаем новости как в преподавании, так и в IT.
Вакансия преподаватель на онлайн-курсы:
- Machine Learning Advanced
- Apache Kafka
- Data Engineer
- Spark developer
- MLOps
Требуется практический опыт по темам курса. Можно без опыта преподавания, мы поможем вам освоить практики преподавания.
Преподаватель раскрывает тему с помощью теории и примеров из практики. Занятия проводятся c 20:00 до 21:30. Можно выбирать комфортную нагрузку и темы из программы курса. Материалы к занятиям есть.
С нами вы сможете ✅
- структурировать свой опыт и знания;
- прокачать софт-скиллы;
- получать от 4000 до 6000 руб. за один вебинар (полтора часа) + от 300 до 400 руб. за одно проверенное домашнее задание.
Бонусы 🎁
- наши курсы со скидкой/бесплатно;
- можно приглашать лучших выпускников к себе на работу;
- воркшопы и конференции для наших преподавателей.
Обсудить подробнее: @HR_Nikita
#DataScience #МашинноеОбучение #ML #Python #АналитикаДанных #BigData #Spark #УдаленнаяРабота #MachineLearning #FullTime #Senior
Вакансия: Data Scientist (Senior)
Грейд: Senior
Локация: РФ
Занятость: Полная (Full Time)
Зарплата: 300-400 тыс руб
📌Чем предстоит заниматься:
Разрабатывать и улучшать модель прогнозирования спроса для торговых точек компании (как долгосрочного, так и краткосрочного).
📌Наши ожидания:
▪️Опыт работы в Data Science не менее 4 лет, участие как минимум в двух успешных проектах.
▪️Профильное образование или специализированные курсы (технических факультетов крупных вузов; техническая специальность - математика, физика, программная инженерия, компьютерные науки, науки о данных. )
▪️Опыт в классическом машинном обучении (модели предсказания, работа с большими данными) и уверенные навыки работы с такими технологиями, как Spark, Git, Python (numpy, pandas, matplotlib).
▪️Рассматриваются кандидаты с опытом работы в Data Science, аналитике данных и Data Engineering.
📌Мы предлагаем:
▪️Оформление по ИП
▪️Удалённый формат работы
▪️Участие в масштабных и интересных проектах с возможностью профессионального роста
▪️Гибкий график работы, позволяющий сохранять баланс между работой и личной жизнью
▪️Доступ к передовым инструментам и технологиям для реализации ваших идей
▪️Работа в команде высококлассных специалистов и экспертов в области Data Science
✉️ Резюме - @Elena_Bekhtereva
Вакансия: Data Scientist (Senior)
Грейд: Senior
Локация: РФ
Занятость: Полная (Full Time)
Зарплата: 300-400 тыс руб
📌Чем предстоит заниматься:
Разрабатывать и улучшать модель прогнозирования спроса для торговых точек компании (как долгосрочного, так и краткосрочного).
📌Наши ожидания:
▪️Опыт работы в Data Science не менее 4 лет, участие как минимум в двух успешных проектах.
▪️Профильное образование или специализированные курсы (технических факультетов крупных вузов; техническая специальность - математика, физика, программная инженерия, компьютерные науки, науки о данных. )
▪️Опыт в классическом машинном обучении (модели предсказания, работа с большими данными) и уверенные навыки работы с такими технологиями, как Spark, Git, Python (numpy, pandas, matplotlib).
▪️Рассматриваются кандидаты с опытом работы в Data Science, аналитике данных и Data Engineering.
📌Мы предлагаем:
▪️Оформление по ИП
▪️Удалённый формат работы
▪️Участие в масштабных и интересных проектах с возможностью профессионального роста
▪️Гибкий график работы, позволяющий сохранять баланс между работой и личной жизнью
▪️Доступ к передовым инструментам и технологиям для реализации ваших идей
▪️Работа в команде высококлассных специалистов и экспертов в области Data Science
Please open Telegram to view this post
VIEW IN TELEGRAM
#вакансия #удалённо #parttime #преподаватель #Kafka #spark #MLOps
Время делиться знаниями!
OTUS – образовательная платформа. У нас авторские курсы разной степени сложности, вступительное тестирование для студентов и преподаватели-практики из крупнейших компаний. 8 лет мы учимся друг у друга, советуемся, помогаем, делимся опытом и обсуждаем новости как в преподавании, так и в IT.
Вакансия преподаватель на онлайн-курсы:
- MLOps
- Apache Kafka
- Data Engineer
- Spark developer
Требуется практический опыт по темам курса. Можно без опыта преподавания, мы поможем вам освоить практики преподавания.
Преподаватель раскрывает тему с помощью теории и примеров из практики. Занятия проводятся c 20:00 до 21:30. Можно выбирать комфортную нагрузку и темы из программы курса. Материалы к занятиям есть.
С нами вы сможете ✅
- структурировать свой опыт и знания;
- прокачать софт-скиллы;
- получать от 4000 до 6000 руб. за один вебинар (полтора часа) + от 300 до 400 руб. за одно проверенное домашнее задание.
Бонусы 🎁
- наши курсы со скидкой/бесплатно;
- можно приглашать лучших выпускников к себе на работу;
- воркшопы и конференции для наших преподавателей.
Обсудить подробнее: @HR_Nikita
Время делиться знаниями!
OTUS – образовательная платформа. У нас авторские курсы разной степени сложности, вступительное тестирование для студентов и преподаватели-практики из крупнейших компаний. 8 лет мы учимся друг у друга, советуемся, помогаем, делимся опытом и обсуждаем новости как в преподавании, так и в IT.
Вакансия преподаватель на онлайн-курсы:
- MLOps
- Apache Kafka
- Data Engineer
- Spark developer
Требуется практический опыт по темам курса. Можно без опыта преподавания, мы поможем вам освоить практики преподавания.
Преподаватель раскрывает тему с помощью теории и примеров из практики. Занятия проводятся c 20:00 до 21:30. Можно выбирать комфортную нагрузку и темы из программы курса. Материалы к занятиям есть.
С нами вы сможете ✅
- структурировать свой опыт и знания;
- прокачать софт-скиллы;
- получать от 4000 до 6000 руб. за один вебинар (полтора часа) + от 300 до 400 руб. за одно проверенное домашнее задание.
Бонусы 🎁
- наши курсы со скидкой/бесплатно;
- можно приглашать лучших выпускников к себе на работу;
- воркшопы и конференции для наших преподавателей.
Обсудить подробнее: @HR_Nikita
#вакансия #удалённо #parttime #преподаватель #Kafka #spark
Время делиться знаниями!
OTUS – образовательная платформа. У нас авторские курсы разной степени сложности, вступительное тестирование для студентов и преподаватели-практики из крупнейших компаний. 8 лет мы учимся друг у друга, советуемся, помогаем, делимся опытом и обсуждаем новости как в преподавании, так и в IT.
Вакансия преподаватель на онлайн-курсы:
- Apache Kafka
- Spark developer
Требуется практический опыт по темам курса. Можно без опыта преподавания, мы поможем вам освоить практики преподавания.
Преподаватель раскрывает тему с помощью теории и примеров из практики. Занятия проводятся c 20:00 до 21:30. Можно выбирать комфортную нагрузку и темы из программы курса. Материалы к занятиям есть.
С нами вы сможете ✅
- структурировать свой опыт и знания;
- прокачать софт-скиллы;
- получать от 4000 до 6000 руб. за один вебинар (полтора часа) + от 300 до 400 руб. за одно проверенное домашнее задание.
Бонусы 🎁
- наши курсы со скидкой/бесплатно;
- можно приглашать лучших выпускников к себе на работу;
- воркшопы и конференции для наших преподавателей.
Обсудить подробнее: @HR_Nikita
Время делиться знаниями!
OTUS – образовательная платформа. У нас авторские курсы разной степени сложности, вступительное тестирование для студентов и преподаватели-практики из крупнейших компаний. 8 лет мы учимся друг у друга, советуемся, помогаем, делимся опытом и обсуждаем новости как в преподавании, так и в IT.
Вакансия преподаватель на онлайн-курсы:
- Apache Kafka
- Spark developer
Требуется практический опыт по темам курса. Можно без опыта преподавания, мы поможем вам освоить практики преподавания.
Преподаватель раскрывает тему с помощью теории и примеров из практики. Занятия проводятся c 20:00 до 21:30. Можно выбирать комфортную нагрузку и темы из программы курса. Материалы к занятиям есть.
С нами вы сможете ✅
- структурировать свой опыт и знания;
- прокачать софт-скиллы;
- получать от 4000 до 6000 руб. за один вебинар (полтора часа) + от 300 до 400 руб. за одно проверенное домашнее задание.
Бонусы 🎁
- наши курсы со скидкой/бесплатно;
- можно приглашать лучших выпускников к себе на работу;
- воркшопы и конференции для наших преподавателей.
Обсудить подробнее: @HR_Nikita
#вакансия #lead #DataEngineer #DWH #hadoop #spark #airflow #clickhouse #SODA #remote
Ищу к себе в команду DWH в AliExpress Lead Data Engineer
Стек: Hadoop, Spark, Airflow, ClickHouse, SODA (DQ).
Удаленка, возможность оформления вне РФ.
Зона ответственности команды DWH - качественные и своевременные данные в удобном для аналитики виде. За платформу данных и подключение источников к озеру данных отвечает отдельная платформенная команда. Объемы данных в компании исчисляются петабайтами.
Чем предстоит заниматься:
- Оптимизация производительности сложных процессов загрузки данных (Spark);
- Развитие используемых в команде практик и подходов (доработки CI/CD, мониторингов, внутренних библиотек)
- Разработка NRT пайплайнов (Kafka, Spark Structured Streaming, CH);
- Разработка витрин данных (Spark);
- Менторинг разработчиков и контроль за соблюдением стандартов.
Мы ожидаем от Вас:
- Опыт работы со Spark и глубокое понимание его устройства;
- Опыт работы с Python или Java от 3-х лет;
- Опыт работы c ClickHouse;
- Опыт написания дата пайплайнов, опыт работы с Airflow;
- Понимание подходов к организации разработки (CI/CD, DevOps).
Будет плюсом:
- Опыт разработки потоковой обработки данных;
- Опыт работы с форматом iceberg;
- Опыт управления небольшой командой.
По вопросам и с резюме: @shh1_01
Ищу к себе в команду DWH в AliExpress Lead Data Engineer
Стек: Hadoop, Spark, Airflow, ClickHouse, SODA (DQ).
Удаленка, возможность оформления вне РФ.
Зона ответственности команды DWH - качественные и своевременные данные в удобном для аналитики виде. За платформу данных и подключение источников к озеру данных отвечает отдельная платформенная команда. Объемы данных в компании исчисляются петабайтами.
Чем предстоит заниматься:
- Оптимизация производительности сложных процессов загрузки данных (Spark);
- Развитие используемых в команде практик и подходов (доработки CI/CD, мониторингов, внутренних библиотек)
- Разработка NRT пайплайнов (Kafka, Spark Structured Streaming, CH);
- Разработка витрин данных (Spark);
- Менторинг разработчиков и контроль за соблюдением стандартов.
Мы ожидаем от Вас:
- Опыт работы со Spark и глубокое понимание его устройства;
- Опыт работы с Python или Java от 3-х лет;
- Опыт работы c ClickHouse;
- Опыт написания дата пайплайнов, опыт работы с Airflow;
- Понимание подходов к организации разработки (CI/CD, DevOps).
Будет плюсом:
- Опыт разработки потоковой обработки данных;
- Опыт работы с форматом iceberg;
- Опыт управления небольшой командой.
По вопросам и с резюме: @shh1_01
#вакансии #dataengineer #Spark #Scala3 #Jenkins #Senior
Друзья, всем привет!
Ищем авторов уроков и задач на практический курс по разработке на Spark для продвинутых Data Engineer.
О нас:
Standard Data – проектируем и реализуем образовательные решения под заказ крупных компаний в сфере ИИ, дата инжиниринга и веб-разработки.
Кого ищем:
Авторов уроков и задач, которым интересно сделать качественный образовательный продукт, решающий задачи нашей аудитории!
Мы ожидаем от вас опыт работы со Spark для решения рабочих задач от 5 лет. Кроме того, важна готовность работать в команде, быть на связи и регулярно уделять 10+ часов в неделю.
Что нужно делать:
• Разработка материалов: лекции, семинары, ДЗ, проекты.
• Проводить занятия, обычно по выбранным (2-4) темам из всего курса. Занятия в формате вебинаров 2 раза в неделю по 2 часа.
• Прямо сейчас мы на стадии старта разработки курса, поэтому наиболее актуальна именно разработка материалов. Далее, примерно через 3 месяца уже проведение занятий (и далее продолжаем развивать этот курс).
Что мы ждем от кандидата:
• более 5 лет в роли DE, опыт оптимизации высоконагруженных приложений/ETL процессов;
• Опыт работы со Scala 3; Spark; Kafka + Spark Structured Streaming; Hadoop; Oozie; Yarn.
Будет большим плюсом:
Опыт в DevOps (Jenkins) и знание пакета MLib в Spark.
Что мы предлагаем:
• За разработку комплекта материалов к одной теме: лекция, семинар, тест, ДЗ – 30т.р.-50т.р.
• Сумма оплаты возможна и больше, всё зависит от опыта, публикаций и результатов собеседования.
• За проведение одного двухчасового занятия – 10т.р.-20т.р. в зависимости от вашего опыта.
Ждем тебя в нашей команде, пишите в тг, или сразу кидайте резюме: t.me/KaterinkaGl
Друзья, всем привет!
Ищем авторов уроков и задач на практический курс по разработке на Spark для продвинутых Data Engineer.
О нас:
Standard Data – проектируем и реализуем образовательные решения под заказ крупных компаний в сфере ИИ, дата инжиниринга и веб-разработки.
Кого ищем:
Авторов уроков и задач, которым интересно сделать качественный образовательный продукт, решающий задачи нашей аудитории!
Мы ожидаем от вас опыт работы со Spark для решения рабочих задач от 5 лет. Кроме того, важна готовность работать в команде, быть на связи и регулярно уделять 10+ часов в неделю.
Что нужно делать:
• Разработка материалов: лекции, семинары, ДЗ, проекты.
• Проводить занятия, обычно по выбранным (2-4) темам из всего курса. Занятия в формате вебинаров 2 раза в неделю по 2 часа.
• Прямо сейчас мы на стадии старта разработки курса, поэтому наиболее актуальна именно разработка материалов. Далее, примерно через 3 месяца уже проведение занятий (и далее продолжаем развивать этот курс).
Что мы ждем от кандидата:
• более 5 лет в роли DE, опыт оптимизации высоконагруженных приложений/ETL процессов;
• Опыт работы со Scala 3; Spark; Kafka + Spark Structured Streaming; Hadoop; Oozie; Yarn.
Будет большим плюсом:
Опыт в DevOps (Jenkins) и знание пакета MLib в Spark.
Что мы предлагаем:
• За разработку комплекта материалов к одной теме: лекция, семинар, тест, ДЗ – 30т.р.-50т.р.
• Сумма оплаты возможна и больше, всё зависит от опыта, публикаций и результатов собеседования.
• За проведение одного двухчасового занятия – 10т.р.-20т.р. в зависимости от вашего опыта.
Ждем тебя в нашей команде, пишите в тг, или сразу кидайте резюме: t.me/KaterinkaGl