#вакансия #spark #hadoop #fulltime #bigdata

Лидер в сфере разработки BI решений в России ищет в свой дружный коллектив разработчика BIG DATA

Город: Москва
Компания: GlowByte
Формат работы: офис/частичная удаленка/удаленка
Занятость: полная
Зарплатная вилка в зависимости от опыта: 120 - 200 т.р. (net) - полностью белая заработная плата
Контактное лицо: Мария @Ermalyuk

✅Кандидат должен уметь:✅
• Hadoop
• Spark
• Опыт разработки на Java/Scala/Python
• Опыт работы с Linux от 1 года (базовая конфигурация, основные команды, bash-скрипты)
• Знания SQL и опыт работы с любой СУБД

✅Задачи✅
• Участие в разработке по направлениям: Streming / BigData и Hadoop / DWH
• Работа в команде нескольких человек, использование инструментов: CDH, Kafka, Flink, Nifi, Ignite, Spark
• R&D новых OpenSource продуктов, обмен полученным опытом + ведение Wiki
• Проведение тестов (в т.ч. нагрузочных)
• Качественное документирование разработанного ПО и результатов
• Сопровождение разработанных решений, доработки и выпуск обновлений, решение возникающих проблем

✅Условия✅
• Стабильный оклад и премии по итогам года
• Отлаженный подход к обучению сотрудников (у каждого сотрудника есть персональный куратор, план индивидуального развития, регулярно проводятся рабочие встречи и встречи по развитию)
• Лояльный подход к сотрудникам
• Гибкий график
• Профессиональное обучение и сертификацию с оплатой за счёт компании
• Гибкий социальный пакет (ДМС или другие опции на выбор)

#вакансия #BigData #lead #engineer #hadoop #sql #datalake #Сочи #КраснодарскийКрай

BigData Lead Engineer
150k+ рублей (gross) + “подъемные” + аренда жилья

Возможность до конца 2020 года работать дистанционно!

Чем предстоит заниматься:
Апробировать решения стэка Hadoop.
Определять оптимальные сценариии использования.
Определять оптимальную конфигурацию под конкретные технические требования.
Определять применимость под бизнес задачи.
Тестировать Open Source решения для загрузки данных из реляционных источников - SQL to Hadoop;
Реализовывать PoC проекты.
Участвовать в построении архитектуры Data Lake.

Чем обладает кандидат, который справится с этими задачами:
Не менее 2х лет релевантного опыта работы;
Знания принципов построения распределенных систем хранения и обработки данных
Понимание стэка технологий Hadoop (HDFS, MapReduce,...);
Опыт промышленной разработки одного из языков: Java, Python, Scala;
Опыт разработки ETL процессов обработки данных;
Опыт отладки производительности ETL-процессов;
Уверенное знание Bash/Linux;
Уверенное знание теории реляционных БД.;
Уверенное знание SQL.

Желательно:
Опыт работы с Open Source решениями;
Опыт работы с промышленными СУБД (Oracle, MS SQL Server, Postgresql)
Знание Spark;
Понимание Lambda архитектуры.

Условия для BigData Lead Engineer:
Оклад 150 000 рублей (gross)
Возможность до конца 2020 года работать дистанционно
Компенсация затрат на аренду жилья: 20 000 рублей (gross) ежемесячно
Компенсация переезда (“подъемные”) для иногородних в объеме 1 оклада
Премии по результатам года: до 30% от годового дохода
Комфортный офис в Сочи возле Олимпийского парка
График работы: с 9 до 18 или с 10 до 19 (5/2 8 час. р.д.)

Контакты: @alisa_4ox

#bigdata #remote #java #kafka #hadoop

Город: Санкт-Петербург
Формат работы: офис/удаленка
Занятость: полная
Зп вилка: 120-250 к на руки

Мы – Cardsmobile, петербургская IT-компания, разработчик мобильного приложения «Кошелёк».
Мы развиваем мобильное приложение-агрегатор скидочных карт и купонов розничных магазинов. Сейчас у нас открыта вакансия Big Data Developer в только что стартовавший пилотный проект по внедрению потоковой обработки данных в рамках микросервисного архитектурного подхода. За основу взят Apache-стек, язык программирования Java.

Задачи:
• создавать потоки данных и организовывать их в конвеер (Kafka/Beam/Druid);
• создавать, отлаживать, настраивать и тестировать связи между компонентами;
• общаться с коллегами разработчиками, аналитиками, админами и менеджерами;
• работать самостоятельно, уметь выделять для себя задачи и расставлять приоритеты.

Ты сможешь:
• изучить и опробовать на практике передовые инструменты и подходы в работе с BigData;
• создать сложный и крайне необходимый нам продукт;
• вырасти до технического и идейного лидера проекта.

Со своей стороны предлагаем:
• участие в развитии полезного и популярного приложения, возможность сделать мир лучше;
• оформление по ТК РФ с первого дня работы, конкурентную белую зарплату, ДМС;
• оплату мобильной связи, частичную компенсацию оплаты питания;
• гибкий график работы, возможна удалённая работа;
• оплату профильных курсов и конференций;
• спорт четыре раза в неделю в офисе — йога и силовые тренировки;
• командные мероприятия и приятные коллеги;
• комфортный офис (5 минут от станции метро Чкаловская).
Более подробной информацией готова поделиться в ЛС @nshishova

#Вакансия #Аналитик #SAP #Hadoop #BI #Spark #Москва

В компанию Детский Мир нужен аналитик. Зп до 300 т.р

Функционал:
- Взаимодействие с внутренними заказчиками, сбор требований на новые/изменяемые функциональности в аналитических системах;
- Анализ и формализация требований заказчиков на формирование аналитической отчетности;
- Подготовка и согласование проектной документации
- Участие в проектах развития хранилищ аналитических данных (SAP BW, HANA, Hadoop, Spark) и BI-систем (SAP BO Analysis, Grafana, QlikView);
- Тестирование выполненных разработок хранилищ данных, отчетов в BI

Наши ожидания:
- Опыт работы в роли аналитика на проектах по построению/развитию аналитических систем и хранилищ данных от 3 лет;
- Понимания принципов и процессов проектирования DWH, ETL, OLAP и отчётности;
- Умение самостоятельно искать ответы в источниках данных и исследовать данные источников, искать зависимости, выстраивать модели данных;
- Опыт работы в роли аналитика или консультанта одной из систем (SAP BW on HANA, Hadoop)
- Желательный опыт работы с BI-системами QlikView, Grafana.

Мы предлагаем:
- Официальное оформление в соответствии с ТК РФ
- Полная стабильность
- Отсутствие бюрократии и плоская организационная структура
- Действительно высокий уровень дохода, полностью "белый" оклад и годовая премия
- Гибкий график работы, но 5/2, полный день, Офис- м/мцд Окружная или корп.транспорт 7 минут от м.Петровско-Разумовская
- Расширенный полис ДМС
- до 20% скидка на продукцию компании
- Спортивные и развлекательные мероприятия (крупные спортивные соревнования и веселые корпоративы

Контакты: Алина @Sae_fr12

#Вакансия #Админитратор #Hadoop #Kafka #middle

Компания: #билайн

Локация: #москва #новосибирск #спб #воронеж #краснодар #рнд

Привет! Мы разыскиваем Админитратора Hadoop/Kafka
в любом городе РФ.

Возможна 100% удаленка.

Задачи:

Администрирование Hadoop/Kafka/Elasticsearch;
Развитие смежных технологий.

Ждем от тебя:

Linux administrator, высокого уровня. OS: Centos 6,7,8;
Знание одного из: Hadoop с упором на Spark, YARN / Kafka / Elasticsearch.

З/п: 170 - 260к

Наши проекты:

ELK для калькулятора/билинга потребления ресурсов кластера BigData;
ELK для проектных команд.

Плюс в перспективе развитие как DevOps/Administrator Bigdata и компонентов, таких как Hadoop, Hbase, Hive, ClickHouse, Casandra и т.д. стек очень большой и уникальный для каждого проекта.

Вопросы и резюме: YKononenko@icloud.com @Ykonon_12

#teamlead #Москва #DataPlatform #Hadoop #Spark #Kafka

Team Lead Data Platform в Актион-Технологии
Расположение: Москва
Формат: full-time, работа в офисе + удалёнка
Зарплатная вилка: 250-350 тысяч на руки

Кто мы?
Мы большой медиахолдинг с более, чем 25-летней историей, миллиардной выручкой, и гигантскими планами по развитию компании!
Мы разрабатываем полезные сервисы и продукты для 15 профессиональных аудиторий.
В 2020 году мы вошли в ТОП-10 EdTech компаний по мнению РБК.

И для этого нам не хватает только тебя - человека, которому полностью сможем доверить направление Data Platform

Что уже успели поделать:
- Мы подготовили инфраструктуру на базе Hadoop и GreenPlum для загрузки, обработки и построения витрин данных
- Описали и загрузили данные нескольких продуктов холдинга и приступили к описанию и загрузке следующих

И на этом все не заканчивается, но для вводной о том, что мы не совсем дилетанты в работе с данными, пожалуй, достаточно)
И у нас еще много планов - будем развивать и масштабировать инфраструктуру, запускать потоковое получение данных и увеличивать количество подключенных источников и доверие к данным

Что планируем сделать
- Сбор данных real time - строим click-stream платформу
- Третий уровень хранилища, описав в нем все сущности, для работы аналитиков
- Структурировать хранилище, все сущности должны наименоваться по одному стандарту и быть понятными пользователям, удобными для навигации
- Доработать систему сверок, начать проливать данные, методически доведя расхождения до нуля

А еще у нас есть задачи на стыке DWH и ML
- подготовка данных для обучения разнообразных моделей (у нас тут громадьё планов)
- написание веб-сервисов для интеграции данных, полученных от ML с продуктами холдинга

Что для нас важно в тебе
- Базовые знания SQL
- Любой язык программирования (но лучше python))
- Опыт работы с системами контроля версий (Git)
- Умение организовать процесс загрузки, обработки и доставки обработанных данных конечным потребителям
- Высокий уровень самообучения
- Умение поддержать и дотюнить существующий процесс

Не обязательно, но будет очень здорово, если
- Знаешь Open Source фреймворки Big Data: (Hadoop, MapReduce, Spark & Spark Streaming, Hive, Kafka)
- Знаком с Apache Nifi и Apache Airflow

Что есть у нас и чем готовы делиться
- Белая, своевременная и конкурентоспособная заработная плата
- ДМС (включая стоматологию)
- Удобное место для работы и современное “железо” (хочешь с яблоком, хочешь без)
- Гибкий график. Начало работы с 8 до 11
- У нас не нужно приходить 5 дней в неделю в офис. Мы внутри команд сами определяем, когда туда приехать
- Профессиональный рост (у нас есть внутреннее обучение, возможность посещать конференции и митапы, мы спонсируем))
- Корпоративная библиотека (огромное количество профессиональной литературы - бери, читай, наслаждайся)
- Мы понимаем, что переезд - штука непростая, поэтому мы готовы всячески помочь уже сейчас) Мы оплатим билеты для тебя и твоего багажа, услуги риэлтора для поиска жилья и первый месяц арендной платы. Мы же команда)

Звучит здорово? Откликается?)
Напиши нам обязательно, давай обсудим)
Для этого нам всего-то нужно твое CV, а начать коммуникацию можем тут, Telegram - @brauerone

p.s. если ты еще не Team Lead, но уже готов и очень хочешь сделать следующий шаг, или ты из разработки, но очень хотел бы немного сменить направление - абсолютно точно пиши нам, мы готовы научить!)

#вакансия #NLP #Hadoop #Spark #Machinelearning #ML #СанктПетербург #СПБ #PyTorch #Kafka

Вакансия: Machine Learning Engineer
Локация: Санкт-Петербург

Компания: Mail.ru group
Юла
Высоконагруженный сервис объявлений, который обслуживается сотнями серверов в нескольких дата-центрах и ежедневно помогает миллионам пользователей.
Под капотом у Юлы современный стек технологий. Основа бэкенда и API реализована на PHP и Go, для управления данными и их хранения используется MongoDB, Tarantool и Redis, поисковая система работает на базе Elasticsearch. В качестве диспетчера сообщений настроен Apache Kafka, данные хранятся в Hadoop и Clickhouse.

Занятость: полная (удаленка или комбинированный формат)
Зарплатная вилка: высокая (зависит от уровня кандидата)
Для связи: tg: @Dreifys или почта d.fomichev@corp.mail.ru

Наш стек:

✅Языки: Python, Java, Scala;
✅Технологии которые часто используем в работе: PyTorch, DVC, MlFlow, Hadoop,Spark, Airflow, Kafka.

Примеры того, чем мы занимаемся:

☑️Модерацией в Юле;
☑️Детекцией ботов, мошенников, используя графовые, поведенческие данные и контентные признаки;
☑️Автоматизация восстановления профиля на основе распознавания лиц и жестов;
☑️Поиск дубликатов объявлений;
☑️ML инфраструктурой и процессами.

Требования:

🔸Уверенные навыки в программирования на Python и хотя бы одном статически типизированном языке;
🔸Хорошие знания базового ML;
🔸Представление о современном состоянии NLP, умение использовать базовые вещи(word2vec, cnn, эмбеддинги, faiss);
🔸Работа с современным BigData стеком (Hadoop/Spark/Airflow).

Будет плюсом:

🔺Опыт оптимизации DL решений на инференс;
🔺Уметь прочитать, а затем воспроизвести в коде статью;
🔺Опыт промышленной разработки на Java/Scala/Python;
🔺Опыт разработки промышленных AI сервисов;
🔺Опыт применения DevOps практик в контексте разработки ML моделей;
🔺Опыт применения ML в cybersecurity и общее представление об этой сфере.


Для связи:
tg: @dreifys или почта d.fomichev@corp.mail.ru

#вакансия #Python #SQL #ETL #Hadoop #DWH

Привет всем!

Компания: Sber EAPTEKA
Вакансия: BigData Engineer
Локация: Москва м.Кутузовская, можно удаленка / гибридный график
Вилка: 250k-320k net + премия (2-3 оклада)

О компании:

СБЕР ЕАПТЕКА – сервис для покупки лекарств и товаров для здоровья, работающий с 2000 года. Сегодня более 9 млн ежемесячно совершают покупки в СБЕР ЕАПТЕКЕ, что делает нас одним из мы в числе лидеров рынка по количеству заказов и качеству сервиса.

Куда вакансия?

Блок ИТ → Управление данными → BigData Team

Чем занимается команда?

В связи с развитием направления BigData в компании и процесса миграции data-flow в SberCloud для решения задач анализа данных и машинного обучения, создаем новую команду.

Приоритетной задачей команды BigData является создание пайплайна по стриминг и батч загрузки cырых данных из учетных систем (сайта и приложения) с последующим разделением на слои данных, создание базового слоя витрин данных, DQ мониторинг всего слоя данных и настройка gitlab ci/cd.

Требования:

- хорошо писать код на Python
- уметь Spark (Pyspark) + Spark Streaming (Kafka)
- знать hadoop-стек
- знать git, linux
- SQL
- airflow
- docker

Вопросы и резюме можно в личку - @gotsulyaak

#вакансия #BigData #DataEnjineer #Python #SQL #ETL #Hadoop #DWH

Привет всем!

Компания: Sber EAPTEKA
Вакансия: Data Engineer
Локация: Москва м.Кутузовская, можно удаленка / гибридный график
Вилка: 200k-250k

О компании:

СБЕР ЕАПТЕКА – сервис для покупки лекарств и товаров для здоровья, работающий с 2000 года. Сегодня более 9 млн ежемесячно совершают покупки в СБЕР ЕАПТЕКЕ💚, что делает нас одним из лидеров рынка по количеству заказов и качеству сервиса.

🔗Куда вакансия?

Блок ИТ → Управление данными → Core Team

Чем занимается команда?

В связи с развитием направления BigData в компании и процесса миграции data-flow в SberCloud для решения задач анализа данных и машинного обучения, в команду Core ищем крутого спеца💥

В обязанности входит:

⛓Работа с DWH, проектирование схем для хранения данных

⚙️Разработка процедур загрузки данных из различных источников (как внутренние БД, так и внешние аналитические/ маркетинговые платформы и т.д.) в DWH

⛓Автоматизация и контроль ETL процессов

⚙️Автоматизация проверок качества данных

⛓Формирование витрин данных

⚙️Организация CI/CD и мониторинга процессов обработки данных

🔮Требования:

- Знание Python
- Опыт в организации и разработке витрин данных от 2 лет)
- Уверенное знание SQL, умение строить сложные запросы, понимать как работать с планом запроса и как на его основе оптимизировать производительность (MS SQL обязательно)
- Опыт автоматизации ETL
- Знать git

Вопросы и резюме можно в личку - @gotsulyaak

#fulltime #удаленка #вакансия #hadoop #java

Big data администратор данных со знанием Hadoop.
Локация — Москва.
Формат работы — удаленный.
Заработная плата - до 300.000 руб.

⭐️Компания:
-Ведущий разработчик автоматизированных информационных систем, программных комплексов для Минфина РФ, ФНС России, банков, органов государственной и муниципальной власти, муниципальных образований приглашает в команду на вакансию Администратора баз данных на проект Озеро данных.

⭐️Задачи на позиции:
• участвовать в решении архитектурных вопросов по Hadooop;
• решать вопросы сетевых доступов\недоступности серверов;
• осуществлять проактивный мониторинг и обеспечение бесперебойной работы основных сервисов Hadoop;
• готовить проектную документацию.
• участвовать в развертывании релизов Озера Данных;

⭐️Что мы от тебя ждем?
• Unix\Linux (опыт написание скриптов на bash, работа с репозиториями, управление доступами, управление процессами и ресурсами, установка ОС, разбор логов);
• Hadoop (опыт установки кластера, настройки сервисов, обновление версий, оптимизация, знание компонентов экосистемы Hadoop что и для чего используется и их особенностей, опыт поиска решения проблем с сервисами);
• понимание принципов развертывания контейнеризованных приложений;
• понимание кода, чтение логов, jvm, принципов ООП);
понимание преимуществ\ограничений между реляционными и NoSQL базами данных, концепции распределенных СУБД;

⭐️ Мы предлагаем:

• Удаленный формат работы;
• полное соблюдение ТК РФ: оплачиваемые отпуска;
• конкурентная заработная плата + премии за эффективную работу;
• пятидневную рабочую неделю (Пн. – Чт. с 09.00 до 18.00, Пт. с 09.00 до 16.45);
• проекты большого масштаба; высоконагруженные сервисы и самые современные технологии;
• сплоченный и профессиональный коллектив;
• профессиональное обучение и сертификацию за счёт компании: мы организуем митапы, хакатоны, конференции, семинары и тренинги: как внутренние, так и внешние;
• партнерские программы от Skyeng и Skillbox;
• доступ к корпоративной библиотеке на платформе Alpina Digital;
• возмещение до 50 % затрат на занятие спортом;
• больничный лист продолжительностью до 7 дней, суммарно за год, выданный сотруднику в связи с его персональной нетрудоспособностью, будет компенсирован Компанией таким образом, чтобы сохранить полную оплату, какая была бы в случае нахождения на работе;
• доплата к отпуску 50% от оклада через 11 месяцев работы в Компании;
• ДМС по окончании испытательного срока.

Пиши сюда, не стесняйся!

#вакансия

Data Engineer в VK Adtech, Москва

Департамент создаёт рекламные продукты и инструменты для бизнеса. Это myTarget, рекламный кабинет ВКонтакте и платформа VK Реклама. Наши разработки также интегрированы в другие продукты VK: Одноклассники, Портал и Почту Mail․ru. Всё это открывает бизнесу доступ к 95% мобильной аудитории рунета. В команде минимум бюрократии и максимум возможностей влиять на продукт — воплощение фич от идеи до релиза может занимать всего пару недель.

Ищем опытного и самостоятельного дата-инженера, который будет участвовать в создании ML-инструментов. Предстоит разрабатывать и поддерживать код на Scala/Spark (UDF/UDAF, Spark ML Transformers, etc.) и Python (платформа ML/ETL). А ещё помогать команде следить за качеством генерируемых данных.

У нас вы будете работать с данными популярных соцсетей (ВК, ОК, Дзен) и других проектов экосистемы VK. Также надеемся, что вам понравится наш кластер Hadoop на примерно 100 петабайтов.

Задачи:
• Проектировать, разрабатывать и поддерживать инструменты для создания надёжных пайплайнов обработки данных;
• участвовать в развитии системы для создания и использования ML-моделей;
• исследовать и интегрировать в продукт новые источники данных;
• создавать витрины признаков для ML-моделей.

Требования:
• Знание алгоритмов и структур данных;
• умение писать качественный, поддерживаемый код на Scala, Python, SQL;
• опыт использования Hadoop, знание механизмов распределённого хранения и обработки данных (HDFS, Spark, Hive);
• знакомство с Bash, Git, Linux, Docker;
• опыт работы с терминалом по SSH.

Будет плюсом:
• Умение использовать Luigi, Airflow, Kafka;
• опыт написания Spark UDF/UDAF на Catalyst API и трансформеров spark.ml;
• знание Java и нюансов JVM;
• понимание классических ML-моделей, задач и методов DS.

✍️ Отправить CV и по всем вопросам: https://yangx.top/olkony

#de #ml #engineer #mailru #adtech #spark #python #hadoop #kafka #гибрид #remote #middle #senior

#вакансия #de #fintech #remote

Привет! Мы в поиске Data Engineer (middle+)

Компания: Vsemirsoft
Проект: банковский проект (входит в ТОП-50 банков РФ).
Стек проекта:
- #Hadoop, #GreenPlum, #S3;
- #Airflow, #Spark, #Kafka, #Debezium;
- #ClickHouse, #Superset

Часовой пояс: Москва (UTC+03:00, Europe/Moscow)
Формат работы: удаленный
Зп: 285 тыс. руб.

📌Ключевые компетенции:
- АБС
- ЦФТ
- DWH

📌 Требования:
- ОПЫТ РАБОТЫ ОТ 3х ЛЕТ;
- опыт работы с хранилищами данных и с отчетностью в АБС Банка;
- понимание жизненного цикла разработки программного обеспечения

📌 Как преимущество:
- понимание процессов формирования обязательной отчетности (ЦБ)

📌 Задачи в рамках проекта:
- анализ новых требований от заказчиков по задачам обязательной отчетности (ЦБ);
- реализация изменений и тестирование на стороне DWH;
- взаимодействие с внутренними заказчиками, системными аналитиками-экспертами других подразделений;
- написание технических задач для развития детального и витринного уровней DWH;
- анализ и контроль качества загрузки данных в DWH;
- описание логической и физической модели DWH и сопровождение документации в части хранилища данных

По всем вопросам обращаться: @odu_v_an

#вакансия #ds

Мы в Циан 🏘 ищем сильного Senior Data Scientist-а в команду CRM.

Локация - Полная удаленка внутри РФ. Если есть желание ходить в офис, у нас есть замечательные современные офисы в Москве, Питере и Новосибе.

Вилка - от 350 до 500 гросс, готовы обсуждать

О нас
В Циан большая команда ML. В команде настроены процессы перфоманс ревью, регулярного обмена опытом, выделяем время на исследовательскую работу!

Команда CRM занимается прямыми коммуникациями с клиентами (пуши, емейлы, смски и тд)

Наш стек
● Python (Numpy, SciPy, Pandas, sklearn, PyTorch);
● Экосистема Hadoop (PySpark, Hive, Kafka);
● Airflow;

Задачи:
● Повышение эффективности пуш-уведомлений, емейлов и других каналов прямых коммуникаций с клиентами;
● Оптимизация коммуникационной нагрузки, выбор оптимального канала коммуникации, выбор оптимального времени отправки;

Требования к кандидату
● Опыт: Не менее 3х лет релевантного опыта на позиции DS в продуктовой компании
● Python: пишет легко читаемый и поддерживаемый код
● SQL (оконные функции, оптимизация запросов)
● Apache стек: HDFS/Kafka/Spark (DF API)
● Классический ML: бустинги, линейные модели.
● Базовые знания в NLP и CV: трансформеры, TF-IDF
● DL: PyTorch.

Плюшки:
ДМС с первого дня (стоматология, госпитализация, полис ВЗР), Кафетерий льгот Benefactory, 5 day off в год, помимо основного отпуска.

Пишите в ЛС рекрутеру / мне (@DANAlina95 / @kgavrilchik) или скидывайте свои резюме на a.dmitrenko@cian.ru


#Python #Numpy #SciPy #Pandas #sklearn #PyTorch #Hadoop #PySpark #Hive #Kafka #Airflow

#вакансия #hadoop #sql #java #hive #spark #python #scrum #agile

🚀 Вакансия: Старший разработчик Hadoop 🚀

Локация: Санкт-Петербург/Москва (гибридный формат)
Вилка: 250 - 350К
✈️ Готовы обсудить релокационный пакет для кандидата не из Санкт-Петербурга и Москвы.

О нас:
Мы — ведущий банк России, активно развивающий свои цифровые продукты и услуги. Сейчас мы ищем опытного и амбициозного Старшего разработчика Hadoop, который присоединится к нашей команде для работы над инновационными проектами в области данных и аналитики.

Что вам предстоит делать:

- 🤝 Взаимодействовать с бизнес-заказчиками, понимать и структурировать их требования.
- ✍️ Разрабатывать функциональные требования для построения витрин данных.
- 🛠 Создавать прототипы витрин с использованием SQL, Java, Python, Spark.
- 🧪 Разрабатывать алгоритмы тестирования.
- 📑 Документировать разрабатываемые компоненты ПО.
- 🔧 Устранять дефекты, анализировать и исправлять инциденты в рамках 3-й линии поддержки.
- 🏃‍♂️ Работать в SCRUM спринтах.

Наши ожидания:

- ✅ Знание SQL (подтверждается прохождением теста).
- 📈 Опыт в бизнес и системном анализе не менее 2 лет: выявление, фиксация, согласование требований, постановка задач разработке, разработка проектной и сопроводительной системной документации.
- 👥 Опыт командной разработки с использованием Jira и Confluence; знание BitBucket будет плюсом.
- 🧩 Умение формализовывать задачи в виде четких и понятных алгоритмов.
- 🎓 Высшее образование.
- 💬 Отличные коммуникативные навыки, самостоятельность, внимательность к деталям, обязательность, ответственность.

Будет преимуществом:

- 📚 Опыт работы с Hadoop и знания его архитектуры.
- 🖥 Знание Hive, Java, Python, Spark.
- 🏃 Опыт работы в Agile.
- 📜 Знание и умение работы с wiki-системой Confluence и трекинговыми системами (Jira, Redmine и т.д.).
- 🏦 Знание банковской предметной области.

Мы предлагаем:

- 📄 Официальное оформление и стабильный, прозрачный доход.
- 🏆 Все льготы и преимущества работы в аккредитованной ИТ-компании.
- 🎁 Партнерские программы и скидки для сотрудников.
- 🏢 Гибридный формат работы.


Если вы хотите развиваться в динамичной компании и работать над интересными проектами в сфере больших данных, мы будем рады видеть вас в нашей команде!

🙋🏼‍♀️По всем вопросам к @BekhterevaElena

#вакансия #de #dataengineer #etl #sql #hadoop #spark

Data Engineer для агротехнологических проектов

При отклике на вакансию сразу присылайте резюме @echeveria_woman
Отклики без резюме рассматриваться не будут!

Ключевые обязанности:
- Разработка и поддержка ETL-процессов
- Управление базами и хранилищами данных
- Интеграция данных из разных источников (сенсоры, спутниковые снимки,
IoT устройства, и тд, и тп)
- Оптимизация систем обработки данных

Ключевые требования:
- 3+ лет опыта в Data Engineering
- Уверенное владение SQL и базами данных (PostgreSQL, MySQL, NoSQL)
- Опыт работы с ETL-инструментами (Apache Airflow, Talend, Informatica, и тд)
- Знание облачных платформ (AWS, GCP, Azure)
- Навыки программирования (Python/Java)
- Опыт с big data (Hadoop, Spark)
- Понимание DevOps и CI/CD

Будет преимуществом:
- Опыт в агросфере
- Знание GIS-технологий
- Опыт с Docker и Kubernetes

Мы предлагаем:
- Вилку 3.5-5 тысяч долларов в месяц
- Гибкий график
- Работу в команде профессионалов
- Возможности для роста
- Участие в значимых агропроектах

#вакансия #lead #DataEngineer #DWH #hadoop #spark #airflow #clickhouse #SODA #remote


Ищу к себе в команду DWH в AliExpress Lead Data Engineer

Стек: Hadoop, Spark, Airflow, ClickHouse, SODA (DQ).

Удаленка, возможность оформления вне РФ.

Зона ответственности команды DWH - качественные и своевременные данные в удобном для аналитики виде. За платформу данных и подключение источников к озеру данных отвечает отдельная платформенная команда. Объемы данных в компании исчисляются петабайтами.

Чем предстоит заниматься:
- Оптимизация производительности сложных процессов загрузки данных (Spark);
- Развитие используемых в команде практик и подходов (доработки CI/CD, мониторингов, внутренних библиотек)
- Разработка NRT пайплайнов (Kafka, Spark Structured Streaming, CH);
- Разработка витрин данных (Spark);
- Менторинг разработчиков и контроль за соблюдением стандартов.

Мы ожидаем от Вас:
- Опыт работы со Spark и глубокое понимание его устройства;
- Опыт работы с Python или Java от 3-х лет;
- Опыт работы c ClickHouse;
- Опыт написания дата пайплайнов, опыт работы с Airflow;
- Понимание подходов к организации разработки (CI/CD, DevOps).

Будет плюсом:
- Опыт разработки потоковой обработки данных;
- Опыт работы с форматом iceberg;
- Опыт управления небольшой командой.

По вопросам и с резюме: @shh1_01