#вакансия #spark #hadoop #fulltime #bigdata

Лидер в сфере разработки BI решений в России ищет в свой дружный коллектив разработчика BIG DATA

Город: Москва
Компания: GlowByte
Формат работы: офис/частичная удаленка/удаленка
Занятость: полная
Зарплатная вилка в зависимости от опыта: 120 - 200 т.р. (net) - полностью белая заработная плата
Контактное лицо: Мария @Ermalyuk

✅Кандидат должен уметь:✅
• Hadoop
• Spark
• Опыт разработки на Java/Scala/Python
• Опыт работы с Linux от 1 года (базовая конфигурация, основные команды, bash-скрипты)
• Знания SQL и опыт работы с любой СУБД

✅Задачи✅
• Участие в разработке по направлениям: Streming / BigData и Hadoop / DWH
• Работа в команде нескольких человек, использование инструментов: CDH, Kafka, Flink, Nifi, Ignite, Spark
• R&D новых OpenSource продуктов, обмен полученным опытом + ведение Wiki
• Проведение тестов (в т.ч. нагрузочных)
• Качественное документирование разработанного ПО и результатов
• Сопровождение разработанных решений, доработки и выпуск обновлений, решение возникающих проблем

✅Условия✅
• Стабильный оклад и премии по итогам года
• Отлаженный подход к обучению сотрудников (у каждого сотрудника есть персональный куратор, план индивидуального развития, регулярно проводятся рабочие встречи и встречи по развитию)
• Лояльный подход к сотрудникам
• Гибкий график
• Профессиональное обучение и сертификацию с оплатой за счёт компании
• Гибкий социальный пакет (ДМС или другие опции на выбор)

#вакансия #fulltime #СПБ #python #Spark #офис
Вакансия: Middle/Senior Big Data Engineer (Python)
Компания: КА gethead
Формат работы: Удаленка (на время пандемии) дальше офис
Зарплата: 150-260 000 руб. на руки (больше готовы смотреть, в зависимости от опыта)
О проекте:
Проект для американской компании, занимающейся мобильной рекламой. Разработка конвейеров данных для передачи больших объемов данных (более 20 ТБ в месяц) между системами.

Стек:
- Python
- SQL;
- Spark;
- Kafka;
- AWS Kinesis.

Задачи:
- Разработка сложных и эффективных решений для распределенного преобразования данных;
- Разработка ML-моделей;
- Аналитика больших данных.

Мы ждем:
- Опыт разработки на Python (Big Data);
- Опыт работы с потоковыми системами: Spark, Kafka, Kinesis;
- Аналитика больших данных;
- Знание английского на уровне Upper-Intermediate и выше.
Мы предлагаем:
- Участие в крупном международном проекте;
- Возможность работать удаленно на время пандемии;
- Релокационный бонус;
- Программа корпоративных льгот;
- ДМС с первого рабочего дня;
- Активная корпоративная жизнь;
- Возможность длительных командировок в США;
- Корпоративный английский с носителями.
Контакты для связи: @mariasamborskaya

#Вакансия #Аналитик #SAP #Hadoop #BI #Spark #Москва

В компанию Детский Мир нужен аналитик. Зп до 300 т.р

Функционал:
- Взаимодействие с внутренними заказчиками, сбор требований на новые/изменяемые функциональности в аналитических системах;
- Анализ и формализация требований заказчиков на формирование аналитической отчетности;
- Подготовка и согласование проектной документации
- Участие в проектах развития хранилищ аналитических данных (SAP BW, HANA, Hadoop, Spark) и BI-систем (SAP BO Analysis, Grafana, QlikView);
- Тестирование выполненных разработок хранилищ данных, отчетов в BI

Наши ожидания:
- Опыт работы в роли аналитика на проектах по построению/развитию аналитических систем и хранилищ данных от 3 лет;
- Понимания принципов и процессов проектирования DWH, ETL, OLAP и отчётности;
- Умение самостоятельно искать ответы в источниках данных и исследовать данные источников, искать зависимости, выстраивать модели данных;
- Опыт работы в роли аналитика или консультанта одной из систем (SAP BW on HANA, Hadoop)
- Желательный опыт работы с BI-системами QlikView, Grafana.

Мы предлагаем:
- Официальное оформление в соответствии с ТК РФ
- Полная стабильность
- Отсутствие бюрократии и плоская организационная структура
- Действительно высокий уровень дохода, полностью "белый" оклад и годовая премия
- Гибкий график работы, но 5/2, полный день, Офис- м/мцд Окружная или корп.транспорт 7 минут от м.Петровско-Разумовская
- Расширенный полис ДМС
- до 20% скидка на продукцию компании
- Спортивные и развлекательные мероприятия (крупные спортивные соревнования и веселые корпоративы

Контакты: Алина @Sae_fr12

#вакансия #DataScientist #Senior #Middle #python #spark #SQL

Привет! Rubbles в поисках Middle | Senior Data Scientist до 500К

Проект систем прогнозирования спроса на товары в ритейле.

Обязанности:
• Моделирование и обработка данных на Python для извлечения бизнес-ценности из данных;
• Глубокое обсуждение задач и методов их решения совместно с коллегами и бизнес-заказчиками;
• Построение воспроизводимых и переиспользуемых решений для работы с данными и моделями;

Наши ожидания:
• Опыт использования ML библиотек на Python (бустинг, нейронные сети и др.) и понимание особенностей реализации различных аспектов алгоритмов в коде;
• Опыт работы на позиции, связанной с промышленной разработкой;
• Понимание методов машинного обучения с точки зрения математики и умение адаптировать их под конкретные задачи;
• Опыт работы с Spark, Pyspark, Pandas, SQL, Hive и др.;
• Опыт проработки задачи от бизнес-постановки до математической формулировки и реализации в коде;
• Опыт автоматизации пайплайнов работы с данными (Airflow и др.) и навыки devops (Docker, Kubernetes и др.);

У нас:
• Официальное оформление, белая ЗП, регулярные индексации
• ДМС, включая стоматологию
• Профильные курсы, митапы
• Офис М. Сухаревская
• Гибкий график
• Удаленный формат работы, как на период изоляции, так и после, по желанию

Контакты:
Анастасия - @mahounistyle - amahonko@sbdagroup.com

#teamlead #Москва #DataPlatform #Hadoop #Spark #Kafka

Team Lead Data Platform в Актион-Технологии
Расположение: Москва
Формат: full-time, работа в офисе + удалёнка
Зарплатная вилка: 250-350 тысяч на руки

Кто мы?
Мы большой медиахолдинг с более, чем 25-летней историей, миллиардной выручкой, и гигантскими планами по развитию компании!
Мы разрабатываем полезные сервисы и продукты для 15 профессиональных аудиторий.
В 2020 году мы вошли в ТОП-10 EdTech компаний по мнению РБК.

И для этого нам не хватает только тебя - человека, которому полностью сможем доверить направление Data Platform

Что уже успели поделать:
- Мы подготовили инфраструктуру на базе Hadoop и GreenPlum для загрузки, обработки и построения витрин данных
- Описали и загрузили данные нескольких продуктов холдинга и приступили к описанию и загрузке следующих

И на этом все не заканчивается, но для вводной о том, что мы не совсем дилетанты в работе с данными, пожалуй, достаточно)
И у нас еще много планов - будем развивать и масштабировать инфраструктуру, запускать потоковое получение данных и увеличивать количество подключенных источников и доверие к данным

Что планируем сделать
- Сбор данных real time - строим click-stream платформу
- Третий уровень хранилища, описав в нем все сущности, для работы аналитиков
- Структурировать хранилище, все сущности должны наименоваться по одному стандарту и быть понятными пользователям, удобными для навигации
- Доработать систему сверок, начать проливать данные, методически доведя расхождения до нуля

А еще у нас есть задачи на стыке DWH и ML
- подготовка данных для обучения разнообразных моделей (у нас тут громадьё планов)
- написание веб-сервисов для интеграции данных, полученных от ML с продуктами холдинга

Что для нас важно в тебе
- Базовые знания SQL
- Любой язык программирования (но лучше python))
- Опыт работы с системами контроля версий (Git)
- Умение организовать процесс загрузки, обработки и доставки обработанных данных конечным потребителям
- Высокий уровень самообучения
- Умение поддержать и дотюнить существующий процесс

Не обязательно, но будет очень здорово, если
- Знаешь Open Source фреймворки Big Data: (Hadoop, MapReduce, Spark & Spark Streaming, Hive, Kafka)
- Знаком с Apache Nifi и Apache Airflow

Что есть у нас и чем готовы делиться
- Белая, своевременная и конкурентоспособная заработная плата
- ДМС (включая стоматологию)
- Удобное место для работы и современное “железо” (хочешь с яблоком, хочешь без)
- Гибкий график. Начало работы с 8 до 11
- У нас не нужно приходить 5 дней в неделю в офис. Мы внутри команд сами определяем, когда туда приехать
- Профессиональный рост (у нас есть внутреннее обучение, возможность посещать конференции и митапы, мы спонсируем))
- Корпоративная библиотека (огромное количество профессиональной литературы - бери, читай, наслаждайся)
- Мы понимаем, что переезд - штука непростая, поэтому мы готовы всячески помочь уже сейчас) Мы оплатим билеты для тебя и твоего багажа, услуги риэлтора для поиска жилья и первый месяц арендной платы. Мы же команда)

Звучит здорово? Откликается?)
Напиши нам обязательно, давай обсудим)
Для этого нам всего-то нужно твое CV, а начать коммуникацию можем тут, Telegram - @brauerone

p.s. если ты еще не Team Lead, но уже готов и очень хочешь сделать следующий шаг, или ты из разработки, но очень хотел бы немного сменить направление - абсолютно точно пиши нам, мы готовы научить!)

#вакансия #scala #spark #oozie

Senior Data Engineer
Формат #удалёнка

ТК РФ вилка 320-400 на руки для senior
250-280 для middle

Требования:
• опыт работы с hadoop стэк(hive, hdfs, spark, oozie, tez)
• Хорошие знания Scala 2.10-2.11
• Хорошие знания алгоритмов и умение разбираться в самописных.
• Опыт работы с kafka, kafka streaming, ksql
обязанности
• разбор работы и сбоев при работе spark job, tez job
• Помощь разработчикам с переносом с 2 спаркам на 3 job
• Разбор и дебагинг job на предмет нарушения SLA по времени исполнения
• Оптимизация всем хранения и просто хранения данных (на данный момент у нас 25 пб данных)

контакт @erzentd

#вакансия #NLP #Hadoop #Spark #Machinelearning #ML #СанктПетербург #СПБ #PyTorch #Kafka

Вакансия: Machine Learning Engineer
Локация: Санкт-Петербург

Компания: Mail.ru group
Юла
Высоконагруженный сервис объявлений, который обслуживается сотнями серверов в нескольких дата-центрах и ежедневно помогает миллионам пользователей.
Под капотом у Юлы современный стек технологий. Основа бэкенда и API реализована на PHP и Go, для управления данными и их хранения используется MongoDB, Tarantool и Redis, поисковая система работает на базе Elasticsearch. В качестве диспетчера сообщений настроен Apache Kafka, данные хранятся в Hadoop и Clickhouse.

Занятость: полная (удаленка или комбинированный формат)
Зарплатная вилка: высокая (зависит от уровня кандидата)
Для связи: tg: @Dreifys или почта d.fomichev@corp.mail.ru

Наш стек:

✅Языки: Python, Java, Scala;
✅Технологии которые часто используем в работе: PyTorch, DVC, MlFlow, Hadoop,Spark, Airflow, Kafka.

Примеры того, чем мы занимаемся:

☑️Модерацией в Юле;
☑️Детекцией ботов, мошенников, используя графовые, поведенческие данные и контентные признаки;
☑️Автоматизация восстановления профиля на основе распознавания лиц и жестов;
☑️Поиск дубликатов объявлений;
☑️ML инфраструктурой и процессами.

Требования:

🔸Уверенные навыки в программирования на Python и хотя бы одном статически типизированном языке;
🔸Хорошие знания базового ML;
🔸Представление о современном состоянии NLP, умение использовать базовые вещи(word2vec, cnn, эмбеддинги, faiss);
🔸Работа с современным BigData стеком (Hadoop/Spark/Airflow).

Будет плюсом:

🔺Опыт оптимизации DL решений на инференс;
🔺Уметь прочитать, а затем воспроизвести в коде статью;
🔺Опыт промышленной разработки на Java/Scala/Python;
🔺Опыт разработки промышленных AI сервисов;
🔺Опыт применения DevOps практик в контексте разработки ML моделей;
🔺Опыт применения ML в cybersecurity и общее представление об этой сфере.


Для связи:
tg: @dreifys или почта d.fomichev@corp.mail.ru

#Вакансия #job #it #fulltime #полный_день #remote #удаленная_работа #DSE #Big_Data #Java #Scala #Python #Spark #AWS #SQL

Должность: Data Engineer
Название компании: PLAYKOT (https://playkot.com/)
Город: Санкт-Петербург
Занятость: полная, удаленная работа
Заработная плата: от 200 000 рублей на руки
Контакты: Елена Цыбаева, 89138532542 (telegram @Elena_Tcybaeva, wa), Tsybaevaelena@gmail.com

Playkot – российская игровая компания, 10 лет успешно развивающаяся в области разработки мобильных и социальных игр и создающая мировые хиты. Наши флагманские проекты: Age of Magic, Суперсити, Tropic Storm, Титаны.

Наша команда – это 200+ специалистов, работающих в Санкт-Петербурге, на Кипре и удаленно по всему миру.

Ежедневно мы аккумулируем огромное количество данных: сотни тысяч игровых событий, метрики маркетинговых кампаний, параметры операционной деятельности и многое другое.

В связи с масштабированием бизнеса в будущем планируется рост объемов и усложнение структур данных. Мы стремимся к тому, чтобы аналитика была неотъемлемой частью всех наших процессов и являлась опорой для принятия важных для компании решений.
Именно поэтому сейчас мы ищем в команду профессионального Data Engineer, который возьмет на себя задачи выстраивания процессов управления данными в компании.

⛳️Задачи, которые предстоит решать:
• выстраивание и развитие процессов обработки данных в компании;
• реализация платформы данных и инструментария для работы продуктовых аналитиков, а также построение витрин данных;
• построение надежных и оптимальных пайплайнов обработки данных;
• интеграция с новыми источниками данных;
• оптимизация вычислений;
• организация и реализация процесса совершенствования Data Quality.

⛳️Наши ожидания от кандидата:
• опыт работы на позиции Data Engineer или аналогичной не менее трех лет;
• умение строить ETL на Apache Spark (2.4 -> 3 версия, мы работаем с упором на SQL API + Scala/Java API);
• навыки реализации оркестрации на Apache Airflow;
• глубокие знания SQL и умение разобраться в Python-коде;
• опыт плотной работы с AWS, а именно: S3, iam, GLUE;
• опыт работы с БД и оптимизацией запросов;
• знание BI инструментов (Tableau/Superset/Metabase/PowerBI);
• знания в области построения витрин данных.

⛳️Мы предлагаем:
• Заработная плата от 250 000 рублей на руки (сильно зависит от квалификации);
• Официальное трудоустройство по ТК РФ, полностью «белая» заработная плата;
• Корпоративный пакет ДМС;
• Возможность работать полностью удаленно или в нашем дизайнерском офисе в историческом центре Санкт-Петербурга (ул. Кропоткина, 1И);
• Гибкое начало рабочего дня, отсутствие тайм-трекинга;
• Возможность практически «с нуля» организовать работу в области big data в крупной компании;
• Команда профессионалов, готовых помогать и делиться лучшими практиками;
• Гибкий менеджмент, развитая корпоративная культура, поощрение инициативы, сплоченный и дружный коллектив, насыщенная корпоративная жизнь.

#Вакансия #DataEngineer #Удаленно #Scala #Python #SQL #Spark

Должность: Data Engineer
Вилка: 150’000 — 220’000 руб.
Город: удаленно
Занятость: full time
Контакты: @valdavydov

❗️Приглашаем присоединиться к международной быстрорастущей компании в области Big Data.

🔹Мы:
• Опытная и динамичная команда с головным офисом в Канаде, г. Торонто.
• Разрабатываем платформу, которая в корне меняет то, как компании работают с большими данными.
• Среди наших клиентов крупнейшие компании финансовой индустрии Северной Америки.

🔹Рассчитываем, что ты:
• Имеешь опыт работы от 2-х лет в роли Data Engineer.
• Прекрасно знаешь Scala.
• Знаком с SQL и Python. Если не знаешь Python, научим. Главное — Scala.
• Уверенно разрабатываешь на Apache Spark и глубоко понимаешь методы оптимизации Spark приложений.
• Умеешь пользоваться AWS EMR.
• Имеешь опыт в построении Data Warehouse и Data Lake.
• Понимаешь, что Lakehouse — это не “дом у озера”, а, возможно, лучшая архитектура управления данными.

🔹Тебе предстоит:
• Разрабатывать инновационные решения для обработки больших данных.
• Формировать автоматизированные ETL пайплайны.
• Оптимизировать Spark приложения.
• Выстраивать архитектуру управления данными.

🔹Ты сможешь:
• Приобрести уникальный опыт работы в сильной международной команде.
• Расти и развиваться вместе с компанией.
• Реализовать свои самые смелые идеи обработки больших данных.

#вакансия #vacancy #DataEngineer #MLOps #python #C++ #Senior #AWS #Kubernetes #k8s #PyTorch #Linux #ML #Spark #CICD #ApacheAirflow

Вакансия: MLOps/Data Engineer
Компания: Уже более 10 лет успешно занимаемся высокочастотной алгоритмической торговлей (HFT). Работаем в 7 странах на крупнейших фондовых и криптовалютных биржах от Чикаго до Токио, где наша деятельность охватывает торговлю акциями, облигациями, фьючерсами, опционами, валютой и всеми производными цифровых активов. В цифрах это: 20+ дата-центров, 2000+ торговых стратегий, которые применяем на 3000+ инструментах, где в среднем совершаем 150 млн сделок с оборотом сотни млрд $ в месяц.
Офисы компании расположены в городах Санкт-Петербург, Лимасол (Кипр) и Савона (Италия).
Уровень зп: 400 000 руб net;
Формат: Гибкий график, г. Санкт-Петербург
Занятость: полная занятость, 5/2;
📍Какие задачи предстоит решать:
• Разработка, развитие и поддержка пайплайна для регулярного обучения-валидации-деплоя моделей;
• Поддержка и развитие слоя выгрузки данных из самописного хранилища в Python для обучения моделей (С++ и Python);
• Настраивать необходимую под задачи инфраструктуру (AWS) и заниматься DevOps-поддержкой ML-разработки;
• Помощь в проведении исследовний — внедрение тулов для ML Experiment Tracking;
• Миграция существующих моделей из Python в С++ и оптимизация перфоманса моделей в проде (борьба за 10-ки мкс).

🖇Наши ожидания :
• Питонист уровня анаконда, который умеет в дата-инженерию и MLOps;
• Знание классических алгоритмов и структур данных;
• Опыт написания оберток Python к С++ или встраивания в С++;
• Опыт с PyTorch, AWS, Airflow, Kubernetes и Spark.
Будет преимуществом:
• Знание Linux на продвинутом уровне;
• Интерес к нашей кухне.

🧸Что готовы предложить:
• Отсутствие формализма и бюрократии, широкий спектр нетривиальных задач и возможностей для реализации собственных идей;
• Нет жестких сроков и чрезмерного прессинга сверху - мы не контролируем рабочий процесс, но создаем условия, чтобы каждый был заинтересован в результате;
• Набор бенефитов, поддержку релокации, оплачиваемые командировки в Европейский офис и не только;
• Современное оборудование и ПО в производстве, новое железо и все необходимое для продуктивной работы.
Отправляйте свое CV: @Madam_Sophie

Мы – компания Sense Machine - лидеры на российском рынке нейробиологических исследований. Изучаем эмоциональный отклик на рекламные ролики, ТВ контент, прототипы приложений и многое другое, вплоть до дизайна интерьера банков с использованием собственной facial coding платформы. Являемся сердцем крупнейшей в Европе UX - лаборатории Альфа – банка и работаем с самыми большими клиентами российского рынка, такими как Альфа-банк, МТС, Danone, Ozon, Мail.ru, Lamoda, Самокат, Sokolov

Компания представляет из себя команду людей, по-настоящему увлечённых наукой и её технической интерпретацией, которая делает уникальный продукт, меняющий представление о познании и востребованный самыми крупными игроками. Этот продукт показывает рост в одном из наиболее востребованных сегментов современного наукоёмкого бизнеса - нейробиологических исследованиях, которые до 2024 года по оценке Gartner будут применяться в 50% всех маркетинговых тестов.

Мы строим настоящий двигатель того, как будут совершаться открытия о человеческом восприятии в ближайшее время и уверены, что талантливые и открытые знаниям люди – это то, что нам нужно на этом пути

На данном этапе, мы в поиске профессионального Lead Data Scientist в нашу драйвовую команду.

Требования к кандидату:
- Высшее профильное образование (инженерное или математическое)
- Опыт коммерческой разработки в области DS/ML на Python
- Наличие успешных коммерческих проектов или проектов в эксплуатации
- Опыт поддержки и развития продуктов находящихся в эксплуатации
- Уверенные знания и опыт работы с #Python для анализа данных, включая основные библиотеки ( #numpy, #scipy, #pandas, #Scikit-learn)
- Опыт работы с технологиями Face Detection, Face Analyze, Computer Vision.
- Опыт работы с #Tensorflow / #PyTorch / #OpenVINO
- Умение разбираться в чужом коде
- Опыт постановки задач

Желательно:
- Опыт работы с #SQL
- Опыт работы с Apache Spark ( #Pyspark / Scala, #Spark SQL)
- Знание #Docker

Ваши обязанности:
• Рефакторинг существующей системы
• Создание улучшенного решения на основании текущего
• Постановка и контроль выполнения задач
• Построение процессов тестирования решений на базе технологий обработки видео с помощью нейросетевых моделей
• Разработка алгоритмов преобразования данных
• Организация процессов разработки и руководство командой ML-специалистов
• Взаимодействие с командой аналитики и разработки инфраструктуры
• Контроль исполнения задач

Что предлагаем мы:
- Работа в команде разработчиков, сердцем которой является data science. - Большое количество очень интересных гипотез, которые основаны на современных научных теориях и большой простор в их проверке, освоение которого будет поддержано профессиональными и увлечёнными коллегами
- Амбициозные задачи, масштабные проекты и возможность создать по-настоящему уникальный продукт, который сможет быть стандартом индустрии.
- Большую продуктовую команду мечты – все ребята ладят с методами изучения данных и ходят не с проблемами, но с предложениями
- Всю нужную инфраструктуру и поддержку в экспериментах
Участие в работе крупнейшей в Европе ux лаборатории
- Оплата обучения и тренингов для вашего профессионального роста
- Белая заработная плата.
- Фиксированный, достойный оклад от 300 до 500 k ( обсуждаем на собеседовании)
- Возможность работать удаленно
Уютный "pet-frendly" офис, в 2-минутах от метро Парк Культуры (да, можно приносить/приводить с собой пушистых любимцев)
- Официальное трудоустройство с первого рабочего дня, полное соблюдение ТК РФ
- Отсутствие строгого дресс-кода и бюрократии, открытость и лояльность руководства, общение на - "ты"

Мы всегда готовы принять в команду талантливых и перспективных сотрудников, готовых стать частью нашей классной команды и делать мир рекламы лучше с помощью нашей платформы. В свою очередь мы готовы делится своим опытом, экспертностью, всячески направлять и поддерживать

Откликайтесь или отправляйте свое резюме:
https://yangx.top/hr_sensemachine
почта- hr@sensemachine.net

Просьба в письме указывать желаемый уровень заработной платы!

#вакансия #удаленно #dataengineer #de #spark #databricks #kafka #

Ищем Data Engineer на проектную занятость в Dodo Engineering (возможен неполный рабочий день)

Компания: Dodo Engineering
Локация: Remote
Должность: Data Engineer (middle+/senior/lead)
Занятость: проектная, на 3-6 месяцев, возможен вариант на неполный рабочий день (4 часа).
Вилка: 350 000 - 500 000 р
Формат: ГПХ\ИП

О команде
Мы разрабатываем платформу данных для it команд в Dodo. На данный момент перед нами стоит амбициозная задача по оптимизации затрат на дата платформу, поэтому в усиление нашей команде ищем на проектную занятость data engineer. Срок проекта - 3-6 месяцев.
Мы ищем коллегу с бэкграундом в разработке, уверенным знанием Spark, Spark SQL. Если работали с databricks — будет большой плюс.

Наш стек технологий:
У нас современная платформа, которая базируется на облачных сервисах Azure Databricks. Данные загружаем с помощью debezium или принимаем события в Event Hub (Kafka). Храним в Delta Lake, всё раскладываем по слоям и Data Vault. Витрины храним в Kusto, а визуализация в Superset. Основной язык — python.

Чем предстоит заниматься:
- Оптимизация витрин, помощь другим командам в работе с данными и нашим инструментом
- Оптимизация процессов в databricks для снижения затрат на compute и storage
- Развертывание и обслуживание data сервисов

Требования:
- Уверенное владение одним из языков программирования: Python, Scala, Java.
- Построение пайплайнов данных с мониторингом и логированием; опыт в оптимизации/изменении существующих пайплайнов.
- Spark, Spark Streaming (у нас Structured Streaming)
- Желателен опыт оптимизации аналитического кода

Отправить резюме и задать вопросы можно тут: @AKoronnova
👉 Не забудьте уточнить, что вы из @datasciencejobs

#вакансия

Data Engineer в VK Adtech, Москва

Департамент создаёт рекламные продукты и инструменты для бизнеса. Это myTarget, рекламный кабинет ВКонтакте и платформа VK Реклама. Наши разработки также интегрированы в другие продукты VK: Одноклассники, Портал и Почту Mail․ru. Всё это открывает бизнесу доступ к 95% мобильной аудитории рунета. В команде минимум бюрократии и максимум возможностей влиять на продукт — воплощение фич от идеи до релиза может занимать всего пару недель.

Ищем опытного и самостоятельного дата-инженера, который будет участвовать в создании ML-инструментов. Предстоит разрабатывать и поддерживать код на Scala/Spark (UDF/UDAF, Spark ML Transformers, etc.) и Python (платформа ML/ETL). А ещё помогать команде следить за качеством генерируемых данных.

У нас вы будете работать с данными популярных соцсетей (ВК, ОК, Дзен) и других проектов экосистемы VK. Также надеемся, что вам понравится наш кластер Hadoop на примерно 100 петабайтов.

Задачи:
• Проектировать, разрабатывать и поддерживать инструменты для создания надёжных пайплайнов обработки данных;
• участвовать в развитии системы для создания и использования ML-моделей;
• исследовать и интегрировать в продукт новые источники данных;
• создавать витрины признаков для ML-моделей.

Требования:
• Знание алгоритмов и структур данных;
• умение писать качественный, поддерживаемый код на Scala, Python, SQL;
• опыт использования Hadoop, знание механизмов распределённого хранения и обработки данных (HDFS, Spark, Hive);
• знакомство с Bash, Git, Linux, Docker;
• опыт работы с терминалом по SSH.

Будет плюсом:
• Умение использовать Luigi, Airflow, Kafka;
• опыт написания Spark UDF/UDAF на Catalyst API и трансформеров spark.ml;
• знание Java и нюансов JVM;
• понимание классических ML-моделей, задач и методов DS.

✍️ Отправить CV и по всем вопросам: https://yangx.top/olkony

#de #ml #engineer #mailru #adtech #spark #python #hadoop #kafka #гибрид #remote #middle #senior

#вакансия #de #fintech #remote

Привет! Мы в поиске Data Engineer (middle+)

Компания: Vsemirsoft
Проект: банковский проект (входит в ТОП-50 банков РФ).
Стек проекта:
- #Hadoop, #GreenPlum, #S3;
- #Airflow, #Spark, #Kafka, #Debezium;
- #ClickHouse, #Superset

Часовой пояс: Москва (UTC+03:00, Europe/Moscow)
Формат работы: удаленный
Зп: 285 тыс. руб.

📌Ключевые компетенции:
- АБС
- ЦФТ
- DWH

📌 Требования:
- ОПЫТ РАБОТЫ ОТ 3х ЛЕТ;
- опыт работы с хранилищами данных и с отчетностью в АБС Банка;
- понимание жизненного цикла разработки программного обеспечения

📌 Как преимущество:
- понимание процессов формирования обязательной отчетности (ЦБ)

📌 Задачи в рамках проекта:
- анализ новых требований от заказчиков по задачам обязательной отчетности (ЦБ);
- реализация изменений и тестирование на стороне DWH;
- взаимодействие с внутренними заказчиками, системными аналитиками-экспертами других подразделений;
- написание технических задач для развития детального и витринного уровней DWH;
- анализ и контроль качества загрузки данных в DWH;
- описание логической и физической модели DWH и сопровождение документации в части хранилища данных

По всем вопросам обращаться: @odu_v_an

#вакансия #hadoop #sql #java #hive #spark #python #scrum #agile

🚀 Вакансия: Старший разработчик Hadoop 🚀

Локация: Санкт-Петербург/Москва (гибридный формат)
Вилка: 250 - 350К
✈️ Готовы обсудить релокационный пакет для кандидата не из Санкт-Петербурга и Москвы.

О нас:
Мы — ведущий банк России, активно развивающий свои цифровые продукты и услуги. Сейчас мы ищем опытного и амбициозного Старшего разработчика Hadoop, который присоединится к нашей команде для работы над инновационными проектами в области данных и аналитики.

Что вам предстоит делать:

- 🤝 Взаимодействовать с бизнес-заказчиками, понимать и структурировать их требования.
- ✍️ Разрабатывать функциональные требования для построения витрин данных.
- 🛠 Создавать прототипы витрин с использованием SQL, Java, Python, Spark.
- 🧪 Разрабатывать алгоритмы тестирования.
- 📑 Документировать разрабатываемые компоненты ПО.
- 🔧 Устранять дефекты, анализировать и исправлять инциденты в рамках 3-й линии поддержки.
- 🏃‍♂️ Работать в SCRUM спринтах.

Наши ожидания:

- ✅ Знание SQL (подтверждается прохождением теста).
- 📈 Опыт в бизнес и системном анализе не менее 2 лет: выявление, фиксация, согласование требований, постановка задач разработке, разработка проектной и сопроводительной системной документации.
- 👥 Опыт командной разработки с использованием Jira и Confluence; знание BitBucket будет плюсом.
- 🧩 Умение формализовывать задачи в виде четких и понятных алгоритмов.
- 🎓 Высшее образование.
- 💬 Отличные коммуникативные навыки, самостоятельность, внимательность к деталям, обязательность, ответственность.

Будет преимуществом:

- 📚 Опыт работы с Hadoop и знания его архитектуры.
- 🖥 Знание Hive, Java, Python, Spark.
- 🏃 Опыт работы в Agile.
- 📜 Знание и умение работы с wiki-системой Confluence и трекинговыми системами (Jira, Redmine и т.д.).
- 🏦 Знание банковской предметной области.

Мы предлагаем:

- 📄 Официальное оформление и стабильный, прозрачный доход.
- 🏆 Все льготы и преимущества работы в аккредитованной ИТ-компании.
- 🎁 Партнерские программы и скидки для сотрудников.
- 🏢 Гибридный формат работы.


Если вы хотите развиваться в динамичной компании и работать над интересными проектами в сфере больших данных, мы будем рады видеть вас в нашей команде!

🙋🏼‍♀️По всем вопросам к @BekhterevaElena

#вакансия #de #dataengineer #etl #sql #hadoop #spark

Data Engineer для агротехнологических проектов

При отклике на вакансию сразу присылайте резюме @echeveria_woman
Отклики без резюме рассматриваться не будут!

Ключевые обязанности:
- Разработка и поддержка ETL-процессов
- Управление базами и хранилищами данных
- Интеграция данных из разных источников (сенсоры, спутниковые снимки,
IoT устройства, и тд, и тп)
- Оптимизация систем обработки данных

Ключевые требования:
- 3+ лет опыта в Data Engineering
- Уверенное владение SQL и базами данных (PostgreSQL, MySQL, NoSQL)
- Опыт работы с ETL-инструментами (Apache Airflow, Talend, Informatica, и тд)
- Знание облачных платформ (AWS, GCP, Azure)
- Навыки программирования (Python/Java)
- Опыт с big data (Hadoop, Spark)
- Понимание DevOps и CI/CD

Будет преимуществом:
- Опыт в агросфере
- Знание GIS-технологий
- Опыт с Docker и Kubernetes

Мы предлагаем:
- Вилку 3.5-5 тысяч долларов в месяц
- Гибкий график
- Работу в команде профессионалов
- Возможности для роста
- Участие в значимых агропроектах

#вакансия #удалённо #parttime #преподаватель #Kafka #spark #ML #MLOps

Время делиться знаниями!

OTUS – образовательная платформа. У нас авторские курсы разной степени сложности, вступительное тестирование для студентов и преподаватели-практики из крупнейших компаний. 7 лет мы учимся друг у друга, советуемся, помогаем, делимся опытом и обсуждаем новости как в преподавании, так и в IT.

Вакансия преподаватель на онлайн-курсы:
- Machine Learning Advanced
- Apache Kafka
- Data Engineer
- Spark developer
- MLOps

Требуется практический опыт по темам курса. Можно без опыта преподавания, мы поможем вам освоить практики преподавания.

Преподаватель раскрывает тему с помощью теории и примеров из практики. Занятия проводятся c 20:00 до 21:30. Можно выбирать комфортную нагрузку и темы из программы курса. Материалы к занятиям есть.

С нами вы сможете ✅
- структурировать свой опыт и знания;
- прокачать софт-скиллы;
- получать от 4000 до 6000 руб. за один вебинар (полтора часа) + от 300 до 400 руб. за одно проверенное домашнее задание.

Бонусы 🎁
- наши курсы со скидкой/бесплатно;
- можно приглашать лучших выпускников к себе на работу;
- воркшопы и конференции для наших преподавателей.

Обсудить подробнее: @HR_Nikita