#ETL, #data_engineer, #ML, #Highload #BigData #работа #офис

Middle Data Engineer
Формат работы: Офис в Москве/Минске
Компания: X-Labs
ЗП (net): 150 000 – 300 000 руб.

XLabs AI — это команда, которая живет машинным обучением и нейронными сетями. Мы создаем и внедряем крутые решения, которые двигают границы возможного и вдохновляют на новые свершения. У нас уже есть линейка продуктов, которые влияют на развитие генеративного ИИ. Если ты работал с BigData и знаешь, что такое шардинг, то тебе точно к нам.

Стек технологий: Python, MongoDB, Redis, S3, SQL, AirFlow, Git, Docker, K8s, dvc.

Чем предстоит заниматься:
- Разработка собственного Data Catalog;
- Разработка и проектирование хранилища данных для обучения Gen AI моделей (и не только);
- Разработка и поддержка ETL процессов на Python и Spark с использованием Airflow;
- Работа с различными системами хранения (MongoDB, Redis, S3).

Чего мы от тебя ждем:
- Высоких навыков промышленной разработки на Python;
- Понимания основ ML и нейронных сетей;
- Опыта сбора и фильтрации данных для ML моделей (NLP, Video, Audio);
- Опыта работы с S3, AirFlow, Git, Docker;
- Опыта выстраивания и оптимизации ETL-процессов;
- Готовности брать инициативу;
- Мотивируешься смелыми вызовами и нестандартными задачами.

Будет плюсом:
- Опыт работы с большими объёмами данных (>10Tb);
- Опыт работы с изображениями, видео или аудио.

Что мы предлагаем:
- Сильную команду, с которой можно расти;
- Возможность попробовать себя в разных модальностях данных (NLP, Video, Audio);
- Комфортный офис в Москва-Сити или в Минске с бесплатным кофе и снеками;
- Корпоративную технику и все необходимое для работы;
- Гибкое начало рабочего дня;
- Sick days;
- ДМС.

Скинуть резюме или задать вопрос можно @nika_vikitina

#вакансия #офис #Python #ETL #DWH #middle #разработчик #Москва #Питер #Самара #Тольятти #офис

Привет!
Мы в поисках ETL/DWH разработчика для разработки корпоративного хранилища данных для банка. Команду собираем с 0, что позволит участвовать во внедрении КХД с самого начала и повлиять на архитектуру.

Х-он с 2005 года помогает реализовывать IT–проекты для компаний: от авторских бизнес-идей и наставничества до комплексного анализа, сопровождения и развития проекта. Среди клиентов: Сбербанк, Дикси, РАНХиГС, Allianz и другие.

Предстоящие задачи:

- Построение корпоративного хранилища данных (КХД) по методологии Data Vault 2.0 на базе Arenadata DB (Greenplum).
- Разработка и поддержка интеграционных потоков c различными источниками данных Informatica PowerCenter (Developer), Airflow, Apache NiFi.
- Участие в оптимизации/автоматизации процесса разработки, подготовке шаблонов и методик, проектной документации.
- Апробация новых инструментов разработки и систем в рамках развития КХД.
- Обеспечение непрерывной работы хранилища данных.

Что нам важно:

- Опыт работы в банках или рисках;
- Знание Python или Java
- Опыт работы на аналогичной позиции от 2 лет;
- Опыт работы с MS SQL(или Oracle, DB2, PostgreSQL),
- Опыт с MPP системами Greenplum/Teradata/Vertica;
- Опыт работы с Airflow или Pentaho;

Будет плюсом:

- Знание CI/CD (gitlab, jenkins);
- Опыт работы с kafka.

Что мы предлагаем:

- Офис/гибрид: Москва (м. Краснопресненская), Санкт-Петербург (м. Невский проспект), Самара, Тольятти
- Заработная плата от 170тыс до 250тыс на руки
- Оформление по ИП/СМЗ
- Возможность закрепиться в штате по результатам работы

Интересен проект и задачи? Отправляйте мне резюме: @ME_Merkulova и я обязательно расскажу подробнее😊