Data Science Jobs
17K subscribers
44 photos
3 videos
1 file
674 links
Лучшие вакансии по темам Data Science, машинного обучения, нейросетей, искусственного интеллекта, компьютерного зрения, сбора, обработки и анализа данных.

🗄Мы в реестре каналов: https://vk.cc/cEZ5Ff

По всем вопросам: @musit
Чат: @bigdata_ru
加入频道
#DataEngineer #ContractPosition #Remote # GCP #ThoughtSpot #BigData #Affinity #Slack #Looker #Snowflake

Разыскиваем #DataEngineer на работу по контракту с крупной американской венчурной компанией.
Контракт на 6 месяцев с возможностью перезаключения договора.
Предпочтительна возможность работать в их часовых поясах, но возможны варианты.

Стек технологий: GCP, ETL, Snowflake, CRM Affinity, SQL, Airflow, ThoughtSpot (preferred) or Looker , Python, SQL (нужен full stack!)

Английский B2 и выше – условие обязательное.

Работать за пределами России и Беларуси - условие обязательное.

Зарплата $5000 – 6500 NET

Для самых внимательных, кто действительно читает описание вакансии: просим откликаться в том случае, если у вас есть полный стек и присылать резюме в формате Word.

Для связи: https://yangx.top/Tary_bird

Description of the Data Engineer contract position:

Location: Preferably San Francisco Bay Area, or remotely in the Pacific or Central Time zone.

Company:

A large venture company with assets of over $11 billion and employees in Austin, London, Menlo Park, and San Francisco.

What to expect:

Your role as a data engineer involves reporting to the head of the data and analytics department and participating in the creation of the entire structure and infrastructure necessary to support operations.

Responsibilities:
   Developing, creating, and maintaining data infrastructure for optimal extraction, transformation, and loading of data from various sources using SQL, NoSQL, and big data technologies.
   Creating and implementing data collection systems that integrate various sources, including company proprietary data and external sources.
   Automating the process of collecting and visualizing user engagement data from CRM/UI.
   Developing and supporting ETL (Extract, Transform, Load) processes on the Google Cloud platform and in the Snowflake system for efficient data processing.
   Extracting data from the Affinity CRM system, ensuring its correctness and relevance.
   Integrating notifications into Slack to improve communication within the team.
   If necessary, developing and supporting analytical reports and dashboards in BI tools such as ThoughtSpot (preferred) or Looker to make data-driven decisions.

What we are looking for:

Qualifications:
•  Experience of at least 3 years as a data engineer or full stack in the field of data warehousing, data monitoring, and building and maintaining ETL pipelines, including experience with Google Cloud and Snowflake.
•  Deep experience with data pipeline and workflow management tools (Airflow).
•  Strong proficiency in SQL and Python
•  Experience with BigQuery.
•  experience extracting data out of Affinity CRM and integrate notifications back to Slack
•  Solid knowledge and experience with database design, setup, and maintenance.
•  Proven ability to work in highly dynamic environments with high product velocity
•  Strong communication skills, both orally and in writing.

Nice to have:

•  BI tool experience on ThoughtSpot (preferred) or Looker
•  Bachelor's or master's degree in computer science, database management, etc.

For those who pay close attention and thoroughly read through job descriptions: please only apply if you possess full-stack capabilities and send your resume in Word format.
#DataEngineer #ContractPosition #Remote #GCP #ThoughtSpot #BigData #Affinity #Slack #Looker #Snowflake

Разыскивается DataEngineer на работу по контракту с крупной американской венчурной компанией.
Контракт на 6 месяцев с возможностью перезаключения договора.
Предпочтительна возможность работать в их часовых поясах, но возможны варианты.

Стек технологий: GCP, ETL, Snowflake, CRM Affinity, SQL, Airflow, ThoughtSpot (preferred) or Looker , Python, SQL (нужен full stack!!!)

Английский B2 и выше – условие обязательное.

Работать за пределами России и Беларуси - условие обязательное.

Зарплата $5000 – 6500 NET

Для самых внимательных, кто действительно читает описание вакансии: просим  - откликаться только в том случае, если у вас есть полный стек,  - присылать резюме в формате Word.
Для связи: https://yangx.top/Tary_bird

Description of the Data Engineer contract position:

Location: Preferably San Francisco Bay Area, or remotely in the Pacific or Central Time zone.

Company:

A large venture company with assets of over $11 billion and employees in Austin, London, Menlo Park, and San Francisco.

What to expect:

Your role as a data engineer involves reporting to the head of the data and analytics department and participating in the creation of the entire structure and infrastructure necessary to support operations.

Responsibilities:
   Developing, creating, and maintaining data infrastructure for optimal extraction, transformation, and loading of data from various sources using SQL, NoSQL, and big data technologies.
   Creating and implementing data collection systems that integrate various sources, including company proprietary data and external sources.
   Automating the process of collecting and visualizing user engagement data from CRM/UI.
   Developing and supporting ETL (Extract, Transform, Load) processes on the Google Cloud platform and in the Snowflake system for efficient data processing.
   Extracting data from the Affinity CRM system, ensuring its correctness and relevance.
   Integrating notifications into Slack to improve communication within the team.
   If necessary, developing and supporting analytical reports and dashboards in BI tools such as ThoughtSpot (preferred) or Looker to make data-driven decisions.

What we are looking for:

Qualifications:
•  Experience of at least 3 years as a data engineer or full stack in the field of data warehousing, data monitoring, and building and maintaining ETL pipelines, including experience with Google Cloud and Snowflake.
•  Deep experience with data pipeline and workflow management tools (Airflow).
•  Strong proficiency in SQL and Python
•  Experience with BigQuery.
•  experience extracting data out of Affinity CRM and integrate notifications back to Slack
•  Solid knowledge and experience with database design, setup, and maintenance.
•  Proven ability to work in highly dynamic environments with high product velocity
•   Strong communication skills, both orally and in writing.•  BI tool experience on ThoughtSpot (preferred) or Looker
Nice to have:

•  Bachelor's or master's degree in computer science, database management, etc.
#вакансия #DataEngineer #DataAnalyst

Data Engineer / Data Analyst


Компания "Neoflex"
создает ИТ-платформы для цифровой трансформации бизнеса;
являемся аккредитованной IT компанией.
Вилка зп: От 200.000 до 345.000 руб.;
Локация: Гибрид/офис (Москва, Санкт-Петербург, Нижний Новгород, Воронеж, Пенза, Саратов, Самара, Краснодар) или полная удалёнка с территории РФ;
Занятость: Полная 5/2;
Условия: Оформление по ТК РФ;

Вам предстоит:
• Участие в проекте по разработке DWH в Greenplum по методологии Data Vault;
• Взаимодействие с бизнес-подразделениями и ИТ-командами для определения потребностей использования данных хранилища, с целью развития модели хранилища;
• Проектирование и описание модели данных детальных слоев корпоративного хранилища;
• Разработка стандартов проектирования детальных слоев хранилища, загрузки, хранения и доступа к данным, контроль за соблюдением стандартов;
• Анализ и декомпозиция задач в сложных проектах по развитию хранилища, оценка трудозатрат, сроков и рисков. Проработка концептов загрузки данных в хранилище;
• Согласование алгоритмов и маппингов, подготовленных командами, обеспечивающими загрузку данных в хранилище;
• Контроль целостности и консистентности модели, контроль качества функционала загрузки данных в хранилища. Участие в приемо-сдаточных испытаниях;
• Анализ и выявление корневых причин возникновения ошибок, разработка концепций и мероприятий по их устранению;
• Экспертная поддержка бизнес-пользователей, потребителей данных, аналитиков и разработчиков ИТ команд, обеспечивающих загрузку данных. Консультирование по ассортименту данных в хранилище и особенностям использования данных.

Мы ожидаем что у Вас есть:
• Уверенное знание SQL и опыт работы с СУБД (PostgreSQL, GreenPlum);
• Опыт проектирования логических и физических моделей хранилищ данных (Data Vault) или участие в проектах по автоматизации отчетности на базе хранилища данных;
• Знание архитектуры хранилища данных и методов моделирования данных;
• Опыт работы с ETL - оркестратором (Airflow);
• Знание основ банковского бухгалтерского учета (будет плюсом);
• Опыт работы c гибкими проектными методологиями (agile, scrum, kanban).

Мы предлагаем:
• Работа в аккредитованной IT компании;
• Официальное трудоустройство по ТК РФ;
• Амбициозные задачи и проекты;
• Неограниченные возможности профессионального и карьерного роста;
• Работа в команде профессионалов и просто хороших людей, которые всегда готовы помочь и поддержать;
• Подключение к программе ДМС (включает стоматологию, обследования, лечение заболеваний и т.д.);
• Предоставление корпоративной техники;
• Корпоративное обучение и развитие (портал обучения и развития с удаленным доступом 24/7; собственный Центр развития компетенций);
• Оплата внешнего обучения и профильных курсов;
• Насыщенная корпоративная жизнь: яркие корпоративы, праздники для детей сотрудников, спортивные мероприятия и т.д.

Telegram @Liubov_Neoflex (Любовь)
#вакансия #DataEngineer

Компания: TN Digital
ЗП: 300-450к на руки + премия
Формат: офис в Москве/гибрид/удаленка

TN Digital отвечает за все цифровые продукты компании «ТЕХНОНИКОЛЬ».

В связи с расширением штата ищем человека в команду разработки EDWH.

Задачи:
-организация пайплайнов потоков данных (конвейера движения данных в компании);
-разработка, поддержка и оптимизация производительности EDWH;
-разработка и настройка ETL/ELT-процессов (сбор, структурирование и обеспечение сохранности данных);
-настройка инфраструктуры для обеспечения качества данных.

Наши ожидания:
-знание современных технологий обработки больших данных;
-хорошее знание Python;
-хорошее знание SQL и реляционных баз данных (желательно, Greenplum или PostgreSQL), опыт написания сложных запросов.

Стек проекта:
Python, Greenplum, PostgreSQL, Data Build Tool (DBT), Spark, Kafka, Airflow, Kubernetes, Terraform, Ansible, GitLab, SonarQube, Prometheus, Grafana, AlertManager.

Условия:
-белая зп, оформление по ТК РФ;
-проф обучение за счет компании, ДМС, скидки на занятия спортом, компенсация обучения английского языка, оплата мобильной связи.

Для связи @ryabin_ka
#вакансия #vacancy #fulltime #dataengineer #data

▫️Data engineer в крупную производственную компанию
▫️Оплата: от 160.000 на руки
▫️Требуемый опыт работы: от 1 года
▫️Занятость: Полная занятость, полный день
▫️Формат: гибрид
▫️Локация: Санкт-Петербург


▫️Основные задачи:
-
Управление ETL-процессами;
- Очистка информации от лишних дублей, устранение ошибок;
- Проектирование и разработка пайплайнов (ETL-процессов).
- Поддержка существующих баз данных;
- Написание функций и хранимых процедур для преобразования и агрегации данных, создание витрин;
- Анализ существующих SQL запросов с целью их оптимизации;
- Обновление и поддержка используемых инструментов и приложений;
- Подготовка данных для анализа;
- Помощь в подготовке дэшбордов и анализе данных.

▫️Ожидание от кандидата:
- Опыт работы с системами: PostgreSQL, ClickHouse, MS SQL, Arenadata;
- Владение SQL (PostgreSQL/ClickHouse), Python (Pandas, Numpy, SQLAlchemy);
- Умение организовывать ETL-процессы, опыт разработки пайплайнов в NiFi;
- Английский язык на уровне чтения технической документации.

▫️Что готовы предложить:
- Гибридный формат работы;
- Добровольное медицинское страхование и страхование жизни от несчастных случаев;
- Льготное питание;
- Профессиональное развитие и обучение;
- Корпоративные занятия спортом.
- Уровень заработной платы обсуждается с финальными кандидатами.

Контакт: @polina_albova
#вакансия #СанктПетербург #fulltime #гибрид #удаленка #DATAENGINEER #ДатаИнженер

🌐Ведущий дата-инженер/Data Engineer (Санкт-Петербург)
Гибрид или удалённый формат работы (для кандидатов из других регионов)

🌐 Наши пожелания:
-высшее техническое образование
-опыт работы на позиции Data Engineer/SQL Developer/BI Developer от 3-х лет
- знание Microsoft SQL Server (SSAS, T-SQL, SSRS), опыт работы с многомерными моделями в SSAS
- знание Python, JavaScript

🌐 Задачи:
- Проектирование, разработка, поддержка объектов DWH, структур данных, оптимизированных под задачи BI
- Оптимизация и управление потоками данных вокруг DWH
- Развитие и поддержка ETL процессов
- Формирование требований, контроль качества, приемка результатов у подрядчиков и их перенос в промышленную среду

🌐Вас ждут:
- Привлекательный уровень зарплаты (оклад+премии)
- Расширенный соц. пакет (ДМС, компенсация питания и другие блага) - Официальное трудоустройство и полное соблюдение ТК РФ
💻За подробностями обращайтесь ко мне: @Natalia_Ryabinina
#вакансия #de #dataengineer #etl #sql #hadoop #spark

Data Engineer для агротехнологических проектов

При отклике на вакансию сразу присылайте резюме @echeveria_woman
Отклики без резюме рассматриваться не будут!

Ключевые обязанности:
- Разработка и поддержка ETL-процессов
- Управление базами и хранилищами данных
- Интеграция данных из разных источников (сенсоры, спутниковые снимки,
IoT устройства, и тд, и тп)
- Оптимизация систем обработки данных

Ключевые требования:
- 3+ лет опыта в Data Engineering
- Уверенное владение SQL и базами данных (PostgreSQL, MySQL, NoSQL)
- Опыт работы с ETL-инструментами (Apache Airflow, Talend, Informatica, и тд)
- Знание облачных платформ (AWS, GCP, Azure)
- Навыки программирования (Python/Java)
- Опыт с big data (Hadoop, Spark)
- Понимание DevOps и CI/CD

Будет преимуществом:
- Опыт в агросфере
- Знание GIS-технологий
- Опыт с Docker и Kubernetes

Мы предлагаем:
- Вилку 3.5-5 тысяч долларов в месяц
- Гибкий график
- Работу в команде профессионалов
- Возможности для роста
- Участие в значимых агропроектах
#DataEngineer #ContractPosition #Remote #GCP #Snowflake #dbt #Fintech #API #Airflow #GitHub
Разыскивается Data Engineer на работу по контракту с крупной американской венчурной компанией.

Контракт на 6 месяцев с возможностью перезаключения договора.
Предпочтительна возможность работать в их часовых поясах, минимальное время пересечения – 4 часа.

Стек технологий: GCP, Snowflake, dbt, Airflow, GitHub, API/SFTP, Python, SQL.
Английский B2 и выше – условие обязательное.
Опыт работы в финтех/банковском секторе - условие обязательное.
Работать за пределами России и Беларуси - условие обязательное.

Зарплата: $5000 – 7000 NET.

Для самых внимательных, кто действительно читает описание вакансии:

• Пожалуйста, откликайтесь только в том случае, если у вас есть необходимый опыт по всему стеку (GCP, Snowflake, dbt, Airflow, GitHub, Python and SQL, API/SFTP), а также опыт работы в финтех/банковском секторе.
• Присылайте резюме в формате Word.
Спасибо!
Для связи: https://yangx.top/Tary_bird
____________________________________
Description of the Data Engineer contract position:

Location: Preferably Pacific Time Zone, with at least 4 hours overlap with working hours.

Company:

A large venture company with assets of over $11 billion and employees in Austin, London, Menlo Park, and San Francisco.

What to expect:

Your role as a data engineer involves reporting to the head of the data and analytics department and participating in the creation of the entire structure and infrastructure necessary to support operations in the fintech/banking sector.

Responsibilities:

• Developing, creating, and maintaining data infrastructure for optimal extraction, transformation, and loading of data from various sources using SQL, and big data technologies.
• Creating and implementing data collection systems that integrate various sources, including company proprietary data and external sources.
• Automating the process of collecting and visualizing user engagement data.
• Developing and supporting data processes on the Google Cloud platform and in the Snowflake system for efficient data processing.
• Extracting data via API/SFTP and ensuring its correctness and relevance.

What we are looking for:

Qualifications:

• Fintech/Bank working experience (must have).
• Minimum 6 years of professional experience as a data engineer/data analyst in the fintech/banking sector.
• Deep knowledge of GCP, Snowflake, dbt, Airflow, and GitHub.
• Strong proficiency in Python and SQL.
• Experience in data intake via API/SFTP.
• Attention to detail and strong communication skills, both orally and in writing.

Nice to have:

• Bachelor's or master's degree in computer science, database management, etc.


Please send the completed application form together with your CV.

• How many years of experience do you have with Google Cloud Platform (GCP)?

• How many years of experience do you have with Snowflake?

• How many years of experience do you have with dbt?

• How many years of experience do you have with Airflow?

• How many years of experience do you have with GitHub?

• Do you have experience working with data intake through API/SFTP? If yes, please describe.

• How many years of experience do you have with Python?

• How many years of experience do you have with SQL?

• What salary USD is expected?
#Dataengineer #вакансия #middle #Москва

Всем добрый день!

Вакансия: Data engineer
Компания: Инновационный центр "Безопасный Транспорт" Big Data подразделение внутри Департамента Транспорта Москвы
Формат работы: гибрид (1 день из офиса)
Адрес офиса: Москва, м Белорусская (кольцевая)
Уровень заработной платы: до 250 000 руб. на руки

О компании:
Инновационный центр "Безопасный Транспорт" —ключевой источник и поставщикBigData для всего Транспортного комплекса города Москвы, разрабатывает цифровые продукты, оказывающие влияние на транспортную безопасность дорог Москвы.

Мы гарантируем будущему коллеге:
• Оформление по ТК с первого рабочего дня;
• Гибридный формат (1 день из офиса на Белорусской);
• Белая заработная плата, обсуждается индивидуально, в зависимости от опыта кандидата (до 250 на руки);
• Отпуск 42 дня;
• Бесплатный проезд в метро;
• Полугодовое ревью, по итогам которого можно повысить уровень дохода или роль в команде.

Чем предстоит заниматься:
• Поддержка работоспособности и дальнейшее развитие платформы данных;
• Интеграция Х Д с различными источниками (FTP, API, сайты) с помощью Python;
• Преобразование данных из различных форматов (xml, json) к табличному виду с помощью Python;
• Разработка витрин данных с использованием SQL, Python, PySpark;
• Разработка и доработка batch и real-time процессов загрузки данных в различные слои ХД в Hive, Vertica, PostgreSQL, ClickHouse, DB2;
• Развитие системы мониторинга качества данных;
• Совершенствование и разработка новых внутренних процессов команды;
• Декомпозиция и оценка трудозатрат по своим задачам;
• Code-review;
• Поддержка в актуальном состоянии базы знаний и технической документации ХД.

Мы ожидаем от кандидата:
• Законченное высшее образование!
• Наш стэк: Apache Spark, Spark streaming, Kafka, Apache Hive, Airflow, Linux, Git, Bash, Vertica, Grafana+Zabbix, PostgreSql, ClickHouse, DB2
• Понимание теории и практики построения Хранилищ Данных на уровне data-инженера;
• Уверенное владение SQL, опыт написания сложных запросов с подзапросами, оконными функциями и регулярными выражениями, навыки оптимизации запросов;
• Уверенные навыки программирования, умение читать и понимать код на Python;
• Понимание принципов работы Git-систем и систем оркестрации;
• Заинтересованность в личном развитии и развитии города.

Контакт: @ElinaPankratova
#вакансия #удаленка #релокация #remote #DataEngineer
Senior Data Engineer

💚 Компания: Fundraise Up
Формат работы: удаленка
💻 Занятость: полная
💰 Вилка: $3,800 - $6,400
💌 Контакты для связи: tg @mmatveeva_FRU

💫Делаем продукт для сбора донатов на сайтах. Совершаем транзакции на $10M ежемесячно, храним миллиарды событий и имеем сотни счастливых клиентов.

Ищем Senior Data Engineer Делимся экспертизой и долей компании. Обеспечиваем всем необходимым для комфортной работы.

Позиция предполагает релокацию из РФ и РБ. При желании вы можете воспользоваться нашей программой релокации, которая распространяется на Европу, Сербию и Грузию.

Кого ищем

Мы ищем опытного дата-инженера с 5+ годами опыта, которому предстоит стать первым дата-инженером в компании и работать над созданием и оптимизацией масштабируемых конвейеров данных и ETL процессов.

-5+ лет опыта работы на позиции Data Engineer
-3+ лет опыта разработки на Python
-Понимание алгоритмов и принципов обработки данных
-Опыт работы с Clickhouse, MongoDB, Airflow
-Навыки оптимизации запросов и работы с большими объемами данных

Формальный список того, что нужно делать

-Проектирование, разработка, тестирование и оркестрирование масштабируемых конвейеров данных и ETL-процессов
-Поддержка и развитие Data Warehouse
-Участие в проектировании системы и разработке архитектурных решений совместно с командой разработки и аналитики
-Настройка мониторинга и алертов
-Оптимизация и написание запросов к MongoDB и ClickHouse
-Управление и поддержка рабочих процессов в Airflow
-Работа с Docker и другими связанными технологиями для обеспечения стабильности и масштабируемости решений

Бонусы

Нам важно чтобы работая удаленно, вы чувствовали себя комфортно. Обычно мы отправляем сотрудникам Macbook и нужное число мониторов. Если ваше рабочее место не обустроено, то пришлем стол, удобное кресло и все что нужно для продуктивной работы.
Полностью оплачиваем необходимое ПО, книги и коворкинг, если не хотите работать из дома. Помогаем с оплатой спортзала и бассейна, курсов английского и любого профильного образования.
#вакансия #dataengineer #backend #sql #nosql #clouds #docker

🔥 Data Engineer/Backend-разработчик
 
Компания Антиплагиат — разработчик решений в области анализа текстов, изображений и поиска заимствований в крупных коллекциях документов и сети Интернет ищет к себе в команду Data Engineer/Backend-разработчика.
 
Удаленно из РФ, СНГ
Полная занятость
Вилка ЗП от 180 000 – 270 000 на руки
Оформление В ШТАТ компании по трудовой книжке.

Что необходимо делать:
-Писать краулеры сайтов
Разрабатывать службы для получения данных из клиентских API
-Писать сервисы для внутренних нужд команды
-Поддерживать полноту и целостность текущих данных системы
 
Мы ждем от кандидата:
-Уверенное знание Python
Опыт работы с большими данными
-Умение обернуть написанный код в Docker-контейнер
-Опыт работы с SQL/NoSQL БД
-Опыт использования Linux. Применяем debian/ubuntu
 
Плюсик в карму за:
-Опыт планирования микросервисной/распределенной инфраструктуры
-Опыт работы с облаками (AWS, Яндекс.Облако)
-Знакомство с C#
-Знакомство с классическими алгоритмами и структурами данных
-Знание технологий из стека, указанного ниже
 
С чем предстоит работать:
-Библиотеки Python: scrapy, beautiful soup, pandas,
-Взаимодействие с сервисами по протоколам: gRPC, REST, FTP, etc.
-Обработка данных в форматах: xml/html, json, plain text, etc.
-Инфраструктура: docker, mongodb, rabbitmq, postgresql, redis
-Мониторинг: graphite, grafana, zabbix, ELK
 
Мы предлагаем:
-Работа в IT аккредитованной компании с развитой корпоративной культурой в дружелюбном и интеллигентном коллективе.
-Формат удалённый.
-Добровольное Медицинское Страхование.
-Возможность профессионального и карьерного роста.
-Заработная плата обсуждается индивидуально (оклад + годовая премия).
-Ежегодный Performance Review.
-Оформление согласно ТК РФ.
-Дополнительные 4 дня отгула в год (Day Off).
-Обучение английскому языку (компенсация стоимости).
-Корпоративное/внешнее обучение, посещение конференций, курсов.
 
Контакт: Светлана Иванова
@UmraSvet
[email protected]
#вакансия #удаленка #DataEngineer #middle #senior #fulltime #фултайм

Data инженер

🌏Локация и гражданство: Россия 🇷🇺
📄Оформление: ИП, ГПД
💼Занятость: полная
💻Формат работы: удаленка
💰ЗП вилка: от 80 т.р до 270т.р.
Опыт: от 3 лет
🔵Компания: SkyWeb Pro

Требования:

- Знания в области технологий сбора, хранения и обработки данных (например, Hadoop, Spark, Kafka);
- Опыт проектирования и реализации высокодоступных и масштабируемых систем для работы с большими данными;
- Знакомство с принципами и практиками Data Governance, Quality, Lineage;
- Навыки программирования (например, Python, Java, Scala) и опыт работы с SQL и NoSQL базами данных;
- Понимание архитектурных паттернов и фреймворков проектирования (например: Data Fabric, Data Mesh).

Для отклика пишите: @Skywebpro_hr
#вакансия #lead #DataEngineer #DWH #hadoop #spark #airflow #clickhouse #SODA #remote


Ищу к себе в команду DWH в AliExpress Lead Data Engineer

Стек: Hadoop, Spark, Airflow, ClickHouse, SODA (DQ).

Удаленка, возможность оформления вне РФ.

Зона ответственности команды DWH - качественные и своевременные данные в удобном для аналитики виде. За платформу данных и подключение источников к озеру данных отвечает отдельная платформенная команда. Объемы данных в компании исчисляются петабайтами.

Чем предстоит заниматься:
- Оптимизация производительности сложных процессов загрузки данных (Spark);
- Развитие используемых в команде практик и подходов (доработки CI/CD, мониторингов, внутренних библиотек)
- Разработка NRT пайплайнов (Kafka, Spark Structured Streaming, CH);
- Разработка витрин данных (Spark);
- Менторинг разработчиков и контроль за соблюдением стандартов.

Мы ожидаем от Вас:
- Опыт работы со Spark и глубокое понимание его устройства;
- Опыт работы с Python или Java от 3-х лет;
- Опыт работы c ClickHouse;
- Опыт написания дата пайплайнов, опыт работы с Airflow;
- Понимание подходов к организации разработки (CI/CD, DevOps).

Будет плюсом:
- Опыт разработки потоковой обработки данных;
- Опыт работы с форматом iceberg;
- Опыт управления небольшой командой.

По вопросам и с резюме: @shh1_01
#Вакансия #DataEngineer #Senior #УдаленнаяРабота

Senior Data Engineer в Welltory

Welltory — приложение для здоровья с 10 млн пользователей и 180 тыс. оценок ★★★★★. Создаём новую команду Data Engineering: будем строить Data Lakehouse со всеми данными в компании и доставлять данные для фичей нашего мобильного приложения.

Требования:
— Опыт работы 5+ лет в Data Engineering.
— Владение: Python, Apache Spark, AWS, SQL и NoSQL базами данных.
— Понимание теории Data Engineering и трендов в отрасли.
— Большим плюсом будет продакшен опыт с Apache Iceberg.
— Умение адаптироваться к новым инструментам, включая последние AI-решения.

Задачи:
— Построение и поддержка внутреннего Data Lakehouse на AWS.
— Разработка пайплайнов для обработки данных.
— Участие в создании архитектуры и настройке процессов в новой команде.

Условия:
— Удаленная работа с гибким графиком.
— Бонусы: субсидии на технику (50%), корпоративный психолог, опционная программа.
— Возможность влиять на здоровье и благополучие миллионов пользователей.

Контакты для связи:
• Костя, руководитель команды: @tyapochkinks
• Или пишите нам в HR: @welltoryhr
#vacancy #dataengineer #de #python
Вакансия: Senior Data Engineer
Формат: офис/гибрид (Ереван), удалённый
Локация: любая
Занятость: полная
Оплата: до 350 000 рублей

Обязанности:
- Проектирование и реализация систем для сбора и обработки данных.
- Трансформация бизнес-требований в модели данных.
- Обеспечение поддержки бизнес-требований через архитектуру данных.
- Обеспечение безопасности данных.

Требования:
- 4+ лет опыта работы в области инженерии данных, ETL-процессов и управления сложными решениями по хранению данных
- Подтвержденный коммерческий опыт создания и развертывания приложений с использованием Python и Apache Airflow
- Практический опыт работы с облачной инфраструктурой AWS и управлением решениями для хранения и передачи данных в облачной среде
- Продвинутое владение SQL (особенно PostgreSQL) и глубокое понимание различных решений по хранению данных, включая структурированные и неструктурированные данные
- Желание изучать и экспериментировать с агентами ИИ совместно с командой Data Science, интегрировать ИИ-логику в архитектуру конвейеров данных
- Отличные навыки решения проблем, способность справляться с неопределенностью и предлагать решения в сложных ситуациях
- Уровень английского B2 или выше

Технологии и языки:
- Python
- SQL
- Облачная платформа AWS
- Git
- Pandas
- Airflow
- CI/CD, Jenkins

Предпочтительно:
- Опыт работы с векторными хранилищами и графовыми базами данных
- Опыт работы с облачными платформами машинного обучения
- Знание эффективных форматов данных (например, Parquet, Avro) для пакетной обработки в озерах данных или хранилищах данных, опыт работы с Apache Spark
- Snowflake Data Warehouse
- Docker
- Linux + bash, ssh
- Jupyter
- Параллельные вычисления

Будет плюсом:
- Опыт работы с командами Data Science
- Сертификация AWS

Мы предлагаем:
- Работу в динамичной международной команде
- Возможность сотрудничества через ИП/самозанятость для коллег, находящихся за пределами РФ
- Участие в иностранных и российских проектах
- Оформление по ТК РФ, 100% оплата больничного и отпуска
- ДМС со стоматологией
- Необходимую для работы технику
- Корпоративные обучающие программы
- Широкие возможности для самореализации, профессионального и карьерного роста
- Демократичный подход к процессам и плавающее начало рабочего дня
- Опцию перемещения между нашими зарубежными офисами

По всем вопросам и с резюме: @ananyancat
#Вакансия #DataEngineer #Senior #УдаленнаяРабота

Senior Data Engineer в Welltory

Welltory — приложение для здоровья с 10 млн пользователей и 180 тыс. оценок ★★★★★. Создаём новую команду Data Engineering: будем строить Data Lakehouse со всеми данными в компании и доставлять данные для фичей нашего мобильного приложения.

Требования:
— Опыт работы 5+ лет в Data Engineering.
— Владение: Python, Apache Spark, AWS, SQL и NoSQL базами данных.
— Понимание теории Data Engineering и трендов в отрасли.
— Большим плюсом будет продакшен опыт с Apache Iceberg.
— Умение адаптироваться к новым инструментам, включая последние AI-решения.

Задачи:
— Построение и поддержка внутреннего Data Lakehouse на AWS.
— Разработка пайплайнов для обработки данных.
— Участие в создании архитектуры и настройке процессов в новой команде.

Условия:
— Удаленная работа с гибким графиком.
— Бонусы: субсидии на технику (50%), корпоративный психолог, опционная программа.
— Возможность влиять на здоровье и благополучие миллионов пользователей.

Контакты для связи: @welltoryhr