Data Engineer (S3, Spark)
Зарплата: по итогам собеседования
Компания: Тера Интегро
Data Engineer (S3, Spark) в Тера Интегро — вакансия для студентов и начинающих специалистов
Москва
Информационные технологии
Полная занятость
-
Разрабатывать и сопровождать ETL процессы и инженерию данных на базе Spark как основного движка обработки и загрузки данных.
-
Настраивать интеграции источников данных: подключение по JDBC к базам и стендбаям, а также стриминговые интеграции через Kafka, работу с топиками и JSON.
-
Разрабатывать и поддерживать оркестрацию процессов в Airflow (DAG’и), используя Python в связке со Spark.
-
Работать с большими объемами данных (от десятков тысяч строк до сотен миллионов и миллиардов), решать задачи оптимизации обработки.
-
Разрабатывать и обслуживать слой данных на S3 и MinIO: работа с файловой системой, компрессией, охлаждением данных, обслуживанием и пересозданием таблиц, понимание партиционирования и форматов (в т.ч. JSON).
-
Участвовать в алгоритмизации и оптимизации хранения и обработки данных в объектном хранилище (S3/MinIO) с учетом особенностей, отличных от классических реляционных СУБД вроде Greenplum.
-
Опыт работы в области ETL и Data разработки.
-
Уверенная работа с S3, опыт работы с MinIO.
-
Опыт работы с MinIO.
-
Уверенная работа со Spark.
-
Понимание табличного формата Iceberg.
-
Опыт интеграций с Kafka, умение работать с форматом JSON.
-
Навыки разработки DAG’ов в Airflow.
-
Владение Python на уровне для написания ETL процессов и служебного кода.
-
Опыт работы с JDBC подключениями к БД и источникам данных.
-
Опыт работы с ClickHouse (в том числе в окружении Arenadata ClickHouse).
- Оформление по ТК РФ в ИТ-аккредитованную компанию
- Годовой бонус до 15% от годового дохода
- Выстроенная система работы с персоналом: индивидуальный план развития, выделенный бюджет на обучение у сторонних подрядчиков, регулярные 1:1 с руководителем
- ДМС, включая стоматологию, страхование жизни и здоровья в поездках за рубеж. А еще можно застраховать родственников с корпоративной скидкой;
- Программа корпоративных скидок Best benefits
- Дополнительный оплачиваемый отпуск
GreenplumClickhouseMinIOS3SparkApache AirflowApache KafkaJSONIceberg
О компании
Тера Интегро
Компания Tera Integro — это ex-Teradata Россия.
Teradata, по сути, придумала и реализовала программно-аппаратные решения для аналитической обработки больших объёмов данных, работающих на группе серверов, до того как появились темы типа Hadoop, BigData и т.п. Команда TI, таким образом, изначально состояла из специалистов, которые накопили много опыта построения решений для аналитических систем – BigData, DataLake, Хранилища данных.
После ухода западных вендоров с продуктами для анализа данных (Teradata, Oracle Exadata, SAP Hana, Vertica и т.п.) критичным стал переход на доступные альтернативные open source продукты - включая Greenplum, Clickhouse и Hadoop. Команды TI также переключили фокус на использование open source продуктов, адаптируя свой опыта использования MPP Teradata на эти технологии.
Основные направления деятельности компании — разработка, внедрение и сопровождение аналитических хранилищ данных на базе технологий open source.
Сегодня Tera Integro работает и с “ванильными” версиями, и с продуктами Arenadata. Мы являемся дружественной компанией-интегратором данному большому вендору и входим с ним в один холдинг (ГС-Инвест).
Собственный продукт.
Помимо исторического направления - консалтинга и интеграционных проектов в части аналитических систем - компания накопила много опыта по управлению и эксплуатации систем, что позволяет развивать отдельное направление продуктовой разработки. В частности, разработка продуктов для интеграции open source технологий с системами централизованного сбора логов / метрик мониторинга / событий аудита, а также "оцифровка" опыта и знаний команд для проведения глубокого анализ состояния Greenplum и ClickHouse с выявлением проблем и выдачей рекомендаций по исправлению выявленных проблем и оптимизации работы системы.
Сегодня Tera Integro включает команды:
- аналитиков,
- архитекторов,
- разработчиков ETL,
- команда, которая занимает аппаратной частью систем,
- команда, которая занимается поддержкой и тюнингом систем в ходе их эксплуатации (Managed Services),
- DevOps.
Культура компании сформировалась на основе многолетнего опыта работы в компании лидере на мировом ИТ рынке:
- Регулярное общение 1:1 с руководителем, постоянная двусторонняя обратная связь (помогает выстроить индивидуальную траекторию развития, спланировать обучение).
- Индивидуальное обязательное обучение и возможность использовать новые знания на практике. Уже на этапе приема сотрудника мы планируем и запускаем процесс обучения. Соответственно идет постоянный рост экспертизы и рыночной стоимости каждого сотрудника.
- Ежегодный цикл пересмотра заработной платы, прозрачные механизмы премирования и оценки персонала.
- Возможность как вертикального карьерного роста, так и горизонтального (перехода между подразделениями\отделами при желании расширить\изменить профессиональную экспертизу)
- Реальное финансовое поощрение за внедрение инноваций\ проактивность\ инициативность и т.д.
- Максимально гибкий график работы.
