Разработчик spark

Новая амбициозная agile-команда по созданию кластера Hadoop на собственном решении Сбербанка 

Обязанности сотрудника:

· Проектирование и построение витрин и прототипов отчетов в хранилище данных: код на Java 8 + SPARK, БД – Hadoop, немного Teradata и Oracle

· Рефакторинг и ревью кода части оптимизации ETL-нагрузки

· Все как должно быть в хорошей разработке: CI, CD, SCRUM, Jira, Git и пр.

· Коучинг команды разработки

· Проектирование и построение витрин и прототипов отчетов в хранилище данных: код на Java 8 + SPARK, БД – Hadoop, немного Teradata и Oracle

· Рефакторинг и ревью кода части оптимизации ETL-нагрузки

· Все как должно быть в хорошей разработке: CI, CD, SCRUM, Jira, Git и пр.

· Коучинг команды разработки

Требования к кандидату:

· понимание архитектуры Hadoop понимание, как работает HDFS

· знание Java Core, опыт разработки Java от 3х лет

· опыт работы с любыми реляционными базами данных, владение SQL (DDL + DML), диалект не принципиален

· навык работы с Maven, Git, Jira, Jenkins, Bitbucket

· опыт работы с оркестраторами Oozie

· владение unix-shell

· опыт работы dev-lead от года

· опыт наставничества в области разработки от года

Будет плюсом:

· понимание архитектур: распределенных и MPP систем

· понимание Hive, Impala (RDD, Dataset)

· умение оптимизировать запросы в Hive и Spark

· понимание, как работает формата файлов Parquet

· знание Apache Spark, Docker, Apache Kafka

· понимание архитектурного стиля взаимодействия компонентов распределённых приложений в сети – REST

Мы предлагаем:

· график работы: 5/2;

· трудоустройство согласно ТК РФ;

· годовое премирование;

· страхование (от несчастных случаев, ДМС);

· возможность карьерного и профессионального роста (обучение за счет компании);

· выплаты материальной помощи в особых/чрезвычайных случаях;

· бесплатный тренажерный зал на территории офиса;

· столовая на территории офиса;

Локация офиса - Вавилова, 23. На данный момент есть возможность работать удаленно.