Devops инженер (Hadoop)

Команда занимается поддержкой и развитием корпоративного озера данных, поиском и решением проблем, мониторингом и тюнингом производительности на кластере hadoop. Задача — построение высокопроизводительного и отказоустойчивого корпоративного хранилища данных. Ищем DevOps инженера, готового погрузиться в современный стек big data.

От вас требуется:

• Опыт работы с Hadoop;
• Владение Python/Go/Bash и умение писать скрипты автоматизации;
• Желание осваивать новые технологии;
• Понимание важности документации;

Будет плюсом:

• Знание Kubernetes, OpenStack;
• Опыт работы с Ansible;
• Опыт развертывания Airflow.

Задачи:

• Развитие и поддержка сервисов платформы (HDFS, Trino, Airflow, Spark, Flink);
• Оптимизация процессов и технологий внутри платформы;
• Переезд мониторинга на prometheus;
• Импрувмент dev кластеров (развертывание по запросу);
• Поддержка и развитие airflow;
• Обновление компонентов платформы;
• Повышение надежности и производительности платформы на всех уровнях.

Наш стек:

• Hadoop, Trino, Airflow, Spark, Flink, Ansible

Формат работы: Удаленно

Локация: РФ/ РБ