middle Data Engineer

Работа с OpenShift: - deploy/undeploy сервисов - создание CronJob на выполнение различных задач внутри Pod'ов - дебаг случаев падения/перезапуска Pod'ов - дебаг невозможности развёртывания сервисов - оптимизация Pod'ов по ресурсам (с предварительным анализом о возможности этой оптимизации) Работа с Gitlab CI: - новые stages/jobs - починка нерабочих job'ов - решение проблем с раннерами Работа с Docker: - написание Dockerfile с учётом требований - дебаг нерабочих Dockerfile от разработчиков - дебаг нерабочих образов Docker Cedrus/Trino: - сборка образов - дебаг и исправление ошибок в текущей конфигурации (настройка Java Heap для worker'ов, настройка кэша для ускорения работы запросов, анализ работы Pod'ов и устранение причин их падения) - кастомизация (включение mysql event listener для сохранения логов всех запросов к Cedrus) - мониторинг работы (Prometheus + Alertmanager + Grafana). Airflow: - сборка образов - дебаг и исправление ошибок в текущей конфигурации - мониторинг работы.

Написание необходимых ansible-playbook для разворачивания ПО, добавления пользователей и их ssh-ключей на серверы. Оптимизация bash-скриптов (повышение читабельности + уменьшение размера). Перенос процедуры бэкапа всех БД на всех серверах с bash-скриптов на адекватный borgbackup. Расследование и решение инцидентов когда сервер сбоит/зависает/не запускается. Создание виртуальных машин под требования проектов. Настройка серверов под задачи пользователей + выдача необходимых прав доступа. Поддержание корпоративных списков рассылки в актуальном состоянии. Консультация пользователей (генерация ssh-ключей, настройка почтовых клиентов, восстановление доступа на серверы, установка необходимых библиотек для разработки).