Data engineer

Первый год в компании: Разработка архитектуры data vault 2.0 Greenplum, разработка своего адаптера dbt - greenplum и поддержка форка dbt core со своими доработками. Написание Написание тестов для dbt адаптера. Доработка кастомного pxf для выгрузок в kafka, hadoop и minio. Написание материализаций для всего ETL процесса, так же для охлаждения данных. Разработка приложений на Python. Интеграция всех ETL процессов с kubernetes, airflow, docker, gitlab cicd. AI Проекты: - Разработка решений автоматической генерации витрин данных (dbt модель) на основе (BRD документа от системного аналитика) - Разработка AI ассистента на основе документации платформы данных с помощью RAG и knowledge graph.

Разработка и поддержка DWH clickhouse, построения ETL в Apache Airlfow, разработка чартов (helm) для kubernetes для (nginx, filebeat, logstash), внедрение kafka и spark для работы с realtime данными, написание python приложения для работы с ETL процессами

Проектирование и разработка ETL на Airflow. Написание пайплайнов для kafka, spark(python и scala), greenplum. Работа с real-time данными (spark streaming). Проектирование базы данных в greenplum (postgre). Настройка и работа с кластером hadoop. Исследование и аналитика данных. Написание нагрузочных тестов (python). Mlops (интеграция mlflow, spark, tensorflow)