Lead Data Engineer, DWH Architect, Senior DWH / ETL / Big Data / BI Developer

Работа над проектом по построению архитектуры DWH в качестве Архитектора с интеграцией в текущий инфраструктурный ландшафт компании. Проект по развертыванию корпоративной шины как неотъемлемой части архитектуры нового хранилища для внедрения Event Based Analytics. Консолидация данных из продуктовых систем. Проект по интеграции с новым корпоративным сервисом маркетинговых рассылок в качестве Lead Data Engineer. Стек: Postgres, BigQuery, GCS, Pub\Sub, Airflow Composer. Разработка архитектуры интеграционных решений. Определение технической стратегии развития продукта. Согласование с бизнес-заказчиком, постановка задач по реализации, планирование, декомпозиция, груминг, ревью. Участие в найме новых сотрудников Data направления. Менторинг.

Ведение направления Data Engineering. Работа со стеком Google Cloud Platform (GCS, BigQuery, Airflow Composer). Разработка концепции, архитектуры и внедрение унифицированного решения по сбору, хранению и процессингу данных для различных игровых проектов: * игровых эвентов - Game Server Data Streaming и Data Replication; * внешних источников - по монетизации и продвижению проектов (рекламные сети). Разработка архитектуры DWH. Построение витрин данных, генерация репортов. Поддержка отдела аналитики. Написание кода на Python. Постановка задач на разработку, ревью. Внедрение Scrum практик с целью оптимизации рабочих процессов.

Работа с хранилищем на базе Hadoop со связкой Cloudera Impala, Kudu, Streamsets + Kafka. Рефакторинг Batch процессинга с Luigi на Apache Airflow (PySpark). Рефакторинг интеграции с HR системой со Scala на Python (Airflow). Построение отчетности по продукту в Tableau. Работа в команде 5 чел.

Работа в отделе BI. Highload проект. Ведение направления Data Engineering в единственном числе. Разработка ETL на Python (Airflow) и Talend OS DI. Построение витрин данных. Разработка БД (MySQL, PostgreSQL, HP Vertica) - таблицы, представления, витрины, триггеры, процедуры. Разработка DWH на основе HP Vertica (лямбда архитектура), обеспечение интероперабельности между разнородными хранилищами и сервисами (включая сторонние API). Поддержка отдела аналитики. Решение проблем производительности. Оптимизация запросов (рефакторинг синтаксиса, оптимизация объектов БД). Хорошее понимание механизмов и принципов работы HP Vertica (wos, ros, tuple mover, projections, segmentation, partitioning, vectors и т.д. ), плюсов и минусов колоночных БД. Так же частично занимался DBA Vertica. Успешно выполненные проекты по созданию системы инкрементальной (онлайн) репликации данных из Galera MySQL (кастомизированный Tungsten Replicator) и PostgreSQL (change data capture на триггерах + своё решение на Python) в кластера HP Vertica. Мониторинг корректности данных процессов, контроль Data Quality. Небольшие проекты на Python расширяющие функционал HP Vertica (например "материализатор" представлений, микросервисы осуществляющих регулярную репликацию больших таблиц MySQL->Vertica, Vertica->Vertica и т.д.). Создание отчетов в Tableau. Мониторинг сервисов в Grafana. Работа с Git, Jira, TeamCity. Agile, Scrum, Kanban. Контрибьютил в бекенд проекты на PHP.

Выполнение работ по сопровождению процесса загрузки в хранилища данных банка (Oracle, SAS, MS SQL) и поддержка использующих их приложений: регистрация (Remedy, Jira) и устранение инцидентов, участие в решении проблем, тестирование и установка обновлений, BCP&DRP. Участие в разработке, оптимизации и поддержки ETL-процессов (SAS MC, SAS DIS, LSF; Oracle Data Integrator). Применение SAS base, T-SQL, PL/SQL. Поддержка централизованного корпоративного хранилища данных DWH (на базе Oracle). DBA SAS, частично MS SQL SRV и Oracle. Администрирование бизнес приложений (Application Support, в основном продукция SAS и IBM). Разрешение и предотвращение инцидентов и проблем относящихся ко 2-й линии поддержки. Взаимодействие с 3-й линией (непосредственный Development) при совместном поиске решения проблем, анализе требований к изменениям, а так же внедрении нового функционала. Работа с обращениями бизнес-пользователей, консультации. Наполнение базы знаний Confluence. Работа с JIRA.

Сбор, обработка, анализ информации из систем хранения данных (Oracle, MS SQL), построение отчётов. Автоматизация данных процессов путём создания автоматизированных процедур (разработка ПО взаимодействующего с БД, полный цикл - от разработки ТЗ до поддержки (в единственном числе)) на основе средств SQL, PL/SQL, Delphi, VBA, MS Access (в том числе для смежных бизнес подразделений). Установка, настройка, администрирование MS SQL SRV 2013 (хранилище внутри отдела). ETL в MS Visual Studio. Техническая поддержка отдела. Участие в ревизионных мероприятиях в направлении информационных технологий и информационной безопасности. Работа с территориально распределенными проектами. Разработка сопроводительной документации. Пример интересных выполненных проектов: - система "Онлайн мониторинга" рисковых событий (серверная часть - MS SQL Srv (SSIS ETL с ночной прогрузкой), клиентская часть - ПО на Delphi для аналитики). - АРМ (ПО) для проверки наличия выданных карт клиенту в БД (Oracle) по реестру заявок (.xls) с дальнейшим формированием отчетов.

Поддержка более 65 раб. мест, 100 пользователей, 5 серверов. Имеется опыт самостоятельного открытия офиса (более 35 раб. мест, 2 сервера) "с нуля

Обеспечение работоспособности IT-инфраструктуры объектов холдинга, в том числе удалённых. Обслуживание аппаратных АТС Panasonic, аналоговых систем видео наблюдения и систем контроля доступа (СКУД), сетевого оборудования и ЛВС, серверов, рабочих мест и оргтехники. Установка, настройка прикладного ПО.