Технический директор

«AJ Technology & Financial Group» — экспертные решения в области Big Data и Data Science Наши клиенты: Hippo, IBS, Luxoft, Veon, Wind, Газпром Нефть, Евразийский Банк Развитие, Золото 585, Пенсионный фонд РФ, Ростелеком, Сбербанк, Локо Банк, Creative Mobile Более 40 успешно реализованных проектов Команда AJ это первоклассные эксперты с реальным опытом работы более 10 лет Проект: Data Lake ЛокоБанк Заказчик: ЛокоБанк Цель: Построение Data Lake платформы и решение на базе нее двух бизнес-задач Банка Команда: 4 участника (Team Lead, DevOps Engineer, Data Scientist, Data Engineer) Описание проекта: В рамках проекта наша команда создала Big Data платформу класса Data Lake с использованием стека Hadoop, провела интеграцию с 4 различными высоконагруженными источниками данных, выстроила и автоматизировала ETL процессы, решила BI задачу, провела Data Science исследования в рамках решения DS задачи, построила необходимые витрины данных, настроила и сформировала средства визуализации и построения отчетности Технологический стек: Python, SQL, Hadoop (Hortonworks), HDFS, Spark, Yarn, Hive, Hue, Zookeeper, Kafka, NiFi, Airflow, PostgreSQL, Microsoft SQL Server, Jupyter Notebook, Superset, Docker, CentOS/RHEL Проект: CM Big Data Заказчик: Разработчик видеоигр Creative Mobile (GameDev) Цель: Развертывание и настройка Big Data инфраструктуры на AWS, реализация интеграции и поставки данных с проектов Компании, реализация ETL pipeline обработки данных и построения витрин данных для аналитики и Data Science исследований Команда: 3 участника (Team Lead, DevOps Engineer, Data Engineer) Описание проекта: В рамках проекта наша команда создала Big Data платформу компании Creative Mobile в инфраструктуре Amazon Web Services, провела интеграцию 5 основных источников данных Компании (активные мобильные игры с большой пользовательской активностью) реализовала, выстроила и автоматизировала ETL процессы обработки данных и построения витрин для задач аналитики и Data Science исследований Технологический стек: Amazon EC2, Amazon S3, Amazon EMR, AWS Glue, AWS Athena, AWS RDS, Apache Kafka, Confluent, Apache NiFi, Airflow, Hue, Shiny, Apache Superset, Python, SQL, Spark, Hive Проект: Нефтеконтроль Заказчик: Газпром нефть Цель: Создание инструментов идентификации и предотвращения потерь количества и качества нефтепродуктов Команда: 5 участников (Team Lead, DevOps Engineer, Data Scientist, Data Engineer, UI Engineer) Описание проекта: В рамках проекта наша команда создала Big Data платформу с использованием стека Hadoop, провела интеграцию с 8 различными источниками данных, выстроила ETL процессы, реализовала расчетно-аналитические модули (Spark); реализовала веб-приложение предоставляющее необходимые инструменты аналитики. В результате эксплуатации система выявила более 1000 инцидентов, связанных с количественными и качественными потерями нефтепродуктов Технологический стек: Python, JavaScript, Shell, SQL, Hadoop (Hortonworks), HDFS, Spark, Yarn, Hive, Hue, Zookeeper, Luigi, Kafka, NiFi, PostgreSQL, Microsoft SQL Server, Oracle, Pi System, Django, Django Rest Framework, AngularJS, Bootstrap, CSS, SCSS, Docker, CentOS/RHEL

«Спутник» — российская национальная государственная поисковая система и интернет-портал. Организовал и возглавлял управление, состоящее из трех отделов. Общая численность сотрудников управления насчитывала 40 человек. Управление осуществляло полный цикл проектных работ по производству программного обеспечения с использованием технологий информационно-поисковой платформы Спутник. Информационно-поисковая платформа Спутник (www.sputnik.ru) - собственный поиск по русскоязычному сегменту интернета (26 млрд. веб-документов, более 100 млн. веб-сайтов, более 3 млрд. изображений); - сотни высоконагруженных, распределенных, отказоустойчивых систем скачивания, обработки, индексации, ранжирования и выдачи информации; - средства интеллектуального анализа данных на всех уровнях работы системы; - специализированные веб-приложения: системы мониторинга, системы оценки качества, системы ассесирования, CRUD системы по управлению различным контентом и прочими данными для внутренних сервисов; - объем обрабатываемых данных порядка 5 Петабайт - инфраструктура: два ЦОД-а, несколько тысяч серверов, 14 Big Data кластеров различной специализации. Реализованные проекты B2C: - Спутник.Поиск – поиск по русскоязычному сегменту интернета (26 млрд. веб-документов); - Спутник.Картинки – поиск по изображениям (3 млрд. изображений); - Спутник.Новости – поиск по новостному контенту (3000 новостных изданий); - Спутник.Кино – поиск по кино (5 онлайн кинотеатров); - Спутник.Видео – поиск по видео-контенту; - Спутник.Дети – поиск для детей (собственная технология защиты). B2B: - Корпоративный поиск «Спутник» - уникальное готовое коробочное решение для организации поиска по внешним и внутренним источникам данных; - Единое корпоративное хранилище данных (ЕКХД) ПАО «Ростелеком»; - Проект прогнозирования оттока абонентов, пользователей интернет в макрорегиональном филиале «Сибирь» ПАО «Ростелеком». B2G: - Поиск на портале единых государственных услуг (www.gosuslugi.ru) – 1,5 млн. поисковых запросов в сутки; - Научно-исследовательская работа в области мониторинга информационного пространства глобальной сети Интернет.

«Спутник» — российская национальная государственная поисковая система и интернет-портал. Возглавлял и фактически создал отдел сетевых взаимодействий общей численностью 15 сотрудников различной специализации разработки. Основные направления деятельности отдела: - разработка Big Data платформы хранения и обработки веб-данных с использованием технологий Apache Hadoop; - разработка скоростных высокопроизводительных поисковых роботов (Web Crawler) для скачивания веб-данных (веб-документы, изображения, видео, новостные ленты и т.д.); - исследование и разработка моделей ранжирования веб-документов по поисковому запросу (Learning To Rank) с использование технологий машинного обучения (Machine Learning); - разработка многочисленных Web Mining модулей для обработки веб-данных (выявление нечетких дубликатов, распознавание навигационных частей, классификация, кластеризация, определение зеркал веб-сайтов, определение спама, и т.д.); - отбор, фильтрация, агрегация и подготовка веб-данных для индексации поисковым движком Спутника; - разработка системы каталогизации веб-сайтов. В рамках позиции совмещал роли руководителя, архитектора и разработчика. В роли руководителя решал следующие задачи: - подбор высококвалифицированных кадров; - выстраивания внутренних и внешних командных коммуникаций; - нематериальная мотивация команды; - выстраивание процессов разработки, тестирования и развертывания программного обеспечения; - постановка и декомпозиция задач, планирование, соблюдение сроков, отчетность по проектам; - наставничество, обучение и развитие сотрудников. В роли архитектора решал следующие задачи: - спроектировал и реализовал архитектуру отказоустойчивой масштабируемой высоконагруженной Big Data платформы Спутник, обрабатывающей петабайты веб-данных используя ресурсы тысяч вычислительных узлов; - проектировал большое количество интеграций внешних и внутренних систем в поисково-информационную платформу Спутник; - участвовал в проектировании большого количества систем, на базе которых строились продукты Спутника. В роли разработчика занимался переводом старых Web Mining модулей на новую Big Data платформу (Hadoop, HDFS, HBase, ZooKeeper, MapReduce, Java, Pig Latin, Oozie).

«Спутник» — российская национальная государственная поисковая система и интернет-портал. Работал над созданием информационно-поисковой платформы Спутник. В качестве разработчика спроектировал, реализовал и успешно запустил следующие модули платформы: - модуль определения нечетких дубликатов веб-документов; - модуль конвертации документов офисных форматов; - модуль кластеризации новостного потока; - модуль классификации веб-документов; - библиотеки общих инструментов и средств разработки. Организовывал и принимал активное участие в следующих мероприятиях: - создание общих принципов и подходов к разработке, тестированию и развертыванию программного обеспечения; - выбор и тестирование технологий, библиотек и средств разработки программного обеспечения; - организация процессов разработки и взаимодействия между командами.

Занимался следующими направлениями разработки: - разработка программных средств (C/C++), решающих задачи проверки, корректировки, загрузки и обработки данных, поступающих с коммутационных устройств, в базу данных (Oracle); - анализ форматов, протоколов и структур файлов коммутационных устройств, содержащих данные о трафике (CDR); - разработка и реализация схем обработки данных, поступающих с коммутационных устройств; - поддержка и развитие системы хранилища данных, обработанных биллинговым комплексом; - сопровождение существующего набора программных средств. Разработал и реализовал: - новую программную архитектуру средств загрузки и обработки данных о трафике; - комплекс тестов, проверяющих корректность работы программных средств; - методику формирования программной документации.

Принимал участие в реализации опытно-конструкторской работы: разработка и создание программно-аппаратного комплекса визуализации данных в реальном масштабе времени, зарегистрированных корабельными системами типа «черный ящик» - системами мониторинга повышенной стойкости, в рамках которой занимался разработкой программных средств по следующим направлениям: - транспорт данных средствами низкоорбитальной системы спутниковой связи и УКВ-радиолинии; - обработка и визуализация данных, зарегистрированных корабельными системами; - контроль и диагностика технического состояния комплекса. Разработка велась на различных уровнях: - низкий: специфичные устройства (блок приема-передачи спутниковой системы, УКВ-радиомодем); - средний: базы данных, межпрограммные, сетевые коммуникации; - высокий: графический интерфейс пользователя, визуализация данных и т.п. Программная часть комплекса разрабатывалась с использованием Qt (кроссплатформенного инструментария разработки ПО на языке C++) под платформу, построенную на базе ОС МСВС (Мобильная система Вооруженных Сил). Помимо разработки программных средств решал задачи настройки и администрирования программно-аппаратных средств комплекса. Описание проекта: http://cps.tver.ru/vtomatizatsiya_morsko_spasatelno_deyatelnosti/compleks_vizualizatsii_dannih/