Больше информации будет доступно после регистрацииЗарегистрироваться как работодатель

Big Data Architect, Big Data Engineer

250 000 руб.
Мужчина, 33 года, родился 19 апреля 1993 г.
Москва, переезд невозможен, не готов к командировкам
Занятость
График работы

Опыт работы

Ноябрь 2018 —
март 2021
2 года 4 месяца
Научно-исследовательское подразделение ФГКУ «в/ч 51952»
Ведущий инженер-разработчик
Разработка и поддержка систем потоковой и пакетной обработки данных.
Январь 2016 —
январь 2018
2 года
Компания ООО "ЛАН-ПРОЕКТ"
Специалист по математическому моделированию.
Проектирование и разработка подсистемы потоковой кластеризации неструктурированных данных.

Обо мне

– опыт реализации ETL процессов при организации географически распределённого хранилища данных (DWH) на базе стека технологий Hadoop, брокера Kafka и фреймворка Spark; – опыт разработки, внедрения и развития систем потокового и пакетного анализа данных с использованием фреймворка Spark (Spark SQL, Spark MLlib и Spark Streaming); опыт эксплуатации распределенных NoSQL хранилищ данных HBase, Cassandra; – опыт работы с неструктурированными текстовыми данными (Lucene, Solr, Elasticsearch); – опыт разработки API для доступа к долгосрочному NoSQL хранилищу и потокового API; – опыт промышленной разработки на Java 8 при реализации всех звеньев конвейера потоковой обработки данных с применением Spring Boot, Spring (Core, Data, WebMVC, JMS); – опыт применения Python (numpy, pandas, scikit–learn, pyspark) в разведочном анализе данных; – знания в области машинного обучения, понимание методологии построения моделей и метрик оценки их качества, понимание применения моделей и алгоритмов к большим данным; – знания в областях математической статистики, теории вероятностей, методов оптимизации и алгоритмов потоковой обработки больших данных; – понимание принципов ООП, SOLID, чистого кода и чистой архитектуры, представление о паттернах проектирования, развитые алгоритмические навыки, умение разбираться в чужом коде, умение писать тестируемый код, опыт разработки через тестирование (TDD); – опыт использования VCS (Git, Mercurial), Atlassian Jira, Bitbucket, Confluence;

Образование высшее

2018
Институт криптографии связи и информатики
Аспирантура, Математическое моделирование, численные методы и комплексы программ
2015
Институт криптографии связи и информатики
Прикладная математика и информатика, Математик, системный программист

Знание языков

Русский — родной
Иностранные языки
Английский — A1 — Начальный

Дополнительная информация

Гражданство
Нет
Разрешение на работу
Нет
Время в пути до работы
Не имеет значения