Big Data Architect, Big Data Engineer
250 000 руб.
Мужчина, 33 года, родился 19 апреля 1993 г.
Москва, переезд невозможен, не готов к командировкам
Опыт работы
Ноябрь 2018 —
март 2021
2 года 4 месяца
Научно-исследовательское подразделение ФГКУ «в/ч 51952»
Ведущий инженер-разработчик
Разработка и поддержка систем потоковой и пакетной обработки данных.
Январь 2016 —
январь 2018
2 года
Компания ООО "ЛАН-ПРОЕКТ"
Специалист по математическому моделированию.
Проектирование и разработка подсистемы потоковой кластеризации неструктурированных данных.
Обо мне
– опыт реализации ETL процессов при организации географически распределённого хранилища данных (DWH) на базе стека технологий Hadoop, брокера Kafka и фреймворка Spark;
– опыт разработки, внедрения и развития систем потокового и пакетного анализа данных с использованием фреймворка Spark (Spark SQL, Spark MLlib и Spark Streaming);
опыт эксплуатации распределенных NoSQL хранилищ данных HBase, Cassandra;
– опыт работы с неструктурированными текстовыми данными (Lucene, Solr, Elasticsearch);
– опыт разработки API для доступа к долгосрочному NoSQL хранилищу и потокового API;
– опыт промышленной разработки на Java 8 при реализации всех звеньев конвейера потоковой обработки данных с применением Spring Boot, Spring (Core, Data, WebMVC, JMS);
– опыт применения Python (numpy, pandas, scikit–learn, pyspark) в разведочном анализе данных;
– знания в области машинного обучения, понимание методологии построения моделей и метрик оценки их качества, понимание применения моделей и алгоритмов к большим данным;
– знания в областях математической статистики, теории вероятностей, методов оптимизации и алгоритмов потоковой обработки больших данных;
– понимание принципов ООП, SOLID, чистого кода и чистой архитектуры, представление о паттернах проектирования, развитые алгоритмические навыки, умение разбираться в чужом коде, умение писать тестируемый код, опыт разработки через тестирование (TDD);
– опыт использования VCS (Git, Mercurial), Atlassian Jira, Bitbucket, Confluence;
Образование высшее
2018
Институт криптографии связи и информатикиАспирантура, Математическое моделирование, численные методы и комплексы программ
2015
Институт криптографии связи и информатикиПрикладная математика и информатика, Математик, системный программист
Знание языков
Русский — родной
Иностранные языкиАнглийский — A1 — Начальный
Дополнительная информация
- Гражданство
- Нет
- Разрешение на работу
- Нет
- Время в пути до работы
- Не имеет значения