Big Data Architect, Big Data Engineer

– опыт реализации ETL процессов при организации географически распределённого хранилища данных (DWH) на базе стека технологий Hadoop, брокера Kafka и фреймворка Spark;
– опыт разработки, внедрения и развития систем потокового и пакетного анализа данных с использованием фреймворка Spark (Spark SQL, Spark MLlib и Spark Streaming);
опыт эксплуатации распределенных NoSQL хранилищ данных HBase, Cassandra;
– опыт работы с неструктурированными текстовыми данными (Lucene, Solr, Elasticsearch);
– опыт разработки API для доступа к долгосрочному NoSQL хранилищу и потокового API;
– опыт промышленной разработки на Java 8 при реализации всех звеньев конвейера потоковой обработки данных с применением Spring Boot, Spring (Core, Data, WebMVC, JMS);
– опыт применения Python (numpy, pandas, scikit–learn, pyspark) в разведочном анализе данных;
– знания в области машинного обучения, понимание методологии построения моделей и метрик оценки их качества, понимание применения моделей и алгоритмов к большим данным;
– знания в областях математической статистики, теории вероятностей, методов оптимизации и алгоритмов потоковой обработки больших данных;
– понимание принципов ООП, SOLID, чистого кода и чистой архитектуры, представление о паттернах проектирования, развитые алгоритмические навыки, умение разбираться в чужом коде, умение писать тестируемый код, опыт разработки через тестирование (TDD);
– опыт использования VCS (Git, Mercurial), Atlassian Jira, Bitbucket, Confluence;

• Гражданство:
  Нет
• Разрешение на работу:
  Нет
• Желательное время в пути до работы:
  Не имеет значения