Data Scientist (rus)

Разработка инструмента для сбора и анализа данных из файлов: Поддержка и расширение библиотеки для чтения, очистки и анализа структурированных данных из отчетных файлов страховых компаний для зарубежного заказчика. Работа с облачной вычислительной платформой Stargate (Python3 + PySpark). Внедрение инструментов валидации данных. Регулярное проведение разведочного анализа данных, презентация обновлений. Data collection/analysis tool development: Implementation and expansion of a Python library, providing tools to read, clean & analyze structured data from insurance report files for European clients. Development of a data pipeline on Stargate - a cloud computational platform (Python3 + PySpark). Data validation tool development. Regular exploratory data analysis, results presentation.

1) Анализ сигналов - разработка системы для определения и предсказания закономерностей/паттернов в электрическом сигнале в потоковом режиме: Очистка и подготовка исходных данных, токенизация, feature engineering. Предсказание временного ряда (ARIMA, Neural networks), применение технологий NLP (LSTM, Transformers). Анализ исследовательских публикаций, внедрение решений в проект. Пример: https://github.com/scoldi/time-series-pattern-detection 2) Разработка системы автоматического разпознавания веб-контента: Обучение и оптимизация классификаторов для определения HTML-элемента с "полезным" контентом на заранее неизвестной веб-странице. Работа с вычислительным кластером НИУ ИТМО с применением Kubernetes + PySpark + Spark Streaming + ClickHouse для распределенных вычислений. Анализ исследовательских публикаций, внедрение решений в проект, презентация результатов. 1) Electrical signal analysis - development of a real-time pattern detection/prediction system for electrical signals: Data cleaning & preparation, tokenization, feature engineering. Time series forecasting (ARIMA, Neural networks), NLP implementation (LSTM, Transformers). Research paper analysis and implementation. Example: https://github.com/scoldi/time-series-pattern-detection 2) Development of an automated web-content recognition system: Training + tuning of classifier models to detect HTML elements containing "usable" content on an arbitrary web-page for the purposes of data scraping. Distributed computing implementation using the ITMO University cluster (Kubernetes + PySpark + Spark Streaming + ClickHouse). Research paper analysis and implementation, result presentation.

Работа с базами данных, оптимизация запросов и алгоритмов работы с данными; Разработка сложного веб-приложения в команде, выполнение front-end и back-end задач; Технологии: MS SQL, JS+ExtJS+backbone.js; Optimization of data retrieval and processing; Development of a complex web-application as part of a team, with both front-end & back-end tasks; Tech: MS SQL, JS+ExtJS+backbone.js;