Программирование [OTUS] Промышленный Machine Learning на больших данных (Часть 1-4) (2020)

[𝕯𝖆𝖗𝖐🥰𝕬𝖓𝖌𝖊𝖑]

Автор: OTUS​

Название: Промышленный Machine Learning на больших данных (Часть 1-4) (2020)​

Продолжительность: 61 ч 33 мин Количество уроков: 34 Видео Язык: Русский Вес архива: 2,12 ГБ

Курс «Промышленный Machine Learning на больших данных» — это практическое погружение в архитектуру, инструменты и подходы для построения масштабируемых ML‑решений. Материал ориентирован на специалистов, которые хотят вывести машинное обучение за рамки экспериментов и внедрять его в реальную промышленную инфраструктуру.

Что представляет собой промышленный Machine Learning

Промышленный ML — это не просто разработка модели. Это полный цикл: от сбора данных до развертывания и мониторинга ML‑систем в продакшене. В рамках курса подробно разбираются современные подходы к построению конвейеров обработки данных и алгоритмов, устойчивых к нагрузкам и требованиям enterprise‑сред.

Ключевые задачи промышленного ML

• Организация потока данных от источников до модели и назад.
• Автоматизация подготовки и валидации данных.
• Разработка и оптимизация распределённых ML‑алгоритмов.
• Обеспечение отказоустойчивости и стабильной работы ML‑систем.

Какие инструменты и технологии вы освоите

Курс строится вокруг Spark, Spark MLlib, Spark Streaming и других компонентов экосистемы Big Data. Обучение направлено на то, чтобы вы могли эффективно применять эти технологии в корпоративной среде и решать задачи обработки данных в больших масштабах.

Работа с ML‑конвейерами

• Использование стандартных блоков для подготовки данных и обучения моделей.
• Разработка собственных компонентов и интеграция их в пайплайны.
• Оптимизация конвейеров под высокие нагрузки и распределённые вычисления.

Распределённые алгоритмы машинного обучения

• Адаптация классических ML‑методов к big data‑среде.
• Реализация алгоритмов с использованием RDD и DataFrame API.
• Работа с потоками данных в режиме реального времени.

Какие навыки необходимы для успешного обучения

Для комфортного прохождения курса требуется уверенное владение базовыми принципами программирования и математическим аппаратом, применяемым в машинном обучении.

Программирование

• Контроль потоков выполнения: циклы, рекурсия, ветвления.
• Структуры данных: массивы, списки, словари, деревья.
• Основы ООП и понимание архитектуры приложений.
• Опыт работы с Python, Java, Scala или C++.

Математические основы

• Линейная алгебра: векторы, матрицы и операции над ними.
• Математический анализ: производные и их применение.
• Численные методы: градиентный спуск, метод Ньютона.
• Теория вероятностей: случайные величины, ожидание, дисперсия.

Технологическая подготовка

• Понимание устройства вычислительной системы: процессор, память, кэш, носители.
• Базовые знания реляционных СУБД и уверенная работа с SQL.

Чем курс будет особенно полезен

Обучение ориентировано на инженеров, которые хотят работать с реальными системами класса enterprise, где важны стабильность, масштабируемость и воспроизводимость ML‑решений. Знание классических алгоритмов машинного обучения станет хорошим преимуществом, но не является обязательным условием.

После прохождения курса вы сможете

• Проектировать и поддерживать промышленные ML‑конвейеры.
• Обрабатывать большие объёмы данных в распределённых системах.
• Создавать собственные модули для SparkML и интегрировать их в производственные решения.
• Организовывать потоковую обработку данных для онлайн‑ML‑моделей.
• Гарантировать качество ML‑решений на всех этапах жизненного цикла.

СКАЧАТЬ: