Описание
Количество уроков: 39 Видео
Язык: Английский
Вес архива: 818 МБ
Освойте построение современных Azure‑пайплайнов и автоматизацию инфраструктуры с помощью Terraform, создав полноценный ETL‑проект уровня продакшн. Этот курс поможет вам развить компетенции инженера данных и собрать портфолио, которое выделит вас на фоне других кандидатов.
О курсе
Вы шаг за шагом построите автоматизированный процесс обработки данных, объединяющий Terraform, Azure Data Factory, Synapse Analytics и Power BI. На практике создадите архитектуру Lakehouse, примените модель Medallion и развернёте полноценную инфраструктуру в Azure.
Что вы создадите
В ходе обучения вы разработаете законченный ETL‑пайплайн, который:
• загружает данные из внешнего API;
• обрабатывает их в безопасной и масштабируемой Azure‑среде;
• структурирует данные по слоям Bronze, Silver и Gold;
• готовит витрины для аналитики в Power BI.
Программа курса
Основы Azure и Terraform
Вы получите чёткое понимание роли Azure в современной дата‑инфраструктуре и изучите ключевые сервисы, необходимые инженеру данных:
• Azure Data Factory для оркестрации;
• Azure Data Lake Storage для хранения;
• Synapse Analytics для обработки данных.
Также вы разберётесь в принципах IaC и поймёте, как Terraform автоматизирует инфраструктуру.
Настройка окружения
Вы выполните практическую подготовку рабочей среды:
• установите Terraform;
• создадите Service Principal;
• настроите аутентификацию и безопасное развертывание ресурсов;
• подготовите базовую структуру проекта.
Основы Terraform и модульный подход
Вы изучите структуру проекта, основные команды и подходы к модульности, позволяющие быстро разворачивать Azure‑ресурсы.
Практические навыки
• развёртывание Azure Data Factory;
• настройка Azure Data Lake Storage;
• создание Synapse Analytics;
• разработка переиспользуемых модулей Terraform.
Развёртывание пайплайна в Azure
На реальном проекте вы:
• свяжете Data Factory с внешним Soccer API;
• автоматизируете загрузку данных;
• организуете хранение сырых данных в Data Lake;
• поймёте, как сочетать ручную и автоматизированную конфигурацию, как в реальных командах.
CI/CD для Terraform и Azure
Вы научитесь применять подходы практической DevOps‑культуры:
• CI — проверка, тестирование и сборка Terraform‑кода;
• CD — автоматическое развёртывание изменений;
• интеграция Terraform с Azure DevOps;
• создание стабильных и повторяемых пайплайнов развертывания.
Продвинутые темы (следующий этап курса)
• Работа с API для продвинутой интеграции данных;
• Пакетная обработка в Azure Data Factory;
• Продвинутая аналитика на Synapse Spark;
• Оптимизация Lakehouse‑архитектуры для больших данных;
• Полная автоматизация развертывания в нескольких средах.
Итог
По завершении курса вы освоите современные инструменты Azure и Terraform, научитесь строить надёжные пайплайны данных и получите полноценный практический проект, который можно добавить в портфолио и использовать при трудоустройстве.
Дмитрий К. –
Брал курс, чтобы наконец разобраться с Terraform в контексте Azure, до этого разворачивал ресурсы руками через портал. Понравилось, что весь ETL-проект собирается от начала до конца: от создания Service Principal и настройки аутентификации до слоёв Bronze, Silver и Gold в Data Lake. Отдельно полезен блок про модульный подход в Terraform — стало понятно, как переиспользовать конфигурации, а не копировать их. За 4 часа материала получил рабочую инфраструктуру и понимание, как связать Data Factory со Synapse и Power BI.