Программирование [Andreas Kretz] Azure Data Pipelines с Terraform

[𝕯𝖆𝖗𝖐🥰𝕬𝖓𝖌𝖊𝖑]

Автор: Andreas Kretz​

Название: Azure Data Pipelines с Terraform​

Продолжительность: 4 ч 20 мин Количество уроков: 39 Видео Язык: Английский Вес архива: 818 МБ

Освойте построение современных Azure‑пайплайнов и автоматизацию инфраструктуры с помощью Terraform, создав полноценный ETL‑проект уровня продакшн. Этот курс поможет вам развить компетенции инженера данных и собрать портфолио, которое выделит вас на фоне других кандидатов.

О курсе

Вы шаг за шагом построите автоматизированный процесс обработки данных, объединяющий Terraform, Azure Data Factory, Synapse Analytics и Power BI. На практике создадите архитектуру Lakehouse, примените модель Medallion и развернёте полноценную инфраструктуру в Azure.

Что вы создадите

В ходе обучения вы разработаете законченный ETL‑пайплайн, который:

• загружает данные из внешнего API;
• обрабатывает их в безопасной и масштабируемой Azure‑среде;
• структурирует данные по слоям Bronze, Silver и Gold;
• готовит витрины для аналитики в Power BI.

Программа курса

Основы Azure и Terraform

Вы получите чёткое понимание роли Azure в современной дата‑инфраструктуре и изучите ключевые сервисы, необходимые инженеру данных:

• Azure Data Factory для оркестрации;
• Azure Data Lake Storage для хранения;
• Synapse Analytics для обработки данных.

Также вы разберётесь в принципах IaC и поймёте, как Terraform автоматизирует инфраструктуру.

Настройка окружения

Вы выполните практическую подготовку рабочей среды:

• установите Terraform;
• создадите Service Principal;
• настроите аутентификацию и безопасное развертывание ресурсов;
• подготовите базовую структуру проекта.

Основы Terraform и модульный подход

Вы изучите структуру проекта, основные команды и подходы к модульности, позволяющие быстро разворачивать Azure‑ресурсы.

Практические навыки

• развёртывание Azure Data Factory;
• настройка Azure Data Lake Storage;
• создание Synapse Analytics;
• разработка переиспользуемых модулей Terraform.

Развёртывание пайплайна в Azure

На реальном проекте вы:

• свяжете Data Factory с внешним Soccer API;
• автоматизируете загрузку данных;
• организуете хранение сырых данных в Data Lake;
• поймёте, как сочетать ручную и автоматизированную конфигурацию, как в реальных командах.

CI/CD для Terraform и Azure

Вы научитесь применять подходы практической DevOps‑культуры:

• CI — проверка, тестирование и сборка Terraform‑кода;
• CD — автоматическое развёртывание изменений;
• интеграция Terraform с Azure DevOps;
• создание стабильных и повторяемых пайплайнов развертывания.

Продвинутые темы (следующий этап курса)

• Работа с API для продвинутой интеграции данных;
• Пакетная обработка в Azure Data Factory;
• Продвинутая аналитика на Synapse Spark;
• Оптимизация Lakehouse‑архитектуры для больших данных;
• Полная автоматизация развертывания в нескольких средах.

Итог

По завершении курса вы освоите современные инструменты Azure и Terraform, научитесь строить надёжные пайплайны данных и получите полноценный практический проект, который можно добавить в портфолио и использовать при трудоустройстве.

СКАЧАТЬ: