Инженерия данных на Azure

Инженерия данных на Azure — это практический курс, который поможет вам освоить ключевые сервисы экосистемы Microsoft Azure и научиться создавать полноценные потоковые пайплайны обработки данных. Курс сфокусирован на реальных рабочих сценариях и позволяет применить полученные знания сразу на практике, что делает обучение максимально прикладным и ценным для будущей работы инженера данных.

Кому подойдет этот курс

Курс будет полезен тем, кто хочет развить навыки работы с облачными сервисами и построением потоковых систем, включая:

• Начинающих инженеров данных.
• Разработчиков, желающих перейти в сферу обработки данных.
• Специалистов, работающих с аналитикой и интеграцией данных.
• IT-инженеров, изучающих Azure и облачные архитектуры.

Что вы изучите

На курсе под руководством Кристиана Бакарича вы создадите рабочий потоковый пайплайн данных в Azure. Шаг за шагом вы освоите ключевые сервисы платформы и научитесь связывать их в единый поток обработки данных.

Ключевые сервисы Azure

• API Management (APIM) — прием и маршрутизация данных.
• Blob Storage — гибкое хранение необработанных данных.
• Azure Functions — серверлесс-обработка сообщений.
• Cosmos DB — высокодоступное хранилище обработанных данных.
• Power BI — построение визуализаций в реальном времени.

Структура проекта

Вы создадите полностью рабочий пайплайн, который собирает данные из Twitter, обрабатывает их и отображает в Power BI. Каждый модуль — это отдельный этап создаваемой архитектуры.

1. Введение и архитектура

• Разбор общей архитектуры проекта.
• Понимание ролей каждого сервиса в пайплайне.

2. Создание и отправка данных

• Работа с JSON-данными.
• Создание Python-скрипта для отправки сообщений в APIM через HTTP.

3. Разработка и деплой Azure Functions

• Создание сервераless-функции на Python в VS Code.
• Размещение (деплой) функции в облаке.

4. Интеграция сервисов

• Настройка Event Hubs, Azure Functions и Cosmos DB.
• Обработка сообщений и запись результатов в Cosmos DB.

5. Визуализация данных

• Подключение Power BI Desktop к Cosmos DB.
• Создание визуализаций в реальном времени.

Необходимые знания и требования

Чтобы комфортно пройти курс, вам понадобятся:

• Аккаунт в Azure.
• Базовые навыки программирования на Python.
• Понимание принципов работы хранилищ данных.
• Знание основ API. (При необходимости рекомендуется курс «Проектирование и разработка API с FastAPI».)
• Представление об очередях сообщений и потоковых данных.

Ключевые преимущества курса

• Практический проект, который можно использовать как портфолио.
• Знакомство с популярными сервисами Azure, востребованными в индустрии.
• Формирование представления о современном подходе к потоковой обработке данных.
• Возможность применить навыки сразу на реальных задачах.