Целевая аудитория

Дата инженеры, разработчики, архитекторы БД, Data Scientists, аналитики данных, ETL девелоперы

Программа

  • Программа курса / модули:

    • Введение в ETL. Структура и типы источников данных 

    • Введение в Apache Airflow 

    • Настройка, установка Airflow. 

    • Основные абстракции и компоненты. DAG 

    • Принципы работы DAG. 

    • Установка интервала расписания (Schedule Interval).Как выстраивать DAG и стадии во времени и контролировать их исполнение (Execution Date) 

    • Мониторинг и дебаггинг процессов DAG. 

    • Более совершенные техники и сценарии использования AirFlow: работа с XComs, sub-DUGs, пуллинг, параллелизм и др. 

    • Лучшие практики по использованию AirFlow: интеграция с системами (Hadoop, Spark, Impala, ClickHouse, SuperSet и т.д), бекапы конфигурирование и масштабирование. 

    • Разработка. Плагины и нотификация. Операторы и хуки 

    • Установка и запуск Airflow в контейнерах Docker. 

    • Тестирование. Использование тестов в разработке. 

    • Итоговая аттестация