Описание
Необходимые знания и навыки:
  • Знание SQL
  • Знание основ синтаксиса Python
  • Понимание процесса разработки ПО
Целевая аудитория

  • Data Engineer, которые хотят научиться проектировать DWH
  • Аналитики данных
  • Системные аналитики
  • DBA (Database Administrator)

Программа

  • Реляционные базы данных

    • Структуры данных и их применение

    • Структуры: 3NF, OLAP Cube, ROLAP, flat, Data Vault и их применение

    • Примеры структур данных источников для тестовой витрины и тестового аналитического набора данных

    • ER-диаграммы

    • Нормальные формы

    • Dimensional Modeling

    • Data Vault

    • Anchor Modeling

    • Якорная модель

    • Data Build Tool (dbt): инициализация, подключение, моделирование

    • Разновидности систем управления базами данных: MPP: обзор MPP хранилищ, Greenplum, Clickhouse, Teradata, Vertica

  • Архитектура DWH

    • Понятие хранилища данных

    • Почему появились DWH и какие задачи решают;

    • Отличия OLAP от OLTP

    • Подходы к проектированию: "по Инмону", "по Кимбалу"

    • dbt как инструмент для генерации Data Vault

    • DBT: Analytics Engineering: Analytics Engineering; Building complex Data Marts;

    • SQL best practices: Complex SQL transformations + CTE;

    • DBT: Analytical functions;

    • DBT: Macros + Jinja templates;

    • DBT: Code compilation + debugging; Documenting your project; Accessing documentation easily with static website.

  • Аналитические запросы

    • Представления данных: Информационные продукты. Виды аналитики.

    • Особенности. Оптимизации

    • Введение в анализ данных и основы статистики: Основы статистики. Генеральная совокупность и выборка. Нормальное распределение. Стандартное отклонение. Доверительные интервалы. Статистические гипотезы и уровень значимости. Коэффициент корреляции.

    • Предобработка данных, исследовательский и статистический методы анализа данных: Изучение срезов данных. Работа с пропусками и дубликатами. Нормировка данных. Анализ временных рядов. Постановка и проверка гипотез. Валидация результатов. Взаимосвязь данных.

    • Потребность в SQL для работы с Hadoop.

    • Архитектура Hive и модели данных. HiveQL

    • Вопросы оптимизации производительности: Performance best practices; Execution plan analysis; Compressing data & physical design (DIST, SORT, Materialized views, …); Incremental updates / building marts by periods; Code refactoring & KISS (Keep it simple, stupid).

    • Analytics: Базовые аналитические витрины: сегментация – Segments; ключевые показатели и метрики – KPI; анализ временных рядов – Timeseries analytics + Period-by-period; когортный анализ – Cohort analysis.

    • Analytics: Сквозная аналитика: требования бизнеса и ожидаемые результаты; эволюция подходов, используемых инструментов, практик; рейтинг проблем и узких мест;

  • BI решения

    • Основы Business Intelligence: redash; superset; datalens.

    • Развертывание BI-решения

    • Управление метаданными: что такое метаданные; источники метаданных; Data Catalog и Data Discovery; Atlas.

    • BI: Modeling & Delivering: Connecting to data sources; задание метрик, фильтров, сегментов; подготовка визуализаций для представления выводов; сборка аналитических дашбордов: лучшие практики.

  • DevOps практики. CI + CD

    • Основные метрики качества данных;

    • Причины нарушения качества и стратегии реагирования;

    • Измерение, мониторинг, исправление;

    • Демонстрация: тесты актуальности, кросс-проверки источник <-> DWH

    • Тестирование DWH. Применение dbt и dbt cloud. Github CI.