Целевая аудитория

для тех, кто хочет ставить задачи с помощью анализа данных, предлагать решения и оценивать их эффективность в реальных условиях

Программа

    • 1) Инструменты Big Data 

    • 2) Инженерия данных: организация хранения данных 

    • 3) Инженерия данных: высокоуровневое проектирование систем работы с данными 

    • 4) Бизнес-решения Big Data 

    • 5) Установка ClickHouse с использованием Docker, установка PostgreSQL в Windows и Linix. 

    • 6) ETL (Python + SQL): Импорт данных в базы данных ClickHouse и PostgreSQL с использованием Python, Прогнозирования Временных рядов в ClickHouse с применением библиотеки Python prophet 

    • 7) Введение в SQL на примере баз данных ClickHouse, PostgreSQL. Операторы SQL. 

    • 8) Типы данных, преобразование типов 

    • 9) Условные конструкции 

    • 10) Работа с датами 

    • 11) Работа со строковыми данными, регулярные выражения 

    • 12) Группировка и агрегатные функции 

    • 13) Объединение таблиц – JOIN 

    • 14) Подзапросы, общие табличные выражения (CTE) 

    • 15) Объединения Union, Except, intersect 

    • 16) Представления 

    • 17) Создание/изменение таблиц, связи между таблицами (ключи), индексы 

    • 18) Использование словарей 

    • 19) Использование массивов 

    • 20) Модели распределений вычислений. Распределенные запросы 

    • 21) Оптимизация запросов: типичные ошибки, замедляющие запросы, оптимизация JOIN, агрегации, фильтров, запросов с массивами, оптимизация с использованием индексов, оптимизация с использованием подзапросов, оптимизация с использованием распределенных запросов 

    • 22) Оконные функции: Как в ClickHouse сделать эмуляцию Оконных функций с помощью массивов (с помощью функции ArrayMap и оператора ARRAY JOIN), на примере базы данных PostgreSQL

    •  - Использование Оконных функций для анализа Временных рядов.

    • Итоговая аттестация