Применение нейросетей и ИИ при работе с Big Data. Уязвимости и способы защиты.

Программа

• Введение в большие данные (Big Data)

  4 ч.

  • Цели и задачи курса.

  • Основные понятия и определения.

  • История науки о данных (Data Science). Особенности развития Data Science в настоящее время.

  • Большие данные и цифровая трансформация.

  • Эффективное использование данных в организации.

  • Различные подходы к управлению (Data-Driven и DataInformed).

  • Data-Driven культура (данные как стратегический ресурс).

  • Использование Data-Driven подхода. Выгоды от работы с большими данными.

  • Основные области применения больших данных.

• Специфика работы с большими данными

  4 ч.

  • Основные принципы работы с Big Data.

  • Интеграция больших данных. Источники данных (реляционные, не реляционные, предметно ориентированные информационные базы данных). Data Lake.

  • Импорт и экспорт данных: SQL и NoSQL базы данных, потоковые данные, файловые системы (HDFS, NFS), webcontent, социальные сети.

  • Пакетная и динамическая (batch / real-time) загрузка данных.

  • Типовые задачи аналитики больших данных.

  • Методы аналитики Big Data. Подход MapReduce.

  • Жизненный цикл аналитики данных: получение и накопление данных, подготовка данных, планирование модели, построение модели, проверка результатов, внедрение.

  • Использование анализа больших данных для повышения эффективности бизнес процессов.

• Технологии больших данных.

  24 ч.

  • Особенности применения аналитики для Big Data

    • Статистические методы и методы интеллектуального анализа данных (Data Mining).
    • Отличия методов Data Mining от статистических методов.
    • Задачи и этапы Data Mining.
    • Организационные и человеческие факторы в Data Mining. Методология CRISP-DM (Cross-Industry Standard Process for Data Mining) с точки зрения разработки модели с учетом требований информационной безопасности.

  • Инструментарий для работы с Big Data и проблемы информационной безопасности в ходе использования

    • Инструменты для анализа данных и машинного обучения (Библиотеки, Фреймворки, Базы данных, Аналитические платформы) и их уязвимости.
    • Распределенные вычисления и экосистема Apache Hadoop. Назначение и характеристика компонент Hadoop для хранения и обработки Big Data.
    • Основные уязвимости компонентов Hadoop и угрозы безопасности платформы.
    • Подход к моделированию угроз при анализе угроз платформы
    • Настройка механизмов безопасности для компонентов Hadoop.
    • Применение облачных технологий (платформы AWS, Azure) для реализации решений Big Data и вопросы, связанные с безопасностью при переходе в облако.

• Тенденции развития техник и технологий обеспечения безопасности решений Big Data.

  8 ч.

  • Сравнительные характеристики программных и аппаратных решений для реализации решений Big Data с учетом вопросов ИБ.

  • Big Data Infrastructure Landscape 2019.

  • Big Data Infrastructure Service Providers 2019.

  • Big Data Analytics Landscape 2019.

  • Big Data Enterprise Level Applications Landscape 2019.

  • Итоговая аттестация