BigData. Фреймворк Apache Spark

Факультет Data Engineering

---

Курсовой проект

Написать модель PipelineSparkML

---

Урок 1. Архитектура Spark. Принципы исполнения запросов. Сохранение и чтение данных

• Что такое Big Data, MapReduce, Hadoop
• Что такое Spark
• Архитектура Spark
  • Компоненты Spark, Spark Core API, Spark SQL, Spark Streaming, Spark MLlib, Spark GraphX
  • Архитектура приложения Spark
  • Driver Program
  • Cluster Manager
  • Executor
  • Запуск Spark на YARN
• Принципы исполнения запросов
• Сохранение и чтение данных

Урок 2. Операции с данными: агрегаты, джойны. Оптимизация SQL-запросов

• DataFrame, schema
  • RDD, DataFrame, Создаём статический DataFrame, Spark DataFrame
• Операции с данными
• Оптимизация запросов

Урок 3. Типы данных в Spark. Коллекции как объекты DataFrame. User-Defined Functions

• Дополнение по API
• Составные типы данных: Array, Map
• User-Defined Functions. Использование UDF в spark.sql
• ML-pipelines

Урок 4. Машинное обучение на pySpark на примере линейной регрессии

• Spark ML vs MlLib
• 4 причины строить ML-pipeline, а не просто модели Machine Learning
• The machine learning workflow in Spark
• Pipeline components. Transformer and Estimator
• A Pipeline. Blue — transformations, red — estimator
• Sparse data types. Vector
• Creating Training and Test Data Sets
• Linear Regression

сертификат