Скачать [вigdata тeam] практический курс по big data. часть 2. spark: from zero to hero (2023)

[Mateu]

[ВigData Тeam] Практический курс по Big Data. Часть 2. Spark: from zero to hero (2023)

На протяжении этой части курса вы будете работать со Spark: от основных терминов и RDD до Spark DataFrames и оптимизации Spark вычислений.

В этом модуле вы изучите:

• cхема выполнения задачи в Spark;
• основные термины Spark (job, task, stage);
• представление вычислений в виде графа. Spark Python API. Spark RDD API;
• Broadcast-сообщения и счетчики.
• взаимодействие Hive и Spark SQL;
• отличия DF от RDD.
• Spark on YARN;
• типы stage в Spark;
• оптимизация операции shuffle;
• настройка Garbage Collection, тюнинг потребления памяти.

У вас нет разрешения на просмотр содержимого!

Скачать:

Скрытое содержимое. Вам нужно войти или зарегистрироваться.