Скачать Lakehouse для аналитиков и инженеров данных [Devhands] [Алексей Белозерский]

[Dozhd]

Складчина: Lakehouse для аналитиков и инженеров данных [Devhands] [Алексей Белозерский]


[Middle/Senior] - [Старт 20-го ноября] - [6 недель]
[«Живые» онлайн-сессии, обсуждения, демо и практика]
Lakehouse для аналитиков и инженеров данных
Научитесь эффективно использовать Data Lakehouse c разделенным Compute и Storage на основе Iceberg и Trino.


Познакомиться с архитектурой LakeHouse, последним поколением аналитических систем
с разделенными слоями хранения (Iceberg/S3) и вычисления (Trino/k8s).

На практике научиться использовать кластер Trino over k8s, который будет обращаться к данным на S3 в формате Iceberg.

Научиться строить гибридные пайплайны обработки данных с использованием SQL, Python, Spark.

Освоить масштабирование до х100 раз без смены парадигм и технологий.

Программа обучения
Встречи: 6 недель (1 встреча в неделю)

Занятие 1. Lakehouse, Iceberg, разделение Compute и Storage
Занятие 2. Структура формата Iceberg. Формат Parquet
Занятие 3. Практика
Занятие 4. Метрики запросов в Trino
Занятие 5. Еще раз о формате Iceberg
Занятие 6. Пайплайны и финальная Q&A-сессия






СКАЧАТЬ

Для просмотра скрытого содержимого вы должны зарегистрироваться