Перейти к основному содержимому

Data Engineering


Skillfactory
Enrollment in this course is by invitation only

Добро пожаловать на курс «Data Engineering»!

Практический курс по одному из самых перспективных направлений в Big Data

Научитесь строить пайплайны данных в реальном времени

В современных компаниях накапливается большой объем данных, из которых можно извлекать важную аналитику, строить гипотезы или модели прогнозирования.

Data Engineer — это специалист, который собирает данные из разных источников, очищает их и передаёт в удобном виде аналитикам для принятия бизнес-решений. Аналитикам данных нужно знать, как работает хранилище данных, в каком виде там хранятся данные, как они обрабатываются, и как их можно получить для анализа.

Курс ориентирован на практику и основные инструменты, подходит для тех, кто имеет базовые знания языка Python. За два месяца вы освоите все важные этапы Data Engineering.

Преимущества курса

   Курс предназначен для людей, которым нужно освоить основные инструменты и методы по работе с Big Data. Программа рассчитана на тех, кто знаком с Python.

   Программа построена по принципу от простого к сложному. Вы узнаете и освоите самое важное о Data Engineering, что нужно знать аналитику данных.

   Курс основан на практике. Мы рассматриваем инструмент или технологию и сразу на практике пытаемся её использовать.

   В процессе обучения вам будет помогать преподаватель и координаторы. Они помогут в тех местах, где вы замедлились, и будут отвечать на вопросы.

Программа курса

Введение, практический linux

Кто такой Data Engineer и зачем ему Linux?

Современные хранилища данных

Разнообразие баз данных и их особенности.

Экосистема Hadoop

Что такое Hadoop, что он умеет и как им пользоваться.

Источники данных и работа с ними

Файлы как источники данных, JDBC - структурированные данные, SQL для выгрузки данных.

Apache Spark и обработка данных

Зачем нужен Apache Spark и как с ним работать.

Hadoop как хранилище данных

Особенности и нюансы hdfs.

Apache Airflow для оркестрации конвейеров

Настройка data pipelines.

Обзор облачных хранилищ

Особенности и нюансы работы с облачными хранилищами: Google, Amazon, Azure.

Подробная информация о курсе на сайте skillfactory.ru.

Успехов в обучении!