Apache Airflow и конвейеры обработки данных
Конвейеры обработки данных управляют потоком данных с момента их первоначального сбора до консолидации, очистки, анализа, визуализации и многого другого. Apache Airflow предоставляет единую платформу, которую можно использовать для проектирования, реализации, мониторинга и обслуживания конвейеров. Простота пользовательского интерфейса, возможности plug-and-play и гибкие сценарии Python оптимизируют решение любых задач, касающихся управления данными.
Эта книга научит вас создавать и сопровождать эффективные конвейеры обработки данных. Вы изучите наиболее распространен-ные модели их использования, особенности ориентированных ациклических графов (ОАГ), которые обеспечивают работу Airflow, а также способы их настройки в соответствии с потребностями вашего конвейера.
Издание предназначено для специалистов по DevOps, обработке и хранению данных, машинному обучению, а также системных администраторов с навыками программирования на Python.
Apache Airflow для обработки данных
Книга поможет освоить Apache Airflow и создание конвейеров обработки данных. Рассматриваются задачи сбора, очистки, консолидации, анализа и визуализации данных, а также проектирование и сопровождение рабочих процессов.
Конвейеры данных и DAG в Airflow
Особое внимание уделено ациклическим графам (DAG), моделям использования Airflow и настройке конвейеров под конкретные задачи. Гибкие сценарии на Python и возможности мониторинга помогают организовать эффективную обработку данных.
