Prefect

Prefect — это система управления рабочими процессами на основе Python, которая превращает обычные функции в готовые к производству конвейеры обработки данных. Вы пишете код на обычном Python, добавляете несколько простых маркеров (называемых декораторами), а Prefect автоматически управляет планированием, мониторингом и восстановлением после ошибок.

Инструмент работает двумя способами: вы можете запускать его на своих собственных серверах (открытая версия) или использовать их облачный сервис. Оба варианта предоставляют удобную панель управления, где можно видеть, что выполняется, что не удалось и где возникли проблемы. Prefect автоматически повторяет неудачные задачи, кэширует результаты для экономии времени и отправляет уведомления при возникновении проблем.

Что делает Prefect особенным — это его гибкость. Он работает с вашим существующим кодом, не заставляя вас перестраивать всё, что облегчает его внедрение по сравнению со многими альтернативами.

• Автоматизация рабочих процессов на Python без специальных языков

• Автоматические повторные попытки задач и обработка ошибок

• Панель мониторинга в реальном времени для отслеживания и отладки

• Гибкое планирование с использованием cron-выражений и триггеров событий

• Открытый исходный код с возможностью облачного размещения

• Интеграция с AWS, Google Cloud, Azure и другими

• Управление версиями и развертыванием

• Совместная работа команды с рабочими пространствами и правами доступа

• Доступ к API для пользовательских интеграций

• Активная поддержка сообщества