Dagster

Dagster — это инструмент, который помогает автоматически организовывать и запускать ваши рабочие процессы с данными. Представьте его как умного менеджера для всех ваших задач с данными. Вместо того чтобы вручную запускать скрипты или помнить, какие файлы зависят от других, Dagster делает это за вас.

Что отличает Dagster, так это его подход к данным. Он отслеживает ваши таблицы, файлы и модели как важные объекты (называемые активами), а не просто сосредотачивается на задачах, которые их создают. Это помогает вам видеть, как все ваши данные связаны между собой.

Платформа включает функции для тестирования вашего кода перед запуском, автоматической проверки качества данных и отображения стоимости ваших процессов обработки данных. Вы можете использовать её на собственных серверах или в облаке через их управляемый сервис.

• Оркестрация и отслеживание данных на основе активов

• Локальная среда для тестирования и разработки

• Автоматические проверки качества данных

• Интеграция с dbt, Snowflake и другими инструментами

• Визуализация происхождения данных в реальном времени

• Встроенный учет и мониторинг затрат

• Автоматизация расписания с умными триггерами

• Разработка на Python с нативным опытом

• Развертывания веток для безопасного тестирования

• Встроенный каталог данных и метаданные