Dagster

Dagster est un outil qui aide à organiser et exécuter automatiquement vos flux de données. Pensez-y comme un gestionnaire intelligent pour toutes vos tâches de données. Au lieu d'exécuter manuellement des scripts ou de vous souvenir des dépendances entre fichiers, Dagster s'en charge pour vous.

Ce qui distingue Dagster, c'est sa façon de considérer les données. Il suit vos tables, fichiers et modèles en tant qu'éléments importants (appelés actifs) plutôt que de se concentrer uniquement sur les tâches qui les créent. Cela vous aide à voir comment toutes vos données sont connectées.

La plateforme inclut des fonctionnalités pour tester votre code avant sa mise en production, vérifier automatiquement la qualité des données et vous montrer le coût de vos processus de données. Vous pouvez l'utiliser sur vos propres serveurs ou dans le cloud via leur service géré.

• Orchestration et suivi des données basés sur les actifs

• Environnement local de test et de développement

• Contrôles automatiques de validation de la qualité des données

• Intégration avec dbt, Snowflake et d'autres outils

• Visualisation en temps réel de la traçabilité des données

• Suivi et surveillance des coûts intégrés

• Automatisation des plannings avec déclencheurs intelligents

• Expérience de développement native en Python

• Déploiements en branches pour des tests sécurisés

• Catalogue de données et métadonnées intégrés