Dagster

Dagster is een tool die helpt bij het organiseren en automatisch uitvoeren van je datastromen. Zie het als een slimme manager voor al je datataken. In plaats van scripts handmatig uit te voeren of te onthouden welke bestanden van anderen afhangen, regelt Dagster dit voor jou.

Wat Dagster anders maakt, is de manier waarop het naar data kijkt. Het houdt je tabellen, bestanden en modellen bij als belangrijke items (assets genoemd) in plaats van alleen te focussen op de taken die ze creëren. Dit helpt je te zien hoe al je data met elkaar verbonden is.

Het platform bevat functies om je code te testen voordat deze live gaat, automatisch de datakwaliteit te controleren en te laten zien hoeveel je dataprocessen kosten. Je kunt het gebruiken op je eigen servers of in de cloud via hun beheerde dienst.

• Asset-gebaseerde data-orchestratie en tracking

• Lokale test- en ontwikkelomgeving

• Automatische validatiecontroles voor datakwaliteit

• Integratie met dbt, Snowflake en andere tools

• Realtime visualisatie van data lineage

• Ingebouwde kostenregistratie en monitoring

• Automatisering van schema's met slimme triggers

• Python-native ontwikkelervaring

• Branch-deployments voor veilig testen

• Ingebouwde datacatalogus en metadata