Dagster

Dagster is een tool die helpt bij het organiseren en automatisch uitvoeren van je datastromen. Zie het als een slimme manager voor al je datataken. In plaats van scripts handmatig uit te voeren of te onthouden welke bestanden van anderen afhangen, regelt Dagster dit voor jou.

Wat Dagster anders maakt, is de manier waarop het naar data kijkt. Het houdt je tabellen, bestanden en modellen bij als belangrijke items (assets genoemd) in plaats van alleen te focussen op de taken die ze creëren. Dit helpt je te zien hoe al je data met elkaar verbonden is.

Het platform bevat functies om je code te testen voordat deze live gaat, automatisch de datakwaliteit te controleren en te laten zien hoeveel je dataprocessen kosten. Je kunt het gebruiken op je eigen servers of in de cloud via hun beheerde dienst.

Aan de slag gaan met Dagster is eenvoudig. Hier zijn de belangrijkste stappen:

• Installeer Dagster met behulp van de Python package manager. Voer een eenvoudig commando uit in je terminal om alles wat je nodig hebt op je computer te krijgen.

• Definieer je data-assets door Python-functies te schrijven die beschrijven welke data je wilt creëren en hoe je dat doet. Dagster gebruikt eenvoudige decorators om deze functies te markeren.

• Test lokaal voordat je gaat deployen. Dagster stelt je in staat om alles op je eigen machine uit te voeren om te controleren of het correct werkt, wat veel sneller is dan testen in productie.

• Bekijk in de webinterface door de Dagster-server te starten. Dit geeft je een visuele manier om al je data-assets te zien, hun status te controleren en te begrijpen hoe ze met elkaar verbonden zijn.

• Plan automatische runs om je data actueel te houden. Je kunt schema’s of triggers instellen die je pipelines op specifieke tijden of wanneer bepaalde voorwaarden worden voldaan, uitvoeren.

• Asset-gebaseerde data-orchestratie en tracking

• Lokale test- en ontwikkelomgeving

• Automatische validatiecontroles voor datakwaliteit

• Integratie met dbt, Snowflake en andere tools

• Realtime visualisatie van data lineage

• Ingebouwde kostenregistratie en monitoring

• Automatisering van schema's met slimme triggers

• Python-native ontwikkelervaring

• Branch-deployments voor veilig testen

• Ingebouwde datacatalogus en metadata