Apache Airflow

Apache Airflow is een tool die je helpt bij het creëren en beheren van geautomatiseerde workflows voor het verwerken van data. Zie het als een slimme coördinator die je taken op de juiste volgorde, op het juiste moment uitvoert en problemen afhandelt wanneer ze zich voordoen.

Je definieert je workflows met Python-code, wat betekent dat je alle tools kunt gebruiken die je al kent. Elke workflow wordt een DAG genoemd, die laat zien hoe je taken met elkaar verbonden zijn en van elkaar afhankelijk zijn. Airflow wordt geleverd met een visueel webdashboard waar je je workflows kunt zien draaien, logs kunt controleren en mislukte taken opnieuw kunt starten.

Het platform werkt samen met cloudservices zoals AWS, Google Cloud en Azure, plus honderden andere tools via kant-en-klare verbindingen. Je kunt het op je eigen servers draaien of gebruikmaken van beheerde diensten zoals Astronomer.

• Workflowcreatie op basis van Python

• Visueel webdashboard met monitoring

• Automatische taakplanning en herhalingen

• Slimme afhankelijkheidsbeheer

• Schaalbaar van laptop tot cloud

• Meer dan 1.500 kant-en-klare integraties

• Werkt met AWS, Google Cloud, Azure

• Commandoregeltools voor automatisering

• Ingebouwde logging en waarschuwingen

• Open source en zelf gehost

• Actieve communityondersteuning

• Enterprise-grade functies beschikbaar