Apache Airflow

Apache Airflow, veri işleme için otomatik iş akışları oluşturmanıza ve yönetmenize yardımcı olan bir araçtır. Bunu, görevlerinizi doğru sırayla, doğru zamanda çalıştıran ve sorunlar ortaya çıktığında bunları yöneten akıllı bir koordinatör olarak düşünebilirsiniz.

İş akışlarınızı Python kodu kullanarak tanımlarsınız, bu da zaten bildiğiniz tüm araçları kullanabileceğiniz anlamına gelir. Her iş akışına DAG denir ve bu, görevlerinizin nasıl bağlandığını ve birbirine nasıl bağımlı olduğunu gösterir. Airflow, iş akışlarınızı çalışırken görebileceğiniz, günlükleri kontrol edebileceğiniz ve başarısız görevleri yeniden başlatabileceğiniz görsel bir web kontrol paneli ile birlikte gelir.

Platform, AWS, Google Cloud ve Azure gibi bulut hizmetleriyle ve hazır bağlantılar aracılığıyla yüzlerce diğer araçla çalışır. Kendi sunucularınızda çalıştırabilir veya Astronomer gibi yönetilen hizmetleri kullanabilirsiniz.

• Python tabanlı iş akışı oluşturma

• İzleme özellikli görsel web kontrol paneli

• Otomatik görev zamanlama ve yeniden deneme

• Akıllı bağımlılık yönetimi

• Dizüstü bilgisayardan buluta ölçeklenebilir

• 1.500'den fazla hazır entegrasyon

• AWS, Google Cloud, Azure ile uyumlu

• Otomasyon için komut satırı araçları

• Yerleşik kayıt ve uyarı sistemi

• Açık kaynak ve kendi sunucunuzda barındırılabilir

• Aktif topluluk desteği

• Kurumsal düzeyde özellikler mevcut