Dagster

Dagster, veri iş akışlarınızı otomatik olarak düzenlemenize ve çalıştırmanıza yardımcı olan bir araçtır. Bunu, tüm veri görevleriniz için akıllı bir yönetici olarak düşünebilirsiniz. Komut dosyalarını manuel olarak çalıştırmak veya hangi dosyaların diğerlerine bağlı olduğunu hatırlamak yerine, Dagster bunu sizin için halleder.

Dagster'ı farklı kılan şey, veriye yaklaşım şeklidir. Tablo, dosya ve modellerinizi sadece onları oluşturan işler yerine önemli öğeler (varlıklar) olarak takip eder. Bu, tüm verilerinizin nasıl birbirine bağlı olduğunu görmenize yardımcı olur.

Platform, kodunuzu yayına almadan önce test etme, veri kalitesini otomatik olarak kontrol etme ve veri işlemlerinizin maliyetini gösterme özelliklerini içerir. Kendi sunucularınızda veya onların yönetilen hizmeti aracılığıyla bulutta kullanabilirsiniz.

• Varlık tabanlı veri orkestrasyonu ve takibi

• Yerel test ve geliştirme ortamı

• Otomatik veri kalitesi doğrulama kontrolleri

• dbt, Snowflake ve diğer araçlarla entegrasyon

• Gerçek zamanlı veri soy ağacı görselleştirmesi

• Yerleşik maliyet takibi ve izleme

• Akıllı tetikleyicilerle zamanlama otomasyonu

• Python'a özgü geliştirme deneyimi

• Güvenli test için dal dağıtımları

• Yerleşik veri kataloğu ve meta veriler