Dagster

Dagster é uma ferramenta que ajuda a organizar e executar seus fluxos de trabalho de dados automaticamente. Pense nela como um gerente inteligente para todas as suas tarefas de dados. Em vez de executar scripts manualmente ou lembrar quais arquivos dependem de outros, o Dagster faz isso por você.

O que torna o Dagster diferente é a forma como ele pensa sobre os dados. Ele rastreia suas tabelas, arquivos e modelos como itens importantes (chamados de ativos) em vez de se concentrar apenas nos trabalhos que os criam. Isso ajuda você a ver como todos os seus dados estão conectados.

A plataforma inclui recursos para testar seu código antes de ser colocado em produção, verificar automaticamente a qualidade dos dados e mostrar quanto custam seus processos de dados. Você pode usá-la em seus próprios servidores ou na nuvem através do serviço gerenciado deles.

• Orquestração e rastreamento de dados baseados em ativos

• Ambiente local para testes e desenvolvimento

• Verificações automáticas de validação da qualidade dos dados

• Integração com dbt, Snowflake e outras ferramentas

• Visualização em tempo real da linhagem dos dados

• Monitoramento e rastreamento de custos integrados

• Automação de agendamento com gatilhos inteligentes

• Experiência de desenvolvimento nativa em Python

• Implantações em branches para testes seguros

• Catálogo de dados e metadados integrados