Dagster

Dagster 是一款帮助自动组织和运行数据工作流的工具。可以把它看作是您所有数据任务的智能管理者。无需手动运行脚本或记住哪些文件相互依赖，Dagster 会为您处理这些。

Dagster 的独特之处在于它对数据的思考方式。它将您的表格、文件和模型视为重要的资产，而不仅仅关注创建它们的任务。这帮助您了解所有数据之间的关联。

该平台包含在代码上线前进行测试、自动检查数据质量以及展示数据处理成本的功能。您可以在自己的服务器上使用，也可以通过他们的托管服务在云端使用。

开始使用 Dagster 非常简单。主要步骤如下：

• 使用 Python 的包管理器安装 Dagster。在终端运行一个简单的命令，即可在您的计算机上安装所需的一切。

• 定义您的数据资产，通过编写 Python 函数来描述您想创建的数据以及如何生成它。Dagster 使用简单的装饰器来标记这些函数。

• 本地测试，然后再部署。Dagster 允许您在自己的机器上运行所有内容，以确保其正常工作，这比在生产环境中测试要快得多。

• 通过启动 Dagster 服务器在网页界面中查看。这为您提供了一种可视化方式，查看所有数据资产，检查它们的状态，并了解它们之间的连接。

• 安排自动运行，以保持数据的新鲜度。您可以设置计划或触发器，在特定时间或满足某些条件时运行您的管道。

• 基于资产的数据编排和跟踪

• 本地测试和开发环境

• 自动数据质量验证检查

• 与dbt、Snowflake及其他工具集成

• 实时数据血缘可视化

• 内置成本跟踪和监控

• 智能触发器的调度自动化

• 原生Python开发体验

• 分支部署以确保安全测试

• 内置数据目录和元数据