Prefect

Prefect 是一个基于 Python 的工作流管理系统，可以将普通函数转变为生产就绪的数据管道。您只需用普通的 Python 编写代码，添加几个简单的标记（称为装饰器），Prefect 就会自动处理调度、监控和错误恢复。

该工具有两种使用方式：您可以在自己的服务器上运行（开源版本），也可以使用他们的托管云服务。两种选项都提供了一个清晰的仪表盘，方便查看正在运行的任务、失败的任务以及问题发生的位置。Prefect 会自动重试失败的任务，缓存结果以节省时间，并在出现问题时发送警报。

Prefect 的特别之处在于其灵活性。它可以与您现有的代码配合使用，无需强制重构所有内容，使其比许多替代方案更易于采用。

开始使用 Prefect 非常简单。以下是有效使用它的方法：

• 通过在终端运行简单命令，使用 Python 的包管理器安装 Prefect。创建一个免费的云账户，或在自己的电脑上运行服务器。

• 用常规的 Python 编写工作流代码。给单个函数添加 @task 装饰器，给连接所有部分的主工作流函数添加 @flow 装饰器。

• 先在本地测试你的工作流。在你的机器上运行 Prefect 服务器，打开仪表盘查看工作流的运行情况。

• 准备好后部署你的工作流。使用 Prefect 的部署命令，安排工作流在特定时间自动运行或在特定事件发生时触发。

• 通过仪表盘监控一切。检查任务状态，查看日志，出现问题时接收警报。你还可以直接从工作流上传文件或连接数据库。

• 基于Python的工作流自动化，无需特殊语言

• 自动任务重试和错误处理

• 实时仪表盘用于监控和调试

• 支持cron表达式和事件触发的灵活调度

• 开源，提供云托管选项

• 集成AWS、Google Cloud、Azure等平台

• 版本控制和部署管理

• 支持工作区和权限的团队协作

• 提供API访问以实现自定义集成

• 活跃的社区支持