Prefect 是一个基于 Python 的工作流管理系统,可以将普通函数转变为生产就绪的数据管道。您只需用普通的 Python 编写代码,添加几个简单的标记(称为装饰器),Prefect 就会自动处理调度、监控和错误恢复。

该工具有两种使用方式:您可以在自己的服务器上运行(开源版本),也可以使用他们的托管云服务。两种选项都提供了一个清晰的仪表盘,方便查看正在运行的任务、失败的任务以及问题发生的位置。Prefect 会自动重试失败的任务,缓存结果以节省时间,并在出现问题时发送警报。
Prefect 的特别之处在于其灵活性。它可以与您现有的代码配合使用,无需强制重构所有内容,使其比许多替代方案更易于采用。
Apache Airflow 是一个帮助您创建和管理自动化数据处理工作流的工具。可以把它看作一个智能协调者,按正确的顺序和时间运行您的任务,并在出现问题时进行处理。

您可以使用 Python 代码定义工作流,这意味着您可以使用所有熟悉的工具。每个工作流称为 DAG,展示了任务之间的连接和依赖关系。Airflow 配备了一个可视化的网页仪表盘,您可以在其中查看工作流的运行情况、检查日志并重新启动失败的任务。
该平台支持与 AWS、Google Cloud 和 Azure 等云服务以及数百种通过现成连接的其他工具协作。您可以在自己的服务器上运行它,也可以使用像 Astronomer 这样的托管服务。





