Keboola
完美
达格斯特
Prefect 是一个基于 Python 的工作流管理系统，可以将普通函数转变为生产就绪的数据管道。您只需用普通的 Python 编写代码，添加几个简单的标记（称为装饰器），Prefect 就会自动处理调度、监控和错误恢复。
该工具有两种使用方式：您可以在自己的服务器上运行（开源版本），也可以使用他们的托管云服务。两种选项都提供了一个清晰的仪表盘，方便查看正在运行的任务、失败的任务以及问题发生的位置。Prefect 会自动重试失败的任务，缓存结果以节省时间，并在出现问题时发送警报。
Prefect 的特别之处在于其灵活性。它可以与您现有的代码配合使用，无需强制重构所有内容，使其比许多替代方案更易于采用。
Apache Airflow 是一个帮助您创建和管理自动化数据处理工作流的工具。可以把它看作一个智能协调者，按正确的顺序和时间运行您的任务，并在出现问题时进行处理。
您可以使用 Python 代码定义工作流，这意味着您可以使用所有熟悉的工具。每个工作流称为 DAG，展示了任务之间的连接和依赖关系。Airflow 配备了一个可视化的网页仪表盘，您可以在其中查看工作流的运行情况、检查日志并重新启动失败的任务。
该平台支持与 AWS、Google Cloud 和 Azure 等云服务以及数百种通过现成连接的其他工具协作。您可以在自己的服务器上运行它，也可以使用像 Astronomer 这样的托管服务。
Mage AI 是一个全面的数据管道编排平台，旨在简化团队构建、部署和管理数据工作流的方式。可以将其视为一个智能工作空间，结合了笔记本式开发与强大的自动化功能。
该平台提供开源版和企业版，允许团队免费起步并根据需求扩展。Mage 可连接几乎所有数据源，从数据库和 API 到云存储服务，实现数据集成的无缝衔接。其独特之处在于 AI 驱动的辅助功能，能够帮助编写代码、优化性能并自动调试问题。
该工具支持多种编程语言，包括 Python、SQL 和 R，为开发者提供使用熟悉工具的灵活性。内置功能包括实时监控、自动化测试、版本控制和协作工具。Mage 非常适合数据工程师、分析师和科学家，让他们能够专注于洞察分析，而非基础设施管理。