3

一个Netflix开发的微服务编排引擎，支持可视化工作流定义

 1 year ago
source link: https://blog.51cto.com/u_15867943/6021086
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

一个Netflix开发的微服务编排引擎，支持可视化工作流定义

推荐 原创

wx6369307062d07 2023-01-21 10:21:43 博主文章分类：产品 ©著作权

文章标签 API 微服务 UI 文章分类 软件架构 软件研发 yyds干货盘点 阅读数354

Netflix内容平台工程团队支撑了许多业务，这些业务流程由微服务任务异步驱动的。其中一些任务是持续数天的长期进程。这些进程在为全球观众提供字幕方面发挥着至关重要的作用。

  • Studio合作伙伴内容集成
  • 来自合作伙伴的基于IMF的内容集成
  • 在Netflix中设置新标题
  • 接收内容，编码和部署到CDN

传统做法中，这些进程是临时编排的，使用pub/sub 组合起来，直接进行REST调用，并使用数据库来管理状态。然而，随着微服务数量和流程复杂性的增加，如果没有中央协调器，就无法了解这些分布式工作流（workflow）。

我们将Conductor“作为编排引擎”构建，以满足以下需求，在应用程序中消除了模板，并提供反应流：

  • 使用基于JSON DSL 的蓝图定义执行流程。
  • 跟踪和管理工作流。
  • 能够暂停，恢复和重新启动进程。
  • 用户界面可视化处理流程。
  • 能够在需要时同步处理所有任务。
  • 能够扩展到数百万个并发运行的流程。
  • 由客户端提取出来的的队列服务支持。
  • 能够通过HTTP或其他方式操作，例如GRPC。

Conductor旨在满足上述需求，现在已在Netflix使用了将近一年。迄今为止，它调度超过260万个工作流，从简单的线性工作流到运行多天的非常复杂的动态工作流。

如今Conductor已经开源，我们希望Conductor可以服务于有类似需求的场景，并提升其能力。你可以在此处找到Conductor的开发人员文档。

为什么不进行点对点编排？

随着业务需求和复杂性的增长，使用点对点任务编排会难以扩展。发布/订阅模型适用于最简单的流程，也有一些问题：

  • 流程分散在多个应用程序的代码中
  • 通常围绕输入/输出，SLA等存在紧密耦合和假设，PUB/SUB难以适应不断变化的需求
  • 几乎没有办法系统地回答“设置电影还有什么没完成”？

为什么是微服务？

在微服务领域，许多业务流程自动化都是通过协调服务来实现的。Conductor支持跨服务的协调，同时提供交互式控制和可视性。能够跨进行微服务协调，有助于我们利用现有服务构建新流程或更新现有流程，从而非常快速地普及Conductor。

架构总览

一个Netflix开发的微服务编排引擎，支持可视化工作流定义_UI

引擎的核心是状态机服务，即Decider服务。当工作流事件发生时（例如任务完成，失败等），Decider将工作流蓝图与工作流的当前状态相匹配，识别下一个状态，并安排适当的任务，或更新工作流的状态。

Decider与分布式队列一起使用来管理计划任务。我们使用dyno-queues作为分布式延迟队列，dyno-queues使用dynomite作为K-V存储。该队列已于今年早些时候开源，欲知详情请看这里。

Task Worker实现

task由worker应用程序实现，其通过API层进行通信。woker实现了可由流程引擎调用的REST接口，或者通过定期检查挂起任务的状态来达到此目的。Worker实际上是幂等的无状态函数。轮询模型允许处理worker的压力，并在可能的情况下根据队列深度支持自动伸缩。Conductor提供API以检查worker的工作负载大小。

一个Netflix开发的微服务编排引擎，支持可视化工作流定义_微服务_02

API层

API通过HTTP公开 - 使用HTTP可以轻松地与不同客户端集成。添加其他协议（例如gRPC）也是很简单的。

存储

我们使用Dynomite作为存储引擎，并使用Elasticsearch来索引执行流程。存储API是可插拔的，可以适用于各种存储系统，包括传统的RDBMS或Apache Cassandra。

关键概念

工作流定义

使用基于JSON的DSL定义工作流。工作流蓝图定义了一系列需要执行的任务。每个任务是控制任务（例如，fork，join，决策，子工作流等）或worker任务（译者注：提供具体的数据处理功能）。工作流定义支持版本，可以灵活地管理升级和迁移。

工作流定义概述：

{"name": "workflow_name","deion": "Deion of workflow","version": 1,"tasks": [{"name": "name_of_task","taskReferenceName": "ref_name_unique_within_blueprint","inputParameters": {"movieId": "${workflow.input.movieId}","url": "${workflow.input.fileLocation}"},"type": "SIMPLE",... (any other task specific parameters)},{}...],"outputParameters": {"encoded_url": "${encode.output.location}"}}

任务定义

每个任务的行为都由其模板控制。任务定义为每个任务提供控制参数，例如超时，重试策略等。任务既可以是由应用程序实现的worker任务，也可以是由编排服务执行的系统任务。Conductor提供一些开箱即用的系统任务，例如Decision，Fork，Join，Sub Workflows，并且允许加入自定义系统任务的SPI。我们已经添加了对HTTP任务的支持，这有助于调用REST服务。

任务定义：

{"name": "encode_task","retryCount": 3,"timeoutSeconds": 1200,"inputKeys": ["sourceRequestId","qcElementType"],"outputKeys": ["state","skipped","result"],"timeoutPolicy": "TIME_OUT_WF","retryLogic": "FIXED","retryDelaySeconds": 600,"responseTimeoutSeconds": 3600}

输入输出

任务的输入是一种映射，其作为工作流实例化的一部分或某些其他任务的输出。允许将来自工作流或其他任务的输入/输出作为随后执行的任务的输入。例如，可以将编码任务的输出作为输入提供给发布任务以部署到CDN。

任务输入定义：

{"name": "name_of_task","taskReferenceName": "ref_name_unique_within_blueprint","inputParameters": {"movieId": "${workflow.input.movieId}","url": "${workflow.input.fileLocation}"},"type": "SIMPLE"}

具体例子

一个Netflix开发的微服务编排引擎，支持可视化工作流定义_API_03

这里总共有3个worker任务和一个控制任务：

  • 内容检查：检查输入文件是否正确/完整
  • 编码：生成视频编码
  • 发布：发布到CDN

这三个任务由不同的worker实现，这些worker使用任务API轮询待处理的任务。这些任务是幂等任务，worker根据给予任务的输入进行操作，执行处理流程并更新状态。

在完成每个任务时，Decider会根据蓝图（对应于工作流实例的版本）评估工作流实例的状态，并标识要调度的下一组任务，或者在完成所有任务后标记工作流为完成。

UI

UI是监视和排除工作流程执行故障的主要手段。通过基于各种参数（包括输入/输出参数）的搜索，UI实现了处理流程的可视化，并提供蓝图和其采取的执行路径的可视化表示，以更好地理解流程执行的过程。对于每个工作流实例，UI提供每个任务执行的详细信息，并提供以下详细信息：

  • 任务调度的时间戳，worker接收并完成任务的时间戳。
  • 如果任务失败，失败的原因是什么。
  • 执行任务的主机。
  • 任务的输入和输出。

以下是UI展示：

一个Netflix开发的微服务编排引擎，支持可视化工作流定义_UI_04

其他方案AMAZON SWF

早期我们使用过AWS SWF。然而考虑到SWF的一些限制，我们选择构建Conductor：

  • 需要基于蓝图的编排，而不是SWF要求的编程决策。
  • 用于工作流的可视化UI。
  • 更需要同步API（而不是纯粹基于消息的方式）
  • 需要为工作流和任务索引输入和输出，以及基于此索引的搜索工作流的能力。
  • 需要维护一个单独的数据存储来保存工作流事件以从故障，搜索等中恢复。

Amazon Step Function

最近宣布的AWS Step Functions添加了一些我们在编排引擎中需要的功能。Conductor有可能采用states语言(译者注：这也是一种基于Json的用于描述状态机的语言)来定义工作流程。

统计数据

以下是我们一年多来在生产环境运行Conductor的统计数据。内容平台工程中使用这些工作流来支持内容获取和编码等工作。

未来功能

  • 支持AWS Lambda（或类似）功能，作为serverless 任务。
  • 与容器编排框架更紧密的集成，允许worker实例自动扩展。
  • 记录每个任务的执行数据，有助于故障排除。
  • 能够从UI创建和管理工作流蓝图。
  • 支持states语言。

report

Recommend

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK