5

ASW 工作流最佳实践(四):并行多任务处理

 3 years ago
source link: https://serverlesscloud.cn/best-practice/2021-06-03-asw
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

ASW 工作流最佳实践(四):并行多任务处理

发布于: 2021-6-3
归档于:

标签:Serverless云函数

在数据处理、多媒体文件处理、商品审核、容器运维管理等系统架构中,往往需要并行多路任务处理的场景 。

例如电商商品审核系统,商家每天对商品进行管理更新后,商品数据需要通过商品中台进行一系列的审核操作:如 图片审核、死链检测、商品打标、文本审核、统一类目 等环节。海量更新的商品数据会先投递到 Ckafka,商品中台需要一个能快速处理大量数据,高并发、高吞吐量的数据处理流水线。

利用 ASW 低代码、灵活便捷的特性,通过 ASW + 云函数作为微服务的粘合剂,可快速搭建一个高效可用、易扩展性的微服务架构应用。ASW 凭借云平台和云函数的 HA 特性,可以轻松地无限扩展,具备兼容公有云,私有云,自建服务的融合能力 。

Parallel 节点 & Map 节点

在数据处理流水线中,ASW 工作流的并发能力主要依赖于 Parallel 节点Map 节点

  • Parallel 节点,也称 并行节点。使用该节点可以在工作流中创建并行的任务分支,让多个任务并行执行,大大提升了业务数据处理的效率。
  • Map 节点,也称 循环节点。使用该节点对数组中的每一个元素任务计算,且这些元素计算可以并发执行,大大提升了数据处理的吞吐量。

Map 节点与 Parallel 节点都具有并发处理的能力,两者的区别如下:

1db4f415fb8ccf26c29017ddca57deb4.jpg
  1. 登录 应用与编排服务流控制台,点击「新建」,进入创建工作流页面,选择「入门模板 - Parallel 并行」。
38cd0984172cd54992ba50e8d8d59b83.jpg
  1. 后续的步骤参考《使用 ASW 编排云函数》中介绍的方式,同时可以将分支中的节点替换成需要调用的云函数。

ASW 工作流是一个用来协调分布式任务执行的编排产品,根据腾讯云状态语言定义来编排分布式任务和服务,工作流会按照设定好的顺序可靠地协调执行,将云函数与多个腾讯云服务按步骤进行调度,通过低代码配置,就可以完成开发和运行业务流程所需要的任务协调、状态管理以及错误处理等繁琐工作。

e1b0b1b13b3bd02afa03a81d77b73ac2.jpg

识别下方 👇 二维码,即可加入腾讯云 ASW 交流群。

22821ff9d923fd60056f2313db287a79.png

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK