数栈产品分享：简析数据中台如何通过DataAPI实现数据共享

数栈产品分享：简析数据中台如何通过DataAPI实现数据共享 - 袋鼠云数栈DTinsight的个人空间 - OSCHINA - 中文开源技术交流社区

数栈是云原生—站式数据中台PaaS，我们在github和gitee上有一个有趣的开源项目：FlinkX，FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，也可以采集实时变化的数据，是全域、异构、批流一体的数据同步引擎。大家喜欢的话请给我们点个star！star！star！

github开源项目：https://github.com/DTStack/flinkx

gitee开源项目：https://gitee.com/dtstack_dev_0/flinkx

如果把企业数字化转型比作一辆自行车，那么技术与数据便是这辆车的两个轮子，骑在车上的则是企业战略、文化以及各种资源，它们决定了转型将走向哪个方向。不管数字化转型之路多么正确、战术如何高明，其最终结果还是要通过这两个轮子落地。

DT时代，“大数据”不是强调量大，是指数据来源多、维度多。现在很多系统的数据没法给第三方用，只有打破这种壁垒，才会产生新的价值。在数智化转型过程中，实现数据开放共享，是企业在DT时代实现弯道超车的前提。

一、什么是数据共享服务

数据共享服务可简单概括为将数据中台的数据共享给其他系统，或将某组织的数据共享给其他组织，提供数据的方式也十分多样，如数据库读取、文件传输、API接口服务等。

如何通过数据API，对外提供数据服务，进行数据共享呢？

数据API，通过RestfulAPI的形式对外提供数据服务，适用于数据库不直接对外开放，通过接口提供高并发快返回的数据服务场景，如企业内部将数据中台加工的结果数据，通过数据API的方式，提供给上层数据应用、数据门户，可视化大屏等；证券公司将股票、债券等行情数据通过数据API的方式提供给外部客户；新媒体企业将资讯通过API的方式提供给外部客户等，主要解决数据对外快速共享的场景。

二、怎样生成数据服务

按照传统方式，生成API接口，往往需要后端开发人员通过Java或Python等语言进行编写。从开始生成到对外发布，中间再做一些鉴权、限流等，整个流程较长，且一个接口开发完成后，需要测试人员再进行测试验证，整个过程下来，投入成本较高。

以下是传统方式生成数据API的流程：

近几年，在数据中台的浪潮中，大数据平台产品供应也越来越俱全。国内部分优秀的大数据产品供应商，也有标准化的数据共享服务产品，其将数据服务能力进行封装，大部分功能在平台产品内部完成，面向用户的功能只是连接数据源、编写查询逻辑，大幅度缩短API流程，并降低开发成本。

利用标准化产品，一般开发流程如下：

在API生成中，经过以下步骤：

• API生成：平台会封装API创建能力，用户只需在WEB界面上选库选表，设定请求参数、返回参数即可；对于复杂的API查询逻辑，有的平台也会提供自定义SQL写查询逻辑的模式，满足用户不同场景。
• API发布：平台会集成API网关，无需用户自己写网关逻辑，API发布后，会直接发布在API网关上，形成API市场，对外提供数据服务。
• API申请：有需要的用户可直接在API申请已发布的API，管理员进行审批，审批通过后，申请者可拿到API的调用地址和请求示例。
• API授权：对API申请者的申请进行审批；
• API管理：对企业来讲，一款标准化的产品提供了一个企业级数据服务统一管理平台与企业级的API市场。

在API调用流程中，API网关可以进行鉴权、限流、数据解密等工作。

（一）较于传统化的生成方式，标准化产品能带来什么？

1. 开发效率的提升：将数据API开发流程缩短，一个API生成只需3分钟

2. 人力成本的降低：传统方式需要后端开发写接口，现在只需更熟悉数据的开发，通过写SQL，就可完成数据API的开发。

3. API接口服务更多的场景：除了用户原有需求外，标准化的产品可带来更多附加功能，如API、用户限流，API调用监控等。

4. 企业级API市场：实现企业API统一管理，统一的API市场开放数据服务。

（二）数栈DTinsight 的DataAPI产品正是面向以上场景，提供数据API的共享服务。

DataAPI，通过双模式可视化配置生成与注册API，快速构建Oneservice数据服务，形成企业级的API市场和API服务管理平台，提高数据开放与共享效率。

三、DataAPI可以做什么

DataAPI除以上介绍可解决的场景外，还在第三方数据服务、服务监控、数据服务安全深耕较多，提供给客户一个优秀的数据服务产品。

• 双模式生成API

通过向导模式、自定义SQL模式双模式生成API服务，3分钟可视化完成API创建。

• 第三方服务注册

除在平台上生成API服务，支持将原有的API服务注册至DataAPI，进行统一管理、发布至API市场，企业所有的API服务统一管理。

• API调用监控

平台从API管理者、API申请者视角分别提供API调用次数、调用日志、错误日志的监控。

• API使用权限控制

可控制单个API的用户使用权限，调用次数是多少，调用周期是多长。

四、数据服务安全

数据对外服务过程中，数据安全是非常重要的一部分，DataAPI保障数据安全，主要有三方面：

• API调用

API调用中提供2种加密方式，可对用户信息、API信息、数据信息进行加密，适用于不同安全级别的场景。

• API限流

针对API单秒调用次数、用户对API的调用次数可进行限流，保障数据服务的安全稳定性。

• 黑白名单IP控制

通过设置黑白名单，从IP级别控制IP的访问。