8

618 兵临城下,你需要一个更省钱省力的数据根基平台!

 3 years ago
source link: https://www.sensorsdata.cn/blog/20210609/
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

618 兵临城下,你需要一个更省钱省力的数据根基平台!

神策小秘书 标签: 神策数据根基平台, 弹性计算, 弹性存储, 神策数据 2021年06月09日

大促来袭,电商企业的运营人员开始“暴风工作”,各类查询任务同时涌入系统,导致计算资源十分紧张;

娱乐八卦预告爆料,各路吃瓜平台纷纷整装待发,到头来发现只是“零星小料”,没有海量业务需求,计算资源又处于闲置状态……

有没有一种“弹性”的方式,既让计算资源尽可能地被有效利用,又能让计算资源发挥最大的价值?当然!神策数据上线弹性计算与弹性存储功能,让企业无需为了一时的高峰计算需求而加大硬件投入,省钱省力就能“躺赢”业务需求!

一、什么是神策弹性计算与弹性存储功能?

由于企业在分析计算资源的使用上存在明显的周期性,集“采、治、存、查、智”为一体的神策数据根基平台通过弹性化资源配置,可随着实际业务需求的变化,随时扩大或减小计算能力,避免企业因业务需求的调整造成计算资源的浪费;而且,神策借用了传统数据库归档的概念,支持将数据仓库中不经常使用的数据迁移至低成本存储系统上,在降低存储成本的同时,保证用户拥有更好的产品使用体验。

1. 弹性计算:潮汐算力调度

通过构建一个公共计算池,由其动态调配计算能力。当企业需要扩容计算能力支撑其业务时,系统会向公共计算池申请额外的计算节点,与原有的节点共同组成一套新的计算集群,以匹配高峰期计算作业。高峰过后,额外的计算节点会被公共计算池回收,从而达到节省算力资源成本的目的。

技术原理如下:

首先,直接利用 k8s 管理计算池的弹性资源,在 k8s 中每个 executor 节点由 svc-executor 与 pod-executor 组成。

其中 pod-executor 通过 svc-executor 来对外暴露端口,原集群的 statestored,catalogd 和 coordinator 通过 svc-executor 暴露的端口与 pod-executor 通信。

k8s 中的 pod-executor 通过 coredns 配置的原集群 hosts 来与 statestored,catalogd,coordinator 通信,从而实现计算节点的动态调配。

神策弹性计算技术原理图
2. 弹性存储:“冷数据”归档,仍可被分析

对于一些不经常使用的数据,其数据访问频次会不断的减少,甚至只在偶尔盘点时的历史对比分析中用到,这类数据被称为“冷数据”。但随着企业进行数据分析的时间越来越长,对于集群存储资源的需求和压力会越来越大。神策支持将“冷数据”归档(转储)到成本更低廉的存储系统中,从而极大地节省企业的存储成本。

值得注意的是,当“冷数据”归档后,神策仍支持归档数据的可读、可删除、可分析。归档后的数据所在的存储是整体系统存储的一部分,无需对归档数据进行解档也能正常查询。而业内现状下,归档后的数据大多不可再参与查询,这是神策弹性存储功能与传统数据库归档最重要的区别。

如果你对神策弹性计算与弹性存储功能感兴趣,欢迎扫描文末二维码咨询数据顾问体验哦~

二、为大促活动保驾护航,让神策“两朵云”火力全开

神策“两朵云”指神策分析云、神策营销云,在大促之际,某电商运营团队通过神策分析云、神策营销云“火力全开”,助力大促完美启航,同时背靠神策弹性计算与弹性存储功能,通过三步法,为大促活动保驾护航。

第一步:大促前,归档冷数据

为了更好迎接大促,该电商运营团队提前就对相关数据进行归档,在不影响查询的情况下,将不经常使用的“冷数据”转存至成本更低的存储系统中。由于这部分“冷数据”依然可以在神策各大系统中进行分析操作,该电商运营团队也更加“大胆”地将不经常使用的数据转化成“冷数据”,为后续海量业务需求产生的分析数据“腾地方”,降低数据的存储成本。

第二步:大促中,调整计算能力

由于该电商运营团队日常就通过神策营销云对百万用户的全生命周期进行策略运营,在近期更是不断针对各用户群体发放活动优惠券,所以从预售开始,蜂拥而来的用户流量就带来海量用户行为数据和分析需求。从此时开始,该电商运营团队全体成员就进入“高速运转”状态,他们一边通过神策分析云实时洞察用户各类状态,一边通过神策营销云做贴合用户画像的策略与动作,并将整个流程灌入神策推出的基于数据流的企业运营框架 SDAF 中,通过感知(Sense)、决策(Decision)、行动(Action)、反馈(Feedback)四个流程,打造运营闭环,提高用户在大促中的完美体验。

针对从预售开始时铺面而来的业务需求,在现有计算资源的条件下,神策利用公共计算池动态调整计算能力,充分保证大促时期的数据分析效率,为该电商运营团队的营销触达提供核心支撑。

第三步:大促尾声,避免浪费

在紧张又刺激的活动尾声,该电商运营团队的成员逐渐从激烈的工作状态中回归日常,成员们将更多的精力放在大促复盘,以及通过神策分析云中的各大功能组件洞察用户需求,并通过神策营销云进行下阶段的策略运营中,由于计算和分析需求陆续变少,神策弹性计算功能将会使系统自动回收部分计算能力,避免流量下降导致的计算资源浪费。

以上为神策弹性计算与弹性存储功能简介,虽然各行业的具体业务场景不同,但神策弹性计算与弹性存储功能可以在多种业务逻辑下发挥着其强大的技术能力,在节省企业硬件成本的同时,合理配置优化企业计算资源,并为“冷数据”提供相关的分析能力,降低企业的运营成本,更好助力企业业务目标的实现。

如果你对神策数据弹性计算与弹性存储功能感兴趣,或希望了解更多方案细节,可通过下方二维码,联系数据顾问咨询和体验!

关于神策数据

神策数据(Sensors Data),全称神策网络科技(北京)有限公司,是国内专业的大数据分析和营销科技服务提供商,为企业提供神策营销云、神策分析云、神策数据根基平台三大产品方案,通过全渠道的数据采集与全域用户 ID 打通,全场景多维度数据分析,全通道的精准用户触达,帮助企业实现数字化经营。

神策数据立足大数据及用户行为分析的技术与实践前沿,提出基于数据流的企业运营框架——SDAF,即 Sense(感知)、Decision(决策)、Action(行动)、Feedback(反馈)的数据闭环,并致力为客户打造基于 SDAF 运营框架的数据闭环。业务现已覆盖以互联网、品牌零售、金融、融合媒体、企业服务、高科技、汽车、互联网+ 等为代表的 30 多个主要行业,并可支持企业多个职能部门,目前已服务付费客户 1500 余家。公司总部在北京,并在上海、深圳、合肥、武汉、成都、中国台北等地均拥有本地化的服务团队,覆盖全国及东南亚市场,同时,公司拥有专业的服务团队,为客户提供与营销和大数据相关的咨询、解决方案和专业服务。


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK