35

如果说未来不需要硬盘了,你会不会感到惊讶?

 4 years ago
source link: https://www.36kr.com/p/718177302824833
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

编者按:本文来自微信公众号 “极客公园”(ID:geekpark) ,作者:在野,36氪经授权发布。

ziYJ3ea.jpg!web

你看不见的技术仍在演进。在这样的深海领域,一旦出现颠覆性创新,就将带来新一轮浪潮。

「十年之前如果谁说,以后 PC 里不会有硬盘,可能没有人会相信。但事实上现在的 PC 很多都没有硬盘,而是 SSD。我认为五年之后 PC 里可能连 SSD 都没有了,全部会变成内存。」

「大内存」软件公司 MemVerge 的 CEO 范承工这样预测,这家公司于今年 5 月宣布新一轮战略融资,投资方包括英特尔、思科等行业巨头级公司,融资金额 1900 万美元。

范承工口中的「大内存」对于很多人来说可能会有些陌生,但它却与每个人都息息相关。它是 MemVerge 提出的一个概念,关于将要到来的一个计算新时代。

大内存是什么?

要了解大内存,首先要理解计算机的体系架构。简而言之,数据在计算机内的存储是分等级的,经常用的数据被放在比较贵的内存里,不经常用的数据被放在硬盘、SSD 等更便宜的硬件设备里(这些设备被专业人士统称为「存储」,与内存对应)。原因很简单,无非是「让计算更经济」。

内存贵,是因为它存取速度快,适合放在靠近 CPU 的位置,供 CPU 读写经常用的数据。但制造内存的介质断电易失,所以不能作为永久的数据储存硬件。存储虽然存取速度慢,但它便宜,能永久保存数据。因此,适合存放不经常用到的数据。当 CPU 想要访问存储中的数据时,存储把数据交给内存,内存再交给 CPU。

大内存的源头是一种名为 PMem(Persistent memory)的内存介质的诞生,用这种介质制造的硬件能够很好地融合内存及存储的优点,低延迟快速存取、断电不易失,且相较于内存而言储存同样大小的数据价钱更低。这样一来,PMem 硬件就能既完成计算的作用,也肩负存储的责任。

可以预计的是,在未来的存储架构中,PMem 介质硬件将会替代内存,并挤压存储的存在价值,MemVerge 称之为大内存时代。范承工预计,未来,应用程序将全部运行在大内存之上,存储可能将会被很少用到。

英特尔是在 PMem 方面的先行者,早在 20 年前就开始实验,并于 2019 年推出基于 PMem 的硬件「傲腾」。英特尔并非孤独的尝鲜者,除英特尔外,美光、海力士等其他硬件公司也在加紧布局。出于竞争条款限制或研发周期的原因,目前市场上只有英特尔一个玩家,但预计 2 年后 PMem 硬件市场将会迎来一轮爆发。

MemVerge 的软件就是服务于这一爆发趋势的。更精确地说,MemVerge 提供的是针对 PMem 数据中心的企业级解决方案,让现有的软件更好地运行在即将来到的新的内存架构之上。

范承工介绍,首先,新的硬件需要新的编程模式,但对于现有的企业级软件来说,重新编写带来的成本是巨大的,因此需要中间层的迁移工具;其次,尽管目前 PMem 介质已经能够提供较大的容量,但要完全胜任储存大规模数据,还是需要跨机联动,因此需要软件将硬件池化;另外,基于存储产生的数据服务一直是存储行业的重要组成部分,它也构成了新架构的一大重要需求。

对标上述三种需求,MemVerge 发布了一款名为 Memory Machine 的产品,基于英特尔傲腾硬件为企业提供软件服务。目前,Memory Machine 已经被一些金融、AI 领域客户使用。

谁在吃螃蟹

对于企业来说,尝试新技术的动力往往源于实际业务中的痛点,在大内存这样一个新的架构上更是如此。MemVerge 的客户中,有一家位于华尔街的投资银行最为典型。

每日股市盘中,这家投资银行以平均每秒五万笔交易的频率进行股票买卖,这些交易数据需要被实时地分发到两百多个账户。这些账户有些是交易相关,比如对冲基金、银行、其他交易员,有些是系统相关,比如合法化管理、风险评估等。

在投行的这项业务中,系统延迟影响的是真金白银的得失,因此在降低延迟这件事情上,他们不遗余力。在傲腾出现之前,银行系统内有一个非常成熟的解决方案,名为「发布/订阅」(Pub/Sub),通过 SSD 加传统网络的解决方案,延迟在几百微秒的量级。MemVerge 为这家银行构建了傲腾加 RDMA 的解决方案,配合 Memory Machine 的软件技术,能够将延迟降低至 3 微秒左右。

同样在金融领域,数据中心的宕机恢复一直是一个比较头疼的问题。由于实时高并发的特性,目前而言,在交易过程中,数据难以被实时储存到非易失的存储中,也就是俗称的难以「落盘」,而是被暂存在内存里,等交易日结束后再统一落盘。

出于安全因素考虑,在交易过程中落盘的只有一个日志。这样一来,如果在交易中系统宕机,内存中的数据丢失,要想恢复就需要根据日志从上一次「落盘」的时间节点开始回滚,也就是前一天晚上。这样的宕机恢复往往在小时级,而交易却在分秒进行。

PMem 介质的存储能有效解决这一问题,因为所有的数据都被储存在大内存中,断电不易失,因此不存在落盘这一动作。通过高频快照快速回滚,分钟级解决宕机带来的数据恢复问题。

另外,在近年来大热的 AI 领域,大内存也能发挥作用。范承工介绍,在深度学习的模型训练中,当模型的大小大于内存的大小时,AI 模型的训练速度会被数据的传输速度掣肘。影视动画、游戏等行业同理,也会遇到这样的问题,大内存的应用能够有效解决。

大内存改变了什么?

目前,在 MemVerge 的客户中,除金融机构外,还有 LinkedIn、腾讯云等互联网公司,以及一些 AI 公司。这些对计算的效率及可靠性有要求的公司,成了大内存时代的尝鲜者。

在存储架构的升级所带来的变化中,MemVerge 所做的业务只是其中一个很小的部分。基于新架构的数据服务、网络服务目前还处于蓝海阶段。另外,存储架构的升级也为应用层面提供了更多的想象。比如更快的游戏体验是否能催生新的游戏品类;AI 计算速度的提高带来了成本的降低,是否有助于 AI 技术在行业中的普及。

像内存介质这样普通消费者看不见的技术仍在演进。在这样的深海领域,一旦出现颠覆性创新,就将带来新一轮浪潮。就像移动互联网的催生来自电容屏的发明,AI 的广泛应用得益于对冯·诺依曼架构瓶颈的突破,PMem 介质内存带来的惊喜还未被揭开,这其中隐藏的机会也正等待被开启。


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK