7

AI狂飙突进，存力需作先锋

 1 year ago
source link: https://www.36kr.com/p/2284554577417989
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

AI狂飙突进，存力需作先锋

脑极体·2023-06-02 13:03
AI大模型崛起中，被忽略的存力支柱

5月30日，在2023中关村论坛成果发布会上，《北京市加快建设具有全球影响力的人工智能创新策源地实施方案（2023-2025年）》正式发布。《实施方案》要求，支持创新主体重点突破分布式高效深度学习框架、大模型新型基础架构等技术，着力推动大模型相关技术创新。

这被业界视为中国将强力推动大模型发展的又一力证。事实上，近期从中央各部委到地方省、市，对于发展AI技术，把握大模型机遇的政策倾斜度不断上升，无论是政策出台密度还是整体战略高度，都达到了惊人的水平。

v2_76adc07ec77d415b8939e28393c8f93f@000000_oswg688872oswg1080oswg720_img_000

有理由相信，中国将实现一场以大模型为突破点的AI狂飙突进。自2017年开启新一代人工智能发展战略以来，中国将在目前机遇窗口中得到再发展，推动AI产业全面爆发。

我们都知道，抓住AI发展机遇，需要以技术突破与基础设施建设为基础，而提到AI产业的基础设施，普遍会提到AI芯片、深度学习框架、预训练大模型，却经常会忽略另一个关键问题：大模型将带来巨大的数据压力，数据存储也是AI发展进程中的支柱。

ChatGPT是这一轮AI爆发的引线，而接下来大模型规模化应用带来的数据难题，其实也早已写在了ChatGPT当中。

面对这种即将到来的压力，中国存力准备好了吗？

从ChatGPT看AI崛起带来的数据挑战

从2018年谷歌发布BERT，业界开启了预训练大模型之路。大模型的特点是训练数据规模与模型参数庞大，这将给存储带来严峻考验，这一点在ChaGPT中也展现无疑。

预训练大模型所谓的“大”，体现在模型的深度学习网络层数多、链接多、参数复杂，以及训练所用数据集种类更复杂，数据数量更丰富。在深度学习算法刚刚诞生时，主流模型只有几百万参数，而BERT发布时模型参数就已经过亿，将深度学习推进到了大模型阶段。到了ChatGPT这个阶段，主流模型已经有几千亿参数，甚至业界已经开始规划万亿模型。几年时间里，AI模型的参数提升几千倍，如此庞大的数据与模型都需要进行存储，这就成了AI爆发给存储的第一大考验。

此外，大家目前会广泛提到AI大模型采用了全新的模型结构，因此对非结构化数据会有更好的吸收效果与鲁棒性，这对于AI最终效果非常重要，但也带来一个衍生问题：我们需要妥善处理存储和调用海量的非结构化数据。比如说，ChatGPT在升级后加入了识图等多模态能力，因此其训练数据也需要在文本基础上加入大量图片，再比如自动驾驶车辆，每天要将大量实地测试视频存储起来作为模型训练依据。这些非结构化数据，带来了AI相关数据的海量增长，也带来了存储和处理这些数据的难题。

v2_7953e00c2a2549cdaf7c86aa87bfd90b@000000_oswg633965oswg865oswg577_img_000

据统计，当前全球新增数据有80%都是非结构化数据，年复合增长率达到38%，应对多元化的数据激增，已经成为大模型时代必须克服的困难。

还有一个问题，大模型往往需要频繁读取和调用数据。ChatGPT的数据访问使用量达到单月17.6亿次，平均响应速度在10秒以内，并且AI模型的工作流程包括采集、准备、训练、推理四部分，每个阶段需要读写不同类型的数据。因此，大模型对存储性能也带来了要求。

此外，围绕ChatGPT展开的一系列数据主权、数据保护争议，也提醒我们AI大模型带来了数据安全方面新的风险。试想一下，如果不法分子攻击数据库，从而令大语言模型生成错误信息欺骗用户，其危害结果既严重且隐蔽。

综合来看，ChatGPT虽好，但其对数据存储的规模、性能、安全等方面都提出了挑战。当我们致力于发展大模型和类ChatGPT应用的时候，存储这关不得不过。

中国存力，准备好了吗？

最近几年，我们都在说算力就是生产力。但有算就要有存，存力的极限，也决定了数字化生产力发展的上限。

那么，在接下来必然出现的中国大模型狂飙突进中，中国存力是否已经做好准备了呢？很遗憾，从几个方面来看，今天中国存力的准备依旧不充分，需要进一步升级和发展。我们可以一同来关注一下中国存力存在的几个问题，看看他们是否对应了大模型带来的数据压力。

1.存力规模不足，限制AI产业发展上限

大模型将带来海量数据，那么第一要务就是将这些数据进行妥善存储。但在目前阶段，中国依旧有着存力不够，大量数据甚至无法进入存储阶段的问题。从2022年数据来看，中国数据生产量已经达到了惊人的8.1ZB，位居全球第二。但中国存力规模只有1000EB左右，这意味着数据可存储率仅为12%，绝大多数数据无法得到有效保存。当中国已经明确数据作为第五生产要素的地位，智能化发展需要依靠数据、充分利用数据，却有海量数据难以完成保存，这之间的问题不可谓不严重。中国仍然需要保持高速、大规模的存力增长，才能把握大模型带来的AI技术发展机遇。

2.海量数据冲击下，管理效率和存取效率低

上文讨论过，AI大模型带来的主要数据挑战，是海量数据的管理效率和处理存取效率低。提升存取效率，要求数据以高效率、低能耗的方式完成存写，但目前在中国仍然有75%的数据在使用机械硬盘。相对于闪存盘，机械硬盘容量密度低、数据读取慢、能耗高、可靠性差，相对来说，全闪存具有高密度、低能耗、高性能、高可靠的一系列优点，但中国全闪存替换依旧有较长的一段路要走。

v2_e97509ec9ed248a199caf091206c58f5@000000_oswg164469oswg1000oswg750_img_000

3.多重数据隐忧，导致存储安全形势严峻

数据安全问题，已经成为AI公司乃至AI产业迫切关注的问题。在2020年美国的Clearview AI公司发生数据安全事故，造成2000多家客户的30亿条数据泄露。这个案例向我们展现了AI产业的数据安全形势十分严峻，我们必须从数据存储阶段开始重视安全。尤其当AI大模型在国计民生中扮演的角色愈发重要，就更需要存储提升安全能力，以应对各种可能存在的风险。

客观来看，中国存力已经保持了较高的发展速度，但在整体规模、全闪存占比以及技术创新能力上，依旧具有一定程度的不足。一场面向产业智能化需求与AI大规模落地的存储升级已经时不我待。

面向智能时代，存储产业的机遇与方向

结合ChatGPT所代表的AI大模型带给存储的压力，以及中国存力本身的发展现状，我们可以很清晰得出一个结论：中国存储必须支撑AI崛起，完成大规模的升级。

我们可以清晰看到存储产业的发展方向，这些方向的急迫性与广阔空间，构成了存储产业的重大机遇。

首先，需要扩大存力规模，加速全闪存建设。

全闪存替换机械硬盘的“硅进磁退”，是存储产业多年来的整体发展趋势。面对AI崛起的产业机会，中国存储产业需要加快全闪存替代的实施与落地，最大化发挥出全闪存高性能、高可靠等优势，以应对AI大模型带来的数据存用需求。

此外，还必须注意的一点是全闪存化分布式存储的机会正在加大。随着AI大模型的崛起，非结构化数据的爆发，数据重要性正在显著提升，同时AI已经深入到大型政企的生产核心，更多企业用户倾向进行本地化的AI训练，并且采用基于文件协议的数据存储，而不是数据放到公有云平台，这就导致分布式存储的需求得到提升和加强。

v2_23e5217791d74259914fab74589ad050@000000_oswg583465oswg865oswg577_img_000

二者结合，持续快速推动存储产业的全闪化落地，就成为了中国存储产业发展的核心赛道。

其次，需要提升存储技术创新，适配AI模型的发展需求。

上文提到，AI带来的数据考验不仅仅是数据规模大，更是数据复杂性与应用流程多样性的挑战，因此存储的先进性必须得到进一步提升。比如说，为了应对AI频繁的数据访问需求，存储的读写带宽和访问效率都需要进行升级。为了配合AI大模型的数据需求，存储产业需要进行全方位的技术升级。

在数据存储格式方面，传统的数据格式，比如“文件”“对象”，最初的设计意图并不是匹配AI模型的训练需求，并且非结构化数据的数据格式不统一，使得在AI模型调用数据的过程中，会产生大量对文件格式进行重新理解、对齐的工作，进而造成模型运行效率下降，训练算力消耗增多。

为此，就需要在存储侧形成新的“数据范式（Data Paradigm）”。以自动驾驶训练为例，不同类型的数据都参与到了数据训练的进程当中，如果在存储侧采用了新的数据范式，就可以帮助各种数据统一起来，更好地适配到AI模型训练当中，从而加速自动驾驶车辆的训练工作。打个比方，如果把AI想象为一种新的动物，它需要吃一种新的饲料，如果把传统格式的数据喂给它，就会产生消化不良的问题，而新数据范式，就是在存储侧构筑完全适合AI的数据，从而让“喂养AI”的过程丝滑顺畅。

在AI开发工作中，数据管理的工作量占比巨大，不同数据集之间还会存在数据孤岛问题，而数据编织技术能够效应对这些问题。通过数据编织，可以让存储内置数据分析能力，把物理逻辑上散布的数据整合起来，形成全局视图化的数据调度和流动能力，从而有效管理AI带来的海量数据，达成数据利用效率的提升。

这些存储侧的技术创新，可以让数据存力与AI发展形成更加紧密的契合关系。

此外，需要将安全能力纳入存储本身，强化主动安全能力。

伴随着AI发挥的价值越来越大，数据安全问题带给企业用户的损失也更多。因此，企业必须提升数据安全能力。其中最重要的一点是要提升数据韧性，让存储本身具有安全能力，从源头上守护数据安全。接下来，更多数据韧性能力将被内嵌到数据存储产品中，例如勒索检测、数据加密、安全快照和AirGap隔离区恢复特征等。

值得注意的是，目前业界已经有了面向AI大模型崛起，进行存储全面升级的探索与尝试。华为存储通过高质量的全闪存产品，融合先进的存储技术、内嵌的安全能力，实现了存储创新与AI发展的紧密契合，相向而行。

整体而言，存储产业的发展与中国存力的进步，对于AI大模型的落地，乃至千行百业的智能化升级，都有着举足轻重的意义。脱离了存储的发展，AI带来的数据洪潮将难以妥善化解，AI技术甚至可能由于缺乏数据支撑，变成无本之源，无根之木。

智能时代的机遇与责任，恰好同时摆在了存储产业面前。在华为等优秀品牌的存力探索下，中国存储正迎来史无前例的机会，也在承担时代给予的责任。

很多业界专家认为，大语言模型是AI历史上的“iPhone时刻”，那么AI技术带来的存力升级潮，或许也将成为中国存储产业的里程碑时刻，成为一个黄金年代的序章。

本文来自微信公众号 “脑极体”（ID：unity007），作者：风辞远，36氪经授权发布。

该文观点仅代表作者本人，36氪平台仅提供信息存储空间服务。


report

Recommend

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK