华中科大谢长生教授：存储匹配数据和算力迅猛增长的观察与实践

华中科大谢长生教授：存储匹配数据和算力迅猛增长的观察与实践-存储在线

11月9日，由百易传媒（DOIT）主办的“2022中国数据与存储峰会”在北京正式开幕。

本次峰会以“数据觉醒新时代”为主题，邀请到了中国信通院、中国电子学会、中国计算机学会信息存储专委会、中国计算机行业协会、清华大学、北京大学、华中科技大学、中国国家气象局等相关单位的领导、专家教授，同国内外领先存储企业的代表及500多名现场观众、20万名线上观众一起，在两天的时间内，就数据存储及相关热门领域的技术创新与应用实践等话题进行分享和互动交流。

峰会邀请了中国计算机行业协会信息存储与安全专委会会长、华中科技大学武汉光电国家研究中心信息存储系统教育部重点实验室谢长生教授，以“存储如何匹配算力和数据的迅猛增长”为主题发表视频演讲。

以下内容是谢长生教授讲演的要点记录。

由《道德经》启迪的信息空间新内涵

在现代信息哲学中，有物理空间和信息空间的概念，一般认为信息空间是映射物理空间的表征体系，而谢长生教授则认为信息空间是映射物理空间和思维空间的表征体系，赋予信息空间新的内涵。

这源于他受老子《道德经》中“道可道”、“名可名”的启发。第一个“道”是世间客观规律，第二个“道”是说出来。用现代语言来表达，就是世间的客观规律可由信息来表达，这就是物理空间到信息空间的变换。 “名可名”，第一个“名”是头脑中的概念，第二个“名”是命名，也即用信息来表达。也就是说，人们头脑中的概念也可以由信息来表达。很多信息表达的事物实际上并不存在于物理空间，而是来自人们的思维，比如小说、动画、法律乃至当下的元宇宙中人们构想的世间本不存在的场景和角色等。有太多的信息是来自于人的想象，占据了信息空间很大部分内容，而这部分信息在过去一直处于被忽视的状态。

信息有多种表征形式，如语言、文字、绘画、照片、视频等，但是它有两大奇点，奇点就是宇宙大爆炸的原点。谢长生教授表示，他的演讲题目“存储如何匹配数据和算力迅猛增长”中提到的两个关键词——“数据”与“算力”，就对应信息空间的两个奇点。

信息空间（Syberspace) 两大奇点

谢长生教授表示信息空间有“数据“和”图灵机“两大奇点。将信息数字化就成为数据，信息一旦数字化，就使得数据呈爆发式增长。而图灵机概念的出现，则引发了以计算为核心的信息革命。

要深刻理解这两个奇点的重要意义，就需要了解其背后的道理。

信息表达有多种形式，但数据是表达能力最强的一种，古希腊哲学家毕德格拉斯就认为“万物皆数”。既然信息要表达世间万物，就要有尽可能多的状态。只要增加位长，数据就可以有无穷多的状态，可以对应表达无穷多的事物。比如IPv6编址可有2的128次方，可以为地球上每一粒沙子编号，数据表达信息的状态数量比语言、文字多得多，想要多少状态就可以表达多少状态。其次，数据可以与其他任何信息形式进行相互转化，如语言、文字、图形、图像、视频都可以转化成数据，数据也可以转化为其他任何信息形式，数据是唯一具备这种能力的信息表达形式。

所以，数据是至今为止人类找到的最佳信息表达形式，信息的数字化是必然的趋势，数据量的爆炸性增长也是必然趋势。

奇点2是图灵机。如果没有图灵机，那么数字都是没有灵魂、缺乏智慧的。就像这副米开朗基罗的画，上帝用土造了一个人，本来是没有灵魂的，但上帝手指一点，人就活了。谢长生认为图灵机为信息空间注入了灵魂。

图灵证明图灵机可以解决一切有解的数学问题，而元胞自动机的先驱沃夫曼则在其著作“ A new kind of science”中指出，图灵机可以表达宇宙间的一切规律。这是人类发明的不同于自然界的智能方式：计算智能。图灵机的理论能力极强，它催生了现代计算机，引爆了信息革命。

存储与“数据”与“图灵机”之间存在什么关系？

谢长生教授分析认为，存储既是数据的载体，又是图灵机的一部分。形象地看，图灵机由三个部分组成：处理部分（即读写头及其控制）、存储部分（无限长的可改写的带子）和传输部分（带子载着数据移动）。大道至简，如此简单的图灵机模型告诉人们，只要对数据进行处理、存储、传输三个简单动作，就能表达世间的一切规律。图灵机对存储的要求一是容量越大越好，二是要与处理的速度相匹配。

让存储匹配数据量的迅猛增长

谢长生教授从介质的角度来进行了分析。

IDC预计2025年数据量将达到175ZB，今年的增长是61 ZB，增长量非常快速。

谢长生提了几个数据量之外的问题：第一，这些数据是宝贵数据，还是一般数据或垃圾数据？不同的数据其保存方法、保存介质都是不一样的。第二，是热数据还是温数据、冷数据？第三，数据的寿命需要保存多长时间？第四，保存这些数据的能耗是多少？第五，保存这些数据的成本是多少？

理想的介质，是能同时满足能量、性能、能耗、成本、寿命的需求，但现实中根本不存在这样的介质。

衡量介质有8个维度：容量、成本、耐磨性、持久性、读时间、写时间、带宽和能耗，而存储介质分为电、磁、光、量子、DNA等几种原理。如今，电磁光已经商业化，量子和DNA还在研究之中。

时下最热门的存储介质当属闪存，3D NAND2022年的最新水平是236层，单片容量已经达到了1Tb，采用TLC技术；未来计划是从600层到1000层。

其次是硬盘。硬盘正在被固态盘取代，然而它“垂而不死”，还在向大容量、低成本方向转型。由于与固态盘存在5倍-7倍的价格差距，更适合保存温冷数据。未来五年之内硬盘还将会存在，能再继续存在多久，现在也说不准，还有发展的空间。

当前硬盘领域有几种新的技术支撑其进一步发展：已经商品化的磁通控制-微波辅助磁记录（FC-MAMR）技术与微波辅助切换-微波辅助磁记录（MAS-MAMR）技术，目前容量已达20TB。未来几年将采用热辅助磁记录（HAMR）技术，容量可超过40TB。

磁带方面，最新的LTO磁带可保存18TB数据，压缩后可以保存45TB的数据。因为能大幅度节约存储成本，在磁带在数据中心“卷土重来”。

光存储，属于第二种“卷土重来”的技术。

光存储以前主要用于音视频、软件的分发，曾经十分辉煌，后来被网络淘汰。但它又因为网络的进一步发展而“起死回生”，蓝光存储已经从50GB到发展到现在的500GB，容量有10倍的提高，用于保存数据中心的冷数据和归档数据。与其他存储介质相比，光存储具有寿命长、节能、可靠、安全等优点，长期保存成本非常低。

谢长生教授介绍，我国已经部署了一个重点研发计划，三年内开发出单盘1TB的光盘、光驱以及光盘库，以双面6层的方式来实现，华中科技大学也是参加单位之一。蓝光光盘技术演进路线是，先将道间距变窄，再将位密度提高，1TB光盘将用到多阶技术。蓝光光盘的寿命可以达到一百年，是有发展前景的介质。

蓝光之后人们在探索的新一代光存储技术有多种，其中有明显优势的有三种：

一是全息光存储技术，单盘容量从2个TB到8个TB。

二是突破光学衍射极限的双光束超分辨技术，突破光学衍射极限的技术曾经获得过诺贝尔奖，后来被用于光存储。因为突破了衍射极限，过去一个光点大小的面积中，用这种技术可以存上百个点，成百倍地提高了容量。

三是玻璃存储。微软公司将好莱坞影片“超人”刻录到玻璃之中，这是当时一个很大的新闻。特斯拉汽车发射太空的时候也把玻璃存储带入到太空，把信息传递给外星文明。这个技术来源是英国南开普敦大学开发的玻璃的5维光盘，寿命打破了吉尼斯世界记录，可永久存储，在1000度高温下不丢失信息。该技术的第一发明人张静宇博士已经被华中科技大学武汉光电国家研究中心引进。张博士回国以后建立了平台，启动了中国多维永久存储的研发，并已经在实验室实现了多项新的突破。

武汉光电国家研究中心实验室建立了5D-7D玻璃光存储平台，为提高记录速度，将平动变成转动，而且有多维读出的系统，还可以结合突破衍射极限的技术。这些在实验室都完成了试验研究，最新进展就是实现了高速记录和100层以上的5维存储，记录每个数据单元只用1.3个皮秒（一皮秒等于一万亿分之一秒）。

微软在玻璃存储产业化方面进展迅速，微软提供的信息显示，飞秒激光在玻璃上一层一层地扫，可以扫75层甚至更多层，可比现在的蓝光光盘保存多很多倍的信息，再做成一个大型光盘库，用机械手去抓取，可以方便地把库变得非常大，还可非常方便地扩展下去。这种存储如果安放在数据中心，它的长期成本远远低于磁带库。微软看中这个技术并投入巨资开发的原因主要是：永久存储，成本低，节能。

对中国存储产业发展的思考

面对快速发展的存储技术，中国存储产业面临一些挑战。，

一是中国介质要走什么道路？

中国的数据规模在世界上已经排名第二，但是几乎全部保存在国外介质中：硬盘、磁带百分之百进口，禁售硬盘对华为、海康等企业造成很大影响，长江存储虽然可以生产闪存芯片，也有自己的核心技术，但是产量很少。谢长生教授指出，中国介质问题的解决之道有两条：一是对热数据发展闪存及基于闪存的设备和系统；二是对温冷数据发展光存储。光存储是一条换道超车的新路，在这条路上我国的基础是比较好的，在新一代光存储方面的研究不少还处于领先状态。

二是存储如何匹配算力的迅猛增长？

图灵机的理论能力非常强，可以表达世间的一切规律。但图灵框架计算机实际可释放的能力却取决于算力，速度越快、能力越强，如果无限快，那什么问题都可以解决。因此，图灵框架下的计算机就是无止境地追求算力。

我们回顾算力发展历史，第一个驱动力是技术驱动。晶体管的数量按摩尔定律增长，在晶体管数量不断增长的物质条件保证下，人们从并行体系结构的角度发展出提高算力的各种技术，指令级并行、数据并行、同构多核（多核CPU）、异构并行（CPU+DSA，DSA是特定领域的架构，将晶体管资源用于图形加速就是GPU，将资源用于深度学习算法就是NPU、TPU，将网络、存储和安全等原本由CPU处理的功能下移就是新出现的DPU）,在更大规模上的并行就是云计算中心和超算中心。另一个驱动力是应用驱动，目前10年是在ABC（AI、Bigdata、Cloud）应用的驱动下，算力需求急剧增长。

存储如何匹配算力的高速增长？

传统解决之道是纵横系统，目标是将容量、性能、价格不同的存储器通过纵、横两个方面组成一个系统，使其总体看起来接近理想的存储器，即一个又大又快又便宜的存储器。纵向系统是以cache为代表的层次化存储系统，一些新的非易失存储器正不断地填充纵向的层次。横向系统的主要代表是并行，有RAID技术和分布式存储技术。

存储匹配算力的增长，目前也拓展出一些新的思路。一种是大内存，把数据尽可能多的放在内存里，IO就会大量节省。采用新的介质来做大内存，可以发挥非易失特性和价值便宜优势；采用CXL这样的新协议，可以适应大内存的发展；二是新构架，如近数据计算、存算一体化、DPU、IPU等。在近数据计算中，可计算存储（Computational  Storage）是一个比较代表性的概念；三是新软件，可以开发新的文件系统、新的数据库。下面举几个实例来说明新架构。

第一个例子是计算型存储。一般的固态盘不提供额外的处理能力，数据必须全部读出到内存，由于CPU去处理，这样，数据搬移量很大，存在着性能的天花板。如果在固态盘中进一步增强处理能力，就可以近数据处理盘内的数据，算完之后再把结果传输上去，数据传递量就会大大减少。目前已经有一些典型的应用，比如把数据库的一些计算下推到智能硬盘，或者利用盘内计算能力进行数据压缩，都起到了非常好的效果。

第二个例子是存算一体化，也叫存内计算。

忆阻器本身可以存储信息，加上电压以后，通过忆阻器电阻得到电流，如果把电流加起来，就会得到一个公式，这个公式和矩阵计算的公式一模一样。这样的结构即可以存也可以算，不需要搬运数据，可以大大提高深度学习的算法的速度。第三个例子是英伟达和英特尔推出的DPU和IPU，这是继CPU和GPU之后的第三颗主力芯片，可以合理地搭配计算、存储和网络资源，实现高效的体系架构。谢长生教授的团队也非常重视DPU技术，开发了基于DPU分布式内存池的系统，课题组的学生用这项技术在首届英伟达DPU黑客松比赛中赢取了冠军。

在存储匹配算力方面，软件的作用也非常关键，华中科技大学PDSL团队在新兴分布式文件系统研究方面开展了大量工作，所开发的新型文件系统FlashFS应用于济南超算中心的存储系统，获得了今年在德国举行的超级计算大会（ICS2022）10节点的IO500冠军。

三类智能模式

上述技术都是在图灵机模式下、也就是在计算智能模式下实现的。

还有两类智能模式：类脑模式和拟物模式，类脑是模拟大脑，拟物模式是量子计算、光计算，与传统存储系统完全不一样。这些内容有机会以后再做介绍。

总结

回顾一下，谢长生教授此次演讲中，重点介绍了四大内容：一是信息空间由物理空间和思维空间映射而得到，他提出的这个观点颇具新意；二是信息空间有两大奇点：数据和图灵机；三是信息数字化转型和持续发展是必然规律，数据规模也将必然迅猛增长，图灵机理论能力极为强大，图灵框架下的计算机实际能力取决于算力的增长；四是从介质的角度介绍了存储如何匹配数据量的迅猛增长，又从结构的角度介绍了存储如何匹配算力的迅猛增长。听后很有收获也很受启迪。

【如果需要回看谢长生教授此次视频演讲报告，请关注DOIT官网或公众号】