3

算力成为电力,还要多远

 2 years ago
source link: https://www.lieyunwang.com/archives/484047
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client
算力成为电力,还要多远
阅读时间大约10分钟以上(4993字)

7小时前 算力成为电力,还要多远

来源:壹图网
不远,但不简单。

本文来自合作媒体:远川科技评论(ID:kechuangych),作者:刘芮,编辑:李墨天。猎云网经授权发布。

1846年1月,料峭寒风中,一行长短不一的电码,从纽约发出。

130公里开外,费城的交易员收到了这行代表着股价信息的电报,紧接着熟练地按下操作键,整个用时不到十秒,相比同行,快了整整半个小时。

时间就是生命,资本市场更是如此,哪怕华尔街巨们需要为此付出10个单词收费25美分的巨额成本。凭借着时间带来的巨额差价空间,华尔街巨头们赚得盆满钵满,并自此一举确立了华尔街作为全球资本市场中心的地位。

不只是资本市场的快速跃进,依托电力基础,美国的重工业开始替代轻工业,成为时代发展的主旋律,电气、化学、石油等新兴工业部门站在电力的肩膀之上诞生。

一切都在明明白白昭示着一件事——电力,即生产力。

坐在轰轰烈烈的电力工业化车轮之上,五十年后,美国正式取代英国登顶全球*,世界的格局变化,也自此埋下清晰地注脚。

然而,当两百年时间过去,新的时代之问产生了,谁将接棒电力,成为新的生产力?

答案已经呼之欲出。

先看数据,根据国际权威机构IDC发布的《2019—2020全球计算力指数评估报告》:全球范围内,算力指数平均每提高1个点,数字经济和GDP将分别增长3.3‰和1.8‰。信通院数据则测算,2020年我国算力规模为2亿元,直接带动的经济总产出为1.7万亿,间接带动6.3万亿,换算来看,每在算力市场投入1元,将带动大约4元的经济产出。

大处着眼,全球算力规模前20的国家中,有17个,都是全球前20的超级经济体。

中观来看,依托于算力的大发展,alpha go打败人类,摘取围棋的桂冠;一个超级APP中每天播出十亿条视频成为可能;基因测序、天文测算、蛋白质分析进入新的发展阶段;半导体、消费电子、互联网、元宇宙,一个又一个产业凭借着算力进入繁荣井喷期。

数字经济时代,算力就是生产力,已经毋庸置疑。

不过,算力成为生产力的过程,并没有这么简单。

01 算力距离生产力,还有多远

事实上,距离华尔街巨头使用电报传输讯息五十年后,电力才真正得以普及。五十年中,随着交流电技术的成熟,电力传输过程中的高损耗问题得以解决,便宜、便捷、随时可用且好用的电力这才顺着交流电网进入寻常百姓家。

算力同理。算力距离生产力还有多远的根本,在于算力是否像电力一样,可以做到随取随用且好用?

目前来看,答案是否定的。

背后的原因主要有三:

*层原因来自资源的分布不均。

作为算力的主要承载,数据中心的成本一般可以拆分为两部分,建设以及运营。建设成本主要是土建、服务器采购等固定成本;一般来说,西部由于人力成本、土地成本的低廉,在建设成本端,较东部地区具备较大优势。

运营成本,则可以拆分为运维费、管理费用、电费等,运维以及管理费用一般仅占运营成本的两成;而电费则可以占据运营成本的五成,甚至更多。

但电费同样存在着严重的东西差异。近几年来,在西部,火电发达的内蒙古,仅需0.5元,风电光伏发达的新疆不到0.4元,水电发达的四川,川藏交界处的电价更是可以低至0.2元。随着经济的高速发展,大部分东部地区,工业电价已经在0.8-0.9元每度上下浮动,用电荒与高电价之下,部分东部地区甚至一度把数据中心作为高能耗产业而限制其发展。

也是因此,优质的算力资源呈现出了在西部的区域性集中。

*层原因则来自供需的不平衡。

与西部具备优质资源形成鲜明对比,全国80%的算力需求都集中在东部地区。这就造成了一个问题:西部空有资源,缺乏需求;而东部需求爆炸,但缺乏优质普惠的算力资源。

为了对接东部的需求与西部的算力,今年2月以来,国家发展改革委、中央网信办、工业和信息化部、国家能源局联合印发文件,在全国八大地区建设算力枢纽节点,并规划了十大国家数据中心集群,促进西部算力支持东部数据运算,东数西算工程正式开启。

不过,不是数据中心建好,就万事大吉。海量数据从东部传送至西部,计算结果再从西部转回东部,中间首先需要做好应用与算力之间的精准连接;其次,对于分散各处、横跨中国的零散算力,还需要通过在架构、网络层面做好统一协调,将整个算力作为一个整体对外提供服务,算网连接算力,解决算力分配不均的必要环节。

第三层原因则在于算力类型的千差万别。

虽然都是算力,但算力来源上,复杂的任务,需要更高的CPU算力,自动驾驶、数据分析需要更简单高效的GPU算力;算力应用上,互联网、制造、科研、农业、天文、金融,不同行业需要不同的算力。互联网行业需要时常应对双十一等活动的高并发,制造需要极度的稳定;农业需要更低的成本;金融需要超高的安全性……这中间的根本问题在于,面对不同的算力与需求,要如何同时满足?

总结来说,只有做好了算力与应用的连接适配,让算力加速应用的运行,算力才能真正产生价值,成为真正的生产力。

02 方向:算力将去往何方

一个不为人知的故事是,在电力发展的初期阶段,如今随处可见的灯泡其实是一个罕见商品。但很快,聪明的工厂主们发现了一件事,用灯泡照明,那么所有生产力的劳动时间将会被极大提高,夜间劳作,解放生产力,也就成为了可能。

同时,也正是随着灯泡这一超级应用出现,电力开始在全球范围内风靡,带动了产业乃至生产模式的巨大变革。

正如T型车之于石油,电灯之于电力,算力普及成为生产力的另一个前提,是超级应用的出现。

那么对于算力来说,超级应用究竟是什么?业内的一个共识是:科学计算(理化生、气象天文等)、工程计算(CAD、EDA等)、智能计算(深度学习、自动驾驶等),正是算力成为生产力的超级应用。

比如疫情期间,一个名叫Folding@home的蛋白质动力学模拟项目,积累的算力一度突破1 exaflops(每秒100亿亿次浮点运算),并成功完成了新冠病毒S蛋白的*张结构图。自动驾驶领域,原生的Robotaxi算法需要的算力更是高达数百乃至上千T,对算力的需求和高性能硬件的高成本,已然成为自动驾驶落地阶段*的掣肘。

不难发现,这些超级应用,对算力的需求,并不只是简单的服务器部署就能解决的,而是需要同时解决高密计算+人工智能+不同领域的专业知识的不同需求。

落到对算力本身的需求上,就需要能够同时做到巨量计算、多元计算以及专用计算。

所谓巨量计算,主要应对的是现如今机器学习领域最为流行的大模型趋势。

最典型的应用在于,OpenAI发布的GPT-3模型,其所拥有的参数高达1750亿,使用的*数据集在处理前容量可以达到45TB,训练过程需要355个GPU年的算力(一块GPU运行355年的算力)。但很显然,并不可能真的只用一块显卡跑355年,为了OpenAI的训练,微软直接构建了一个包含一万块GPU的分布式集群,其中单次的训练费用可以高达460万美元。

不过,不是所有企业都像微软财大气粗,可以一掷千金买下一万块显卡,并且具备长期的巨量运算需求,因此借助于云计算、智算中心,就成了一个明确的行业趋势。

多元计算也很好理解,在不同业务类型当中,对于算法、模型以及芯片、计算系统的需求其实不尽相同,这就需要算力本身具备多元计算能力。

气象预测、蛋白质结构模拟领域,需要更高的精度,否则就是一次极端天气预测的失误,人类自我认知的偏差。电商领域,典型特征是计算量大、规则多,但计算本身相对简单,属于典型的数据密集型计算。Alpha go 、人脸识别等典型的AI训练,则对精度要求不高,但需要大量的数据投喂,最终做到以最快的速度*的成本实现规模化部署。金融领域,则不仅需要快速,更需要*的安全。

可以说,多元算力支撑,是促进算力在千行百业落地开花的根本保证。

专用计算同理,理论上,一块CPU可以解决大部分计算问题,但在现实中,针对复杂运算,需要更多的CPU,出于成本、效率等等原因,自动驾驶,我们选择通用的GPU芯片,谷歌训练alpha GO时会选择自己的TPU芯片,不同的计算,需要专门的算力。

就比如,在科学领域,算力经常被用于基因测序以及蛋白质结构模拟,这也是突破人类对自我认知的*步。一个最基础的生物学常识是,氨基酸构成多肽,多肽不同的空间结构形成蛋白质;也就是说解密蛋白质,需要对其3D结构进行还原,如果以枚举法测算蛋白质结构,那么将消耗10的300次幂的搜索空间。过去五十多年,我们仅解析了17%的人类蛋白质。

但是基于专用算力的加持,算力系统的处理器、内存带宽、网络、运算方式、系统 I/O、存储被全面升级,如今AlphaFold2算法已经可以对出98.5%的人类蛋白质结构进行预测,并具备六成的可信度。

也就是说,只有服务好专用的计算需求,才能做好真正的落地,解决不同场景中的实际问题。

当然,巨量、多元、专用,挑出任何一个,看似都不是什么大问题,但对于现实业务来说,这三个要求,往往不是一个三选一,而是我都要。

03 解法:全国一体化算力服务平台的长路

如何做好需求与算力的连接,同时满足巨量、多元、专用的算力需求,让算力突破成为新时代的生产力?

作为算力服务赛道领军企业,曙光智算给出的参考答案是,将过去多年建设中留下的宝贵算力资源,用高速网络统筹连接;通过统一的算网中枢,智能判断不同任务需要哪些不同的算力,为无论身处任何位置、任何行业的用户,提供最合适的资源;最后,根据科学计算、工程计算、智能计算等不同的需求,提供多元、巨量且专用的服务。

将这一套组合拳,拆解来看:

针对算力分配不均、供需不平衡这两大门槛。曙光智算推出了“全国一体化算力服务平台”,*的特点就是在于具备一体化的架构,可以将不同资源池、不同地域的计算资源汇聚,通过计算服务总线,满足不同用户的不同需求。

翻译一下,就是搭建了一张电网一样的“算网”。从前你在东部用数据中心,那么哪怕东部电价也贵、地价也贵,你也得把数据中心盖在东部,类似在哪里用电,就在旁边盖电厂。

现在,有了“全国一体化算力服务平台”,东部要用算力,但机房其实就盖在低成本的西部。或者更复杂一点的,需要及时反馈的算力放在东部,不着急取用的算力放在西部。整体的算网结构,就像一条特高压线路+错综复杂的电网,把西部源源不断的优质电力,输送到东部。

解决了连接问题后,如何让更好的服务超级应用,同样是一门学问。

针对不同需求算力的千差万别,曙光智算选择将不同算力所需的不同芯片、服务器、软件架构全部隐去,以API接口的形式,将其包装成一个打开即用的产品,让用户零门槛的享受算力、算网、算能服务。正如同我们并不需要知道电力如何在电网中流转,以及中间经历过多少次变频变压,插上插头就能随时用电。

当然,做好产品封装只是*步,毕竟只有产品不一定能解决所有问题。就像给一个普通人一把厨神专用厨具,也做不出满汉全席。因此做好算力服务网络,还需要做好产品以及相关的服务。

“全国一体化算力服务平台”的思路是,结合上下游一同发力,为客户提供包含技术培训、营销支持等等一系列的解决方向。相当于为客户用电网通好了电,还同时附送好了插头,以及使用说明书,提供全流程服务。

但这就够了吗?显然不是。给了用户说明书,也依然会出现家里突然跳闸、短路,再或者家里有大功率用电需求需要电路改造,这怎么办?

应对这一层面的需求,曙光智算可以提供标准化运营、随时响应的一站式服务还有统一的平台,相当于家里用电出了任何问题,打个电话,供电局就有专门的电工上门服务,提供高质量售后。

基于“全国一体化算力服务平台”低门槛、产品化的算力服务,越来越多的技术与应用突破逐渐诞生:

“全国一体化算力服务平台”自规划到上线以来,短短一年时间里,平台的作业提交量已经突破3000万,用户数量突破10万个。

以时下热门的测序技术为例,随着全球基因组数据以指数级别飞速增长,全国一体化算力服务平台通过为生命科学领域研究提供全栈算力及云存储基础设施解决方案,以及兼具弹性及个性化的计算、网络、存储等资源,与高性能、易扩展的数据计算、存储与网络设施,越来越多的企业与科研机构,得以摆脱建设、维护、升级算力中心的烦恼,将精力放在主营业务以及科研之上,卸掉包袱全力奔跑,AI for Science成为课程,人类解密自身得到了最基础的算力支撑。

除此之外,通过“全国一体化算力服务平台”提供的对计算、存储、文件传输等资源适配定制以及原生的底层资源、市场化的运营机制、开放的生态体系以及融合多样的算力供给,菲沙基因纠正了生物学领域一直以来认为黄花菜含有秋水仙碱的误判;安徽省得以在汛期内也能为用户精准气象监测预报;复旦大学类脑科学与技术研究院完成了860亿神经元类脑计算,上海交大宇宙学团队则实现了模拟和再现宇宙……

当然,可能也有人会问,为什么会是曙光智算?

答案也很简单,因为曙光智算,背后站着的,是来自曙光乃至整个中科院体系这几十年来对算力的探索,以及对应用落地的经验。

当越来越多的企业站在全国一体化算力服务平台的肩膀之上,算力成为生产力的进程,也被按下了加速键。

降低门槛、打造超级应用之后,算力的发展将走向何方?

电力的发展,或许同样是一个可以借鉴的路径。

我们会发现,在当年,电力从发现到普及,其实历经了足足百年的时光。它的发现往往只是千里之行的*步,无论是技术路线的选择,超级应用的培育,新旧势力的博弈,新事物的拨云见月,是一个漫长又曲折的过程。

但在此之后,电灯的出现,带来了人们的生产力的提升;电话的出现,改变了千年来的通信模式;电机的出现,再次将人类解放,机械成为主要的生产力来源;紧接着,电视、电脑、手机、VR、机器人,越来越多的新技术、新产品在电的基础之上涌现。

算力也是一样,即便我们深知目的地所在,但在这个过程中,也会有无数像巨量运算、多元计算等等问题跳出来拷问我们:这条路能做好吗?

但与此同时,随着算网的搭建,我们会看到,越来越多的东部算力需求得以缓解;贵州、四川、内蒙古,越来越多的西部地区*秀的资源,在算力的疏导下得以发挥更高的效用。经济的发展,新兴职业的诞生,都随着算网的搭建成为现实。

算力的爆发,则带来了越来越多的行业开始复制互联网、人工智能的奇迹;微观到基因的排列组合,蛋白质的空间结构;宏观到宇宙的组成,天文的预测,那些从前不敢想,做不到的事情,都因为算力而变得可想、可及,变革着我们最日常的生活,与*层的认知。

回到一开始的问题,算力距离生产力还有多远?只要一直在路上,路就不远。


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK