7

英伟达A800显卡从7万飙到10万,需求倒爷满天飞

 1 year ago
source link: https://awtmt.com/articles/3691536
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

英伟达A800显卡从7万飙到10万,需求倒爷满天飞

芯世相 发表于 2023年06月20日 06:38
摘要:“显卡荒”烧至服务器,真火还是虚火?

从挖矿时代来到AI时代,GPU的算力又有了用武之地。国内外云厂商们的算力储备竞赛正打得如火如荼……

字节已向英伟达采购了10万块A100与H800加速卡,超10亿美元(人民币超70亿元),仅字节一家今年的采购量就已接近英伟达去年在中国销售的商用GPU总销售额,另一家大型企业的订单金额也至少超过了10亿元人民币。

已使用了约2.5万个英伟达GPU的OpenAI表示GPU还很缺。每1亿活跃用户ChatGPT就需要13.5 EPLOPS的算力,约6.9万台NVIDIA DGX A100 80G服务器支撑,而目前全球的算力也只能支撑1亿日均上线人数,随着需求的增加未来预计还会增加。

在这些高端GPU的现货流通市场,就算是半个外行看到机会也跃跃欲试,满眼是“金砖”。

原本7.4万左右一枚的A800,现在涨到8.5万元以上,高配版则涨到10万元左右。4月底,市面上8卡A800模组的期货报价还在90万,交期2周,如今报价来到了100万以上,交期延长到7-8周。5月,A800甚至被炒至10万元一块。

“观望者交期更久,价格更贵。”  缺单卡的去买模组,买不到模组的后来都买了整机服务器。

从GPU单卡到模组再到AI服务器,涨价疯狂,缺货严重,货期越来越长,市场上需求真的如这般高涨吗?英伟达的GPU为什么会这么缺?此外,全新正品无法保障货期,二手市场、灰色渠道,定金交了就不退,围绕AI服务器的乱象正在上演……

01 英伟达GPU市场乱象

“一口气就要1000张、3000张,根本供不过来,这里面需求到底是真还是假?”

“销路好吗?我有路子搞到货,但怕砸手里。”

5月,英伟达的GPU仍在缺货涨价。

有代理商透露,英伟达A100价格从去年12月开始上涨,截至今年4月上半月,其5个月价格累计涨幅达到37.5%;同期A800价格累计涨幅达20.0%。

交期从一个月延长到三个月或更长,部分新订单“可能要等到12月才能交付”。

一些在AI服务器有数量优势的厂商,在勒紧裤腰带使用GPU资源。微软内部陷入AI服务器硬件短缺的窘境,采取“配额供给”机制。6月在被删除的OpenAI  CEO Sam Altman 谈话纪要中提到,Open AI 也缺 GPU,GPU的短缺拖延了客户的许多短期计划。

站在人工智能浪潮上的“卖铲人”英伟达,如今几乎垄断了整个AI服务器芯片市场,成为最大赢家,不久前市值突破万亿,成为历史上第一家市值突破10000亿美元的芯片公司。

受到美国禁令影响,我国英伟达A100的现货直接被断供,国内可用于训练AI大模型的A100约有4万-5万个,供应相当吃紧,一些云服务厂商为给强力运算腾出资源,已严格限制内部使用。

而目前正常供应的A100阉割版——A800去年三季度才开始生产,加之新需求起势,面临供不应求,5月初,A800在国内已经涨到10万元一块。

一般来说,媒体报道说的高价A800、A100等,属于该系列中的顶配,即GPU 显存为80G,互连技术支持NVLink的版本。

市场上做GPU业务的朋友告诉我们,A800在现货市场的价格每天都在变,短期的汇率变动也会影响价格,“6月6日A800 PCle单卡报价8.5-8.8万,到6月9日最低报价可能就涨到8.6万了”。

随着紧缺和涨价行情愈演愈烈,出货、寻找GPU的参与者越来越多,GPU市场乱象由此开始:蜂拥而至的询价,走俏的期货市场与高额定金,以及二手渠道流出的大小“坑”……

最直接的感观是来自四面八方嘈杂的需求声,多位服务器整机、服务器GPU相关市场从业者反映,最近因为AI火爆的确很多人来询卡,问价格,但真正能成交的其实不多。

来找A800、A100这种单卡的,需求量少,看中价格,而需求量大的,一上来就要成百上千张,称是帮客户、朋友问,还有华强北贸易商出动,给人感觉都在套价格。

“一上来要这么多,哪供得上来?问他注重价格优势还是货期优势,就没有下文了。”“有的人几乎都没有货款,问完就没影了。”相对来说,企业自己采购的容易成交。

目前英伟达等企业级GPU的供应,有两种主要的流通渠道:一种是原厂-总代理-经销商-市场;另一种是原厂-OEM厂(服务器大厂)-经销商-市场。在现货市场流通的主要在经销、服务器方案或是二手市场。

这类企业级产品覆盖企业、学校和服务器方案商等下游客户。专注服务器业务的徐哥表示,来自阿里等企业的真实需求通常都是一笔大单,这些大客户都是优先找上一层的总代理或者服务器OEM处拿货,下一层体量小的经销商、服务器配件商很难接触到。也有媒体报道,云厂商人士称,字节、阿里等大公司主要是和英伟达原厂直接谈采购,代理商和二手市场难以满足他们的庞大需求。

现货市场真实需求不足,也不妨碍大家出来找货,现货被抢完,不得不预定期货,需要承受高额定金无法退回,以及可能遥遥无期的交期。

据了解,市面上A800单卡还有一定的现货,A100单卡几乎“绝迹”了,A800模组现货很少,也不得不选择期货。以一台8卡的A800模组为例,有卖家报价总价112万起,定金50%,货期7-8周,不保证准时到货(此前几天货期还是6周),且定金不退。而在4月底,另一位卖家的8卡A800模组,价格还在90万,定金30%-50%,交货周期2周。

一个多月的时间,可见一台8卡A800模组差价多出20多万,货期延长,定金也可能涨了。

一家自称是源头厂的卖家告诉我们,8卡模组的现货,要现货的买家已经排了5亿元的订单金额,现在只能等到货通知。

交定金,看似能提早排上队,但高风险并存。以8卡的A800模组为例,通常收50%的定金,一台顶配的80G NV A800模组100多万,定金至少50万,且一旦交了定金就不能退。网上有买家表示,今年三四月份订的10枚单卡,到现在还没拿到货。

不少卖家承诺的货期没有保障,基础价格高,定金比率也高,需要付出的真金白银就多了。如果没拿到货,就只能一直等,毕竟钱都交了。

如果你拥有一批A800、A100现货,在大家眼中那都不是普通的显卡,是金砖。

有人看到热度,想做GPU的生意但怕货砸手里,对于个别追逐利益的炒家来说,真实需求存疑,现货怕跌价砸手里,期货又怕拿不到货,甚至因为拿货时价格太高,得不偿失。

二手产品层出不穷,还有人专门高价回收二手AI 芯片,暂不说用在何处,这类GPU保修都是问题。

02 上游产能告急:先进制程不缺,到底卡在哪?

ChatGPT 火了之后,互联网企业、云厂商们更加广泛地布局AI大模型,争夺英伟达GPU的大算力,缺的不仅是A100、A800,更高端的H100、H800也一样。有人问,晶圆产能已经不缺了,为何GPU还会供不上来?

“每10年GPU性能增长1000倍”,“买的越多,省得越多”,黄氏定律 (Huang’s Law)要取代摩尔定律,虽然先进制程可以提高GPU的性能,但摩尔定律已经到头,而且服务器的用途,又区别于手机芯片对空间的苛刻要求。如果说先进制程是GPU的首选,先进封装则是锦上添花。

GPU用先进制程制造出来还不够,让封装体积小,功耗低,引脚少,实现芯片、芯片与封装基板之间更紧密的互连,是目前芯片制程限制下提高GPU性能的一大步。先进封装的四个魔法Bump、RDL、Wafer和TSV这四种技术,具备任意一种,就可以点亮新的封装技能。

dd59f51f-c85c-4ca6-a989-b4463425b4bf.png

英伟达的V100、A100、A800、H100等都采用台积电CoWoS先进封装技术,解决了高算力AI背景下芯片的“存算一体”问题。不过,台积电7nm晶圆代工产能的确不缺了,但这回缺货竟还是栽在了台积电身上。

首先,CoWoS先进封装核心技术只有台积电一家能做,没有台积电不行。

现在缺的先进封装wafer,其中的技术是台积电专利,英伟达只能找台积电做,先进制程和先进封装都被台积电牢牢把握住了。2012年,台积电推出了独门的CoWoS先进封装技术,从此有了从晶圆代工到终端封装的一条龙服务。CoWoS家族包含CoWoS-S与CoWoS-L/R等部分,对应高速运算应用的客户包含英伟达等多家一线大厂。另有InFO先进封装系列则由多数由苹果全部包下。

你说外包?技术含量低的流程可以,但核心技术没有台积电还是不行,其他封装厂只能喝汤。

近期为应对临时需求,台积电采用部分os(on substrate)委外转包的方法,但并不是CoWoS制程转外包,台积电仍是专注在最有价值的先进封装部分。

台积电等于从晶圆代工做到封装一条龙了,Google TPU、英伟达GPU及AMD MI300这些全数导入生成式AI的芯片大厂,都为台积电贡献了大量的AIGC订单,带动CoWoS扩产需求。 

其次,这类先进封装也吃对应封装产能,目前产能紧缺。

先进封装一面朝上游晶圆制程领域发展,即晶圆级封装,在更小封装面积上容纳更多引脚,另一面向下游模组领域拓展,发展系统级封装。近日@手机晶片达人透露,CoWoS制程分成前段晶圆制程的interposer,与后段封装的 die to die叠die,台积电CoWoS产能缺是缺在做65nm的Interposer。

e7b2abe2-bbd6-40b8-a4b7-b700038601dd.png

这里的interposer(中介层)采用Wafer(晶圆)技术,如台积电CoWoS封装技术方案是2.5D封装技术,把芯片封装到硅转接板(中介层),并使用硅转接板上的高密度布线进行互连,然后再安装在封装基板上。

因此GPU在先进封装过程中需要额外的晶圆,即CoWoS产能。外资野村证券预期,台积电CoWoS年化产能将从2022年底7-8万片晶圆,增至2023年底14-15万片晶圆,随产能持续扩充,预估2024年底将挑战20万片产能。

填补晶圆级封装产能的缺口,成了当务之急。而且在Wafer技术不断发展下,Wafer面积呈逐渐增大的趋势,相比于InFO,针对高端市场的CoWoS,连线数量和封装尺寸都比较大。根据@手机晶片达人,65nm interposer 需求比top die (H100) 多1.4倍。

台积电先进CoWoS封装产能已经严重供不应求,去年起台积电CoWoS需求几乎是双倍成长,明年需求持续强劲。先进封装只有台积电的台湾厂能做,台积电正在各厂直接进行调配、扩充,加快先进封装制程进度。

03 “显卡荒”烧至服务器 真火还是虚火?

对于真正有需求的买家来说,用这么高端的显卡本质上是用在AI服务器,要么是缺卡,要么是缺模组,要么是缺整机。但论真实需求,“金砖”其实不如服务器。

做AI 的GPU缺涨,搭载服务器跟着涨价,早在4月就有报道称,浪潮将把AI服务器价格提高约20%,这是在英伟达终止向中国供应其顶级A100和H100芯片后做出的决定。后续有消息人士证实,上涨幅度没有具体说明,另外有消息人士称,服务器供应商只是提高了英伟达AI服务器的价格,其他服务器产品的价格没有变化。

太平洋证券数据显示,2022年中国AI服务器市场排名前8的服务器耗材占比达92%,浪潮以37%位居榜首。浪潮的财务披露显示,英伟达一直是其主要的芯片供应商。2019年,英特尔和英伟达是浪潮的前两大芯片供应商。

GPU单卡相当于服务器的零部件,单卡需求更注重价格,服务器要用到多卡GPU模组,最多的8卡,就算是PCle版本的服务器目前也要80万左右,NV的则是百万级别。

目前A800期货整机价格为120多万,现货较少,据某知名计算服务商的一位销售人士介绍,其A800的整机现货价格为168万,定金50%,“7月底有35台,25台已被预定”。即便是企业用,这个价格也不算便宜。而且据市场消息,A800整机的正常货期已经排到了10月底,甚至很多卖家直接报到24周,货期接近6个月。

在一些做服务器整机业务的朋友眼中,GPU再火爆,也不如服务器更靠近真实需求,更好做生意。徐哥表示,现在专注服务器,对单卡的兴趣不大了,卖服务器都是给客户发配置再报价,卡的话比较麻烦,还要看接口等等是否适配……总之,服务器相对卡来说真实的成交更多,成交率高。而卡只是询价的多,成交量太少,只有大公司要的量多。“要的多的几乎都是整机要的,量少的都是卡。”

在广泛的客户需求中,也并非所有AI服务器一上来就是顶配,一上来就有大量的需求。无论是A800 PCIE 服务器、NVlinvk服务器,还是H800 HGX服务器等等,企业都是根据不同的需求去选择配置。当然服务器的价格也会更透明,多了比价的机会。

GPU、硬盘等都是服务器的配件之一,如今AI带火了相关服务器,A800等高端GPU成本占比高,供应紧缺,在整机中,它的价格敏感度也排在前列。

单单GPU的缺货限制AI服务器的正常供应,在市场上看似火爆,却夹杂着更多的虚假需求。

这波GPU热,让人联想起倒爷们狂炒额温枪生意的2020年,当时朋友圈的裂变效应,导致市场上多了比真实需求放大无数倍的虚假需求。结果供应紧缺,现货价比期货高太多,货期没有保障,卖家违约成本低,有倒爷靠“定金”大赚特赚。

芯片极度短缺的日子已经告一段落,高端GPU产能虽然一时半会供不上来,但对应的企业级需求壁垒较高,要求正规技术支持和售后服务,加上需求量的猛增,都给大家提出了更高的要求,没有长期耕耘和扎实功底,仅靠投机取巧的手段,很难在风口上分得一杯羹。

本文作者:Silvia,来源: 芯世相,原文标题:《英伟达A800显卡从7万飙到10万,需求倒爷满天飞》

风险提示及免责条款
市场有风险,投资需谨慎。本文不构成个人投资建议,也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资,责任自负。

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK