3

全球科技行业两年裁员40万,LLM博士却拿620万年薪offer?

 11 months ago
source link: https://www.51cto.com/article/769767.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

全球科技行业两年裁员40万,LLM博士却拿620万年薪offer?

作者:新智元 2023-10-13 13:22:21
两年内全球科技行业40万人被裁,2023大厂求职继续爆冷。然而这位UC伯克利博士却祭出求职经,LLM博士年薪620万起步。

国外的科技行业工作者,日子也并不好过。

在2022和2023年,全球的科技公司总共裁掉了超过40万人。

5179cb025e332a5a1c761748983aa29d0ce5bb.png

裁员的公司几乎囊括了科技行业中的各个赛道。

57ff21d691c8290e884153b24ab636c23c04d7.png

剩下的工作岗位,竞争越来越激烈。找一份技术工作,仍然是一场噩梦。

科技行业求职:一团糟

花费数小时修改简历,再奔赴几十场面试,招聘会成为了一场饥饿游戏。

如今在科技行业找工作,真心没那么容易。

在过去的一年里,这个曾经永不沉没的行业,迎来了一次大清算。

根据追踪科技行业裁员情况的网站Layoffs.fyi报道,2022年和2023年,全球科技公司裁员已经超过40万。

e17be7e80476e3ce0dc875fcf37364b3f89a96.jpg

在裁员一年后,很多求职者仍然面临着严峻的就业形式。在这个曾经意味着高薪、丰厚福利的有保障的行业里,他们必须奋力厮杀,去争夺变得更少的岗位。

b1c94dd90c31b745f1267190ac1935c69a737b.png

在线就业市场ZipRecruiter的首席经济学家Julia Pollak表示,科技就业市场目前还没有显出任何好转的迹象。

在新冠疫情发生以前,以及疫情期间,信息行业一直都在保持增速。

然而,在过去一年里,整个行业的工作岗位却减少了2.5%。

这也就意味着,更多的人会在同样的岗位上待更长的时间,晋升的机会也被扼杀了。

当然,在传统科技行业之外,政府和医疗保健领域仍然需要技术人员,只不过,这里的薪水不会太高。

Meta谷歌亚马逊,裁员数万

最近几个月,Meta、谷歌和亚马逊等大型科技公司,裁掉了数万人。许多公司也随之冻结了招聘。

b6f5fab4024b0c508ad545851a4ac3e5b604b2.png

谷歌,Meta,X(Twitter)3家公司从去年底到今年裁员就接近4万人

Meta最近重新雇用了数十名去年11月裁掉的员工,然而,与去年秋天裁掉的1.1万人相比,这只不过是杯水车薪。

而且重新招聘回去的人员,也要接受不同程度的调岗调薪。

今年,Meta又在专注于元宇宙的Reality Labs部门裁掉了1.2万人。

在疫情严重的2020年,Meta曾经大肆招人,以至于招聘的人数远远超过了所能承受的范围,而Meta的员工们正在为此付出代价。

高通再启大裁员,超1200人被裁

而且,裁员大潮依然还在科技行业全行业内持续。

就在10月12日,芯片巨头高通宣布计划裁员1258人。高通在9月时共有约51000名员工,这次裁员的比例约为2.5%。

在这之中,高通的工程团队将裁员750多人,影响范围包括从高管到技术人员等多个级别。

与2022年的支出相比,高通在今年已将成本基础削减了约5%。而裁员,便是行之有效的措施。

每年,高通都会有数十亿美元的营收。考虑到全球智能手机销量的下降,业内预计高通今年的营收可能会缩减约19%。

「男性」求职者,蜂拥到「女性」招聘会

科技市场的长期低迷,正在滋长着一股焦虑。

9月的Grace Hopper大会,原本是为女性和non-binary的科技工作者举办的年度会议及职业招聘会,却有一群看起来是男性的求职者蜂拥而至。

b568d698457c8b3d9878909067ed3861449c68.png

可见计算机科学专业的学生在完成学业、准备找工作时,是有多么焦虑。

Kari Groszewska是范德比尔特大学计算机科学和经济学专业的大四学生,她也参加了这次Hopper会议。

当她提前15分钟到达博览会大厅,却发现与等着和公司交谈的求职队伍已经排了几个小时。

跟前一年相比,今年的形势明显非常严峻。这让Groszewska感到非常沮丧,因为她明年毕业,但现在还没找到工作。

为了求职,Groszewska在学习计算机专业期间,做了一切「正确的事情」,包括自己做项目、争取实习、参加俱乐部。

然而,即将进入的就业市场,却显出了无比残酷的一面。

失业者压力重重

而其他失业和无业者,都已感受到了巨大的压力。

Nia McSwain学的是酒店专业,但她想转行进入科技行业,成为项目经历。

在过去一个月里,她从早到晚地投递简历,大概每天要申请40个岗位。

全栈工程师Philip John Basile在5月离职了,从8月开始,他一直在找新工作。

过去一个月里,他平均每天都有3场面试,似乎有几次已经接近被录取,却始终没有收到offer。

Basile主要通过LinkedIn和Discord来建立关系网。他从前认识的许多HR都失业了,所以他不得不努力建立新的关系。

Basile还在利用空闲时间,研究现在那些火爆的AI工具,不断调整自己的简历——从10页减到2页,然后又增到24页。

现在工作机会,然而找工作的人更多。所以,Basile希望尽量做到独一无二。

用他的话说,就是「如果要和一千个人竞争,你就必须在这一千个人中脱颖而出。」

裁员给在美国的外国务工者也带来了很大压力,在失去工作后,他们需要尽快找到下一份工作,才能留在美国。不过数据显示,许多人都能在下岗后找到新工作。

而在紧缺的市场中,劳动力的供应是充足的——截至7月31日,今年美国的H-1B签证申请已经提交了约78万份。

48f500172979d60e6d8974416930c880c7e55a.png

这一数字比前一年增长了60%以上,以至于让相关机构不得不怀疑是不是有人在重复提交申请。

要知道,每年H-1B的发放上限,是85000个。

薪资中位数7.9万刀,但小白免谈

而职场小白想找到工作,也变得更难了。

劳动力市场分析公司Lightcast的高级经济学家Rachel Sederberg发现,招聘入门级员工的职位明显减少,现在各大公司都倾向于招有经验的员工。

这也导致了美国科技行业招聘岗位的薪资中位数从一年前的6.1万美元,跃升至今年秋季的7.9万美元。

Sederberg表示,很多公司在调整战略,重组规模,然后重新招聘。现在,很多公司在招不同背景的人才。

有趣的是,ChatGPT也起到了一些作用:求职者在用类似的聊天机器人写简历和求职信,这样就能在更短时间内申请更多的工作。

然而,这也给招聘人员带来了一些困扰,他们需要更仔细地筛选。

产品经理Kimi Kaneshina失业后,现在每天朝九晚五的时间都花在了求职上,之后还会上传记录自己求职过程的TikTok视频。

她从7月就开始求职,在9月份投递了更多的简历,然而三个月过去了,她还是没能找到新工作。

尽管如此,这种转变也给科技界带来了积极的变化。

人们开始在LinkedIn和 TikTok上公开发布自己被裁员的消息,相互建立联系,包括去联系理想公司的员工。

由于被裁的人实在太多,谈论裁员也变得更容易接受了。

Kaneshina说:有HR告诉我,自己面试的求职者中,有一半都被裁员了。

现在,即使说出这种话,也可以不带任何耻辱感了。

c3e83a5154efbef3403577b5a2890ef54dd7b6.png

AI研究工作市场,博士年薪620万

虽然就业市场哀鸿遍野,但有技术的大牛依然不愁高薪的工作,甚至还能在各大厂和巨型独角兽之间「挑挑拣拣」。

最近,一名UC伯克利的博士生Nathan Lambert,也分享了现在AI就业市场的乱象,以及自己找工作的经验。

c59dbe4339cc386790f741726352b61a9ea583.png

市场上有很多工作,但是找到一个让人快乐的公司和以前一样难。

Nathan Lambert最近刚刚离职Huggingface,并组建了RLHF团队。

他表示,人工智能就业市场不稳定最主要的「催化剂」,就是对生成式AI的投资。

其实,生成式AI和大模型领域的工作机会非常多。许多想要招聘的人都在为,如何招到自己想要的人而倍感压力。

很多大公司想要招在LLM领域的人,但市场却没有足够的技术人才。

研究人员一举一动都在无声地向我们证实,AI公司需要研究人员来完成从概念到实验,再到产品的转变。

正是这些人,才得以让模型训练、产品决策与公司发展策略保持一致。

接下来,就要谈谈研究人员获得的报酬了。

大多数人,即除了站在学术顶端之外的所有人(他们的报酬仍然很高,只是没有那么高),都在可预见的未来获得大部分有保障的巨额报酬的机会,与「即使我的初创公司失败了,我也至少能赚几百万」的想法中做出权衡。

在这个人工智能主导市场中,每个人都希望赚大钱。

这种「追求淘金热」的想法,导致人们意向的工作机构发生了很大的变化。许多公司的人员流动率,以及自然减员率都很高,以至于每个人都感到不安。

这样情况已经不足为奇,大型科技公司裁员潮最为明显,但也不局限在这样的公司。

Nathan Lambert称,自己见过顶尖研究人员加入不同的公司,但在6个月内就离职了。

优秀博士能拿85万刀(约合620万人民币)

我们刚刚谈论的薪酬数字,是指OpenAI支付给顶级研究人员100万美元。

在ChatGPT发布之前,刚毕业的博士生最高能拿到50-60万美元的薪水。

而现在,最优秀的博士生能拿到85万美元(这是今年早些时候的一些数据)。只要在求职中愿意表达对生成式AI较为模糊的兴趣,其他人都能以这个薪资起步。

谷歌的招聘是该领域的一个很好的指标。

众所周知,谷歌DeepMind将所有项目分为三类:Gemini(即将要发布的大模型)、与Gemini相关的应用研究(6-12个月)、基础研究(超过12个月)

谷歌DeepMind的所有员工都负责前两类,其中大部分属于第一类。

在大厂Meta中,也有了另一种划分优先级的方式。

借用Llama团队中某人的话说,Meta GenAI团队中的每个人,都应该把大约70%的时间用在增量模型改进上,30%的时间花在长期基础工作上。

恰恰,这与作者的想法比较一致,但我们很可能会知道Meta正在哪些支柱领域(LLM、文本到图像、音频等)开展工作,而且他们会快速推动这些模型。

从结构上看,以「开放研究和科学」为优先级的公司极为罕见。即使有人以学术型研究科学家的身份加入,现实总是会将人们拉入商业需求中(尤其是在初创公司)。

在所有生成式AI投资中,最让作者感到兴奋的是,Transformer架构将比过去的大多数想法走得更远。

将一群兴趣相投、背景各异的顶尖人才聚集在一起,是确保我们挖掘Transformer最大潜力的绝佳方式。

学术界仍然举足轻重

在GenAI革命中,学术界仍将发挥重要作用。

比如,由UC伯克利、UCSD、CMU和MBZUAI等机构共建立的LMSYS,不仅训练出了红极一时的Vicuna模型,而且还制作了相关的推理和训练库,收集了大量模型比较数据,并设计了一个后来被广泛使用的基准测试等等。

所有这些工作本身都很有影响力,即便其中只有一部分发表了论文。

与此同时,像EluetherAI和LAION这样的研究组织也取得了相当可观的进展。

如果以arXiv论文的数量来衡量,RLHF研究的速度自8月份以来,已经有了明显的提高。

d17fbc803f6cdcbcf6a05365ceff6592ee2dcc.png

在职1年半,作者刚刚结束了在HuggingFace的工作。

他发现,在这里为自己的工作获得知名度,比做好工作更难。

以下是他本人在工作中总结的重要经验:

- 如果你不主动宣传和交流自己的研究,别人也不会这样做。然而人们不喜欢这样的现实。

- 开源发展非常快,因此需要聪明的领导者,以最大限度地发挥集体的力量。

- 开源ML还处于早期阶段。我们正在弄清楚做开源ML意味着什么,OSS将永远改变。

- 开源在多样性方面取得了成功。仅仅因为有人在尝试类似的东西并不意味着你应该停止。

- RLHF还未被充分开发。

248bac2406ae4688cc65827c0797200c38e917.png

对于HuggingFace这样的初创公司的对外媒体策略,他也是又爱又恨。这样的公司知道,如何帮助自己在公众舆论中成长,这一点是很重要。

Nathan Lambert知道这次工作变动即将来临,所以需要了解工作市场。他在博士毕业时写过一篇关于求职的文章,也颇受欢迎。

326461d281854fc0377350b43030c0480b385a.png

其中,关于建立人际关系网、主动出击、提高知名度和积极进取的价值观都适用。

这作者着所做的具体工作,主要围绕一个高度专业化和需求旺盛的AI领域,但目标更加明确——找到一个能让自己继续学习RLHF(科学和工程系统)的地方,而且这个地方足够开放,并可以继续进行播客。

他表示,自己不想成为任何创始人、创始工程师、大公司的齿轮等等。

在筛选公司名单时,作者pass掉了苹果、波士顿动力人工智能研究所、以及与许多初创公司等。

作者认为,即使是那些觉得与自己很有共鸣的公司,他也发现这些人都很难清楚地表达「我到底要做什么」。

今年上半年,作者刚刚为建立RLHF pipeline付出了巨大的努力,现在即将要重新开始,这并不令人兴奋。

不管怎么说,事实上,大多数人都不知道「你现在要做什么」,你仍然无法百分之百地选择自己的方向。

这样一来,选择其实就不多了(根据学术性从高到低排序):

Cohere for AI(现场面试后被拒绝)

入职后,他会加入一个小团队,负责强化学习方向。

公司特意组建了一个小团队,为想发表论文的Cohere工程师提供机会。团队中的每个人都很优秀,作为远程工作来说非常不错。

不过,考虑到在Hugging Face的经历,作者很难加入这样一个对公司的产品和发展不重要的团队。

艾伦人工智能研究所(AI2)(offer)

能拿到Offer,是作者没想到的。

艾伦AI研究所曾是介于谷歌大脑和学术研究小组之间的一个组织,现在则转向了工程学方向,发展大语言模型。

他们在咨询、工程、自主研究等方面表现得有些含糊,但对于发展NLP,则有着坚定的承诺。

后来作者意识到,他们需要有人来帮助理解RLHF。

Scale AI(口头offer)

这家公司正转向RLHF和训练后的研究领域,作为LLM训练公司的专业数据提供商,他们的业务正在大幅增长。

入职后,你可以做一些研究,在从事RLHF研究的人中可以获得最多的数据。有时,也可以帮客户做些集成,并建立实验室。

理论上,这是作者面试过的最令人兴奋的地方。但因为某种原因,他觉得与自己交谈过的人中,并没有谁引起自己的强烈共鸣。

有时候就是这样,并不是所有优秀的人都能在一个团队中共事。

Mosaic,现在的Databricks(offer)

就像每家初创公司一样,Mosaic希望让RLHF简单易用,发挥影响力。

这里团队输出非常稳定,并继续向公众发布一些模型,或者论文。

然而,作者担忧到,由于公司刚被收购,未来在开源上的动力可能不足。

Meta,Llama团队(现场面试后被拒)

在最先进的开源模型公司工作一段时间,大家都有这样的想法。

不过让Lambert为难的是,他不愿意加入大公司、大团队。

但如果关心开源技术,显然去Meta是一个很好的选择。

谷歌DeepMind(已撤回)

谷歌正在到处招聘RLHF的人。这里的资源和基础设施都无与伦比,但谷歌是Lambert接触过的最封闭的公司,你得费很大劲才能了解自己进去要做什么。

几个团队大多有自己的专长领域,正在研究如何改进该领域的工具。

作者接触过的两个团队,分别做的是多模态RLHF和LLM Agent。

但在他看来,这种模糊性会让谷歌的offer远不如像Llama团队那样吸引人。

Contextual AI(口头offer)

在Lambert接触过的许多初创工中,他们做事的方式都很合理、很亲民。

但在作者看来,建立一个有生命的企业,不仅仅是投掷收购的筛子,也需要推迟建立以客户为中心的企业文化。

Contextual为作者提供了一个不错的技术人员+科学传播者职位。

如果办公地在旧金山,通勤时间不长,倒是有可能会接受offer。

另外,作者从最初就没考虑过面试OpenAI,因为他们不缺RLHF专家。

轻量级面经

Nathan Lambert表示,自己经历的面试都非常轻松,更多的是研究聊天,一些编码测试。

如果想找一份LLM方面的工作,大部分问题都会与各种内部组件的功能相关。比如:

- 注意力在实现层面是如何工作的。(可以参考nanoGPT等资料)

- 多GPU训练的基础知识,估算VRAM使用量,通过超参数来减小模型的占用空间(例如量化)。

- 正则化工具,如批量归一化、权重衰减等。

除了技术之外,还需要根据公司的具体情况,阐述自己在加入之后能贡献些什么。

此外,很多公司都会查看简历上列出的GitHub仓库和HuggingFace工具,这可能比复杂的研究项目更容易谈论。


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK