4

开源ChatGPT要来了；软件2.0智能革命；GLM、Diffusion模型大加速

 1 year ago
source link: https://blog.csdn.net/OneFlow_Official/article/details/128963116
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

开源ChatGPT要来了；软件2.0智能革命；GLM、Diffusion模型大加速

aa728efdf8fa2edb0b633aa8a68b6da3.png

1. 2023年AI十大展望：GPT-4领衔大模型变革，谷歌拉响警报，训练数据告急

新年伊始，大模型的话题热度不减。ChatGPT展现的惊人能力将大模型研究和应用热度推向高潮，人们激烈讨论着这个高级“物种”的推出意味着什么。

本文作者Rob Toews发布了2023年AI发展的十大预测，整体来看，大部分预测都离不开“大模型”这个关键词，具体分析也有其道理。当然，其中的文生图、人形机器人等领域的发展也举足轻重。2023，让我们拭目以待。

链接：

https://mp.weixin.qq.com/s/E_v7k_VlbHA8of8smlqikQ

2. 机器之心的进化 / 理解AI驱动的软件2.0智能革命

本文将带你领略一次人工智能领域波澜壮阔的发展史，从关键人物推动的学术进展、算法和理念的涌现、公司和产品的进步、还有脑科学对神经网络的迭代影响，这四个维度来深刻理解“机器之心的进化”。先忘掉那些花里胡哨的图片生产应用，我们一起来学点接近AI本质的东西。

链接：

https://mp.weixin.qq.com/s/5s1hLaXnWVPSuElkGMhXxw

3. AGI的孤勇者，传奇工程师John Carmack：惊讶看不到如我这样的人

AGI是人工智能的圣杯，这位达拉斯最著名的科技奇才对AGI的追求就好比是百年难遇的登月行动。在这场针对AGI的角逐当中，参与方还有来自科学家、学者和大型科技公司的“群体思维（groupthink）”的独立竞争，他们也在积极寻求解决方案。

去年8月，Carmack宣布，他的AGI初创公司Keen Technologies在新一轮融资中从多个知名投资者手中筹集了2000万美元。2022年12月，卡马克辞去了Meta虚拟现实部门的领导职务，全身心投入AGI研发。

链接：

https://mp.weixin.qq.com/s/MMfWc6ss8w8QgnC_-cUnwg

4. OpenAI掌门人Sam Altman的成功学

如今，已成为OpenAI CEO的Sam Altman是全球范围内当之无愧的科技领军人物。在离任YC总裁的那一年，曾与无数创业者和技术人才交流过的Sam Altman发表了一篇博客，总结了他眼中获得成功所要具备的13个特质，如果你渴求成功，或者至少希望自己变得优秀，这篇博客对你的个人成长将有所启发。如果你恰好在职业生涯早期就看过，无疑是幸运的。

链接：

https://mp.weixin.qq.com/s/AHEbDPSCUEvRrdq9zn5YmQ

5. ChatGPT，和聪明地设计Infra

作者主要有四个观点：ChatGPT并不是黑科技，是持续开放科研的产物；ChatGPT是工程、产品的胜利；ChatGPT不会让人失业，反而会带来更多的机会；Infrastructure 会是这一场仗当中的赢家，但是要聪明地设计Infra。

链接：

https://mp.weixin.qq.com/s/oM0V0MymMbanJddzABYDDQ

6. Open Assistant：LAION发起开源ChatGPT项目

ChatGPT的效果惊人，但不开源。显然开源社区有人憋不住了。LAION（代表作是赫赫有名的数据集LAION-5B）的组织者Christoph Schuhmann与Yannic Kilcher（AI圈知名的YouTube大V）一通视频电话，就启动了项目，很快项目的Discord讨论组就进了很多人，无比活跃起来。最开始项目名称是open-chat-gpt，大约一周后改为Open Assistant。

链接：

https://hub.baai.ac.cn/view/22872

7. 国内开发者发起ChatRWKV项目，做开源ChatGPT

ChatRWKV 类似于 ChatGPT，但由RWKV（100% RNN）语言模型提供支持，这是目前唯一可以在质量和缩放方面与 Transformer 相媲美的 RNN，同时速度更快并节省 VRAM。

链接：

https://zhuanlan.zhihu.com/p/603840957

8. 通向AGI之路：大型语言模型（LLM）技术精要

ChatGPT出现后惊喜或惊醒了很多人。惊喜是因为没想到大型语言模型（Large Language Model）效果能好成这样；惊醒是顿悟到我们对LLM的认知及发展理念，距离世界最先进的想法，差得有点远。作者称，作为既惊喜又惊醒的那一批，也是典型的中国人，中国人善于自我反思，于是开始反思，而这篇文章正是反思的结果。

链接：

https://mp.weixin.qq.com/s/eMrv15yOO0oYQ-o-wiuSyw

9. Jeff Dean发推：谷歌年终总结「第三弹」，大力发展Jax

随着算法和硬件越来越复杂，以及运行规模越来越大，执行日常任务所需的软件的复杂性也在不断增加。

在这篇文章中，研究人员概述了过去一年整个谷歌在ML系统方面取得的众多进展，这些进展使谷歌能够支持复杂模型的服务和训练，同时减轻了终端用户的实施复杂性。同时，这篇文章还提到了谷歌如何利用ML本身来改进和设计下一代系统堆栈的研究。

链接：

https://mp.weixin.qq.com/s/TVMYYPK_Ct_dEROzrBnZvg

10. 和TensorFlow一样，英伟达CUDA的垄断格局将被打破？

谷歌早期在机器学习模型架构、训练、模型优化方面都具有很大优势，但现在却难以充分发挥这些优势。而在硬件方面，其他 AI 硬件公司很难削弱英伟达的统治地位。直到 PyTorch 2.0 和 OpenAI Triton 出现，机器学习模型的默认软件堆栈将不再是英伟达的闭源 CUDA。

链接：

https://mp.weixin.qq.com/s/dGpf6DOyaozMwpOtp8vS-g

11. OneFlow v0.9.0正式发布

本次更新包含 640 个 commit，完整更新列表请查看链接：https://github.com/Oneflow-Inc/oneflow/releases/tag/v0.9.0，欢迎下载体验新版本，期待你的反馈。OneFlow v0.9.0 主要包括9大新增亮点功能和优化。

链接：

https://mp.weixin.qq.com/s/8Vb9fIQs0vSiM5_0M3SaGg

12. GLM国产大模型训练加速：性能最高提升3倍，显存节省1/3，低成本上手

OneFlow近期将原始的 GLM 项目移植到了使用 OneFlow 后端进行训练的 One-GLM 项目。得益于 OneFlow 和 PyTorch 无缝兼容性，我们快速且平滑地移植了 GLM，并成功跑通了预训练任务（训练 GLM-large）。

此外，由于 OneFlow 原生支持 DeepSpeed 和 Apex 的很多功能和优化技术，用户不再需要这些插件就可训练 GLM 等大模型。更重要的是，针对当前 OneFlow 移植的 GLM 模型，在简单调优后就能在性能以及显存占用上有大幅提升。

链接：

https://mp.weixin.qq.com/s/dkTGXuJV38KuLb4_LmM20Q

13. A16Z：生成式AI平台，谁主沉浮？

不像许多热门的技术趋势在市场跟上其步伐前就被过度炒作了，生成式AI的热潮却伴随着极高的市场欢迎度以及真实的市场收益。如Stable Diffusion和ChatGPT的模型们正在创造用户增长的历史记录，一些应用在发布不到一年的时间里就实现了1亿美元的年营收。

对照表明，AI模型在某些任务上的表现优于人类好几个数量级。已有足够的早期数据表明范式转移正在发生。

链接：

https://mp.weixin.qq.com/s/bh5uw06IzTCO9jQBa-rlfQ

14. 35张图，直观理解Stable Diffusion

Stable Diffusion用途多样，是一款多功能模型。首先它可以根据文本生成图像(text2img)。上图是从文本输入到图像生成的示例。除此之外，我们还可以使用Stable Diffusion来替换、更改图像（这时我们需要同时输入文本和图像）。

本文介绍了Stable Diffusion的内部结构，了解内部结构可以让我们更好地理解Stable Diffusion的组成、各组成部分的交互方式、以及各种图像生成选项/参数的含义。

链接：

https://mp.weixin.qq.com/s/8C2RqYrHZTpFFzaHIbPhRw

15. “零”代码改动，静态编译让太乙Stable Diffusion推理速度翻倍

近期，OneFlow 团队为太乙 Stable Diffusion 适配了 OneFlow 后端，大大提升了推理性能，也可以做到一秒出图。不少开发者好奇OneFlow使用了哪些优化“秘笈”，后文将进行简要解读。

链接：

https://mp.weixin.qq.com/s/XaR1W8yKPYxN5PR1RPMepA

16. “一键”模型迁移，性能翻倍，多语言AltDiffusion推理速度超快

由于目前大部分团队主要是基于翻译 API + 英文 Stable Diffusion 模型进行开发，所以在使用中文独特的叙事和表达时，英文版模型就很难给出正确匹配的图片内容，这对部分国内用户来说不太方便。

为此，智源研究院出品了首个支持 9 种语言的 AltDiffusion。近期，OneFlow 团队为其适配了 OneFlow 后端，大大提升了推理性能，也可以做到一秒出图。

链接：

https://mp.weixin.qq.com/s/whJlFifyzcCAX5DqA7hA_A

17. Runway发布视频生成器GEN-1，结果比Stable Diffusion 1.5提升73.83%，比Text2Live提升88.24%

Runway成立于2018年，是一家AI视频编辑软件提供商，主要为设计师、艺术家和开发人员提供一系列的工具和平台，产品是帮助专业人士生成各种内容。其发布的GEN-1可通过将图像或文本提示符的组成和样式应用到源视频的结构上，实际地并始终如一地合成新视频，演示效果惊人。GEN-1目前仍处于内测阶段。

链接：

https://hub.baai.ac.cn/view/23978

其他人都在看


report

Recommend

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK