5
求教 4090 的稳定运行的硬件配置，可以跑的大模型配置？
source link: https://www.v2ex.com/t/966795
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
想求一个 4090 的配置单， 还有就是基于这个配置单，如何配置一个本地化运行的大模型呢？ 感觉有点无从下手啊，需要学习哪些？目前的目标是机器装起来，本地化大模型配置起来，自己稳定的运行一下。 不知道会不会像黑苹果那样认硬件认系统啥的，求教了，感谢大家。
3 条回复 • 2023-08-20 12:30:27 +08:00
 |
chesha1 44 分钟前 不会认硬件系统，大模型是一个 OS 上的应用程序的任务，当然不会对硬件有要求
深度学习任务，内存最好的显存的两倍或以上，CPU 没有要求，其实想省钱就缩一点，也是能跑的 如果你想保留未来的拓展性，最好选服务器平台支持多个 pcie 通道，因为单张 4090 也只能跑 llama-7b 这种参数最少的大模型，再往上显存就不够了 如果你是想用单张 4090 ，随便买个 4090 的游戏整机的配置都没问题，这种方案 tb 上一搜全都是，对着抄就行了 如果想用多张 4090 的服务器/工作站，可以看下 https://www.autodl.com/machine/list 或者上 tb 看 GPU 服务器的方案，当然 dell 这种大型服务器厂商也有方案的，就是会很贵 |
 |
jinsongzhao 33 分钟前 Mate 最近开源的 7B 模型，不训练只开发测试最低 10GB 显存，双志强 48 核 CPU 。它之上还有 13B, 70B 模型，所以说没有上限，完全看跑什么模型，大家都在优化降低模型需求，比如 4bit 可以让显存降到 8GB, 转换个格式，换其他引擎跑，还能不依赖 GPU,纯 CPU 跑。以上还只是不训练。
|
|
jinsongzhao 27 分钟前 @chesha1 原来老看到人提到的 8k 训练就里这里头 19w 的那个呀
|
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK