运行 LM Studio 的电脑硬件配置

cmonkey · 2 小时 28 分钟前 · 192 次点击

7 条回复 • 2024-02-08 11:27:42 +08:00

kuhung 2 小时 26 分钟前

你这个预算怎么弄都能跑了，无论是大语言模型还是生图。要点就是显存够大。

kaichen 2 小时 0 分钟前

推理最重要的是有足够的显存可以把模型权重加载进来。

要么是搞个内存高一些的 mac ，要么是选个实惠一些的大显存显卡（去咸鱼淘二手）

7b 的 4bit 量化在 ~4G ，13b 的 4bit 在 ~8G ，34b 的 4bit 在 ~25GB ，70b 的 4bit 在 ~23GB

cmonkey 1 小时 54 分钟前

@kuhung 谢谢你
因为我对硬件基本完全不懂，所以到底能配置出一台是否可用的完全不知道
我看了一些知乎上的配置，因为没有特别说运行 ai model 的，所以来这里问问

cmonkey 1 小时 53 分钟前

@kaichen 好的，我看看，谢谢你

mythabc 1 小时 44 分钟前 via Android

一步到位 4090 。其他卡都是勉强跑起来，你会不断花时间在纠结这破卡是不是该换了。
不要只看 int4 的模型最低的显存占用，prompt token 上去以后显存占用会暴增，平方关系。

kaichen 1 小时 38 分钟前

@kaichen #2

上面 70b 写错了，4bit 在～ 40G 占用左右

cmonkey 1 小时 12 分钟前

@mythabc 奈何荷包不厚

Recommend