1

NVIDIA CMP 显卡能用来训练 AI 吗?

 1 year ago
source link: https://www.v2ex.com/t/934656
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

V2EX  ›  硬件

NVIDIA CMP 显卡能用来训练 AI 吗?

  Breakwa2333 · 5 小时 13 分钟前 · 630 次点击
就是 CMP 显卡很便宜,而且支持 CUDA ,特别是 TURING 架构的 CMP (核心阉割的比较少),但是为什么没有人用来训练 AI ?

如题
8 条回复    2023-04-23 11:33:32 +08:00
XiLingHost

XiLingHost      5 小时 9 分钟前

显存太小了
murmur

murmur      4 小时 59 分钟前

差钱可以买魔改的 2080ti o 22g
Breakwa2333

Breakwa2333      4 小时 58 分钟前

@XiLingHost 有些 GDDR6 的可以改显存(理论上和 2080TI 这种一样)
bearqq

bearqq      4 小时 55 分钟前

我一般用 3060 12g 训练,用 40hx 跑图
另外 40hx 跑图半精度速度巨慢。需要改代码,模型用半精度,运算用单精度,速度也是单精度的速度,相当于速度减半
理论上 40hx 训练是没问题的,8g 也基本够,训练时候计算也不是半精度
gam2046

gam2046      3 小时 54 分钟前

@Breakwa2333 #2 理论上能改显存和实际上有人改显存是两回事。如果你有能力自己动手,那当然还是牛的,不然找不到人帮你改。

真想玩,我觉得普通人就两个路子

1 、咬咬牙,直接上 4090 ,相对来说性价比算是不错了。小模型基本都能吃下来
2 、洋垃圾 P40 ,主打的就是一个便宜+大显存,虽然速度差了点意思,但是大显存可以让你跑更多的模型
luny

luny      2 小时 21 分钟前

动手力强的,可以看看 Tesla P4 这种算力卡,挺便宜,要解决散热问题
nightwitch

nightwitch      2 小时 15 分钟前 via Android

跑训练的基本都是生产力 /科研需求,这两个都对价格不敏感。 而且现在稍微跑个像样的模型基本都是四卡 or 八卡并联着跑,这种需求都是买现成的方案,自己组的话稳定性很难保证
qianxaingmoli

qianxaingmoli      2 小时 8 分钟前

RgSjZ22.png
p40 ≈ 3060 24g ,加个 3d 打印的暴力扇,加个温控调速,入门合适的

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK