V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Breakwa2333
V2EX  ›  硬件

NVIDIA CMP 显卡能用来训练 AI 吗?

  •  
  •   Breakwa2333 · 2023-04-23 08:29:05 +08:00 · 2356 次点击
    这是一个创建于 616 天前的主题,其中的信息可能已经有所发展或是发生改变。
    就是 CMP 显卡很便宜,而且支持 CUDA ,特别是 TURING 架构的 CMP (核心阉割的比较少),但是为什么没有人用来训练 AI ?

    如题
    9 条回复    2023-04-24 10:23:30 +08:00
    XiLingHost
        1
    XiLingHost  
       2023-04-23 08:32:56 +08:00
    显存太小了
    murmur
        2
    murmur  
       2023-04-23 08:43:06 +08:00
    差钱可以买魔改的 2080ti o 22g
    Breakwa2333
        3
    Breakwa2333  
    OP
       2023-04-23 08:43:17 +08:00
    @XiLingHost 有些 GDDR6 的可以改显存(理论上和 2080TI 这种一样)
    bearqq
        4
    bearqq  
       2023-04-23 08:46:21 +08:00
    我一般用 3060 12g 训练,用 40hx 跑图
    另外 40hx 跑图半精度速度巨慢。需要改代码,模型用半精度,运算用单精度,速度也是单精度的速度,相当于速度减半
    理论上 40hx 训练是没问题的,8g 也基本够,训练时候计算也不是半精度
    gam2046
        5
    gam2046  
       2023-04-23 09:47:23 +08:00
    @Breakwa2333 #2 理论上能改显存和实际上有人改显存是两回事。如果你有能力自己动手,那当然还是牛的,不然找不到人帮你改。

    真想玩,我觉得普通人就两个路子

    1 、咬咬牙,直接上 4090 ,相对来说性价比算是不错了。小模型基本都能吃下来
    2 、洋垃圾 P40 ,主打的就是一个便宜+大显存,虽然速度差了点意思,但是大显存可以让你跑更多的模型
    luny
        6
    luny  
       2023-04-23 11:20:29 +08:00
    动手力强的,可以看看 Tesla P4 这种算力卡,挺便宜,要解决散热问题
    nightwitch
        7
    nightwitch  
       2023-04-23 11:27:00 +08:00 via Android
    跑训练的基本都是生产力 /科研需求,这两个都对价格不敏感。 而且现在稍微跑个像样的模型基本都是四卡 or 八卡并联着跑,这种需求都是买现成的方案,自己组的话稳定性很难保证
    qianxaingmoli
        8
    qianxaingmoli  
       2023-04-23 11:33:32 +08:00

    p40 ≈ 3060 24g ,加个 3d 打印的暴力扇,加个温控调速,入门合适的
    kloseWu
        9
    kloseWu  
       2023-04-24 10:23:30 +08:00
    @qianxaingmoli 我也是 P40 ,请问怎么弄温控调速……另外风扇声音太大了有静音的找么……
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2503 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 04:56 · PVG 12:56 · LAX 20:56 · JFK 23:56
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.