V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
raw0xff
V2EX  ›  OpenAI

小白求科普,未来 ai 是中心化的服务还是终端进行计算?

  •  
  •   raw0xff · 157 天前 · 1268 次点击
    这是一个创建于 157 天前的主题,其中的信息可能已经有所发展或是发生改变。

    由于对大语言模型原理完全 0 知识储备,大佬勿喷啊 现在个人设备可以运行 ollama 使用某些模型,w3c 也有像 WebGPU 这样的 API 可以调用用户设备算力,是不是说未来 ai 的方向会更趋向于不需要联网的终端应用?那些大公司花钱买那么多 GPU 堆算力的目的是什么?

    10 条回复    2024-08-02 11:55:35 +08:00
    passive
        1
    passive  
       157 天前 via Android
    只能问当下。当下两种都有应用的场景。

    评论里说未来怎样的,都只能参考。谁知道未来会有什么牛逼的原理、算法、硬件。

    要是我真能知道未来,我就能赚大钱。
    murmur
        2
    murmur  
       157 天前
    肯定是双管齐下,小爱今年要开全平台 AI ,包括智能音箱

    本地 AI 就做抠图 补图 这些东西
    piero66
        3
    piero66  
       157 天前 via Android
    agi 出现后本地部署模型可能会拉开差距,但一定会有中间件调用云端 agi 来增强本地 llm 的
    mwuxlcanrh
        4
    mwuxlcanrh  
       157 天前
    LLM 服务的小型轻量化和能力强化都有价值。但是很难让物联网设备去 run ,云服务更有意义。
    ztm0929
        5
    ztm0929  
       157 天前 via iPhone
    本地和云并不是非此即彼的对抗,微软推 Phi ,OpenAI 推 GPT-4o mini ,Apple 推 OpenELM 。这些大佬都在全面布局以上设备端小模型的同时继续升级已有的联网大模型。

    未来的方向就是强隐私的、聚焦的、追求极速的任务由本地芯片调用小模型完成,通用的、宽泛的、不追求速度的任务交给联网大模型解决。

    那些大公司买 GPU 就是为了训练自家模型然后作为服务卖给用户啊😂典型的就是百度
    raw0xff
        6
    raw0xff  
    OP
       157 天前
    @ztm0929 是不是训练迭代自家模型的同时再开放给付费用户还能收回一些成本。
    ztm0929
        7
    ztm0929  
       157 天前
    @raw0xff 作为服务带来的直接的经济回报我就不太清楚,大概率不理想,就连 OpenAI 也在长期大量的亏损中(我不确定现在如何),百度 Robin (李彦宏)这么急也就不难理解了(经典言论:开源是“智商税”),言下之意就是我投入了这么多前期成本,大家快点来买我的服务。

    但作为大企业提前购置显卡还是非常有必要的,AI 时代里的显卡算力、电力、数据就相当于传统的石油,谁拥有多谁就更有可能有话语权。
    ywkk
        8
    ywkk  
       156 天前
    @murmur 小爱开放大模型接入?出处在哪?

    另外本地化不一定是抠图补图,待 3 、5 年后 H100 级别的 GPU 白菜价之后,很多小企业会部署大模型做本地推理。
    murmur
        9
    murmur  
       156 天前
    @ywkk 不是,以前是等级鲜明,只有新机器才能用 AI 小爱,老机器还是旧版本,现在是全小米产品都换新版
    antiblahblah
        10
    antiblahblah  
       147 天前
    中短期看两者肯定会共存。
    头部 ai 能力一定会越来越集中,而且可能会加速演化,拉大差距;但统一大脑的算力要求也非常高,也可能会受限于组织边界,形成多脑竞争的局面,但因为学术领域的区分没有那么大,所以也不会有量级上的差别,而且受限于资源,还是会分层吧,军用,商用,公用等等;
    边缘智能也一定会存在,因为存在大量离线场景,但能力上肯定会缩减或做特殊优化,都是蒸馏后的模型。
    酒后胡言,欢迎来杠。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2821 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 14:09 · PVG 22:09 · LAX 06:09 · JFK 09:09
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.