这是一个创建于 233 天前的主题，其中的信息可能已经有所发展或是发生改变。
如题，我在网上很多地方能看到用 mac 做大模型 inference 的，甚至用 macbook air M1 16g 来运行 LLAMA 8B ，网上的教程和演示也很多
像 AMD 的核显，比如 8840h ，性能也很强，统一内存显存，不知道为什么这么做的人就很少？
11 条回复 • 2024-05-09 09:49:48 +08:00
 |
1
pxqsxs 233 天前 via iPhone
8840H 这统一能和人家是一个概念？人家是颗粒和 soc SiP ，封装在了一起，带宽能比吗？
|
 |
2
hefish 233 天前
说到底还是用的人少。 买 amd 的说不定都开黑直播去了。。。
|
 |
3
V28a19cc 233 天前
能跑跟能用是两码事，Mac 的内存是 384/512 bit 位宽，性能远超 AMD 。
|
 |
4
kenvix 233 天前
|
 |
5
misdake 233 天前
想这么做的人都去买 nv 的独立显卡了吧。AMD 配套生态差得太远了，和性能关系感觉没那么大。
|
 |
6
dnfQzjPBXtWmML 233 天前 via Android
内存带宽不足，无法任意访问内存
|
 |
7
digd OP |
|
8
digd OP 又查了一下，h200 的显存带宽是恐怖的 4.8Tb/s ，简直就像弗利萨说自己的战斗力是 53 万一样
|
 |
9
msg7086 233 天前
AMD 的内存显存离 CPU 足足几厘米远，mac 的都是按毫米算的，这就已经有差距了。
|
 |
10
murmur 233 天前
人家可以插显卡，mac 不行
|
 |
11
minami 233 天前
因为 AMD 的 ROCm 真的拉跨
|
Select Language