潭友有用mac跑过LLM推理的吗,实际速度怎么样,选Pro还是Max比较好

Jiao Dog-avatar

Jiao Dog

2024-10-26T18:30:22+00:00

看到最新的mbp手痒痒啊,自己的4090虽然虽然算力强但是24g显存就是卡死在那里了,怎么量化都不能在可以接受的精度下面跑甚至32b的Qwen,学校实验室的A100不方便弄自己一些比较私密的东西,据说mac的统一内存能够一起装下,比较极端的量化以后本身也就是要整型算力M的GPU也应该不会慢到不能接受吧,虽然加张4090也比满足需求的mac便宜,但是我现在是itx,要加就得换整个平台+考虑假期回家快递的问题(顺丰要保价的话贵的离谱),最近看我的老冰刃双屏越看越笨重,有了PC以后感觉游戏本这个东西完全吃灰,有点想跟mac再续前缘,能不能来个好哥哥给我骂醒让我不要冲动消费
Blann-avatar

Blann

mac的内存是能当显存用的,但你要放得下稍微大点的llm就得至少64g或者128g起步,这个价格的mac可以说是天价,买个二手的带远程管理的工作站加一张或者两张专业卡都比mac便宜[s:ac:哭笑]
模型比较小的时候4090跑的比m3max快多了,当模型大到4090放不下的时候,mac也只是能跑而已,而且能跑这个模型的mac可比专业卡贵多了[s:ac:哭笑]
而且我记得owen 2.5的32b是支持4090单卡24g本地部署的