TheHunter
2025-07-04T07:16:39+00:00
求助娘家
奇怪的任务落到我这了，研究室准备新添一台非主力服务器，但是预算有限，打算塞 8 张非旗舰 AI 计算卡，让我选型。特来坛子里搬救兵
主要做一些非主力任务。可能是向量数据库加速，或者embedding/rerank/ocr/tts语音模型部署和原地跑一些ocr服务， 或者每人分一块 ssh上去用来做一些试验就可以不影响到现在的主力服务器了。
头头问我有什么建议吗，我张口就说：“48G 魔改 4090性价比无敌啊”，十秒钟的沉默后，”我们还是买正版一点的，有售后服务和保修的卡吧。“
理论上48G 4090就是最性价比选择 不然我再劝劝领导+问问卡诺基的售后怎么样……
现在考虑的有L4之类的。性价比上有更推荐的选项吗？有FP8最好，没有的话也行 能用上FP8的任务基本都在主力服务器上跑。 我是键盘侠 真让我去看市场 问价格啥的我就没有想法了
8卡有用4060TI 16G做的 但是使用范围极小。。。4090 48不行用24？ 24是有正式厂家出货的 24 48线下实体店都是带保的。
Reply to [pid=831323659,44575188,1]Reply[/pid] Post by [uid=36286336]zs63039464[/uid] (2025-07-10 15:34) 是吧 4090性价比确实高[s:ac:冷]
话说instinct mi 350不知道一张多少钱
你直接8张4090 24g的不要魔改，或者h20 /rtx6000. 都可以啊
不行就5080 8张16g 这样费用占的少
Reply to [pid=831328275,44575188,1]Reply[/pid] Post by [uid=64586638]octonions[/uid] (2025-07-10 16:05)MI300，2万刀外加杂七杂八的费用。
话说固定服务也就算了 调好以后就一直跑着。 灵活服务和实验用非CUDA的话 有点折腾我们干活牛马了[s:ac:哭] 去年试某64G显存卡的平台快弄哭了
Reply to [pid=831328275,44575188,1]Reply[/pid] Post by [uid=64586638]octonions[/uid] (2025-07-10 16:05)
这个你遇到使劲夸就好了。千万别买，非大型的机构，没有一定人才资源储备别碰他。
Reply to [pid=831329293,44575188,1]Reply[/pid] Post by [uid=61179367]julymin[/uid] (2025-07-10 16:12)
感觉你这需求的资源也没有这么大啊，一定要384g的显存要求么？
[s:ac:哭笑]实验室用你也敢推荐魔改卡啊 到时候出问题都是你的问题
没有没有哈哈哈 就是主力服务器上挤着一些我上面说的服务 ，想迁出来把大卡腾出来干大活儿
上面提到6000ada也不便宜问题是
看下来还真是正版24G 4090比较靠谱了。。。
应该是不能发链接的
化学算力论坛
[img]https://img.nga.178.com/attachments/mon_202507/10/9aQ1ae-ats1KbT1kSc7-1z.jpg[/img]
你去这个论坛请教下，应该都是师兄师弟，这个论坛里面对算法模型，特别是你大学的更熟悉。
如果fp8 需求，可能50/rtx6000更适合吧？4090对比5090fp8 性能基本大过409050% 然后 96g rtx pro 6000比5090 强50%
所以 rtx pro 6000 可能是预算足够的正解，应该都不用买8张
Reply to [pid=831329293,44575188,1]Reply[/pid] Post by [uid=61179367]julymin[/uid] (2025-07-10 16:12)
可能像google一样的大型公司根本不缺人才，在乎的是能耗比吧？ 小型公司就在乎兼容性了
Reply to [pid=831329534,44575188,1]Reply[/pid] Post by [uid=42752892]93524163N[/uid] (2025-07-10 16:14)
以前仙贝不是说这东西如果下放是能掀桌子的东西嘛
不过AMD是真把APU玩明白了
从5600GT低端，到7840H 到索尼/微软的游戏机，到高端计算卡instinct 其实全是APU
你这需求找个超聚变，浪潮，宁畅对接下让他们给方案和报价。
你们几家只间砍下就好咯。
走正规渠道不会给自己留坑。
别说没提醒你ao，都实验室了，不论你是在学校还是企业，注意考虑政策性问题，符合信创什么的可能比算力更重要
[img]https://img.nga.178.com/attachments/mon_202507/10/9aQ1ae-gahfK13T1kSea-6t.jpg[/img]
Reply to [pid=831341697,44575188,1]Reply[/pid] Post by [uid=63346505]Zzzhao1[/uid] (2025-07-10 17:31)
嗯嗯 让书记来搞 一定没错，技术要靠领导指挥，上报 等领导来搞才对。
Reply to [pid=831340257,44575188,1]Reply[/pid] Post by [uid=618973]ring33290[/uid] (2025-07-10 17:22)
实话说，大厂的服务器 电源，散热方案很好，可以买机头，委托服务商单独买卡安装系统，这样比下有性价比也有服务，不太可能自己装
超巨变 浪潮 h3c 都可以
Reply to [pid=831341697,44575188,1]Reply[/pid] Post by [uid=63346505]Zzzhao1[/uid] (2025-07-10 17:31) 现在是弄个干杂活，大家自己用的服务器，信创的项目有其他的服务器干。
话说你们这套海光K100是rocm吗 甚至还挺便宜 是不是用起来还行？ hahaha 你看到我上面有条说某64G显卡的平台调哭了吗。 我当时那个真的字面意思上的调哭了，虽说我们是甲方，但是对方依然像大爷一样根本请不动。
首先，如果是实验室用，并且有出论文需求的话，优先考虑NV卡，非特殊情况不要考虑国产算力卡。
其次，合规非常重要，不要贪便宜，要从正规渠道买。
型号反倒是没那么重要，国内能买到的NV型号并不多，无外乎A，B，H，L这几个。
千万记得如果有出论文或者课题需求，不要买国产算力卡，你们这点需求不会有驻厂工程师的，出了bug调不好锅都是你的。
