Mr.TOKYO
2025-09-07T05:37:38+00:00
场景前提：垃圾佬(能凑合用就偏向节省)，桌面空间不多，使用环境偏向低功耗，近期想玩AI，比如画图和LLM，但仅仅是玩票和研究，非高强度生产力，就是上各种插件组合玩几次，在agent里尝试对接其他的一些应用，主要学习平台搭建配置与开发调试的方法。简单总结就是大约会很消耗显存，但是对出图和token速度没过高要求。类似原型开发调试那种场景，能看看输出，把代码和调用过程调整优化到成品，再跑到另外的高性能服务器上就不关这台开发机器的事了。
所以推测新机器应该是要大显存，入门算力即可。目前机器是NUC幻影峡谷，四核1065G7处理器配32G内存日常够用，加上虚拟机和开发环境就只能算是勉强合格，为此还弄了个7代i3的2号机器把windows虚拟机转移到了2号机上分担负载。但是GPU就没办法了，自带的2060显卡只有6G内存，哪怕跑最节省内存的forgeUI也是卡着门槛(实际上从未成功跑过，就有几次最傻瓜的设置出了个小尺寸图形，一尝试挂上controlnet什么的就不行了，当然其中主要还是自己没学会)。至于后面还想要部署什么LLM和创建本地知识库，感觉这机器更加吃力。但传统独立显卡的模式一来显卡贵，二来显存难上大容量，所以一直很纠结，要不要等5070TiS的24G，以及24G后面要是又不够怎么办。
带着问题转了一圈，调查了包括jetson AGX在内的各种大显存方案(这玩意不便宜但公司有开发套间可以蹭)，发现IU核显理论上好像还真可以。一来AI画图的计算在显存足够的情况下，主要吃算力而非带宽。IU核显目前还是Xe1代，但也有XMX矩阵计算单元，类似tensorCore，算力大约和jetson AGX Orin的规格差不多，AI咨询反馈说约等于3050移动版。而核显可以搭配64G大内存，D5-6400双通道带宽肯定远远不如独显但只是为了跑起来也可以了。Intel核显虽然和Xe独显是同架构，但生态在AI这边好像比独显更好(查询AI说的，未确认)，comfyUI对其在后端都已经完善支持。核显整机功耗也小，合适低功耗和桌面空间少的环境。至于LLM需要的带宽较大，这个就凑合用低精度和压缩参数后的小模型了，比如7B12B的那些，调试agent和rag之类的效果差不多就行。正好最近公司提供了NUC15pro的升级设备，带ultra7-255H的处理器，用这个来给幻影峡谷做更替是不是可以基本满足入门的AI开发和玩票。有用过IU核显的前辈们能否给个评价，是否这个升级配置可行，还是说走台式机+n卡独显才是唯一合适的解决方案。
所以推测新机器应该是要大显存，入门算力即可。目前机器是NUC幻影峡谷，四核1065G7处理器配32G内存日常够用，加上虚拟机和开发环境就只能算是勉强合格，为此还弄了个7代i3的2号机器把windows虚拟机转移到了2号机上分担负载。但是GPU就没办法了，自带的2060显卡只有6G内存，哪怕跑最节省内存的forgeUI也是卡着门槛(实际上从未成功跑过，就有几次最傻瓜的设置出了个小尺寸图形，一尝试挂上controlnet什么的就不行了，当然其中主要还是自己没学会)。至于后面还想要部署什么LLM和创建本地知识库，感觉这机器更加吃力。但传统独立显卡的模式一来显卡贵，二来显存难上大容量，所以一直很纠结，要不要等5070TiS的24G，以及24G后面要是又不够怎么办。
带着问题转了一圈，调查了包括jetson AGX在内的各种大显存方案(这玩意不便宜但公司有开发套间可以蹭)，发现IU核显理论上好像还真可以。一来AI画图的计算在显存足够的情况下，主要吃算力而非带宽。IU核显目前还是Xe1代，但也有XMX矩阵计算单元，类似tensorCore，算力大约和jetson AGX Orin的规格差不多，AI咨询反馈说约等于3050移动版。而核显可以搭配64G大内存，D5-6400双通道带宽肯定远远不如独显但只是为了跑起来也可以了。Intel核显虽然和Xe独显是同架构，但生态在AI这边好像比独显更好(查询AI说的，未确认)，comfyUI对其在后端都已经完善支持。核显整机功耗也小，合适低功耗和桌面空间少的环境。至于LLM需要的带宽较大，这个就凑合用低精度和压缩参数后的小模型了，比如7B12B的那些，调试agent和rag之类的效果差不多就行。正好最近公司提供了NUC15pro的升级设备，带ultra7-255H的处理器，用这个来给幻影峡谷做更替是不是可以基本满足入门的AI开发和玩票。有用过IU核显的前辈们能否给个评价，是否这个升级配置可行，还是说走台式机+n卡独显才是唯一合适的解决方案。