FOF TypicallySteven
2025-05-30T13:16:35+00:00
按惯例,12B参数bf16精度应该是22G左右,24G或32G显存应该能快速运行。
fp8精度应该是11G左右的unet,其他模型放内存,16G应该能勉强运行,
时间长了多轮对话应该有爆显存风险。
如果社区量化出好的fp4精度,应该能压缩到12G显存极其勉强运行。但是这么低的精度质量应该不会有保证。
[img]https://img.nga.178.com/attachments/mon_202506/06/9aQ9urk-dlvuZaT3cSt8-im.png[/img]
[Flux Kontext 全方位测评,我已甘拜下风~-哔哩哔哩] [url]https://b23.tv/jzFIjMm[/url]
fp8精度应该是11G左右的unet,其他模型放内存,16G应该能勉强运行,
时间长了多轮对话应该有爆显存风险。
如果社区量化出好的fp4精度,应该能压缩到12G显存极其勉强运行。但是这么低的精度质量应该不会有保证。
[img]https://img.nga.178.com/attachments/mon_202506/06/9aQ9urk-dlvuZaT3cSt8-im.png[/img]
[Flux Kontext 全方位测评,我已甘拜下风~-哔哩哔哩] [url]https://b23.tv/jzFIjMm[/url]