有人用过小规模的语料库和本地部署的语言模型炼过lora吗?效果如何?

TrIcksic-avatar

TrIcksic

2025-04-08T05:50:55+00:00

好奇用自己写/抓取的小规模中文文本(十万字量级)能不能做这种微调,模仿个人的语言风格和思路,以及个人消费级显卡能不能完成这种任务。
Антончик-avatar

Антончик

我认识上个要这么干的人……
他已经放弃一两年了哭笑
TrIcksic-avatar

TrIcksic

+ by [裂冲击] (undefined)

我认识上个要这么干的人……
他已经放弃一两年了哭笑

然而今年本地开源模型质量见长啊,qwq-32感觉性能有点强,而且还轻量
Lxvys-avatar

Lxvys

消费级显卡能训练的模型比起头部模型还是差太远了,而且成本上也不如直接用openai或者google的微调服务。只要你不是拿来搞颜色那我还是推荐去买大厂的微调服务,准备好数据一键上传就行。
google做微调300刀点击就送,gemini 2.0 flash性能也不差,够你调几千万token的语料库了。另外硅基流动能调qwen2.5 72b,也是赠金就能覆盖的价格,你不妨试试这两家的微调能不能满足要求。
SomberEditz-avatar

SomberEditz

微调效果更是抽奖中的抽奖,第一步的优质数据就给你卡得死死的,而且效果下降更常见
哭笑