...继续做关于AI的科普视频:打开模型推理的黑盒

Teeiish

2025-04-19T00:35:55+00:00

最近还是继续做关于AI的科普视频，这期主要讲一下模型推理时的一些常见参数(比如 temperature, top_p) 的意义，主要的目的呢，算是拨开LLM黑盒的面纱，去去寐。希望对有兴趣的观众有点帮助，如果有帮助的话，还望给一点支持(点赞关注什么的，谢谢！

[[纯干货] (稍微)揭开大模型推理的面纱...] [https://www.bilibili.com/video/BV1SC5HzYEYx/?share_source=copy_web&vd_source=6bb0053af3774659e77bb7f39a9f801b https://www.bilibili.com/video/BV1SC5HzYEYx/?share_source=copy_web&vd_source=6bb0053af3774659e77bb7f39a9f801b]▸

说实话这种视频真的不好把握深度，上一个视频我还觉得讲的有点太泛泛而谈了，结果大部分的反馈都是太深了。只能按自己的感觉讲了。

上一期：
[[纯干货] 从论文里看出从Transformer到ChatGPT的历史必然性...] [https://www.bilibili.com/video/BV1ZsR9YoEwp/?share_source=copy_web&vd_source=6bb0053af3774659e77bb7f39a9f801b https://www.bilibili.com/video/BV1ZsR9YoEwp/?share_source=copy_web&vd_source=6bb0053af3774659e77bb7f39a9f801b]▸

BelZayka

冷知识，调参不等于可解释性

!DenisCepaka

看了，感觉说的不深。

但是也完全无法留住什么，外行看这还是看个新鲜，除非自己开工去码代码，不然还是一边进一边出

我是做质谱分离分析的，用deepseek尝试过，但是感觉对应的资料太少，ds学到的也太少，没办法像搞代码的一样，教一教它，就能输出能稍作修改就可以使用的代码。它给出的建议尝试过，效果不咋地

Teeiish

+ by [肉包子三块五个] (undefined)

看了，感觉说的不深。

但是也完全无法留住什么，外行看这还是看个新鲜，除非自己开工去码代码，不然还是一边进一边出

我是做质谱分离分析的，用deepseek尝试过，但是感觉对应的资料太少，ds学到的也太少，没办法像搞代码的一样，教一教它，就能输出能稍作修改就可以使用的代码。它给出的建议尝试过，效果不咋地

比较偏的门类还是建议用类似RAG的方法，问他问题的时候同时提供你们领域相关的资料(而不完全依赖于模型训练时涉猎过的资料). 不过这种基本上需要API 调用，会比较方便点，而且需要很长的上下文能力. 真的有专业需求的话可以去试试Google的新的一百万上下文能力的模型

Teeiish

自己顶一下….