emily willis nrg
2025-04-04T08:21:23+00:00
首先有一个前提就是现在的自动驾驶系统是在同时处理所有摄像头的画面。
假设有这么一辆车，搭载了主流的双orinx芯片，算力一共500tops，共有10颗摄像头参与了自动驾驶，我就算他刚好用满了全部的算力，平均下来每个摄像头就分了10tops，那如果自驾系统能像人一样，同一时刻只分析一个摄像头的画面，需要看哪个方向就瞬间切换过去，或者退后一步。一直分析正前方的画面，在需要的时候额外分析侧方或后方的画面。或者再退一步。在正常行驶的时候，除了正前方以外的所有摄像头只读取识别他们的超低分辨率，当往那边转弯或者识别到有大致的物体在靠近或者需要识别的时候再切换到它的高清画面，就像人只用余光看后视镜有没有车一样。
当然这套系统不只是处理摄像头的画面消耗了大量的算力，但这样能否依然能够降低系统的算力需求？
还有一种可能就是实现这种自动切换的算法需要的算力比直接分析所有摄像头的还多，导致得不偿失。
轨道车差不多，真完全自动驾驶，不是光拍到图像就行了，你得了解图像里的物体和他们之间的关系，以及预测他们的行为吧
超出当前时代的算法和超出当前时代的算力一样困难
从现在的视角往前看，交火1080ti叠加服务器级内存，也能运行deepseek的非完全版，然而那智力能把8年前的人吓死
现在的llm参数效率比gpt3.5时候高了很多倍，但是没有当初，也搞不出今天这么高效的模型啊
[s:ac:汗]你这个思考方式，仿佛一个女人生孩子要10个月，那我找10个女人能不能1个月生出来
[quote][pid=817829610,43774456,1]Reply[/pid] Post by [uid=38765381]Link2333[/uid] (2025-04-09 16:30):
[s:ac:汗]你这个思考方式，仿佛一个女人生孩子要10个月，那我找10个女人能不能1个月生出来[/quote]你开过车吗？
[quote][pid=817829553,43774456,1]Reply[/pid] Post by [uid=62831835]欧阳萤[/uid] (2025-04-09 16:30):
现在的llm参数效率比gpt3.5时候高了很多倍，但是没有当初，也搞不出今天这么高效的模型啊[/quote]当年运行不了gpt的硬件现在能运行同样性能的ds也是事实，也就是现在的自动驾驶车辆可能在未来某个时间段反而实际性能会得到提升。
分辨率读高读低资源使用一样吧，因为你得把高分辨率图像计算成低分辨率图像，一样遍历了整个图。
另外你这样频繁切换我猜应该会有一定的数据适配的问题。
[quote][pid=817829801,43774456,1]Reply[/pid] Post by [uid=65929845]中国本地土著[/uid] (2025-04-09 16:31):
你开过车吗？[/quote]我肯定是开过车的
但你做没做过软件系统我就不了解了，我只是说你这套对软件系统和算力分配的理解在我看来非常离谱
[quote][tid=43774456]Topic[/tid] Post by [uid=65929845]中国本地土著[/uid] (2025-04-09 16:21):
首先有一个前提就是现在的自动驾驶系统是在同时处理所有摄像头的画面。
假设有这么一辆车，搭载了主流的双orinx芯片，算力一共500tops，共有10颗摄像头参与了自动驾驶，我就算他刚好用满了全部的算力，平均下来每个摄像头就分了10tops，那如果自驾系统能像人一样，同一时刻只分析一个摄像头的画面，需要看哪个方向就瞬间切换过去，或者退后一步。一直分析正前方的画面，在需要的时候额外分析侧方或后方的画面。或者再退一步。在正常行驶的时候，除了正前方以外的所有摄像头只读取识别他们的超低分辨率，当往那边转弯[/quote]我觉的是有可能得。但是还有一个现实问题是可能算力芯片的价格会继续走低，毕竟量大了。如果说价格变成现在的1/3或者1/5，那么就完全没必要采用你的方案了。便宜就完事儿了。
[quote][pid=817831124,43774456,1]Reply[/pid] Post by [uid=38765381]Link2333[/uid] (2025-04-09 16:38):
我肯定是开过车的
但你做没做过软件系统我就不了解了，我只是说你这套对软件系统和算力分配的理解在我看来非常离谱[/quote]你有几个眼睛，看后视镜的时候能不能同时看清前面？看前面的时候能不能看清侧后方？
[quote][pid=817831443,43774456,1]Reply[/pid] Post by [uid=65929845]中国本地土著[/uid] (2025-04-09 16:40):
你有几个眼睛，看后视镜的时候能不能同时看清前面？看前面的时候能不能看清侧后方？[/quote]什么时候该用哪个眼睛 什么时候该调用哪个摄像头
你信不信能做到这个的算力要求比现在这样还多？
别人说你没做过开发 看来真没做过
[quote][pid=817831443,43774456,1]Reply[/pid] Post by [uid=65929845]中国本地土著[/uid] (2025-04-09 16:40):
你有几个眼睛，看后视镜的时候能不能同时看清前面？看前面的时候能不能看清侧后方？[/quote]我给你举个例子吧
你所谓的“哪里需要再看哪里”的思路，就好像鱼缸里养鱼，你需要一整缸的水，但鱼其实只接触鱼身边的那一小部分水
于是你提出一个理论，叫做“只用鱼身边的水，是不是养鱼其实只需要整缸水的1/10就够了？”
当我跟你说你对算力分配和软件系统的理解有问题时，你的反问叫做“鱼是不是游泳的时候只接触他身边的水，缸里的其他水都没碰到？”
你这个“在需要的时候”就是大问题，人开车在后面有车来的时候，是有耳朵还有余光能瞄到后视镜变化，摄像头可没办法不就得一直工作跟反馈
再补充一点吧
理想的智驾，7.0版本后更新了一个可视化功能，会把智驾的一些决策过程展示给用户看，其中有一个界面叫做“注意力系统”，会告诉你当前智驾系统重点关注的对象
比如你跟车时，在这个系统中前车是最高亮，旁边车道的车是次高亮，代表它主要盯着前车，但也关注着旁边的车是否要插队。
比如前面没车，它就会高亮路沿，代表它现在主要盯着道路范围在哪，确保自己没跑偏。
这一定程度上就是算力的分配，但要做到这一点本身就需要优秀的算法和算力支持，而且现在肯定也是不完备的。
软件系统和算力分配这件事，远不是你所以为的“10个摄像头每颗分配50t算力”这么单纯的
后半段就是多尺度思想嘛，对是对的，在图像处理领域已经用烂了
但是，“算力一共500tops，共有10颗摄像头参与了自动驾驶，我就算他刚好用满了全部的算力，平均下来每个摄像头就分了10tops”。这地方怎么算的，我没搞明白