𝕬𝖇𝖞𝖘𝖒
2020-05-12T09:39:39+00:00
奥卡姆剃刀的思想是，如无必要，勿增实体。
但深度学习已经证明了，增加模型复杂度，效果就更好，那些参数根本不具备解释性，而且大量都是未激活状态，利用残差结构把模型堆到1000层，你就有最好的效果。
这是不是说明奥卡姆剃刀已经被推翻了？以后会不会有越来越多的公理被推翻？
[s:ac:呆]深度学习那种改两个像素就能改变的模型也变成真理了吗
“如无必要”[s:ac:茶]
跟自然科学规律相比，奥卡姆剃刀定律更像是对人类的关怀，如果我们的智商和管理能力不足以接受繁复的组织结构，还不如选择简单结构提升效率
可是机器能接受啊[s:a2:不明觉厉]阿尔法狗记多少棋谱都不累
“如无必要” 可能你并没理解为什么要有这个前提，这个前提通俗化的解释就是，“你要是不行”
一共八个字，你不能砍去一半啊，奥卡姆套奥卡姆，套娃吗[s:ac:哭笑]
初代阿发狗和现在的阿法狗的训练，还是符合这个定律的，至少输入符合[s:ac:哭笑]
奥卡姆剃刀应该是一种原则而不是假说，选择这种原则的原因也是相当朴素的。。。。。
首先，公理狭义上来说是数学上的公理，公理是一个系统的基石，不需要证明也无法证明，比如，欧式几何第五公设：过直线外一点有且只有一条直线与已知直线平行，是不需要证明也无法证明的。否认这一点会摧毁欧式几何本身。
然后，奥卡姆剃刀定律显然不是逻辑上的公理，甚至也不是经验的东西。最多是一种哲学思想，人类的一种理念。告诉人们面对未知的东西，选择什么样的态度，也是无所谓能否被推翻的。比如说，你早上起来一看，地面上有水，然后有两个可能性支持这一点：(1)昨天晚上下雨了；(2)不知名的外星人通过高科技在所有人不知道的情况下造访地球，并撒下了水。奥卡姆剃刀是说，在无额外需要的情况下，没必要增加额外的实体，选最简单的，就是昨天晚上下雨了。也就是反应了人类在面对未知的时候一种功利主义和效率至上的态度。
最后，再说ResNet，都说是无需必要了，32层的CNN显然效果比16层的CNN效果好，你怎么能说多出来的这16层是没有必要的呢。反过来如果32层的效果和16层的一样，那没有人会用32层的吧？你这个说法套到模型剪枝上还靠谱点，就是如果两个网络效果一样，选小的。不过这是反过来利用了奥卡姆剃刀的思想。最后的最后，DNN多出来的参数和结构，实际上个人感觉和奥卡姆剃刀的“实体”还有些概念上的差距，这俩玩意不太好扯到一起。
你高中的时候不会刷的都是高考难度及以下的题吧[s:ac:擦汗]