FusionnV2
2020-04-29T03:14:09+00:00
本科毕设要求用DBN预测时间序列，样本数据自己捏了一个数据集，六个维度长度690
输入层前十个时刻的数据串行输入，输出层输出下一时刻的一组数据，也就是单步预测
最开始只加了一层隐含层，网络结构60-100-6，学习率=0.5%，冲量=0.01，batchsize=30，激活函数sigmoid，输出层linear，预训练10次，微调1000次，训练完看了看结果还不错
[img]https://img.nga.178.com/attachments/mon_202004/29/-7Q5-dwk1K13T1kSfk-bo.jpg[/img]
输出的误差大概在万分之五左右
于是又加了一层隐含层，网络结构60-100-50-6，其他东西不变，最后收敛到一个很奇怪的值
[img]https://img.nga.178.com/attachments/mon_202004/29/-7Q5-l3orK14T1kSfk-bo.jpg[/img]
如果调大冲量的话，直接发散到NaN
所以有哪位老哥指点一下的吗[s:ac:愁][s:ac:愁] csdn里基本上都是图片识别加分类任务，看了看没有太大的帮助
输入层前十个时刻的数据串行输入，输出层输出下一时刻的一组数据，也就是单步预测
最开始只加了一层隐含层，网络结构60-100-6，学习率=0.5%，冲量=0.01，batchsize=30，激活函数sigmoid，输出层linear，预训练10次，微调1000次，训练完看了看结果还不错
[img]https://img.nga.178.com/attachments/mon_202004/29/-7Q5-dwk1K13T1kSfk-bo.jpg[/img]
输出的误差大概在万分之五左右
于是又加了一层隐含层，网络结构60-100-50-6，其他东西不变，最后收敛到一个很奇怪的值
[img]https://img.nga.178.com/attachments/mon_202004/29/-7Q5-l3orK14T1kSfk-bo.jpg[/img]
如果调大冲量的话，直接发散到NaN
所以有哪位老哥指点一下的吗[s:ac:愁][s:ac:愁]