ₛᵢₓᵢₒ
2021-11-16T09:06:41+00:00
最近手里三四个case都是这些,真的头疼了(我在留学咨询机构写文书,最近拿到的都是计算机这块的)
商科什么的尚且去了解一下还勉强能懂,这个rnn真的是完全看不懂,有朋友稍微介绍一下不?非常感谢[s:ac:冷]
最好再说点有关这方面科研的内容
这直接搜就是了,基础的网上都讲的挺清楚的,前沿的也只能自己看最新的论文
rnn看不懂就从cnn开始看
cnn看不懂就从neuron开始看
再看不懂就去高中数学
RNN,通常我们都会把它翻译成循环神经网络,还有的人把它翻译成递归神经网络。从算法的名字中我们可以知悉,其结构中有“环”这个结构,实际上也确实如此, RNN与NN(Neural Network)/DNN (Deep Neural Network) 的单向数据传送方式截然不同,如图2-4所示,此为RNN的经典结构图,RNN 的每一个神经元除了需要接受上一代神经元的输出外,所接收到的输入都具有自身的状态信息,并且它们的状态信息都会在整个网络中进行循环地传输。
图 2-4 经典模式图
RNN的主要用途之一就是为了处理序列数据。在我们传统的神经网络模型中,从一个输入层发展到一个隐含层再发展到一个输出层,各级都是完全连接的,而每个层之间的节点都是无法相互连接的。但是这个神经网络不是万能的,也可以说会对许多的问题毫无作用,就像是比如你想要准确地预测一个句子的下一段分词发生了什么情况,则通常需要使用前一个分词,因为在同一个语句中前后的分词并不是独立的,其邻近的分词往往会影响其语义的表达。
图 2-5 RNN展开图
而RNN 所要表达的一种特定形式,是网络把隐藏层先前记住的信息运用到当前的输出进行计算,即隐藏层之间的各个节点不再被认为是一种无连接的状态而被认为是具有连接性的状态,并且这些隐藏层的输入不只包括一个输出,它还会在前一小段内包括隐藏层的输出。从理论上说,RNN 可以对任意一个长度的序列进行处理,然而实际上,为了减少和降低这些因素的复杂性,通常会假设当前的情况只能与先前几个状态相联系有关。
如图2-5为RNN的展开图,在 RNN中,通常有输入层单元 ( Input units ) ,输出层单元 ( Output units ) 和隐含层 ( Hidden units ) 。而在这当中,隐含层则起到了最主要的主导作用,你不仅可以在它的展开图中可以找到从一个输入输出单元中的信息跳转流到一个隐含层的一个单向单元信息流,同时你也可以从中找到从一个隐含层单元信息跳转到一个输出输入单元的另一个单向单元信息流。在某些应用场景下,RNN将打破前者的输入局限性,并将这些输入信息由一个输出数据层的一个隐含信息层进行返回,这些我们一般称为“反向投影”。与此同时某个隐含层的所有节点及其输入也仍然包括前一输入时刻中某个隐含层所有节点的输入状态,即该时刻隐含所在层中的节点可以被独自连接也可以互联,图2-5中把一个循环动态神经网络扩展成为一个相对完整的全神经网络。
2.3.2 BiRNN
如果我们能够做到像我们处理过去的上下文信息一样处理将来的上下文,那么它将会对序列标签的许多任务都很有意义。比如,在对特殊的字符进行划分时,了解将要显示出现的字符就像在当前的字符之前先了解上一个字符一样极其有利,对于语句中的音素划分也是如此。
但是,由于正常的RNN按照时间顺序排列,所以它们通常都会忽略来自将来的信息。一个可行的解决办法就是在目标输入和目标之间进行添加时间延迟,然后我们就可以在网络中添加一些时间的步长以及添加将来的上下文信息,即在一个时间范围 内添加将来的信息以一起进行预测和输出。从理论上来说, 可以很大,以此来捕捉到所有我们将来可以使用的所有数据和信息。但实践告诉我们,如果 太大,我们的预测结果可能会更糟,这主要是因为网络把力焦点放在了存储大量的输入信息上, 这导致组合不同输入向量的预测知识的建模能力下降,因此必须手动调节 的参数。BiRNN的基本思想是将每个训练序列分别作为一个前向和后向的RNN,并将两个层输出连接至一个输出,此结构向输出层输入序列中的每个点提供过去和将来的上下文信息,如图2-6为BiRNN展开图,图中所示为一个伴随着时间的持续推移而不断展开的一种双向性的循环神经网络。该网络在各个时步中重复地使用6个唯一的权重[24], 这六个基本的输入权重分别表示如下含义: 输入到前向和后向的隐含层( , )、隐藏层传递到隐含层本身( , ),前向、后向隐含层到输出层( , )。在 时刻,它的输入将同时传输到两个重复的反向单向神经网络,输出也由这两个单向神经网络决定[25]。值得说明的一点就是,前向与后向的两个隐含层之间无任何信息数据流传递,这可以保证前向和后向互不干扰。
图 2-6 BiRNN展开图
从我的论文里摘得,希望对你有点帮助,不过这玩意不是有现成的架构吗,我记得改个参数就行啊
大伙不都是调参侠,能让模型跑起来,你就已经超过很多本科生了[s:ac:哭笑]