循环神经网络(如何有效的区分和理解rnn循环神经网络与递归神经网络)-ag8亚洲国际集团

1.如何有效的区分和理解rnn循环神经网络与递归神经网络

recurrent： 时间维度的展开，代表信息在时间维度从前往后的的传递和积累，可以类比markov假设，后面的信息的概率建立在前面信息的基础上，在神经网络结构上表现为后面的神经网络的隐藏层的输入是前面的神经网络的隐藏层的输出；recursive： 空间维度的展开，是一个树结构，比如nlp里某句话，用recurrent neural network来建模的话就是假设句子后面的词的信息和前面的词有关，而用recurxive neural network来建模的话，就是假设句子是一个树状结构，由几个部分（主语，谓语，宾语）组成，而每个部分又可以在分成几个小部分，即某一部分的信息由它的子树的信息组合而来，整句话的信息由组成这句话的几个部分组合而来。

2.神经网络（深度学习）的几个基础概念

从广义上说深度学习的网络结构也是多层神经网络的一种。

传统意义上的多层神经网络是只有输入层、隐藏层、输出层。其中隐藏层的层数根据需要而定，没有明确的理论推导来说明到底多少层合适。

而深度学习中最著名的卷积神经网络cnn，在原来多层神经网络的基础上，加入了特征学习部分，这部分是模仿人脑对信号处理上的分级的。具体操作就是在原来的全连接的层前面加入了部分连接的卷积层与降维层，而且加入的是一个层级。

输入层 - 卷积层 -降维层 -卷积层 - 降维层 -- 。. -- 隐藏层 -输出层简单来说，原来多层神经网络做的步骤是：特征映射到值。

特征是人工挑选。深度学习做的步骤是 信号->特征->值。

特征是由网络自己选择。

3.自学bp神经网络要有什么基础

简介：bp(back propagation)网络是1986年由rumelhart和mccelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。

bp网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。

bp神经网络模型拓扑结构包括输入层（input）、隐层（hide layer）和输出层（output layer） 摘 要：bp神经网络算法是在bp神经网络现有算法的基础上提出的，是通过任意选定一组权值，将给定的目标输出直接作为线性方程的代数和来建立线性方程组，解得待求权，不存在传统方法的局部极小及收敛速度慢的问题，且更易理解。 关键词：固定权值；gauss消元法；bp算法 人工神经网络（artificial neural networks,ann）系统是20世纪40年代后出现的，它是由众多的神经元可调的连接权值连接而成，具有大规模并行处理、分布式信息存储、良好的自组织自学习能力等特点，在信息处理、模式识别、智能控制及系统建模等领域得到越来越广泛的应用。

尤其误差反向传播算法（error back-propagation training，简称bp网络）可以逼近任意连续函数，具有很强的非线性映射能力，而且网络的中间层数、各层的处理单元数及网络的学习系数等参数可根据具体情况设定，灵活性很大，所以它在许多应用领域中起到重要作用。近年来，为了解决bp神经网络收敛速度慢、不能保证收敛到全局最小点，网络的中间层及它的单元数选取无理论指导及网络学习和记忆的不稳定性等缺陷，提出了许多改进算法。

1 传统的bp算法简述 bp算法是一种有监督式的学习算法，其主要思想是：输入学习样本，使用反向传播算法对网络的权值和偏差进行反复的调整训练，使输出的向量与期望向量尽可能地接近，当网络输出层的误差平方和小于指定的误差时训练完成，保存网络的权值和偏差。具体步骤如下： （1）初始化，随机给定各连接权[w],[v]及阀值θi,rt。

(2)由给定的输入输出模式对计算隐层、输出层各单元输出 bj=f（■wijai-θj） ct=f（■vjtbj-rt） 式中：bj为隐层第j个神经元实际输出；ct为输出层第t个神经元的实际输出；wij为输入层至隐层的连接权；vjt为隐层至输出层的连接权。 dtk=(ytk-ct)ct(1-ct) ejk=[■dtvjt] bj(1-bj) 式中：dtk为输出层的校正误差；ejk为隐层的校正误差。

（3）计算新的连接权及阀值，计算公式如下： vjt(n 1)=vjt(n) 琢dtkbj wij(n 1)=wij(n) 茁ejkaik rt(n 1)=rt(n) 琢dtk θj(n 1)=θj(n) 茁ejk 式中：琢，茁为学习系数（0。

4.神经网络具体是指什么

神经网络是利用大量的神经元按一定的拓扑结构和学习调整方法。

它能表示出丰富的特性：并行计算、分布存储、可变结构、高度容错、非线性运算、自我组织、学习或自学习等。这些特性是人们长期追求和期望的系统特性。

它在智能控制的参数、结构或环境的自适应、自组织、自学习等控制方面具有独特的能力。 神经网络可以和模糊逻辑一样适用于任意复杂对象的控制，但它与模糊逻辑不同的是擅长单输入多输出系统和多输入多输出系统的多变量控制。

在模糊逻辑表示的simo系统和mimo系统中，其模糊推理、解模糊过程以及学习控制等功能常用神经网络来实现。模糊神经网络技术和神经模糊逻辑技术：模糊逻辑和神经网络作为智能控制的主要技术已被广泛应用。

两者既有相同性又有不同性。其相同性为：两者都可作为万能逼近器解决非线性问题，并且两者都可以应用到控制器设计中。

不同的是：模糊逻辑可以利用语言信息描述系统，而神经网络则不行；模糊逻辑应用到控制器设计中，其参数定义有明确的物理意义，因而可提出有效的初始参数选择方法；神经网络的初始参数（如权值等）只能随机选择。 但在学习方式下，神经网络经过各种训练，其参数设置可以达到满足控制所需的行为。

模糊逻辑和神经网络都是模仿人类大脑的运行机制，可以认为神经网络技术模仿人类大脑的硬件，模糊逻辑技术模仿人类大脑的软件。根据模糊逻辑和神经网络的各自特点，所结合的技术即为模糊神经网络技术和神经模糊逻辑技术。

模糊逻辑、神经网络和它们混合技术适用于各种学习方式智能控制的相关技术与控制方式结合或综合交叉结合，构成风格和功能各异的智能控制系统和智能控制器是智能控制技术方法的一个主要特点.智能控制模糊控制系统所谓模糊控制，就是在被控制对象的模糊模型的基础上，运用模糊控制器近似推理手段，实现系统控制的一种方法。 模糊模型是用模糊语言和规则描述的一个系统的动态特性及性能指标。

模糊控制的基本思想是用机器去模拟人对系统的控制。它是受这样事实而启发的：对于用传统控制理论无法进行分析和控制的复杂的和无法建立数学模型的系统，有经验的操作者或专家却能取得比较好的控制效果，这是因为他们拥有日积月累的丰富经验，因此人们希望把这种经验指导下的行为过程总结成一些规则，并根据这些规则设计出控制器。

然后运用模糊理论，模糊语言变量和模糊逻辑推理的知识，把这些模糊的语言上升为数值运算，从而能够利用计算机来完成对这些规则的具体实现，达到以机器代替人对某些对象进行自动控制的目的。