2023年7月17日发(作者：)

脉冲神经⽹络（SNN）概述

主要讨论脉冲神经⽹络的拓扑结构、信息的脉冲序列编码⽅法、脉冲神经⽹络的学习算法和进化⽅法等。⼀、脉冲神经⽹络的拓扑结构同传统的⼈⼯神经⽹络⼀样，脉冲神经⽹络同样分为三种拓扑结构。它们分别是前馈型脉冲神经⽹络（feed-forward spiking neuralnetwork）、递归型脉冲神经⽹络（recurrent spiking neural network）和混合型脉冲神经⽹络（hybird spiking neural network）。1. 前馈型脉冲神经⽹络在多层前馈脉冲神经⽹络结构中，⽹络中的神经元是分层排列的，输⼊层各神经元的脉冲序列表⽰对具体问题输⼊数据的编码，并将其输⼊脉冲神经⽹络的下⼀层。最后⼀层为输出层，该层各神经元输出的脉冲序列构成⽹络的输出。输⼊层和输出层之间可以有⼀个或者多个隐藏层。此外，在传统的前馈⼈⼯神经⽹络中，两个神经元之间仅有⼀个突触连接，⽽脉冲神经⽹络可采⽤多突触连接的⽹络结构，两个神经元之间可以有多个突触连接，每个突触具有不同的延时和可修改的连接权值。多突触的不同延时使得突触前神经元输⼊的脉冲能够在更长的时间范围对突触后神经元的脉冲发放产⽣影响。突触前神经元传递的多个脉冲再根据突触权值的⼤⼩产⽣不同的突触后电位。

2. 递归型脉冲神经⽹络递归型神经⽹络不同于多层前馈神经⽹络和单层神经⽹络，⽹络结构中具有反馈回路，即⽹络中神经元的输出是以前时间步长上神经元输出的递归函数。递归神经⽹络可以模拟时间序列，⽤来完成控制、预测等任务，其反馈机制⼀⽅⾯使得它们能够表现更为复杂的时变系统；另⼀⽅⾯也使得有效学习算法的设计及其收敛性分析更为困难。传统递归⼈⼯神经⽹络的两种经典学习算法分别为实时递归学习（real-timerecurrent learning）算法和随时间演化的反向传播（backpropagation through time）算法，这两种算法都是递归地计算梯度的学习算法。递归脉冲神经⽹络是指⽹络中具有反馈回路的脉冲神经⽹络，由于其信息编码及反馈机制不同于传统递归⼈⼯神经⽹络，由此⽹络的学习算法构建及动⼒学分析较为困难。递归脉冲神经⽹络可应⽤于诸多复杂问题的求解中，如语⾔建模、⼿写数字识别以及语⾳识别等。递归脉冲神经⽹络可分为两⼤类：全局递归脉冲神经⽹络（fully recurrent spiking neural network）；另⼀类是局部脉冲神经⽹络（locallyrecurrent spiking neural network）。3. 混合型脉冲神经⽹络混合型脉冲神经⽹络即包括前馈型结构，⼜包含递归型结构。⼆、信息的脉冲序列编码⽅法从神经科学的⾓度来看，第⼆代⼈⼯神经⽹络是⼀种基于“发放频率”的神经元计算⽅式。随着研究的深⼊，神经科学家指出⽣物神经系统采⽤神经元的脉冲时序来编码信息，⽽不仅仅是⽤神经元脉冲的“发放频率”来编码信息。实际上，神经元的脉冲发放频率不能完全捕获脉冲序列中包含的信息。例如，已经发现初级听觉⽪层神经元群体能在短时间内通过分组相邻脉冲来协调动作电位的相对时间，并没有改变每秒发放的脉冲数量，这样，神经元甚⾄可以在平均发放频率没有改变的情况下给出特定的刺激信号。更具有⽣物可解释性的脉冲神经⽹络，采⽤精确定时的脉冲序列来编码神经信息。神经⽹络内部的信息传递是由脉冲序列完成的，脉冲序列是由离散的脉冲时间点组成的时间序列，因此，在进⾏脉冲神经⽹络的模拟与计算时，包含以下步骤：①当输⼊数据或神经元受到外界刺激时，经过特定的脉冲序列编码⽅法，可将数据或外界刺激编码成特定的脉冲序列；②脉冲序列在神经元之间传递并经过⼀定的处理，处理之后将输出的脉冲序列通过特定的解码⽅法进⾏解码并给出具体的响应。对于神经信息的脉冲序列编码问题，借鉴⽣物神经元的信息编码机制，研究者提出了许多脉冲神经⽹络的脉冲序列编码⽅法。例如，⾸脉冲触发时间编码⽅法、延迟相位编码⽅法、群体编码⽅法等。三、脉冲神经⽹络的学习算法学习是⼈⼯智能领域的核⼼问题，对于SNN来说，基于脉冲时间层次的学习⽅法研究，对于通过理论模型来验证⽣物神经系统的信息处理和学习机制是必须的。通过⽣物可解释的⽅式建⽴⼈⼯神经系统，科学家希望可以通过神经科学和⾏为实验来达到预期⽬的。⼤脑中的学习可以理解为突触连接强度随时间的变化过程，这种能⼒称为突触可塑性（synaptic plasticity）。脉冲神经⽹络的学习⽅式主要包括⽆监督学习（unsupervised learning）、监督学习（supervised learning）和强化学习（reinforcement learning）等。1. ⽆监督学习算法⽆监督学习算法在⼈类和动物的学习中占据主导地位，⼈们通过观察能够发现世界的内在结构，⽽不是被告知每⼀个客观事物的名称。⼈⼯神经⽹络⽆监督学习算法的设计主要是针对⽆标签数据集的训练，要求应⽤⽆监督学习规则对神经⽹络中的连接权值或结构进⾏⾃适应的调整。也就是说，在没有“教师”信号的监督下，神经⽹络必须⾃⼰从输⼊数据中发现规律性（如统计特征、相关性或类别等），并通过输出实现分类或决策。⼀般来说，只有当输⼊数据集中存在冗余性时，⽆监督学习才有意义，否则，⽆监督学习不能很好地发现输⼊数据中的任何模式或特征，即冗余性提供了知识。脉冲神经⽹络的⽆监督学习算法⼤多是借鉴传统⼈⼯神经⽹络的⽆监督学习算法，是在Hebb学习规则不同变体的基础上提出的。神经科学的研究成果表明，⽣物神经系统中的脉冲序列不仅可引起神经突触的持续变化，并且满⾜脉冲时间依赖可塑性（spike timing-dependentplasticity，STDP）机制。在决定性时间窗⼝内，根据突触前神经元和突触后神经元发放的脉冲序列的相对时序关系，应⽤STDP学习规则可以对突触权值进⾏⽆监督⽅式的调整。2. 脉冲神经⽹络的监督学习脉冲神经⽹络的监督学习是指对于给定的多个输⼊脉冲序列和多个⽬标脉冲序列，寻找脉冲神经⽹络合适的突触权值矩阵，使神经元的输出脉冲序列与对应的⽬标脉冲序列尽可能接近，即两者的误差评价函数最⼩。对于脉冲神经⽹络来说，神经信息以脉冲序列的形式表⽰，神经元内部状态变量及误差函数不再满⾜连续可微的性质，构建有效的脉冲神经⽹络监督学习算法⾮常困难，同时也是该领域的⼀个重要的研究⽅向。根据监督学习所采⽤的基本思想不同，可以将现有的监督学习算法分为三类：1. 基于梯度下降的监督学习算法的基本思想是利⽤神经元⽬标输出与实际输出之间的误差以及误差反向传播过程，得到梯度下降计算结果作为突触权值调整的参考量，最终减⼩这种误差。基于梯度下降的监督学习算法是⼀种数学分析⽅法，在学习规则的推导过程中，要求神经元模型的状态变量必须是有解析的表达式，主要采⽤固定阈值的线性神经元模型，如脉冲响应模型（spike responsemodel）和Integrate-and-Fire神经元模型等。2. 基于突触可塑性的监督学习算法的基本思想是利⽤神经元发放脉冲序列的时间相关性所引起的突触可塑性机制，设计神经元突触权值调整的学习规则，这是⼀种具有⽣物可解释性的监督学习。3. 基于脉冲序列卷积的监督学习算法通过脉冲序列内积的差异构造脉冲神经⽹络的监督学习算法，突触权值的调整依赖于特定核函数的卷积计算，可实现脉冲序列时空模式的学习。3. 脉冲神经⽹络的强化学习强化学习是从环境状态到⾏为映射的学习，以使智能体⾏为从环境中获得的累积奖赏值最⼤。基于⽣物启发的学习机制，⼈⼯神经⽹络强化学习的研究重点在于探索智能体的⾃适应优化策略，是近年来神经⽹络和智能控制领域的主要⽅法之⼀。强化学习关注的是智能体如何在环境中采取⼀系列⾏为，通过强化学习，⼀个智能体应该知道在什么状态下应该采取什么⾏为。可以看到，强化学习和监督学习的区别主要在于以下两点：1. 强化学习是试错学习，由于没有直接的“教师”指导信息，智能体要不断与环境交互，通过试错的⽅式来获得最佳策略；2. 延迟回报，强化学习的指导信息很少，⽽且往往是在事后（最后⼀个状态）才给出的，这就导致了⼀个问题，即获得正回报或者负回报以后，如何将汇报分配给前⾯的状态。四、脉冲神经⽹络的进化⽅法进化算法（evolutionary algorithm）是模拟⽣物进化过程的计算模型，是⼀类基于⾃然选择和遗传变异等⽣物进化机制的全局性概率搜索算法，主要包括遗传算法（genetic algorithm）、进化规划（evolutionary programming）和进化策略（evolutionary strategy）等。虽然这些算法在实现⽅⾯具有⼀些差别，但它们具有⼀个共同的特点，即都是借助⽣物进化的思想和原理来解决实际问题的。将进化算法与脉冲神经⽹络有机结合起来，研究者开辟了进化脉冲神经⽹络（evolutionary spiking neural network）的研究领域，以提⾼对复杂问题的求解能⼒。进化脉冲神经⽹络可以作为⾃适应系统的⼀种⼀般性框架，在没有⼈为⼲预的情况下系统⾃适应调整神经元的参数、连接权值、⽹络结构和学习规则。