西安工业大学电子信息工程学院 西安 710021
摘要：跳频序列被广泛应用于通信领域，针对现有跳频序列预测方法计算量大、训练网络复杂、精确度不足的问题，提出基于回声状态网络的跳频序列的单步预测算法。该算法在预估跳频序列的基础上，利用回声状态网络的短时记忆能力在训练数据规模小于序列周期的情况下完成预测工作。实验结果表明，通过本文所述算法可实现对基于L-G模型产生的跳频序列的实现零误差单步预测，并以此为前提实现了对该序列的多步迭代预测，同样得到零误差预测的结果。
关键词：跳频序列；回声状态网络；L-G模型；单步预测
0 引 言
回声状态网络（ESN）是在传统递归神经网络（RNN）的基础上开发的一种新型储备池计算方法[1]。与常规递归神经网络不同的是回声状态网络隐含层为一个包含大量稀疏连接神经元的储备池，并在训练过程中固定不变。通过对储备池状态矩阵与训练数据进行线性回归进行输出权值矩阵进行训练，这是回声状态网络中唯一需要训练的部分[2]。因此，回声状态网络不仅在训练速度上相较常规递归神经网络更快，并且解决了梯度爆炸和梯度消失的问题。鉴于以上优势，回声状态网络近年来除了在时间序列预测[3]应用以外，在电力负荷预测[4]，非线性系统控制[5]、等方面都展示了良好的前景。科研工作者在将回声状态网络应用于各领域的同时也在针对使用条件的改变对其进行改进与优化。针对深度置信网络（DBN）收敛速度慢、局部最优等缺陷，文献[6]中提出在原网络回归层嵌入回声状态网络的训练机制使得系统对时间序列的预测性能、训练速度和短期记忆容量方面都有显著提升；文献[8]在泄露积分型回声状态网络的基础上在储备池更新方程中引入双激活函数代替单激活函数提高时间序列预测的精度。与此同时，更多的学者致力于通过对回声状态网络机理进行更深入的研究以充分发掘其应用潜力[9]。
1 跳频序列
本文以m序列抽头选取法构造跳频序列为例进行分析和预测，其它伪随机序列产生方法也可以类似预测。伪随机序列产生模型如图1所示，基于限域GF（P）（P为素数）上的n级移位寄存器产生的m序列，将n个连续相邻寄存器的输出序列与n个用户地址码逐项模p相加，可以用这样产生的序列作为跳频选择随机序列，该模型最早由A.Lempel和H.Greenberger提出被称为L-G模型如图1所示：
.png)
图1 Lempel-Greenberger跳频序列产生模型
其中，a1，a2，…an[0，1]为寄存器初始值c1，c2，…cn[0，1]为反馈系数由本原多项式确定；k1，k2，…kn[0，1]为伪随机序列地址码信息，通过该信息可以实现跳频序列的多用户选择。
2 回声状态网络
2.1 回声状态网络基本结构
回声状态网络是一种新型递归神经网络，其核心思想是利用满足一定稀疏度和谱半径要求的动态储备池代替原递归神经网络的隐含层，通过调整动态储备池内节点到输出节点的权值控制网络运行状态并实现短期记忆功能。因此回声状态网络的训练过程就是利用线性回归的方式获得动态储备池的状态与理想输出信息之间的关系。回声状态网络的基本结构如图2所示。
.png)
图2 回声状态网络结构模型
如图4.1所示，回声状态网络包含三个部分，输入向量、动态储备池和输出向量。回声状态网络输入向量含K个输入节点，对应输入向量u（t）=[u1（t），u1（t），…，uK（t）]T；经过与输入权值矩阵Win后输入动态储备池。动态储备池矩阵包含N个内部神经元，动态储备池内部节点通过储备池连接权值矩阵W相互连接；储备池状态向量r（t）=[r1（t），r1（t），…，rN（t）]T由加权输入量Winu（t）与上一时刻储备池状态向量加权值Wr（t-1）合成得到，计算公式如公式（1）所示：
.png)
（1）
输出向量包含L个输出节点，输出向量v（t）=[v1（t），v2（t），…，vL（t）]T由输入向量u（t）和储备池状态向量r（t）通过输出权值矩阵Wout计算得到，计算公式如下：
.png)
（2）
2.2 回声状态网络单步预测算法
本节将阐述利用少量跳频序列作为训练数据结合回声状态网络的短时记忆特性实现针对该跳频序列的单步预测算法。算法步骤如下：
（1）采集跳频序列样本s=[s1，s2，…，sn]。
（2）经过排序、一阶差分计算该跳频样本序列最小频率间隔Δsmin=min{|sj-sk|，j≠k，j，k=1，2，…，n}，并计算样本序列内频率值的极差sR=max（s）-min（s）。
（3）计算Nf=sR/Δsmin，取大于Nf的最小2的幂次方作为跳频频率序列预估周期长度，记为2Ne，取回声状态网络的输入维数K=Ne。
（4）确定网络结构参数：输入维数，输出维数，储备池连接权值矩阵规模等。在[-1，1]内随机选取输入权值矩阵Win和储备池连接权值矩阵W的元素。储备池初始状态向量为r（0）为0向量。
（5）将所有样本转换为K位二进制数组，即si→u（i）=[u1（i），u1（i），…，uK（i）]T；u1（i），u1（i），…，uK（i）=0，1；i=1，2，…，n。则训练输入数据为[s1，s2，…，sn-1]，训练输出数据为[s2，s3，…，sn]，将n-1组输入向量依次输入回声状态网络，按照下式更新储备池状态：
.png)
（3）
（6）输出权值矩阵训练：将每一训练时刻储备池状态向量与输入向量合并作为新的向量：
.png)
（4）
与之对应的真实值输出矩阵为：
.png)
（5）
利用如下公式计算输出权值矩阵W：
.png)
（6）
其中，σ为岭回归正则化系数。
（7）根据上述n个数据训练输出矩阵，可以预测下一频率，具体公式如下：
.png)
（7）
其中
.png)
为回声状态网络针对当前跳频序列的单步预测输出向量，对该向量内元素进行阈值判断，其表达式如公式（8）所示：
.png)
（8）
（8）按照公式（9）将输出向量按照二进制数组转化成跳频序列值：
.png)
（9）
至此，基于回声状态网络的单步预测完成。
3 实验验证
3.1单步预测必要条件
在本次仿真实验中遍历所有基于L-G模型生成跳频频率序列的情况，研究跳频序列样本规模与准确求算该序列最小频率间隔的关系。以9阶系统为例，即移位寄存器和地址码信息各由九位二进制数组成，其中移位寄存器初始值不可全为0值，遍历两者所有可能数组情况，可以产生261632种组合方式，从而产生261632种跳频序列。本次实验将研究在跳频序列采集规模不同的情况下成功求算最小频率间隔的比例变化情况和极差变化情况。仿真参数如表1所示。
表1 回声状态网络必要训练数据规模求算仿真参数
.png)
实验结果如图3、图4所示。
.png)
图3 最小序列间隔求算成功率随跳频序列采集量变化曲线
.png)
图4 最小序列极差值随跳频序列采集量变化曲线
由图3可以看出，当跳频频率采集量由10到60之间时，求算当前序列最小频率间隔的成功率逐步升高，并且在采集量为60时成功率达到100%且在后续采集量条件下继续保持。因此认为当跳频频率值样本规模在60以上时，可以准确计算其完整序列的最小频率间隔。
由图4可见，曲线表示最小频率极差随跳频频率采集量增加的变化情况。在频率采集量为60时，由图3所示实验结果可得最小频率间隔为1，在图4中可看出任意跳频序列情况下频率极差范围都在434～512中，可根据本文算法预估跳频序列长度，进而确定回升状态网络输入维度。
根据上述仿真实验结果可以得到以下结论：本文述算法正常实现对周期为511的跳频序列单步预测的必要条件是回声状态网络的训练数据规模必须大于60，即必须利用利用时频分析方法辨识得到60个以上频率值才能实现频率值的单步预测。本文跳频序列周期为511，远大于上述必要条件的数据规模。
3.2单步预测实验
根据上述算法步骤开展基于回声状态网络的单步预测仿真实验，实验参数如表2所示。
表2 跳频频率预测方案仿真参数统计表
.png)
仿真结果如图5、图6所示。
.png)
图5 跳频序列预测值变化情况
.png)
图6 跳频序列预测值误差变化曲线
图5所示为当已获得跳频序列值个数即回声状态网络的训练数据规模为100时，进行单步预测和迭代预测的实验结果；图6为跳频序列预测值误差变化曲线。实验表明利用回声状态网络可以对基于L-G模型生成的跳频序列进行单步预测和迭代预测，并可以通过选取近似值的方式消除预测中出现的误差，实现零误差预测。本文所提出的算法可实现。
4 结论
本文提出了利用回声状态网络实现跳频序列的单步预测的算法。该算法在对跳频序列周期预估的前提下，利用回声状态网络内部动态储备池的短时记忆功能，通过调整各权值矩阵的参数变化达到记忆数据的目的，解决了基于L-G模型跳频序列的单步预测的问题，并在此基础上利用单步预测所得寻列数据作为新的训练数据实现了迭代预测。仿真实验中，该算法通过对输出量近似取整的方式消除了预测中产生的微小误差，在训练数据较少的情况下实现了对跳频序列的零误差预测。与其他预测方式相比，回声状态网络在计算精度和运算速度上都具有一定优势，且算法原理相对简单，对训练数据的需求量较少。在未来的研究中，有以下两方面可进行改进和探究：第一，对回声状态网络的动态储备池进行优化，以实现在满足精度要求的前提下加快运算速度，提高运算效率；第二，探究回声状态网络训练数据规模和网络储备池连接矩阵维度变化对单步预测成功率的影响，寻找单步预测成功率为100%前提下所需要的最小训练数据规模。
参考文献：
[1]Mantas Lukoševičius，Herbert Jaeger.Reservoir computing approaches to recurrent neural network training[J].Computer Science Review.Aug 2009，3（3）：127–149.
[2]Li Decai，Han Min，Wang Jun.Chaotic time series prediction based on a novel robust echo state network[J].IEEE Transactions on Neural Networks and Learning Systems.2012，23（5）：787-799.
[3]王劲松.基于集成回声状态网络Fisher核的时间序列分类算法[J].计算机应用与软件，2020，37（07）：253-258+274
[4]安鹏跃，孙堃.基于相似日和回声状态网络的光伏发电功率预测[J].智慧电力，2020，48（08）：38-43.
[5]Pan Yunpeng，Wang Jun.Model predictive control of unknown nonlinear dynamical systems based on recurrent neural networks[J].IEEE Transactions on Industrial Electronics.2012，59（8）：3089-3101.
[6]Sun Xiaochuan，Li Tao，Li，Qun et al.Deep belief echo-state network and its application to time series prediction[J].Knowledge-based System.2017，130：17-29.
[7]Lun Shu-Xian，Yao Xian-Shuang，Qi Hong-Yun et al.A novel model of leaky integrator echo state network for time-series prediction prediction[J].Neurocomputing.2015，159：58-66.
[9]Atencia Miguel，Stoean Ruxandra，Joya Gonzalo.Uncertainty quantification through dropout in time series prediction by echo state networks[J].Mathematics.2020，8（8）：1374.