网络中频繁的数据交互为恶意网络攻击提供了更多机会，攻击者利用各种手段^[1]入侵网络以窃取数据甚至实现其破坏性目的。为应对这一问题，入侵检测系统(intrusion detection system，IDS)被广泛应用到网络攻击的检测中。其中，数据驱动式入侵检测方法充分挖掘网络流量中的特征信息，利用机器学习方法学习相关特征以构建检测模型，是目前研究的一个热点。主流的IDS基本采用离线训练模式^[2-3]，即在训练前获取所有训练样本，模型在训练结束后无法更新。但开放动态的现实网络环境中，数据流具备时变特性，新类别攻击层出不穷^[4]，离线训练的IDS难以有效应对。重新训练IDS是一种有效解决措施，但可能存在两方面阻碍：一是历史数据量过大导致训练成本激增; 二是历史数据因隐私问题而不再可用。此外，利用新类别样本微调IDS模型也可检测新类别攻击。但样本量增大会引发模型对旧类知识的遗忘，即灾难性遗忘会导致IDS丧失对旧类的识别能力。

增量学习(incremental learning，IL)中，模型在学习新类的同时能够保留旧类知识^[5]。基于增量学习的IDS能够有效应对上述问题。付子爔等^[6]提出了支持向量机与K最近邻(k-nearest neighbor，KNN)相结合的增量式入侵检测方法; 刘强等^[7]提出基于自组织增量神经网络的物联网增量式入侵检测系统。考虑到入侵检测中攻击的不确定性，本文研究更为困难的类增量学习^[8]场景。类增量学习相关方法主要分为两类：一是存储式方法，即将旧类样本存储至缓存器；二是生成式方法^[9]，即在训练中生成旧类样本。入侵检测任务中，生成式方法可能丢失数据特征间的隐含约束，更适合作为一种存储式方法的辅助手段。存储式方法需要随新类数据的到来不断增大存储空间，这将使增量学习研究降级为模型重新训练。因此，缓存器的存储量应固定，随新类到来而变化的应是缓存器中各类的占比。但固定缓存器的大小会导致本就倾向于拟合新类的增量学习加重对新类的过拟合。增强模型对旧类的泛化能力，同时缓解新类上的过拟合问题成为研究的关键。

对抗学习(adversarial learning，AL)^[10]常作为一种以识别准确率换取鲁棒性的方法^[11-12]，但Xie等^[13]所提出的AdvProp(adversarial propagation)成功利用对抗样本提升了卷积神经网络(convolutional neural networks，CNNs)上的识别性能。Chen等^[14]进一步改进了AdvProp, 并验证了改进方法在深度神经网络(deep neural networks，DNNs)上的性能提升。换言之，对抗样本具有提升增量IDS识别能力的可能性。

基于此，为保持模型对旧类的泛化能力并缓解新类上的过拟合及灾难性遗忘问题，本文提出了对抗辅助增强的增量式IDS(adversarial assistance enhanced incremental IDS，AAE-IIDS)。在采用对抗样本对原样本施加正则化约束的基础上，将双分布模拟缓存器和加权交叉熵损失引入检测系统。通过仿真实验，验证对抗样本对模型的识别性能、双分布模拟缓存器和加权交叉熵损失的效用。最后, 在不同的神经网络模型下，将所提方法与最佳基线模型进行对比，以探究所提方法的适用性和有效性。

1 对抗样本生成及效用分析 1.1 对抗样本生成

在第t个增量任务中，给定原样本x^t及其编码后标签y^t，S为围绕x^t的L_p球空间内的一系列对抗扰动。利用投影梯度下降法(project gradient descent，PGD)^[15-16]产生对抗攻击的方法表达式为

$ x^{t_{k+1}}=\Pi_{x^t+S}\left\{x^{t_k}+\sigma \operatorname{sgn}\left[\nabla_x L\left(\Theta^t, x^t, y^t\right)\right]\right\} $

(1)

式中：Π{·}为限制函数^[17]，可将扰动限制到S；L(·)为损失函数; Θ^t为当前增量任务的分类模型; σ为步长；x^t_k为当前任务进行第k次迭代前所用的样本；x^t_k+1为当前任务进行第k次迭代后所得到的样本。在若干次迭代后，获得训练所需要的对抗样本，迭代停止。

1.2 辅助性对抗样本效用分析

研究表明，直接混合对抗样本与原样本训练神经网络会导致识别性能下降^[18-19]。受AdvProp启发，本文分离训练两类样本，从而有效利用对抗样本的异性数据分布增强神经网络的表征能力。批量归一化(batch normalization, BN)极为适合分离训练这一任务。BN利用每个mini-batch计算得到的均值和方差对输入进行标准化，并对输入进行缩放和移动以保持网络的非线性表达能力。这一方法成功解决了内部协变量偏移问题，被广泛应用于有关神经网络的研究中^[20-21]。BN以mini-batch为处理单位，只需确保同一mini-batch中输入的样本类别相同即可确保神经网络中的样本分离输入。

BN的引入与否对训练数据分布的影响见图 1。横轴X表示数据, (μ_A, σ_A)表示对抗样本的正态数据分布，(μ_C, σ_C)表示原样本的正态数据分布，(μ_A+C, σ_A+C)表示混合数据分布。直接将对抗样本和原样本混合送入同一个BN中会导致整体训练数据分布完全异于原样本数据分布，这将导致神经网络识别性能下降。因此，除原样本BN外，引入辅助BN可以利用对抗样本对原样本施加正则化约束，能防止过拟合，从而提升神经网络的整体性能。

2 双分布模拟缓存器

类增量学习赋予模型随入侵变化动态更新的检测能力，其中存储式方法将旧类存储起来以维持整体检测性能。在历史增量训练中，旧类对抗样本被用以增强对旧类原样本的学习，存储旧类对抗样本能够维持其所带来的识别性能增益。此外，在缓存器大小固定时，平均存储不同类型的数据会导致缓存器中的数据分布异于实际数据分布。因此，本文提出了双分布模拟缓存器。该缓存器动态调整其中原样本及对抗样本的占比。考虑到过大的缓存不符合实际应用，双分布模拟缓存器的存储大小保持固定不变。在每个增量任务结束时，存储当前任务中新类的原样本及对抗样本，并根据当前任务数据集在总历史任务数据集中的比例调整旧类别样本的比例。具体而言，假设每个历史增量任务中有m类数据，任务T^t中的旧类C_j的原样本大小为S_j^t，那么在第n个增量任务Tⁿ中各旧类在缓存器中的占比m_jⁿ以及对应对抗样本占比m_j－advⁿ表示为

$ m_j^n=m_{j \text {-adv }}^n=\frac{S_j^t}{2 \sum\limits_{t=1}^{n-1} \sum\limits_{j=1}^m S_j^t} $

(2)

3 加权交叉熵损失

为进一步清晰阐述增量过程中的加权交叉熵损失，将整个增量任务表示为{T^t}_t=1^N，其中N表示任务总数；将第t个增量任务中由b对样本x_i^t以及其独热编码标签y_i^t所构成的一个mini-batch表示为{X_b^t, Y_b^t}={x_i^t, y_i^t}_i=1^b。当然，此处不区分对抗样本抑或原样本。给定当前任务缓存器M以及新类训练数据D^t，此mini-batch的分类损失L_CE为

$ L_{\mathrm{CE}}=\frac{1}{b} \sum\limits_{i=1}^b H\left[P^t\left(x_i^t, \Theta^t\right), y_i^t\right] $

(3)

式中：H[·]为交叉熵损失，P^t(·)为Θ^t预测得到的概率分布。

L_CE无法将D^t与M中数据量大小的不平衡纳入考量范围，因此，本文进一步采用了加权交叉熵损失函数^[22]应对这一问题。简而言之，记样本(x_i^t, y_i^t)的标签值为l，调节样本(x_i^t, y_i^t)的梯度测量G_i^t在其标签所对应输出神经元N_l^t上的大小以增强真实数据标签y_i^t与对应输出神经元N_l^t间的对应性，而其他输出神经元{N_l^t}_j≠l^m(m为数据类别数)上的梯度测量保持不变。具体而言，第l个输出神经元N_l^t的梯度测量G_i^t为

$ G_i^t=\frac{\partial H\left[P^t\left(x_i^t, \Theta^t\right), y_i^t\right]}{\partial N_l^t}=P^t\left(x_i^t, \Theta^t\right)_l-1 $

(4)

式中P^t(x_i^t, Θ^t)_l为样本(x_i^t, y_i^t)的第l个Softmax概率。由此，对{x_i^t, y_i^t}_i=1^b，新类和旧类的权重定义为

$ G_{\mathrm{new}}=\frac{\sum\limits_{i=1}^b\left|G_i^t\right| \varphi_{y_i^t \in \Omega^t}}{\sum\limits_{i=1}^b \varphi_{y_1^t \in \Omega^t}} $

(5)

$ G_{\text {old }}=\frac{\sum\limits_{i=1}^b\left|G_i^t\right| \varphi_{y_i^t \in U_{k^{\prime}=1}^t 1 \Omega^k}}{\sum\limits_{i=1}^b \varphi_{y_i^t \in \cup_k^t=1}} $

(6)

式中：Ω^t为新类的标签空间；∪_k=1^t－1Ω^k为旧类的标签空间；φ为条件函数，当下标条件为真时其值为1，为假则为0。如此一来，模型对旧类与新类的学习速度产生了区别。样本越多的类的学习权重越小，样本越少的类的学习权重越大，这能够有效缓解已学习旧类知识的遗忘问题。加权交叉熵损失定义为

$ L_{\mathrm{WE}}=\frac{1}{b} \sum\limits_{i=1}^b \frac{\left|G_i^t\right|}{\bar{G}_i} H\left[P^t\left(x_i^t, \Theta^t\right), y_i^t\right] $

(7)

式中G_i=φ_yi^t∈Ω^tG_new+φ_{yi^t∈∪k=1^t－1Ω^k}G_old。加权交叉熵损失下，随着新类的到来，旧类别攻击的训练权重不断增加，旧类的灾难性遗忘问题得到有效缓解。

4 对抗辅助增强的增量式IDS

AAE-IIDS的整体训练流程见图 2。为清晰表示不同任务间的数据走向，图 2中主要展示了不同任务的模型情况。在每个增量任务中，对抗样本通过PGD在原样本的基础上生成，并随原样本一起输入模型。增量过程中，双分布模拟缓存器动态调整其内部样本占比以适应变化的网络环境，并同时维持旧类上的正则化约束。

为清晰表述整个流程，本文给出AAE-IIDS的伪代码并做相关解释说明。首先，增量任务中, 将原样本与所生成对抗样本一同输入神经网络; 然后，利用总损失优化整个神经网络的参数。需要注意的是，在测试过程中只允许主BN起作用。伪代码如下：

5 仿真 5.1 仿真数据集

本文使用目前被广泛应用于入侵检测研究的CSE-CIC-IDS2018^[23]和UNSW-NB15数据集。对于CSE-CIC-IDS2018数据集，本仿真将原攻击类型归纳为7个大类^[24-25]。考虑到CSE-CIC-IDS2018数据集的数据量比较庞大，在每类中随机抽取1%的样本进行增量测试。由于Web类样本量过小，仿真中并不使用。训练数据集与测试数据集的切分比例为4∶1。采用官网公开的UNSW-NB15-training数据集和UNSW-NB15-testing数据集，因此不需要进一步划分训练集和测试集。此外，考虑到类别平衡，本仿真不使用数据集中标记为worm的攻击流量。本文主要在CSE-CIC-IDS2018数据集上对所提方法各模块机理进行消融分析，在CSE-CIC-IDS2018和UNSW-NB15数据集上对所提方法的适用性和有效性进行研究。针对本文类增量任务的具体数据集分布见表 1、表 2。

5.2 仿真环境与评价指标

考虑到类增量任务对类间差异的敏感性，所有仿真场景将限定于入侵的多重分类，而非二分类。使用GeForce RTX 3090 GPU在PyTorch 1.12.0环境进行仿真。双分布模拟缓存器固定存储8 000个样本。所有仿真的主要参数如下：batch size设为32，步长设为1，local epoch设为5，优化器使用SGD。

将预测结果正确的正常样本数记为T_N(真阴性)，预测结果正确的入侵样本数记为T_P(真阳性)，预测结果错误的正常样本数记为F_P(假阳性)，预测结果错误的入侵样本数记为F_N(假阴性)。在此基础上，使用分类准确率(A)、精确率(D)和召回率(R)作为评价指标。A能够体现模型整体分类能力。D有效反映了入侵的识别准确率。R有效反映了模型的入侵识别能力。评价指标的计算式如下：

$ A=\frac{T_{\mathrm{P}}+T_{\mathrm{N}}}{T_{\mathrm{P}}+T_{\mathrm{N}}+F_{\mathrm{P}}+F_{\mathrm{N}}} $

(8)

$ D=\frac{T_{\mathrm{P}}}{T_{\mathrm{P}}+F_{\mathrm{P}}} $

(9)

$ R=\frac{T_{\mathrm{P}}}{T_{\mathrm{P}}+F_{\mathrm{N}}} $

(10)

5.3 对抗样本效用分析

为全面研究对抗样本在AAE-IIDS中的效用，本仿真同时在DNN、CNN和RNN上进行测试。在原样本参与的基础上，模型训练分别在以下3种条件下进行：1)无任何对抗样本(基线)；2)有对抗样本但无辅助BN(混合BN)；3)有对抗样本和辅助BN(所提方法)。对应结果见表 3。

由表 3可知，直接混合对抗样本与原样本以训练检测模型将带来灾难性后果，与多数对抗学习相关研究相吻合。在CNN上，任务2混合BN条件所得准确率比基线所得降低了14.68%。而与之相对应，所提方法的增强效果在任务2阶段极为显著。与基线相比，所提方法在CNN上取得了最显著的效果，提高了7.04%。增量训练效果最好的是DNN，从任务1到任务2只衰减了6.90%。

为深入分析所提方法在不同类别上的检测能力，以热力图的形式展示了基线混淆矩阵与所提方法的混淆矩阵之间的成对差异，见图 3。总体而言，所提方法与基线的差异多体现在对旧类的记忆能力方面。在DNN和CNN上，所提方法与基线的主要区别体现在DDoS攻击的识别方面。部分DDoS攻击被基线错误识别为Bot攻击。Bot攻击和DDoS攻击相同的分布式特性可能干扰了基线的识别准确性。缓存器中所存储的旧类对抗样本则辅助DNN和CNN有效地区分了这两种攻击。在RNN模型上，所提方法纠正了基线对部分正常样本和Infiltration攻击的错误识别。

5.4 双分布模拟缓存器仿真

为分析双分布模拟缓存器在AAE-IIDS中的具体效用，在DNN、CNN、RNN上开展仿真。数据重放是增量学习的前提，因此并不开展缓存器消融仿真。本仿真设置两个可变条件：一是缓存器中对抗样本是否存在；二是缓存器中各类的数量是否可动态调整(不可动态调整则平均存储所有类)。由此产生了4种相应仿真结果，见图 4。

由图 4可知，DNN上单一条件的消融都导致了准确率急剧下降。当消融掉所有条件时，准确率降至53.08%。纵观整个实验结果，同一任务中单一条件消融都导致准确率下降，而准确率在消融掉所有条件时降至最低。当然也存在异常情况。在缓存器不可动态调整的条件下，RNN上旧类对抗样本的加入使得准确率小幅下降。造成这种异常现象的可能原因如下：均匀存储由样本量较小的旧类所生成的对抗样本对旧类的原样本施加了过强的正则化约束，辅助BN难以完全缓冲掉这一约束，最终模型整体检测能力衰退。总之，动态调整缓存器极为必要，而且在动态缓存器中加入对抗样本能够提高模型的识别性能。

5.5 损失函数仿真

为测试不同的损失函数设置对AAE-IIDS性能的影响，仿真在RNN上测试了3种情况下的模型性能：1)仅使用交叉熵损失L_CE；2)仅使用加权交叉熵损失L_WE；3)使用混合损失(0.5L_CE+0.5L_WE)。

不同损失函数对AAE-IIDS性能的影响结果见图 5。任务1中无旧类，因此3种情况下准确率完全一致，这符合加权交叉熵损失定义。在增量过程中，与使用交叉熵损失相比，加权交叉熵损失的检测准确率提升了1.33%。结合混合损失的实验结果可知，加权交叉熵损失的性能增益与加权交叉熵损失的应用比例呈正相关。任务2中，由交叉熵损失到混合损失准确率提升了1.02%，由混合损失到加权交叉熵损失提升了0.31%。可见，加权交叉熵损失的应用程度愈深，模型提升效果愈明显。

图 6进一步展示了交叉熵损失与加权交叉熵损失之间混淆矩阵的成对差异热力图。由图 6可知，加权交叉熵损失与交叉熵损失之间的差异主要体现在对旧类的识别能力方面。加权交叉熵损失在训练过程中增加了旧类的权重。被交叉熵损失错误判定为DoS攻击的63个样本中有59个被加权交叉熵损失正确识别为Normal样本。被判定为Bot攻击的185个样本中有174个被正确识别为Infiltration攻击。该纠正过程并未导致对新类别的错误识别，仿真现象完全符合理论分析结果。

5.6 不同模型效果对比

为探究所提方法的适用性和有效性，仿真构建了DNN、CNN、RNN和CNN-GRU网络，并分别在CSE-CIC-IDS2018和UNSW-NB15数据集上与最佳基线模型进行对比。对应结果见表 4、表 5。

在CSE-CIC-IDS2018数据集上，所提方法在DNN上取得了最佳结果，所有指标均高于基线。在UNSW-NB15数据集上，所提方法在DNN模型上取得了整体最佳结果。综合两个数据集仿真结果，所提方法在DNN上获得了较高的精确率和召回率，这意味着DNN对不同攻击的识别比其他网络更为准确。实际上，多分类任务中获取高精确率及高召回率本身较为困难，而类增量学习场景则进一步提高了识别难度。在类增量任务中，模型学习样本量较小的类的难度极大。而一旦模型无法识别这些类，通过平均所有类别的精确率和召回率所得出的总精确率和召回率则急剧下降。这正是本仿真部分模型的精确率和召回率远低于相应准确率的原因。总体而言，所提方法通过提高对新类别的泛化能力及减轻灾难性遗忘问题，有效地增强了增量式IDS识别入侵的能力。

6 结论

本文利用对抗学习增强检测模型的泛化能力以应对真实网络环境中不断到来的新攻击，结论如下：

1) 对抗样本直接混合原样本进行训练导致检测模型性能下降，而以数据分布上隔离的形式参与训练则有效增强了模型对原样本的拟合能力，缓解了新类上的过拟合问题。

2) 双分布模拟缓存器中对旧类对抗样本的存储成功保持了对旧类原样本的正则化约束，缓存器内样本的动态调整提高了模型对旧类的泛化能力。

3) 加权交叉熵损失有效缓解了增量任务中新旧类样本不平衡所引发的灾难性遗忘问题，在不影响新类的识别能力的同时增强了对旧类的识别能力。

4) 对抗样本能够提升入侵检测模型在CNN、DNN、RNN上的识别能力。