摘要
为提升污水处理厂运行效能，以污水处理厂出水总氮为主要控制指标，比较机理模型与机器学习模型的预测能力，在模型构建的基础上考察参数优化对运行效能的提升（出水总氮、能耗）。采用响应面法耦合活性污泥模型，构建响应面二次多项式优化好氧区溶解氧、污泥内回流比及污泥外回流比3个关键工艺参数，以获得最优的出水总氮。同时，考察并优选随机森林模型、极端梯度提升模型、轻量级梯度提升机模型等6种经典机器学习模型，进一步构建双延迟深度确定性策略梯度算法耦合随机森林模型的多目标优化架构，协同优化出水总氮与能耗。结果表明：响应面法耦合活性污泥模型拟合度高（R2=0.9445），在最优条件下出水总氮去除率可达89.14%，最佳出水总氮质量浓度为3.533 mg/L，比实际水厂出水降低45.48%；机器学习模型预测中随机森林表现最佳（R2=0.79，平均相对误差EMR=7.5%），采用双延迟深度确定性策略梯度算法强化学习多目标优化控制策略后，平均出水总氮质量浓度为6.20 mg/L，比实际水厂出水降低4.32%，曝气与泵送能耗降低33.12%，运行成本指数降低25.16%；在短期内单一的总氮去除目标上，活性污泥模型的处理效果更好，但双延迟深度确定性策略梯度算法优化的优势在于多目标优化，在保证总氮稳定达标的基础上，在控制能耗、成本和稳定性方面取得了显著提升，其在长期操作中综合处理效果更为优越。综上，双延迟深度确定性策略梯度算法耦合随机森林模型实现多目标优化控制，为污水处理厂智能运行提供理论与方法支撑。
关键词
Abstract
To enhance the operational efficiency of wastewater treatment plants, this paper took effluent total nitrogen as the primary control indicator, comparing the predictive capabilities of mechanistic and machine learning models. Based on model construction, the improvement effects of parameter optimization on operational efficiency (effluent total nitrogen and energy consumption) were further investigated. First, the response surface methodology was coupled with the activated sludge model to establish a quadratic polynomial response surface for optimizing three key process parameters: dissolved oxygen in the aerobic zone, internal sludge recirculation ratio, and external sludge recirculation ratio. This optimization aimed to achieve the optimal effluent total nitrogen. In parallel, six classical machine learning models such as random forest model, extreme gradient boosting model, and light gradient boosting machine model were evaluated and selected. Furthermore, a multi-objective optimization framework was developed by coupling the Twin Delayed Deep Deterministic Policy Gradient Algorithm with a random forest model, synergistically optimizing effluent total nitrogen and energy consumption. The results demonstrate that the response surface methodology coupled with the activated sludge model achieves a high goodness of fit (R2=0.9445). Under optimal conditions, the removal efficiency of effluent total nitrogen can reach 89.14%, with the optimal effluent total nitrogen concentration of 3.533 mg/L, representing a 45.48% reduction compared with that of actual wastewater treatment plants. Among the machine learning prediction models, the random forest model exhibits the best predictive performance (R2=0.79,EMR=7.5%). After applying the multi-objective optimization control strategy processed by a Twin Delayed Deep Deterministic Policy Gradient Algorithm based on reinforcement learning, the average effluent total nitrogen concentration is 6.20 mg/L, 4.32% lower than that of actual wastewater treatment plants, while aeration and pumping energy consumption decrease by 33.12%, and the operating cost index is reduced by 25.16%. In the short term, the activated sludge model achieves superior performance for the single objective of total nitrogen removal. However, the advantage of the Twin Delayed Deep Deterministic Policy Gradient Algorithm optimization lies in its multi-objective optimization, delivering significant improvements in controlling energy consumption, cost, and stability while maintaining effluent total nitrogen compliance. In the long run, this approach provides superior overall treatment results. In conclusion, the Twin Delayed Deep Deterministic Policy Gradient Algorithm coupled with random forest model enables effective multi-objective optimization control and offers both theoretical and methodological support for the intelligent operation of wastewater treatment plants.
在污水处理厂的运行调控中，传统优化方法大致分为两种，一是人工经验调节，虽简单直观，但缺乏系统性和时效性；二是出水反馈控制，如比例-积分-微分（proportional-integral-derivative，PID）控制在干扰水平较低时可以实现快速响应效果[1-3]。近年来，研究者普遍发现传统控制（以PID控制为代表）在处理非线性、时变性强、多变量耦合的复杂系统时出现动态响应滞后、超调量大、能耗高等缺陷，因此，尝试将PID与模糊逻辑、智能算法和预测模型相结合，提高其自适应能力和响应性能。如Eshbobaev等[4]在乌兹别克斯坦某废水厂案例中采用传统PID控制的响应时间长达40 s，能耗范围为2~2.5 kJ/m3，采用模糊逻辑对PID进行优化控制出水硬度和总溶解固体，响应时间缩短62.5%，能耗降低5%~8%。王文成等[5]在广西某污水处理厂案例中采用传统PID控制的响应时间长达118.2 s，超调量6%，使用径向基函数神经网络模型优化PID控制溶解氧，与传统PID相比响应时间和超调量分别缩小10.3%和33.3%，传统PID在参数整定后仍存在稳态误差，而使用径向基函数神经网络模型优化PID控制方法的收敛精度达95.85%。阳鑫等[6]采用传统PID控制的响应时间长达24 s，超调量10.556%，采用粒子群算法优化模糊逻辑-PID控制溶解氧，与传统PID相比响应时间和超调量分别降低了47.9%和86.9%。Ding等[7]在青岛某污水处理厂案例中采用传统PID控制的碳源投加量为0.098 kg/m3，采用基于机理模型的预测模型对PID进行优化后碳源投加量为0.078 kg/m3，相比人工调节和PID调节分别下降了29.1%和20.4%，每月节省药剂成本96 700元。大量研究表明，模型预测控制作为一种“事前控制”[8]，通过对工艺的精准模拟实现处理效能的提前预测，进而支撑事前优化调控，能够更好地保证工艺运行的高效性与稳定性。
模型预测控制策略中的模型可分成基于过程机理的机理模型和基于数据驱动的机器学习模型。活性污泥模型（Activated Sludge Model，ASM）通过模拟有机物的去除、脱氮、除磷过程对污水处理进行预测[9]，大量研究针对不同污水处理工艺构建了ASM机理模型，实现了污水处理过程的精准预测及参数优化[10-11]。目前，污水处理控制中存在多目标优化的挑战，需同时满足出水质量提升、能耗降低以及运行成本最小化，ASM模型的控制策略主要关注单一目标[12]，缺乏多目标协同优化能力[13-16]，与ASM模型相比，基于数据驱动的机器学习模型在实现多目标优化方面具有更强的可行性与优势。ASM模型属于参数复杂的微分方程机理模型，计算量大，运行依赖于特定的仿真平台（如基准仿真模型1号BSM1和污水处理厂通用仿真平台GPS-X），且对外接口灵活性较低，难以支撑智能优化算法所需的大规模迭代调用。而机器学习模型善于拟合非线性、多变量耦合关系[8]，预测精度高、运算速度快，非常适合在迭代优化中反复调用，机器学习模型在完成训练后得到的输入-输出函数映射，可直接在Python、Matlab等环境中与遗传算法、粒子群算法等智能算法结合使用。因此，机器学习模型不仅显著降低了优化过程的计算负担，也提升了多目标协同优化的灵活性与推广性，更适合在污水处理工艺的智能化运行优化中应用。
近年来，学者们针对污水处理运行调控中的多目标优化挑战，提出了用机器学习模型代替复杂或计算量大的机理模型进行建模预测，结合粒子群算法、遗传算法、混合算法等多目标优化算法实现设定值的控制优化。邓鑫等[17]利用径向基神经网络模型结合多目标粒子群优化算法对出水水质指标与系统能耗进行多目标优化，与传统比例-积分控制相比，平均出水水质有较明显提升的同时，系统能耗降低24.92 kWh/d。类似地，王勇等[18]利用径向基神经网络模型结合多目标粒子群优化算法对出水水质指标与系统能耗进行多目标优化，控制系统更加准确和稳定，响应速度有所提升，单位处理成本节省19.4%。陈惠鑫等[19]利用自适应增强模型结合多目标遗传算法对出水水质指标、温室气体指数与运营成本指数进行多目标优化，月均污泥产量降低5%，月均耗电量降低4.07%，在满足一级A排放标准的同时，降低约3.63%的温室气体排放，并减少4.07%的运行成本。袁沐坤等[20]利用K均值聚类算法结合注水原理实现入水工况库的自主更新，采用最小二乘支持向量机模型与反向传播神经网络模型结合多目标粒子群优化算法对出水水质指标与系统能耗进行多目标优化，在出水达标且出水水质优于原系统1%~2%的情况下，经济指标相比原系统下降了10%~15%，节能效果显著。此外，何正磊等[21]对污水处理提出了一种基于克里金高维代理模型表征的高智能体强化学习多目标动态优化方法，与静态优化相比，动态优化在出水水质达标的前提下，节省单位运行成本34 000元，节能1 081.30 kWh，减少10.30%的温室气体排放。强化学习是基于交互和状态转移的长期奖励优化过程，特别适合污水处理动态环境的多目标优化，双延迟深度确定性策略梯度（Twin Delayed Deep Deterministic Policy Gradient，TD3）算法是一种连续动作控制的深度学习算法，能在时变工况下提供稳定高效的闭环强化学习，为实时协同权衡多目标提供支持，近年来广泛应用于汽车工业、船舶工业、电力工业等领域，通过强化学习优化模型预测污水处理厂运行效能并开展多目标优化的研究现阶段仍较少报道。
在此背景下，本研究基于实际污水处理厂的长期运行数据，开展了ASM建模与机器学习建模，并进一步通过响应面法耦合ASM模型考察了多参数优化（溶解氧质量浓度、污泥内回流比、污泥外回流比）对出水总氮的提升；并进一步采用TD3与机器学习模型考察了多参数、多目标（出水总氮+能耗）优化效能，拟为污水处理厂优化运行提供参考与支持。与既有方法相比，本研究提出的机器学习模型耦合TD3强化学习算法在性能和适用性方面展现出更突出的优势。传统改进方法主要将PID控制与模糊逻辑、智能优化算法或预测模型相结合，以提升单目标控制的稳定性，但难以应对复杂工况下的多目标权衡。另一类研究则多利用机器学习模型替代复杂或计算量大的机理模型，再结合粒子群算法、遗传算法或混合算法实现多目标控制优化，尽管在一定程度上降低了计算负担，但仍局限于固定设定值控制层面的静态优化，缺乏实时学习和更新机制。相比之下，本研究的创新在于TD3属于深度强化学习，能够学习状态-动作映射关系，实现随进水工况变化的动态最优控制策略，突破了设定值控制的局限，实现了多目标的动态、智能化寻优；在实际污水厂长期运行数据支撑下，方法的泛化性与工程适用性更强。因此，本研究在多目标优化性能和工程可推广性方面优于现有方法。
1 污水处理厂基本情况及数据
1.1 目标污水厂主体工艺
该污水处理厂主体工艺为改良厌氧—缺氧—好氧（A2/O）工艺，具体工艺流程如图1所示。该工艺流程包含从进水到出水的多个物理、化学和生物处理单元。污水首先经过粗格栅去除大颗粒悬浮物、树枝等杂物，随后进入提升泵房提升后经过细格栅去除较为微小的悬浮物，以防止后续设备堵塞和损坏。之后，污水进入曝气沉砂池，通过曝气的方式去除较大颗粒的沙砾，避免沉积在管道和设备中影响运行。然后，污水进入改良A2/O工艺处理单元，实现有机物降解与脱氮除磷。经过生物处理后，污水流入二沉池进行沉淀，利用重力沉降分离活性污泥和水，部分活性污泥被回流至生物处理单元以维持微生物浓度，剩余污泥则被排出进行污泥处理。二沉池出水经磁混凝沉淀进一步去除残余的悬浮物、胶体污染物和部分溶解性污染物。最后，经过紫外/次氯酸钠消毒处理单元后外排至自然水体。本研究仅针对污水处理厂的污水处理系统进行建模及优化分析，未考虑污泥处理过程，故工艺流程图不包含污泥处理相关工艺。
图1污水处理厂设计工艺流程
Fig.1Design process of wastewater treatment plant
1.2 目标污水厂运行数据
以中国某城市污水处理厂为研究对象，通过统计学方法对目标污水厂2018年10月—2019年11月采集的数据进行全面分析，以掌握该污水厂在全年范围内水质与水量的分布特征和变化趋势。对进水水质参数、运行参数以及出水水质参数进行了描述性统计，主要涵盖最小值、最大值、平均值及标准差等统计量。这些指标不仅能够反映数据整体的波动情况，还可以反映数据的离散程度，为后续数据预处理奠定了基础。该水厂数据整体描述性统计如表1所示。
表1目标污水厂数据描述性统计
Tab.1Descriptive statistics for targeted wastewater treatment plant data
2 响应面法耦合ASM模型优化脱氮效能
2.1 模型参数设定及因素水平设计
模拟试验以污水处理厂2019年11月的月均进出水水质为对象，主要进水水质参数如下：进水流量为82 183 m3/d、pH为7.24、化学需氧量为302.53 mg/L、总氮为32.53 mg/L、总磷为3.77 mg/L，聚合氯化铝投加量设置为3 980 kg/d，外回流量为100 409 m3/d，内回流比设置为200%。
以出水总氮（total nitrogen，TN）质量浓度为指标，选择好氧区溶解氧质量浓度、内回流比、外回流比3个影响因素，设计并进行响应面优化试验，求得最优工艺参数组合。使用Design-Expert 13平台进行响应面优化设计及后续分析。影响因素水平设计如表2所示。
表2响应面实验因素水平及编码
Tab.2Factor levels and coding of response surface experiment
2.2 响应面模型拟合及其显著性分析
基于响应面Box-Behnken设计了17组不同的试验场景，以探究好氧区溶解氧、内回流比和外回流比对出水TN质量浓度的影响。首先，利用ASM模型对各场景中给定的试验条件进行模拟，获得出水TN质量浓度的预测值；随后，采用响应面法对模拟数据集进行分析，构建出水TN质量浓度与操作参数间的定量关系模型，并通过模型优化确定最佳参数。响应面模拟试验设计及出水TN质量浓度模拟结果如表3所示。
表3响应面模拟试验设计及结果
Tab.3Design and results of response surface simulation test
为探究各影响因素对出水TN质量浓度的影响，采用响应面法构建线性、二次及三次多项式模型，并通过显著性检验与拟合优度指标筛选得出二次多项式模型为最优模型。该二次多项式模型的方差分析结果如表4所示，模型F值为223.59，且P＜0.000 1，表明该二次多项式模型极显著，较好地描述了各因素与响应值之间的关系。A2、B2和C2的P值均小于0.05，表明对出水TN质量浓度有显著影响。
模型出水TN质量浓度与各因素相关性的二次多项式模型可以表示为ρ（TN）=16.898 3+2.473 23A-0.011 277B-0.473 413C+0.000 16AB-0.000 143AC+0.000 034BC-0.350 556A2+0.000 023B2+0.003 748C2。该二次多项式模型的预测决定系数为0.944 5，调整决定系数为0.992 1，二者差异仅为0.047 6，远小于0.2，表明该模型对新数据的预测能力与对现有数据的拟合度高度一致，模型极具有回归性，反映了该二次多项式模型可靠地描述了污水处理厂的出水TN质量浓度。
表4二次多项式模型方差分析结果
Tab.4Variance analysis results of quadratic polynomial model
2.3 响应面优化结果分析
根据响应面模拟试验结果及响应曲线方程可绘制出方程的响应曲面图，见图2。图2（a）和图2（c）表明，外回流比分别与溶解氧、内回流比的交互作用都很显著，说明外回流量对出水TN质量浓度的影响程度很大。随着外回流比的增加，出水总氮质量浓度呈现先降低后增加的趋势。这表明在特定范围内，增加外回流量有助于降低出水总氮质量浓度，但持续增加可能会导致过度曝气，反硝化作用被抑制，从而导致出水TN质量浓度升高。出水TN质量浓度随内回流比的增大呈现缓慢降低的趋势。图2（b）表明内回流比与溶解氧的交互作用不显著。
图2响应面分析变量对出水总氮质量浓度的影响
Fig.2Effect of response surface methodology variables on effluent total nitrogen concentration
根据响应面试验及分析结果，得出该污水处理厂降低出水TN质量浓度的最佳参数：溶解氧为1.125 mg/L，内回流比为255%，外回流比为65%。在该运行参数下出水TN去除率可达89.14%，此时，通过模拟可得出最佳出水TN质量浓度为3.533 mg/L，与水厂出水TN质量浓度平均值6.48 mg/L相比，采用最佳参数运行时出水TN质量浓度可降低约45.48%。
3 基于强化学习的污水处理系统多目标优化分析
降低出水TN质量浓度的策略如提高溶解氧、增加曝气、优化回流比等，会增加曝气能耗、泵送能耗和混合能耗，提高运行成本。因此，如何在保证TN去除率达标的同时实现能耗降低是污水处理过程中的一个核心问题。多目标优化方法可以在保证一定TN去除率的前提下，合理控制溶解氧质量浓度和污泥回流量，尽可能减少能源消耗。
双延迟深度确定性策略梯度（Twin Delayed Deep Deterministic Policy Gradient，TD3）算法具备动态决策、连续控制和实现多目标优化的能力，但需要一个可交互的环境来反复学习；机器学习模型具有能够高效精确学习复杂输入-输出关系的优势，但本身不具备多目标动态优化能力。因此，将两者进行结合互补，机器学习模型为TD3算法提供近乎“实时”的环境反馈，降低了训练成本和时间，TD3算法则利用这些反馈不断改进策略，实现多目标动态优化，不仅显著降低了优化计算负担，还提升了动态多目标优化的灵活性与泛化性，更契合污水处理工艺智能化运行的需求。
以污水处理厂2018年10月—2019年12月连续进出水水质参数及运行参数为对象，以降低出水TN质量浓度和降低能耗为目标，进行多目标优化分析。
3.1 双延迟深度确定性策略梯度（Twin Delayed Deep Deterministic Policy Gradient，TD3）算法
TD3算法是一种针对连续控制任务设计的深度强化学习算法，其核心思想是通过改进深度确定性策略梯度（DDPG）算法的不足，解决价值函数过估计和策略训练不稳定的问题。TD3算法通过引入3个关键技术——双重Q学习、延迟策略更新和目标策略平滑正则化，显著提升了算法在高维连续动作空间中的稳定性和收敛性能。
在传统的DDPG算法中，由于采用自举方式更新评价网络，估计误差容易积累，造成Q值系统性高估，进而使策略网络过早陷入局部最优解。TD3通过构建两个独立的评价网络，在计算目标Q值时选取两个网络中的较小值作为更新目标值，从而有效抑制了Q值的过估计现象。这一双重Q学习机制借鉴了离散动作空间算法中的双重深度Q网络思想，但在连续动作空间中需结合确定性策略的特点进行适配。此外，TD3采用延迟策略更新的策略，即评价网络的更新频率高于策略网络。具体而言，评价网络每完成若干次参数更新后，才对策略网络进行一次优化。这种设计缓解了策略网络因价值函数估计不准确而导致的振荡问题，使得策略改进过程更加平稳。为进一步提升算法的稳定性，TD3在目标策略网络生成动作时引入了平滑正则化机制。具体来说，当计算目标Q值时，算法会在目标策略网络的输出动作上添加高斯噪声，并通过裁剪操作限制噪声幅度，从而生成一个更加平滑且稳健的目标动作。这一正则化方法有效缓解了因函数近似误差导致的策略退化风险，使得评价网络对动作变化的评估更具鲁棒性。综上所述，TD3通过多项结构性改进，在不显著增加计算负担的前提下，有效提升了算法在复杂动态环境下的表现，已成为解决连续控制问题的重要工具之一。
3.2 机器学习模型搭建
本研究选用6种结构成熟、应用广泛且具有代表性的经典机器学习模型构建城市污水处理系统出水TN预测模型，分别是极端梯度提升（eXtreme Gradient Boosting，XGBoost）模型、随机森林（Random Forest，RF）模型、轻量级梯度提升机（Light Gradient Boosting Machine，LightGBM）模型、支持向量机（Support Vector Machine，SVM）模型、K近邻（K-Nearest Neighbors，KNN）模型和多层感知机（Multilayer Perceptron，MLP）模型，其在污水处理过程建模与出水水质预测中已有较多应用实践，在处理非线性、多维度、噪声数据时各自具有优劣势。其中，XGBoost和LightGBM属于梯度提升类集成学习方法，具备较强的非线性拟合能力和特征选择能力，尤其适合处理高维异质数据，但在样本量过小或超参数设置不当时易出现过拟合。RF作为另一类集成树模型，具有良好的鲁棒性和可解释性，能够有效应对缺失值和噪声数据，在污水处理厂进出水复杂耦合关系建模中应用广泛，但其对极端边界条件的预测能力有限。SVM基于核函数映射，适合处理小样本和非线性问题，在预测精度上表现稳定，但在大规模数据集上的计算效率相对较低。KNN的距离度量算法思想直观，能较好反映局部相似性，在数据量较小时具有一定优势，但在高维大数据条件下计算成本高且预测效率较低。MLP作为典型的前馈神经网络模型，能够自动提取复杂的非线性特征关系，在预测精度上具有潜力，但对数据量和超参数的依赖性较强，且可解释性相对不足。基于上述考虑，选择能够覆盖梯度提升、树模型、核方法、距离度量方法以及神经网络等主流范式的这6种机器学习模型，具有较强的代表性和对比意义。
研究数据经过四分位距法识别异常值、插值法填充缺失值等数据预处理后，共构建426组有效样本数据集。其中，进水特征数据包括进水流量、pH、COD、BOD、SS、TP、NH+4-N、TN，运行特征数据包括日均污泥饼量、污泥含水率、污泥浓度、污泥回流量、溶解氧质量浓度、PAC投加量、PAM投加量。数据集按照8∶2划分为训练集和测试集，并采用Min-max标准化方法消除数据量纲及数据尺度的差异。
使用Optuna自动化调参框架对上述6种机器学习模型进行调优，各模型预测性能如表5所示。
表5各模型预测结果对比
Tab.5Prediction result comparison of different models
综合考虑上述评估指标，随机森林在测试集上表现出较高的R2和较低的EMS，分别为0.792 4、0.377 0，且其平均相对误差为7.50%。因此，选取随机森林模型用于本研究中的多目标优化架构建立。
3.3 污水处理系统的多目标优化架构建立
根据强化学习算法的逻辑原理，本研究中的智能体为应用TD3强化学习算法的控制系统，智能体的运行交互环境为随机森林模型，状态即是该污水处理系统在某一时刻的具体情况，动作为调节污泥回流量、溶解氧质量浓度的动作，奖励是目标为最小化出水质量指数（effluent quality index，EQI）和运行成本指数（operating cost index，OCI）的奖励机制。本研究提出的污水处理系统多目标动态优化架构如图3所示，其中，智能体的输入来自基于历史运行数据训练的随机森林模型，该模型能够实时预测不同运行条件下的出水总氮质量浓度与运行成本。智能体在接收到进水水质及运行参数后，会基于TD3算法在动作空间中动态调整污泥回流量与溶解氧质量浓度，并通过环境反馈（预测的出水TN与运行成本）不断修正、优化，最终收敛至一套最优策略，从而在给定进水工况下确定最佳的污泥回流量与溶解氧控制水平。随着交互的不断进行，智能体在环境反馈的驱动下实时更新并迭代优化控制策略，使系统能够在不同进水工况下持续调整回流量与溶解氧水平，从而动态实现出水TN、运行成本与能耗之间的多目标协同优化。
图3多目标优化架构
Fig.3Multi-objective optimization architecture
智能体决策过程共包含4个环节，即状态获取环节、动作选择环节、奖励环节和策略更新环节，在各个环节中随机森林模型和TD3算法都有各自优势并互补，具体而言，在状态获取环节，TD3智能体需要准确刻画系统状态才能在不同工况下做出合理决策，但污水处理系统具有高度非线性和时变性特点，此时随机森林模型能提供快速、稳定的状态转移函数，使智能体能在每个时刻获取到“近似真实”的环境反馈，确保TD3能够在大规模迭代中持续更新策略。在动作选择环节中，TD3输出的是连续控制动作（DO设定值、回流比），需要在非线性、约束条件下保证合理性，此时随机森林模型利用动作-结果的高效估计函数快速给出反馈结果，避免TD3因反馈延迟而陷入训练不稳定。在奖励环节中，TD3需要获得密集、方向明确的学习信号，此时，随机森林模型提供细粒度的超标幅度反馈用于TD3学习细粒度的改进策略，避免“全/无”的奖励离散化问题。在策略更新环节中，TD3需要大量交互样本，但如果环境反馈代价高或不准确，会严重限制策略迭代，此时，随机森林模型提供了可无限调用的代理环境，智能体能在离线数据支持下生成海量训练样本，增强更新策略环节的稳定性。由此，在整个智能体交互决策过程中，随机森林模型解决了TD3在污水厂优化中计算代价高、反馈延迟、样本不足的问题，TD3则将随机森林模型的预测能力转化为动态、多目标、连续控制的优化策略。二者结合既保证了预测精度，又实现了智能化运行优化。
1）动作空间。在污水处理系统运行中，溶解氧决定硝化速率及反硝化过程硝酸盐的可利用性，对出水总氮质量浓度表现出高度敏感性；同时，曝气过程通常占系统总能耗的主要比例，是运行成本指数中曝气能耗（AE）的关键组成部分。另一方面，污泥回流量通过调节系统泥龄和硝酸盐回流强度，直接影响反硝化过程中电子供体与受体的时空匹配效率，并对泵送能耗（PE）与混合能耗（ME）产生显著作用。二者均属于可实现连续调节的关键运行控制参数，能够同时作用于水质达标与能耗控制目标，因此，在多目标优化调控中是最具影响力和操作性的决策变量，选择溶解氧质量浓度与污泥回流量作为该多目标优化系统的动作集合。由于TD3属于连续控制型强化学习算法，其智能体需在连续动作空间中进行策略学习，并对控制参数在给定区间内实现动态调整，以适应运行环境的时变特性。基于此，动作空间的边界应依据实际污水处理厂的运行参数范围加以限定，其中，回流污泥量设定为32 062~178 182 m3/d，溶解氧质量浓度设定为0.36~7.62 mg/L。
2）环境空间。在本研究中，强化学习的环境由TD3控制系统与随机森林模型共同构成。具体而言，智能体在每个决策步基于观测到的状态选择相应动作（即溶解氧质量浓度与污泥回流量），随后随机森林模型根据“进水及运行输入参数+动作”预测下一时刻的出水总氮与能耗分项（AE、PE、ME），并将相应的奖励值反馈给TD3，用于策略的更新与优化。为保证建模的准确性与交互的一致性，环境变量主要分为3类。首先，外部输入包括进水流量、pH、COD、BOD、SS、TP、NH+4-N、TN指标以及部分运行数据（日均污泥饼量、污泥含水率、污泥浓度、污泥回流量、溶解氧质量浓度、PAC投加量、PAM投加量），这些数据均来自实际污水厂长期监测数据；其次，系统状态由随机森林模型动态计算，目标变量为出水TN与运行能耗分量，随机森林模型通过输入-输出非线性映射替代计算量庞大的ASM机理模型；最后，工艺常数（如曝气池体积等）在建模时保持固定，以保证训练稳定性。
选择随机森林模型作为代理环境的依据在于其预测速度快、反馈及时，能够满足TD3高频交互的需求；同时，随机森林模型对缺测与噪声数据具有较强鲁棒性，并能提供特征重要性解释，从而提升模型的适用性。
3）奖励函数。本研究的多目标优化问题是同时最小化出水质量指数和运行成本指数，其中，决策变量是溶解氧质量浓度、污泥回流量、PAC投加量。具体计算公式为
(1)
式中：QE为出水质量指数，本研究主要关注出水总氮这一单一指标，因此，QE仅由出水总氮质量浓度决定，而不涉及多个水质指标的加权；CO为运行成本指数，主要包括曝气能耗、泵送能耗和混合能耗；ρDO为溶解氧质量浓度，mg/L；Qr为污泥回流量，m3/d；MPAC为PAC投加量，t。
运行成本指数CO的计算公式为
(2)
式中：EAE为曝气能耗，kWh/d；EPE为泵送能耗，kWh/d；EME为混合能耗，kWh/d。
曝气能耗EAE的计算公式为
(3)
式中：Dsat为饱和溶解氧质量浓度，mg/L；VCAST为曝气池体积，m3；KLα为氧传递系数，h-1；分母1.8×1 000为需供氧量近似折算为电能消耗的工程经验系数[22]。
泵送能耗EPE的计算公式为
(4)
式中：Qi为内回流量，m3/d；Qr为污泥回流量，m3/d；Qs为剩余污泥排放量，m3/d；三项系数为内回流量、污泥回流量和剩余污泥排放量折算为能耗的工程经验系数，综合了扬程、效率与管路损失[22]。
混合能耗EME的计算公式为
(5)
式中：系数24表示瞬时功率转化为日能耗，系数0.005为单位体积混合功率的工程经验系数[22]。
奖励函数具体形式为
(6)
为实现水质达标与能耗控制的多目标优化，在奖励函数中引入了基于排放限制的分段奖励机制。具体而言，将出水TN控制目标限值为ρ（TN）= 6 mg/L，当系统处于达标区间（ρ（TN）＜6 mg/L）时，奖励函数定义为，在保证出水达标的同时进一步驱动能耗降低和TN减少；当TN超过限值（ρ（TN）≥6 mg/L）时，则触发陡峭加权惩罚 ，表示出水TN质量浓度每超出目标值1 mg/L，惩罚项增加10，此设计将达标要求提升为首要优化目标，促使智能体自适应地提升溶解氧质量浓度或污泥回流量以确保达标要求稳定守住，避免出现“降低能耗但出水超标”的非期望策略。在此过程中，CO通过除以1 000进行尺度化，以解决其数值量级（kWh/d）显著大于TN（mg/L）的问题，使其与QE保持在相近水平，从而防止单一目标对优化过程的主导效应，提升TD3策略学习的稳定性。
3.4 多目标优化结果分析
该污水厂模拟调控前后的出水TN质量浓度变化如图4所示。可以看出，该污水处理厂平均出水 TN质量浓度为6.48 mg/L，最高出水TN质量浓度为11.76 mg/L，标准差为1.51 mg/L，表明进行模拟调控前的出水TN波动较为剧烈。而经多目标优化模拟调控后，该污水处理厂出水TN平均质量浓度仅为6.20 mg/L，与6.48 mg/L相比下降约4.32%，标准差为1.14 mg/L，与1.51 mg/L相比下降约24.5%，波动幅度明显减弱。
该污水处理厂模拟调控前后溶解氧质量浓度变化如图5所示。可以看出，采用最优控制策略模拟调控后，溶解氧质量浓度大多低于原有工艺溶解氧质量浓度，调控后该污水处理厂溶解氧平均质量浓度为2.26 mg/L，与调控前的溶解氧平均质量浓度2.96 mg/L相比下降了23.65%，表明该方法在降低出水TN质量浓度的同时能够减少曝气量，可有效避免过量曝气导致的曝气能耗过大的问题。
该污水处理厂模拟调控前后回流污泥量变化如图6所示。采用最优控制策略模拟调控后，污泥回流量稳定在（100~140）×103 m3/d。结合图4模拟调控前后出水TN的变化情况可知，2018年11月—2019年5月污水处理厂出水TN质量浓度相对较高，而这期间污泥回流量较低，推断由于污泥回流量较低、污泥停留时间缩短，好氧区的活性污泥浓度下降，硝化菌的数量减少，影响硝化反应进程，从而影响出水TN的去除。采用多目标优化模拟调控后，2018年11月—2019年5月的污泥回流量较原有工艺有所增加，表明系统为降低出水TN质量浓度趋向于将污泥回流量调高。多目标优化调控后出水TN质量浓度的降低也验证了系统采取控制策略的有效性。
图4模拟调控前后出水TN质量浓度对比
Fig.4Comparison of effluent TN concentration before and after simulated regulation
图5模拟调控前后溶解氧质量浓度对比
Fig.5Comparison of dissolved oxygen concentration before and after simulated regulation
图6模拟调控前后回流污泥量对比
Fig.6Comparison of return sludge volume before and after simulated regulation
该污水处理厂模拟调控前后曝气能耗和泵送能耗及运行成本指数的变化对比如图7所示。模拟调控前曝气能耗和泵送能耗为5 822.81 kWh/d，模拟调控后曝气能耗和泵送能耗为3 894.56 kWh/d，采用多目标优化模拟调控后同比降低了33.12%。多目标优化模拟调控前总的运行成本指数为7 664.81 kWh/d、模拟调控后运行成本指数为5 736.56 kWh/d，同比降低了25.16%。
图7模拟调控前后能耗对比
Fig.7Comparison of energy consumption before and after simulated regulation
综上，基于出水TN及能耗的多目标优化控制模拟调控可使该污水处理厂出水TN质量浓度明显下降、波动幅度明显减小；同时，在保证出水TN质量浓度稳定达标的基础上，优化污泥回流量和溶解氧质量浓度，达到污水处理节能降耗的目的。
本研究提出的TD3算法耦合机器学习模型的优化方法，能够在复杂工况下实现污水处理厂多参数、多目标动态优化，有效兼顾出水TN达标与运行能耗降低，提升系统运行的自适应性与鲁棒性，为实现污水处理厂的高效、低耗与稳定运行提供了新的智能化决策支持与技术参考。此外，由于本方法具备处理多输入、多输出、强非线性和工况时变系统的普适优势，在更广泛的场景中具有潜在应用价值，如在城市污水处理厂可以用于实现污染物去除、温室气体排放控制和能耗降低等多目标动态优化，在工业废水处理厂可以用于实现水质达标与运行成本等多目标动态平衡，在海水淡化的膜处理中可以用于实现膜污染控制与能耗降低的多目标动态优化，在智慧管网运营中可以用于供水安全与泵送能耗降低的多目标动态优化。
值得注意的是本方法仍存在一定局限性：代理模型的预测精度高度依赖于历史数据的质量与覆盖范围，在极端或少见工况下可能出现泛化不足的问题；TD3的训练仍需要大量交互样本，模拟环境与实际系统之间的差异可能导致策略迁移效果受限，TD3奖励函数中多目标权重通常依赖研究者或工程师设定，缺乏动态适应性；强化学习策略本身缺乏可解释性，实际运行人员难以直观理解控制逻辑。针对上述局限，未来的研究可从以下几个方面加以改进与拓展：探索自适应的多目标权重调整机制，或采用多目标强化学习框架，以增强优化结果的灵活性与实用性；引入可解释性分析工具，将黑箱策略转化为可视化、可解释的控制逻辑；在数字孪生平台与实际污水厂运行中开展验证，以评估方法的稳定性与工程推广价值。
4 结论
1）二次多项式响应面模型极显著且具有回归性，较为可靠地描述了污水处理厂的出水TN质量浓度，R2为0.944 5，F为223.59，P＜0.000 1。
2）通过ASM模型耦合响应面分析得出最佳运行参数：溶解氧为1.125 mg/L，内回流比为255%，外回流比为65%。在该运行参数下出水TN去除率可达89.14%，最佳出水TN质量浓度为3.533 mg/L，同比降低约45.48%。
3）经TD3强化学习算法与随机森林模型组成的多目标优化控制策略模拟调控后，出水TN质量浓度波动幅度明显减小，平均出水TN质量浓度为6.20 mg/L，同比降低4.32%，平均曝气、泵送能耗同比降低33.12%，运行成本指数同比降低25.16%。
4）本研究提出的TD3算法耦合机器学习模型的优化方法，能够在复杂工况下实现污水处理厂多参数、多目标动态优化，有效兼顾出水TN达标与运行能耗降低，为实现污水处理厂的高效、低耗与稳定运行提供了新的智能化决策支持与技术参考，在城市污水处理厂、工业废水处理厂、海水淡化和智慧管网运营等广泛场景中具有潜在应用价值。
5）本方法存在一定局限性：机器学习模型在极端或少见工况下可能出现泛化不足的问题；TD3的训练模拟环境与实际系统之间的差异可能导致策略迁移效果受限，且奖励机制中多目标权重设定具有主观性；强化学习策略本身缺乏可解释性，实际运行人员难以直观理解控制逻辑。
6）未来的研究可从以下几个方面加以改进与拓展：探索自适应的多目标权重调整机制，或采用多目标强化学习框架，以增强优化结果的灵活性与合理性；引入可解释性分析工具，将黑箱策略转化为可视化、可解释的控制逻辑；在数字孪生平台与实际污水厂运行中开展验证，以评估方法的稳定性与工程推广价值。
