摘要
准确估算城市生活垃圾(MSW)产生量并识别其关键关联特征,是实现全球城市环境精细化管控及差异化治理的重要前提。然而,全球特别是发展中国家长时序数据的匮乏,以及传统模型对非线性关联特征解析能力的不足,导致现有研究难以精准还原全球MSW的历史产生规模与演化规律。为此,构建了基于XGBoost和K-Means++算法的全球MSW产生量智能估算与聚类分析框架。结果表明:XGBoost表现出优异的泛化能力,对未知国家MSW产生量的决定系数(R2)达0.91±0.07;交叉验证策略对比证实,模型成功捕捉了社会经济特征对MSW产生量预测的内在关联,而非单纯依赖时间趋势,具备良好的空间泛化可靠性。SHAP解释分析证明,人口规模与经济体量是影响MSW产生量的核心关联因素,并揭示了人均GDP(按购买力平价,PPP)与产生量之间呈现独特的“N型”非线性关联轨迹,突破了传统线性外推模型的局限。测算结果表明,全球MSW产生总量由1991年的(12.9±0.4)亿t攀升至2021年的(21.4±1.6)亿t,年均增长1.7%。聚类分析识别出全球各国的农业生存型、新兴工业型、成熟稳定型及高耗富裕型四类典型演化模式,其中,新兴工业型国家是全球MSW增量的主要来源。构建的预测框架具备良好的普适性,可为全球固废精细化管理、区域差异化政策制定及基础设施规划提供科学依据。
Abstract
Accurate estimation of municipal solid waste (MSW) generation and identification of its key associative characteristics are important prerequisites for achieving refined global urban environmental management and differentiated governance. However, the scarcity of long-time-series data globally, especially in developing countries, and the insufficient capability of traditional models in resolving non-linear associative characteristics make it difficult for existing studies to accurately reconstruct the historical generation scale and evolutionary laws of global MSW. To this end, this paper established an intelligent estimation and cluster analysis framework for global MSW generation based on XGBoost and K-Means++ algorithms. The results indicate that XGBoost exhibits excellent generalization capability, with a coefficient of determination (R2) of 0.91±0.07 for MSW generation prediction in unknown countries; the comparison of cross-validation strategies confirms that the model successfully captures the intrinsic associations of socio-economic characteristics for MSW generation prediction, rather than merely relying on time trends, showing good spatial generalization reliability. SHAP interpretation analysis proves that population scale and economic volume are the core associative factors affecting MSW generation and reveals a unique "N-shaped" non-linear associative trajectory between GDP (in terms of purchasing power parity, PPP) per capita and generation, breaking the limitations of traditional linear extrapolation models. The estimation results indicate that the total global MSW generation has climbed from (1.29±0.04) billion t in 1991 to (2.14±0.16) billion t in 2021, with an average annual growth of 1.7%. Cluster analysis identifies four typical evolutionary patterns among global countries: agricultural subsistence, emerging industrial, mature stable, and high-consumption affluent patterns, among which emerging industrial countries are the main source of global MSW increment. The constructed prediction framework possesses good universal applicability and can provide a scientific basis for global solid waste′s refined management, regionally differentiated policy formulation, and infrastructure planning.
随着全球城市化进程的加速与新兴经济体消费水平的提升,城市生活垃圾(municipal solid waste,MSW)产生量迅速增长,给生态环境与公共健康带来了巨大压力,已成为制约全球可持续发展的关键问题之一[1-2]。准确量化全球特别是数据稀缺的发展中国家MSW产生量数据[3],并探究其背后的社会经济关联特征,是制定差异化国际环境治理策略与实现城市减污降碳目标的迫切需求。
针对MSW产生量的估算和预测研究,学术界已经历了从传统计量经济学模型到人工智能技术的演进。早期研究多采用多元线性回归、系统动力学或灰色模型等,解析人口、GDP等宏观指标与垃圾产生量的线性关联[4-6]。然而,MSW产生是一个涉及社会、经济、人口及环境等多重因素耦合的复杂过程,传统模型难以捕捉变量间复杂的非线性关系。近年来,机器学习技术凭借其在处理高维非线性数据及挖掘潜在关系方面的显著优势,被广泛应用于MSW产生量预测[7-10],如人工神经网络、支持向量机及长短期记忆网络等模型在特定城市或国家的短期预测中展现出优异性能[6,11-13]。
尽管机器学习在局部案例中已表现优异,但应用于全球尺度的预测任务时仍面临严峻挑战。现有研究多聚焦于数据完备的单一城市(如北京、上海)或特定国家(如美国、马来西亚)的案例分析[14-17],模型严重依赖高频、高精度的本地化数据,难以在跨国尺度上处理全球各国间高度的区域异质性,导致模型缺乏空间泛化能力。同时,在涉及跨国面板数据的预测研究中,普遍存在验证策略的不足,大多沿用标准的随机K折交叉验证策略[18-21],忽略了时序数据的自相关特征,高估了其在未知时间节点的真实预测性能。因此,如何构建一套兼顾时空泛化验证与全球尺度重构的综合方案,并利用机器学习系统解析全球格局下的关键影响因子关联特征,是当前该领域研究亟待探索的方向。
为解决上述问题,通过整合全球多源面板数据,构建了基于XGBoost和K-Means++算法的MSW产生量智能估算与聚类分析框架。采用严格的时空互斥交叉验证策略评估模型捕捉社会经济结构横截面规律的能力;利用最优模型重构全球159个主要国家长时序MSW缺失数据,并结合SHAP可解释性算法与K-Means++聚类分析解析关键关联因子的非线性演化特征及全球典型固废产生模式。旨在突破数据稀缺与传统线性假设的局限,明确适用于不同发展阶段国家的固废演化特征,为全球固废精细化管理、区域差异化政策制定及基础设施规划提供理论依据与数据支撑。
1 研究方法
1.1 数据来源与特征选择
基于Hoy等[6]的研究成果,获取涵盖全球43个国家1990—2020年的MSW产生量数据。系统查询各国统计年鉴(如中国国家统计局、日本环境省)及区域性权威数据库(如欧盟统计局),将数据时间跨度更新至2022年,并将国家样本量扩充至69个。
在影响因子的选取上,参考Smailbegovic等[20]关于区域MSW预测的指标体系,结合全球数据的可获取性,从世界银行世界发展指标(world development indicator,WDI)数据库中筛选了170个国家1990—2022年涵盖经济水平、人口特征、社会发展及环境指标4个维度的14个潜在因子(表1)。
1.2 训练集与预测集构建
本研究剔除了特征严重缺失的年份及异常样本,并采用基于国家分组的线性插值法对部分非连续缺失数据进行补全,详细的处理流程及缺失值统计结果见附录及附表S1、S2。经过预处理,最终构建了两个核心数据集。一是训练集,由上述扩充后的国家经异常样本筛选后得出,包含65个国家1991—2021年的1 839条影响因子以及MSW产生量,用于预测模型的训练、性能评估及可解释性分析。二是预测集,涵盖全球159个国家(包含训练集国家)1991—2021年的4 790条影响因子,用于全球范围内MSW历史缺失数据的重构与聚类分析(各数据集国家名单见附表S3)。
根据世界银行数据统计,上述159个样本国家涵盖了全球约95%的人口与96%的经济总量,在统计学意义上具备极强的全球代表性,能够有效反映全球尺度的MSW演化规律。
1.3 建模预处理
在模型训练前,对影响因子进行进一步的建模预处理:通过评估影响因子间的共线性及方差特性,剔除可能存在的共线性冗余因子以及低方差因子;针对连续型影响因子执行Z-score标准化以消除量纲差异;将地理区域等分类因子转化为独热编码;对目标变量(MSW产生量)进行对数转换以改善数据分布的偏态特性,从而提升模型的拟合精度与泛化能力。
表1生活垃圾产生量影响因子
Tab.1Influencing factors of municipal solid waste generation
注:国家名称不参与建模,人均二氧化碳排放为计算因子,仅用于聚类分析。
1.4 机器学习模型选择与性能评价
为评估不同算法在面板数据预测中的适用性,构建了基于4类典型算法的机器学习模型:1)基线线性模型,包括线性回归(Linear Regression,LR)与岭回归(Ridge Regression,RIDGE)算法;2)非参数与距离模型,包括支持向量机(Support Vector Machine,SVM)与K最近邻(K-Nearest Neighbors,KNN)算法;3)神经网络模型,采用多层感知机(Multilayer Perceptron,MLP)算法,探索数据深度非线性映射;4)集成树模型,包括随机森林(Random Forest,RF)、极端随机树(Extra Trees,ET)、极端梯度提升(eXtreme Gradient Boosting,XGBoost)以及轻量级梯度提升机(Light Gradient Boosting Machine,LightGBM)算法。
为量化评估不同机器学习模型在面板数据预测任务中的拟合精度与泛化性能,选取均方根误差(root mean square error,RMSE)与决定系数(coefficient of determination,R2)作为核心评价指标(计算公式详见附录)。
1.5 数据集划分与交叉验证策略
为评估模型在未知区域与未来时间维度的泛化性能,设计了包含内部验证与外部测试的严格评估框架。首先,将建模训练集划分为3个互斥集合:Set A(训练验证集)包含90%的国家样本,用于模型拟合与参数调优;Set B(地理泛化测试集)包含10%未参与训练的独立国家样本,用于评估模型对未知区域的空间迁移能力;Set C(时间泛化测试集)包含训练集国家中后15%年份的数据,用于评估模型对未来趋势的时间外推能力。为消除单次随机划分带来的偶然性偏差,上述数据集划分及后续模型训练过程均基于10个不同的随机种子重复进行,最终结果取10次实验的评价指标均值与标准差来评估最优模型。
本研究采用基于扩展窗口模式的5折时间序列交叉验证策略[22](具体介绍见附录),并与随机交叉验证策略进行对比,定量揭示了不同验证机制对模型评估客观性的具体影响。
1.6 可解释性分析与模式识别
采用SHAP(SHapley Additive exPlanations)算法对模型的预测结果进行可解释性分析[23],通过计算每个影响因子对预测结果的边际贡献值,量化关键驱动因子的影响力,并解析人均GDP(按购买力平价,PPP)、城市人口比例等关键因子与MSW产生量之间的关联特征与阈值效应。
采用K-Means++算法对全球国家进行MSW产生模式识别[24]。参考世界银行报告以2016年基准年为起点[2],选取2016—2020年近5年各国的人均GDP(PPP)、城市人口比例、人均CO2排放及人均MSW产生量的年均值以平滑年度随机波动并捕捉结构性特征,经标准化处理后输入算法进行聚类分析,随后利用聚类后不同簇国家的横截面梯度特征映射全球MSW产生量的动态演变规律。
1.7 不确定性分析
为了量化模型预测的不确定性,采用基于集成模型的评估策略。通过利用10次独立重复实验的结果,计算并呈现了各预测数值的95%置信区间,以反映因特征估算、参数初始化及地理外推带来的预测波动。
2 结果与讨论
2.1 特征共线性与有效性检验
各影响因子间的相关系数矩阵如图1所示。整体而言,绝大多数因子之间的相关系数处于较低水平,表明本研究选取的影响因子在整体上具有良好的独立性,有效避免了广泛的信息冗余。部分具有内在逻辑联系的特定因子间仍表现出较高的相关性,如GDP总量(PPP)与二氧化碳排放量[25]、劳动年龄人口占比与总生育率[26],但其均未超过设定的0.95剔除阈值,因此,全部初选因子均保留。此外,方差筛选结果显示,归一化处理后的各影响因子方差均高于0.05的设定阈值,不存在无效的冗余特征,为后续机器学习模型深入挖掘变量间的复杂非线性关系提供了良好的数据基础。
图1驱动因子的相关性热力图
Fig.1Correlation heatmap of driving factors
2.2 模型初步筛选与性能评价
基于时间序列交叉验证策略,对9种机器学习模型在默认及超参调优情况下进行了10次重复实验(具体的调优逻辑见附录)。结果如图2所示,集成树模型(ET、XGBoost、LightGBM、RF)性能显著优于其他算法。其中,ET表现出最佳的默认参数拟合精度,其1-RMSE和R2分别达0.883±0.005与0.993±0.001;XGBoost则在超参数调优后表现出最佳的综合预测性能,其1-RMSE和R2分别提升至0.837±0.006与0.987±0.002。相比之下,非参数与距离模型(SVM、KNN)与神经网络模型(MLP)无论是在默认参数还是调优后的性能均明显低于集成树模型。而作为基线的线性模型(LR、RIDGE)预测能力最弱,其R2仅维持在0.45左右,证实线性假设难以捕捉复杂的非线性特征。
图29种机器学习模型在时间序列交叉验证下的性能对比(10次随机种子)
Fig.2Performance comparison of nine machine learning models under time-series cross-validation (10 random seeds)
超参数调优对不同模型性能的影响存在显著差异,KNN、MLP等模型调优后性能提升显著,ET及SVM等模型则出现性能回落。由于ET模型在默认状态下接近1.0的拟合分数以及调优后性能下降的特征暗示其存在过拟合风险,选取默认状态最优的ET模型与调优性能最优的XGBoost模型进行外部泛化性测试,以甄别并确定最终用于全球数据重构的最优模型。
2.3 模型泛化能力评估与最优模型确立
基于10次随机划分实验,将ET与XGBoost模型置于外部测试集(Set B与Set C)中进行泛化性能力评估,结果如图3所示。在时间泛化测试集(Set C)中,两种模型的RMSE和R2性能差异均不显著(P=1.00),散点紧密围绕对角线分布,表明二者在捕捉时间演变规律方面能力相当。然而,在地理泛化测试集(Set B)中,两者表现出截然不同的泛化性能,XGBoost的平均RMSE为 0.44±0.16,R2为0.91±0.07,而ET的平均RMSE为0.60±0.37,R2 为0.84±0.11。XGBoost的预测精度与拟合优度均优于ET(P<0.01)。此外,ET模型在部分实验批次中表现出明显的不稳定性(RMSE>1,R2<0.7),证实了其在训练阶段确实存在对局部特征的过拟合风险。相比之下,XGBoost展现出更优的鲁棒性与抗噪能力,在保持时间维度高预测精度的同时,有效克服了空间维度的过拟合风险,更适合在数据稀缺情境下进行全球尺度数据重构[18]。因此,最终确立XGBoost为构建全球MSW预测框架的最优模型。
2.4 交叉验证策略对比与预测机制解析
基于10次重复实验,对比了随机与时序交叉验证策略对XGBoost性能的影响(图4)。在内部验证阶段(Set A),随机划分的RMSE低于时间序列划分,且R2接近1.0,表现出极高的拟合优度。然而,当模型应用于未知国家(Set B)与未来年份(Set C)的外部独立测试时,随机划分策略的模型预测精度衰减至与时序划分策略相当的水平。这表明在具有显著时序特征的面板数据建模中,传统的随机划分策略可能因忽略时间维度的独立性,导致评估结果存在虚高风险[22]。相比之下,时序划分方式下模型在内部验证与外部测试中的性能表现更为一致,其评估指标更能客观反映模型的真实泛化能力。
图3ET与XGBoost模型在地理与时间泛化测试集上的性能对比
Fig.3Performance comparison of ET and XGBoost models on geographic and temporal generalization test sets
图4随机划分与时间序列划分策略下的XGBoost模型性能对比
Fig.4Performance comparison of XGBoost model under random split and time-series split strategies
同时,两种交叉验证策略在时空外推的预测性能一致性(P>0.5)表明,时间序列并非模型预测的核心驱动力。初步反映人口、经济、社会等特征[2,27]与MSW产生量间的非线性关联规律,更有助于模型在跨时空维度上保持可靠的泛化能力。
此外,为系统评估模型在不同情境下的泛化能力,在附录中补充了XGBoost模型在不同地区/收入组别地理与时间泛化测试集上的性能统计(详见附表S4和S5)。结果表明,模型对不同发展阶段国家的预测精度存在一定异质性(具体讨论见附录)。
2.5 模型解释性分析
基于SHAP算法的模型解释性分析结果如图5所示。全局重要性排序(图5(a))显示,总人口与GDP总额(PPP)对模型输出的绝对平均SHAP值最高,证实了人口规模与经济体量是决定一个国家MSW产生总量的首要驱动因素[28]。二氧化碳排放与城市人口比例也位居前列,表明资源消耗强度与城乡结构转型也是影响MSW增量的关键结构性因子[29]。
SHAP依赖图进一步显示了经济发展与产生量之间的非线性驱动关系。GDP总额(PPP)依赖图(图5(b))显示,随着经济体量的扩张,MSW产生量呈现边际效应递减的对数增长趋势,表明当经济体量达到一定阈值后,单纯的经济总量扩张对MSW增量的驱动作用逐渐趋缓。不同于以往[2]收入与MSW产生量呈正相关的结论,人均GDP(PPP)依赖图(图5(c))结果揭示了MSW产生量独特的“N型”三阶段演变规律[30]。在低收入的生存型增长阶段,SHAP值随人均GDP(PPP)的增加陡峭上升。进入中等收入阶段后,曲线出现震荡平台期,表明此时经济增长不再单一主导MSW增量。而在高收入阶段,SHAP值的演变呈现双轨分化特征:少部分样本点随经济增长而回落的趋势验证了传统环境库兹涅茨曲线的“倒U型”脱钩假设[31],表明通过政策干预与技术进步实现经济增长与MSW产生的相对脱钩是可行的[32];大部分样本点在极高收入阶段继续攀升的现象则对传统理论进行了重要补充,揭示了在高消费经济体中可能存在的脱钩失效风险,仅靠经济增长并不足以自动实现垃圾减量[30]。
图5驱动因子的SHAP解释性分析
Fig.5SHAP interpretability analysis of driving factors
2.6 全球MSW产生量测算与现状分析
利用XGBoost模型填补了全球159个国家在1991—2021年的数据空白,实现了全球长时序MSW产生量缺失数据的全景重构。重构结果(表2)显示,全球MSW产生量由1991年的(12.9±0.4)亿t攀升至2021年的(21.4±1.6)亿t(年均增长1.7%)。分收入组别看,低收入国家受人口激增驱动,MSW产生量年均增速最高(3.0%);中等收入国家凭借庞大人口及经济基数贡献了全球绝大部分MSW增量[2];而高收入国家受源头减量政策及人口停滞影响,MSW产生量年均增速仅0.9%,增长趋于平缓。
表2不同收入组别国家MSW产生量及人均水平演变(1991—2021年)
Tab.2Evolution of MSW generation and per capita levels in countries of different income groups (1991—2021)
注:“总量年均增长率”为1991—2021年的复合年均增长率。
此外,本研究估算结果与世界银行2016年(20.1亿t)[2]及联合国环境规划署2020年估算的全球MSW产生量(约21亿t)均高度吻合[1]。这证明了机器学习不仅能识别多维特征之间的非线性关联关系,同样具备可靠的历史产生量估算能力,有效克服了传统模型预设MSW产生量单调增长的局限。
2.7 全球MSW产生模式聚类与时空演变
基于重构后的各国数据,选取SHAP分析识别出的核心影响因子作为聚类基础。为了剥离国家体量带来的规模效应,将总量指标转化为人均强度指标。具体选取2016—2020年各国的人均GDP(PPP)、城市人口比例、人均CO2排放量及人均MSW产生量的年均值构建特征向量,采用K-Means++算法将全球159个国家划分为4个聚类簇(详细方法参考附录)。图6(a)展示了4个聚类簇的全球国家数量地理分布,呈现出显著的地缘经济集聚特征。第1类聚类簇主要集中于撒哈拉以南非洲与南亚地区,构成了全球最不发达国家板块;第2类聚类簇广泛覆盖欧洲与中亚、东亚及拉丁美洲与加勒比的新兴经济体,构成了全球新兴工业化经济体板块;第3类聚类簇高度集聚于欧洲大陆及东亚发达国家,对应传统工业化核心区;第4类聚类簇则主要分布于北美、大洋洲及中东产油国,对应资源丰富区。
依据图6(b)显著性热力图与图6(c)箱线图揭示的结构性差异,对上述4个聚类簇进行了特征界定与命名[33-34]。第1类聚类簇特征为低城市人口比例与低人均GDP(PPP),以印度及撒哈拉以南非洲等发展中国家为代表,定义为农业生存型;第2类聚类簇表现为城市化率的快速攀升与人均GDP(PPP)的中速增长,以中国、东南亚及部分新兴经济体为代表,定义为新兴工业型[35];第3类与第4类聚类簇体现了高收入国家的路径分化,以欧盟、日韩为代表的第3类聚类簇国家在保持高经济水平的同时,受政策约束实现了低碳排放[31,36],定义为成熟稳定型;以美国、澳大利亚及资源型富国为代表的第4类聚类簇国家,人均二氧化碳排放极显著高于第3类(P<0.001),反映了以高能耗、高废弃为特征的资源密集型消费模式[37],故定义为高耗富裕型。
图6全球MSW产生模式的空间分布、特征差异及统计显著性检验
Fig.6Spatial distribution, characteristic differences, and statistical significance tests of global MSW generation patterns
图7清晰揭示了上述4类模式下MSW增长的异质性演化特征。如图7(a)、(b)所示,新兴工业型的MSW增长轨迹与GDP增长曲线高度耦合,呈现出同步的上升趋势,表明经济总量扩张与消费能力提升是其MSW激增的主导力量。农业生存型虽然GDP(PPP)总额处于低位,但其MSW产生总量持续攀升,甚至逼近新兴工业型。结合图7(c)可知,这主要因为该类国家庞大的人口基数及其快速增长的趋势,即便人均消费水平较低,巨大的人口增量仍将对全球MSW管理系统构成严峻挑战。成熟稳定型国家表现出独特的演变特征,尽管其GDP仍保持增长态势,但MSW产生量已趋于平稳。这种经济增长与MSW产生的背离,反映了欧盟及日韩等国家在源头减量与循环经济政策干预下的脱钩成效[31,36],但也可能源于产业转移带来的潜在统计假象,部分国家通过制造业外迁实现了本土产生量的结构性减量,而非完全意义上的源头减量[38]。
图7全球4类模式国家的MSW产生总量、GDP总额(PPP)及人口规模历史演变趋势(1991—2021年)
Fig.7Historical evolution trends of total MSW generation, total GDP (PPP) , and population scale of countries with four global patterns (1991—2021)
综上,全球MSW管理重心正向全球南方国家[39](农业生存型与新兴工业型)转移。高收入国家内部排放模式的分化,为正处于发展窗口期的南方国家提供了路径参照,其固废治理关键在于通过早期政策干预避免高消耗路径锁定。鉴于MSW与碳排放、资源消耗强度的高度耦合性,这一路径抉择将直接决定全球南方国家在碳中和背景下的低碳转型进程与固废治理成效。
3 结论
1)构建了具备良好泛化能力的全球159个主要国家MSW产生量预测框架。基于XGBoost算法的机器学习模型在地理外部测试集上表现出综合最优性能(R2为0.91±0.07);交叉验证策略对比证实,模型成功捕捉了驱动MSW产生的横截面社会经济结构规律,而非依赖时间惯性,有效解决了数据稀缺情境下的空间外推难题。
2)揭示了关键影响因子的非线性演化特征与全球增长态势。SHAP分析证明人口与经济体量是核心相关因素,并发现人均GDP(PPP)与MSW产生量之间呈现独特的“N型”非线性关联轨迹,突破了传统线性假设;数据重构结果表明,1991—2021年全球MSW产生总量由(12.9±0.4)亿t攀升至(21.4±1.6)亿t,年均增长1.7%。
3)识别了全球MSW演化模式并指出了行业治理方向。聚类分析识别出全球各国的农业生存型、新兴工业型、成熟稳定型及高耗富裕型4类典型演化模式,全球MSW管理重心正向全球南方国家转移。本研究构建的预测框架及发现的演化规律,可为各国制定匹配其发展阶段的固废管理政策及基础设施建设规划提供科学参考。
附录
附录内容请访问 https://gitee.com/ipfas/globalmsw-intelligent-projection/tree/master。

