科学模型证据

模型分析与证据

从预测精度、工程一致性、变量关系和模型解释等维度,评估各候选模型的性能与适用范围。

当前证据上下文中试证据锚定 · 工程演示工况
CTX-F4E87905
当前模型综合判断当前证据不可用

当前证据不可用,同时 当前验证样本 R² 较低,对参考值波动的解释能力有限。建议按较高风险项优先复核。

高风险

模型总览

LSTM 自动路由 + 多模型可选对比

当前分析:TMP · LSTM

LSTM

自动路由主预测模型
预测目标
TMP / 归一化通量
调用方式
自动路由可调用 · 支持人工选择
验证证据
物理约束轨迹留出验证,五种子冻结 checkpoint

Physics-LSTM

工程一致性参考模型 · 人工回退对比
预测目标
TMP / 归一化通量
调用方式
不参与自动路由 · 支持人工选择
验证证据
物理约束轨迹留出验证,五种子冻结 checkpoint

PatchTST

Transformer 对照模型 · TMP 长序列人工对比
预测目标
TMP
调用方式
不参与自动路由 · 支持人工选择
验证证据
物理约束轨迹留出验证,五种子冻结 checkpoint

XGBoost

基线与辅助模型 · 浏览器计算、TreeSHAP 与安全回退
预测目标
TMP / 归一化通量 / 出水浊度 / 回收率 / 能耗强度 / 风险评分
调用方式
自动路由可调用 · 支持人工选择
验证证据
物理约束轨迹留出验证;水质结果接受中试锚点局部校准
模型性能

冻结基准与时距表现

指标来自冻结测试分割;深度模型为五种子算术平均。

模型性能对比

TMP 物理约束轨迹留出测试集 · 样本 19,875 条

正常

ⓘ 如何阅读同一验证范围内,误差越低且 R² 越高越好。

当前发现LSTM 在当前可比指标中整体占优
当前结果

LSTM 在当前可比指标中整体占优;MAE、RMSE 与 R² 的排序结论一致。

关键指标
MAE 最低
LSTM
RMSE 最低
LSTM
R² 最高
LSTM
综合稳定
LSTM

预测时距性能

物理约束轨迹留出测试集 · 不同预测时距

提示

ⓘ 如何阅读曲线越低表示对应预测时距的 RMSE 越小。

当前发现6 h 时距下 LSTM 的 RMSE 最低
当前结果

6 h 时距下 LSTM 的 RMSE 最低;Physics-LSTM 从短时距到长时距的 RMSE 增长最明显。

关键指标
分析时距
6 h
当前时距最优
LSTM
最低 RMSE
0.005410
时距退化最明显
Physics-LSTM

模型一致性

提示

ⓘ 如何阅读模型跨度越小表示当前预测越一致,不代表概率置信度。

当前发现当前证据不可用
当前结果

至少需要两个可用模型预测才能评估一致性,本模块暂不输出统计判断。

关键指标
预测验证

TMP 预测值与参考值

物理约束轨迹留出测试集 · 冻结代表点 20 组

预测值 vs 参考值

工程演示参考值 · XGBoost TMP

提示

ⓘ 如何阅读1:1 线表示预测与参考完全一致。

当前发现当前仅 20 个有效样本,结果仅作探索性参考
当前结果

当前仅 20 个有效样本,结果仅作探索性参考;MAE 为 0.00562 MPa,未观察到明显系统偏差。RMSE 高于 MAE,需结合离群样本复核。

关键指标
样本数
20
MAE
0.00562 MPa
RMSE
0.01278 MPa
R²
0.312

残差诊断

预测值 - 参考值 · TMP

提示

ⓘ 如何阅读零线表示无误差,纵向散布反映残差大小。

当前发现当前仅 20 个残差样本,结果仅作探索性参考
当前结果

当前仅 20 个残差样本,结果仅作探索性参考;平均残差 0.00124 MPa,正负残差比例为 55% / 45%。

关键指标
样本数
20
平均残差
0.00124 MPa
中位残差
0.00008 MPa
残差标准差
0.01271 MPa

模型性能指标

提示

ⓘ 如何阅读R² 是拟合优度;MAE 与 RMSE 共同描述误差。

当前发现当前验证样本 R² 较低,对参考值波动的解释能力有限
当前结果

当前验证样本 R² 较低,对参考值波动的解释能力有限,同时 RMSE 明显高于 MAE,存在较大误差尾部;当前为内部完整轨迹留出验证。

关键指标
R²
0.312
MAE
0.00562
RMSE
0.01278
样本数
20
模型解释

XGBoost TreeSHAP 特征贡献

解释当前 XGBoost 辅助模型输出,不外推为深度模型解释。

XGBoost 全局特征重要性

冻结模型树增益汇总 · 全局结构

正常

ⓘ 如何阅读条形占比表示特征在全部树中的累计增益份额。

当前发现模型全局结构由多个特征共同构成
当前结果

模型全局结构由多个特征共同构成;base_normalized_flux 的累计增益占比为 47.2%,该结果描述模型整体树结构。

关键指标
Top1 特征
base_normalized_flux
Top1 占比
47.2%
Top3 占比
86.4%
有效特征数
16

特征贡献分析(TreeSHAP)· 当前样本

解释模型:XGBoost 辅助解释模型(浏览器)

高风险

ⓘ 如何阅读正贡献推高当前输出,负贡献压低当前输出。

当前发现当前证据不可用
当前结果

当前 XGBoost 预测未形成有效 SHAP 贡献,本模块暂不输出统计判断。

关键指标

当前样本特征贡献分布与冻结比较

Phase6E test · P1 / P5 / P50 / P95 / P99

高风险

ⓘ 如何阅读P5–P95 为历史主体贡献区间,超出时接近分布边缘。

当前发现当前证据不可用
当前结果

冻结分布与当前模型、target 或 horizon 的来源不一致,本模块暂不输出统计判断。

关键指标
探索性工况关系分析

变量关联与运行窗口

连续时序存在时间自相关;Pearson 只描述当前窗口的线性关联,相关性不代表因果关系。

TMP–归一化通量关系

当前 0 h 历史窗口 · Pearson / Spearman 探索分析

高风险

ⓘ 如何阅读散点与趋势线描述同步关系,不证明因果。

当前发现当前证据不可用
当前结果

有效成对样本不足 3 个,本模块暂不输出统计判断。

关键指标

变量相关性矩阵

当前 0 h 历史窗口 · Pearson 探索分析

高风险

ⓘ 如何阅读颜色与数值共同表示线性相关方向和强度。

当前发现当前证据不可用
当前结果

有效变量对不足,本模块暂不输出统计判断。

关键指标

模型适用域与证据等级

模型适用范围训练适用范围内
历史数据状态历史窗口不足 · 0 h
数据支撑本地数据
验证证据物理约束轨迹留出验证,五种子冻结 checkpoint

OOD / 适用域

正常

ⓘ 如何阅读距离越接近或超过边界,外推审查等级越高。

当前发现当前样本处于模型主体适用域内
当前结果

当前样本处于模型主体适用域内;未提供单变量边界归因。未触发明显外推风险。

关键指标
适用域状态
正常
归一化距离
—
边界变量
—

数据质量 / Context 状态

高风险

ⓘ 如何阅读样本量、字段完整率和时间连续性共同决定数据就绪状态。

当前发现当前证据不可用
当前结果

当前 Evidence Context 没有可分析观测,本模块暂不输出统计判断。

关键指标

分工况性能

正常

ⓘ 如何阅读对比各冻结工况的 MAE、RMSE 与样本量。

当前发现当前各工况性能未见明显退化
当前结果

当前各工况性能未见明显退化;Stage 3 RMSE 为 0.00555,约为Stage 1的 1.17 倍。

关键指标
最佳工况
Stage 1
最差工况
Stage 3
RMSE 退化倍数
1.17×
Stage 1 MAE
0.00341 MPa

当前证据不可用,同时 当前验证样本 R² 较低,对参考值波动的解释能力有限。建议按较高风险项优先复核。 风险评分不代表现场发生概率,所有结果仅用于辅助决策。

技术详情
路由策略
P0_STATIC_LSTM / manual comparison
模型角色
自动路由主预测模型
推理入口
services/model_inference/routing.py::predict
控制权限
control_authority = NONE
性能基准来源
71E685BCA79ACF7D3DEB0DB35C6A43AAC15880C65CE8A2276DEBB35E3D1CC650
时距基准来源
4083D2FA4E3EE989ECC38569843FF3753A202C883C472B7A77A2E89DBAC042B8