二分类评价与超参数选择

区分固定阈值指标、排序指标与概率质量，并演示训练集—验证集—测试集的使用边界。

模拟概率设置
本次运行所用阈值的混淆矩阵与指标
ROC 与 Precision-Recall 曲线
校准曲线
调整阈值或分组数后，请再次点击“生成并评价概率”。阈值变化会改变混淆矩阵、Precision 和 Recall，但不会改变由全部阈值共同决定的 ROC-AUC 与 AP。ROC 关注 TPR 与 FPR，PR 曲线更直接反映正类预测质量；Brier 分数与校准曲线检查概率本身。
实验设置
候选方案：多项式次数为 \(1,2,3,5\)；\(\ell_2\) 惩罚强度为 \(0,0.001,0.01,0.1,1\)。选择规则预先固定为验证集对数损失最小；若并列，优先选次数较低、惩罚较小的方案。随后仅用验证集选择使 F1 分数最大的阈值；若并列，选择较高阈值。
候选方案的验证集结果（不显示测试集结果）
确定方案后的一次测试集评价
训练集用于估计参数和计算标准化所需的均值与标准差；验证集用于选择多项式次数、惩罚强度和阈值；测试集只评价已经确定的方案。页面不会根据测试结果重新选择模型、超参数或阈值，也不会临时改变预先确定的报告指标。