模型说上涨概率80%，怎样用校准表查出过度自信

模型输出上涨概率80%，应检查历史上相近概率预测中后来上涨的比例，并保留每箱样本数；准确率或排序高不能直接确认概率语义。Brier分数是逐条概率平方误差的平均，同时受可靠性、分辨能力和结果不确定性影响，不能把它当作纯校准误差。本页用二十条冻结概率展示这两把尺子，再另设过去校准段，避免在评估标签上拟合修正器。

二十条冻结预测与同排序对照

构造二十个连续实验日，y=1表示之后的目标区间上涨，y=0表示未上涨，阈值与标签定义事先冻结。它不是实际股票记录，也未训练某个概率模型。A的概率依次为0、0.05直到0.45，然后0.55至1，完整值见表。B提前指定为0.25+0.5*p_A，严格单调，因此两个模型的所有样本排序相同；B只是透明的收缩对照，没有使用这二十条标签选择系数。

Brier按(p-y)²逐条计算后除二十，范围从零到一，越低越好。对正确且确定的概率零或一，误差为零；对错误的确定预测，误差为一。平方损失可以直接处理零和一，不需要为了避免对数零而加epsilon。本页没有计算log loss，不把其他损失函数的数值处理规则混入Brier。

评估日	A概率	B概率	之后标签	A平方误差	B平方误差	历史校准器输出	校准后平方误差
1	0	0.25	0	0	0.0625	0.5	0.25
2	0.05	0.275	0	0.0025	0.075625	0.5	0.25
3	0.1	0.3	1	0.81	0.49	0.5	0.25
4	0.15	0.325	0	0.0225	0.105625	0.5	0.25
5	0.2	0.35	0	0.04	0.1225	0.25	0.0625
6	0.25	0.375	1	0.5625	0.390625	0.25	0.5625
7	0.3	0.4	0	0.09	0.16	0.25	0.0625
8	0.35	0.425	1	0.4225	0.330625	0.25	0.5625
9	0.4	0.45	0	0.16	0.2025	0.5	0.25
10	0.45	0.475	1	0.3025	0.275625	0.5	0.25
11	0.55	0.525	0	0.3025	0.275625	0.5	0.25
12	0.6	0.55	1	0.16	0.2025	0.5	0.25
13	0.65	0.575	0	0.4225	0.330625	0.5	0.25
14	0.7	0.6	1	0.09	0.16	0.5	0.25
15	0.75	0.625	0	0.5625	0.390625	0.5	0.25
16	0.8	0.65	1	0.04	0.1225	0.75	0.0625
17	0.85	0.675	1	0.0225	0.105625	0.75	0.0625
18	0.9	0.7	0	0.81	0.49	0.75	0.5625
19	0.95	0.725	1	0.0025	0.075625	0.75	0.0625
20	1	0.75	1	0	0.0625	0.75	0.0625

固定可靠性箱保留哪些信息

可靠性表使用十个等宽概率箱，左闭右开，最后一箱包含一。箱的横坐标是该箱预测概率平均，纵坐标是该箱标签中正例比例，样本数n必需同列。平均概率0.825的一箱只有两条，恰巧两次上涨不能证明真实条件概率为一。概率接近0.8不是承诺每五笔固定四笔上涨，它是足够可比重复样本中的频率解释。

下表同时列A与B，空箱保留n=0、均值和频率为null；图上可以跳过空点，但数据表不能填零伪造成“预测概率零、上涨率零”的可靠点。箱边界和箱数在看标签之前冻结，不能反复合箱，直到曲线接近对角线。

箱编号	下界含	上界末箱含	A样本数	A概率均值	A正例率	B样本数	B概率均值	B正例率
0	0	0.1	2	0.025	0	0	空（null）	空（null）
1	0.1	0.2	2	0.125	0.5	0	空（null）	空（null）
2	0.2	0.3	2	0.225	0.5	2	0.2625	0
3	0.3	0.4	2	0.325	0.5	4	0.3375	0.5
4	0.4	0.5	2	0.425	0.5	4	0.4375	0.5
5	0.5	0.6	1	0.55	0	3	0.55	0.33333333
6	0.6	0.7	2	0.625	0.5	4	0.6375	0.75
7	0.7	0.8	2	0.725	0.5	3	0.725	0.66666667
8	0.8	0.9	2	0.825	1	0	空（null）	空（null）
9	0.9	1	3	0.95	0.66666667	0	空（null）	空（null）

A的Brier为0.24125，B为0.2215625，两者排序完全一致但概率损失不同。A最高箱平均概率0.95，实际正例率仅三分之二，在这三条构造记录上表现为过度自信；与此同时A的0.825箱观察正例率为一，又表现为相反方向偏差。小箱噪音很大，因此应描述当前样本的差距，不能把某一箱当成永久修正比例。

历史校准器必须与评估分离

另造八条更早记录，预测时点记负八至负一日；假设其目标标签全部在零日结束前成熟，基模型在负八日前已经冻结，本页不模拟基模型训练。零日只是明确隔离的等待日，从第一日至二十日才开始后续评估。因此历史校准器没有接触任何评估标签；若真实标签跨多天，要按实际成熟时间延长间隔，不能照抄一个等待日。

历史概率为0.1、0.1、0.3、0.3、0.7、0.7、0.9、0.9，对应标签0、1、0、0、1、0、1、1。固定五个等宽箱，每箱用(正例数+1)/(样本数+2)作Laplace平滑映射。空箱回退到历史总体平滑比例(4+1)/(8+2)=0.5。这个分箱映射不是Platt逻辑回归，也不是保序回归；它可能非单调，不能承诺保留排序。

历史预测日	历史冻结概率	成熟标签
-8	0.1	0
-7	0.1	1
-6	0.3	0
-5	0.3	0
-4	0.7	1
-3	0.7	0
-2	0.9	1
-1	0.9	1

五等宽箱编号	历史样本数	历史正例数	冻结映射概率	是否全局回退
0	2	1	0.5	否
1	2	0	0.25	否
2	0	0	0.5	是
3	2	1	0.5	否
4	2	2	0.75	否

历史校准后的二十条输出已列在第一张表，对应Brier为0.240625，略低于A但高于预设收缩对照B。结果说明隔离合规也不保证校准器改善；八条历史记录太少，分箱映射会有很大估计噪音。不能观察到B更好后再说B的0.25和0.5是从历史校准学出的系数，本页明确它们是提前规定的另一模型对照。

排序、准确率与概率质量怎样分工

严格单调变换通常保留排序指标，但可能把概率压向中间或推向两端，从而改变平方损失。按0.5阈值的分类准确率又只看预测落在哪一边，丢掉了0.51与0.99的区别。只有把预测数字当成实际频率承诺来检查，才能发现过度自信；也不能因为Brier更低，就跳过可靠性箱认定每个概率段都更准。

Brier分解同时涉及可靠性、分辨能力和结果本身的不确定性，两个模型若特征不同、排序也不同，总分更低可能来自分辨能力提高而非纯校准改善。本文让A与B排序一致，是为了控制一个差异来源，但有限分箱表仍依赖箱宽，不能当成完整连续概率校准曲线。二十条连续日期也不等于二十次独立伯努利试验。

复核与边界处理

核对时先检查所有概率落在闭区间零到一、标签只含零一，缺概率或未成熟标签不能填零。其次把每条误差相加除以二十，分别回到三个Brier；再核可靠性箱n相加为二十，正例数相加与输入标签一致。历史空箱的0.5来自明确回退政策，不是零除零后偷偷加平滑；评估可靠性空箱则保留null，两个场景的语义不同。

条件变为概率零却实际上涨、或概率一却实际未上涨时，Brier均应为一；程序另保留这两个边界反例，避免输出NaN或无限数。若需要为箱频率估计区间，还要处理日期依赖与小样本，当前表没有提供具有覆盖率保证的置信带。概率校准也不计交易成本、盈亏比和仓位，不能从“80%”直接推出值得买入或可以重仓。

scikit-learn概率校准官方文档的校准曲线和校准器章节支持分箱均值、正例比例以及独立校准数据的原则，也提醒Brier不是单一校准度。本文实际读取这些章节，数字与平滑映射来自自造实验；时间隔离仍需结合标签可得性，不能把文档中的通用交叉验证默认照搬到金融日期序列。

评估日期推进后如何更新映射

如果允许校准器滚动更新，每次更新时间必须等候对应标签成熟，并把新映射分配给之后预测。不能用第二十日后得到的频率回填第一日概率，再把变化称作实时校准改善。评估记录应同时存原始概率、映射版本和最终概率，便于判断变化来自基模型还是校准层。对股票横截面，多条同日记录还可能共享市场冲击，箱样本数多并不自动带来相同数量的独立证据。

继续核对研究流程时，可回到时序交叉验证母题；遇到相邻任务，再分别查看量化模型消融配对比较、不等长标签purge清除。本文的滚动验证工具链接仅作基础流程说明，新增审计和统计计算由本页独立表格与模型交付。

道积君编辑组，AI辅助编写与核算。本文为构造教学实验，来源说明方法，数字由明示输入计算，不代表真实策略、收益预测或统计审定。

复算资料

本篇编号DJ4-066。下载Python复算脚本（文本）与构造输入输出JSON，按编号核对本篇。脚本改存为.py后可用Python标准库运行，数据不是实际用户记录。